Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

기술 요약: 시각적 번역에서의 미아 (Lost in Visual Translation)

문제 정의
EEG-to-image 재구성의 평가는 표준 컴퓨터 비전 지표와 신경 디코딩의 특정 특성 사이의 근본적인 불일치 문제에 직면해 있다. EEG 신호는 비침습적이고 노이로가 많으며 공간적으로 거칠기 때문에, 재구성된 이미지는 흔히 흐릿하고 왜곡되며 세부 사항이 부족하다. 현재의 평가 관행은 일반적인 이미지 복원 또는 생성(예: SSIM, PSNR, LPIPS, CLIP 유사도)을 위해 설계된 지표에 의존하고 있다. 저자들은 이러한 지표들이 EEG 영역에서 두 가지 상보적인 이유로 인해 실패한다고 주장한다:

1. 가혹함 (Harshness): 지표들이 시각적으로는 저하되었으나 의미론적으로는 회복 가능한(즉, 충실도는 낮더라도 의도한 객체가 인식 가능한) 재구성을 처벌한다.
2. 의미론적 맹목성 (Semantic Blindness): 지표들이 시각적으로는 그럴듯하지만 잘못된 의미적 내용(예: 잘못된 객체 범주)을 담고 있는 이미지에 높은 점수를 부여한다.

기존 연구들은 자동화된 점수가 인간의 판단과 종종 괴리됨을 보여주었으나, 최근의 EEG-to-image 연구들은 fMRI와 같은 양상에 비해 EEG가 가진 고유한 모호성에도 불구하고 여전히 이러한 프로토콜에 의존하고 있다.

방법론
본 논문은 이러한 한계를 해결하기 위해 **BCI 인지적 지각-의미론적 일관성 프레임워크 (BCI-aware Perceptual-Semantic Coherence Framework)**를 제안한다. 방법론은 세 단계로 진행된다:

1. 현재 지표의 경험적 분석:
   저자들은 네 가지 데이터셋(ATM, ENIGMA, BrainVis, DreamDiffusion)에서 6,855개의 정답(ground-truth)/재구성 쌍을 분석하였다. 이들은 두 가지 프로브(probe)를 도입하였다:

   • 캡션 수준 의미론적 프로브: BLIP을 사용하여 캡션을 생성하고 SBERT를 사용하여 의미론적 유사도를 측정함으로써, "캡션 가혹성"(의미론적으로 가까운 출력을 처벌하는 지표)과 "캡션 맹점 비율"(의미론적으로 먼 출력을 보상하는 지표)을 정량화하였다.
   • 제어된 지각적 저하: 정답 이미지에 여섯 가지 유형의 저하(블러, 노이즈, 다운샘플링, JPEG, 색상 감쇄, 시프트)를 적용하여 지표의 민감도를 테스트하였다.
   • 결과: 픽셀 수준 지표(MSE, SSIM)는 의미론적 일관성과 거의 zero에 가까운 상관관계를 보였다. 표현력 지표(OpenCLIP, DreamSim)는 의미론과 더 높은 상관관관계를 보였으나, 여전히 지각적 오류와 의미론적 오류를 혼동하여, 회복 가능한 의미와 시각적 충실도를 구분하지 못했다.

2. VLM 보조 주석 프로토콜:
   지각적 회복 가능성과 의미론적 회복 가능성을 분리하기 위해, 저자들은 네 가지 오픈 웨이트 시각-언어 모델(VLM: InternVL3, SAIL-VL, OLA-7B, Ovis2-8B)을 활용하였다.

   • 구조화된 질문: 각 이미지 쌍(정답 vs 재구성)은 12개의 구조화된 질문(6개 지각적 질문: 레이아웃, 형태, 질감, 색상, 아티팩트, 전체적 회복 가능성; 6개 의미론적 질문: 범주, 특정 정체성, 기능, 수량, 장면, 전체적 의미론적 회복 가능성)을 통해 평가되었다.
   • 점수 척도: 답변은 세 단계 척도(no (0), sommedewhat (0.5), yes (1))로 매핑되었다.
   • 합의 집계: 저자들은 VLM의 응답을 집계하여 **내성적 지각 정렬 점수 (T-PAS)**와 **내성적 의미론적 정렬 점수 (T-SAS)**를 계산하였다. 강제적인 다수결 라벨을 정하기보다 부분적인 불일치를 보존하기 위해 네 가지 VLM의 중앙값(median)을 사용하였다.
   • 신뢰도: 분석 결과, 전체적으로는 보통 수준의 일치도(Fleiss' $\kappa$ = 0.363)를 보였으며, 전체적 회복 가능성 판단보다는 구체적인 속성(형태, 기능)에서 더 높은 일치도를 보였다.

3. BCI-일관성 점수 (BCS) 증류:
   매 평가마다 여러 VLM을 실행하는 계산 비용을 피하기 위해, 저자들은 다중 VLM 합의를 경량 이미지 쌍 회귀 모델인 BCS로 증류하였다.

   • 아키텍처: BCS는 동결된 시각적 인코더(SigLIP, CLIP, DINOv3)를 사용하여 참조 이미지와 재구성 이미지로부터 특징을 추출한다. 이 모델은 쌍별 비교 특징(결합, 차이, 요소별 곱, 코사인 유사도)을 구성하고 이를 잔차 MLP(residual MLP)에 입력한다.
   • 학습: 모델은 각 질문에 대한 VLM의 중앙값 합의 점수($z_{i,q}$)를 예측하도록 학습된다. 가중치 손실 함수($L$)는 높은 합의를 가진 VLM 라벨에 우선순위를 두고 모호한 인스턴스의 가중치를 낮춘다.
   • 출력: BCS는 이미지 쌍으로부터 T-PAS 및 T-SAS 점수를 직접 예측한다.

주요 결과

• 지표의 실패: 기존 지표들은 약한 의미론적 정렬(예: MSE $\rho_{cap} \approx -0.01$)을 보였으며, 특정 저하 유형에 대해 일관되지 않은 민감도를 보였다.
• BCS 성능: 증류된 BCS 모델(4-교사 연속 앙상블)은 홀드아웃 데이터에서 VLM 합의와 강력한 상관관계를 달성하였다:
  • T-PAS: MAE = 0.079, Pearson $r$ = 0.700.
  • T-SAS: MAE = 0.082, Pearson $r$ = 0.850.
• 인간 검증: 18명의 주석자를 대상으로 한 표적 인간 연구에서, 일관성 판단(지각적 및 의미론적 정렬을 공동으로 평가)은 높은 신뢰도($\kappa = 0.882$, $\alpha = 0.882$)를 보였다. 반면, 고립된 지각적 판단은 매우 신뢰도가 낮았으며($\kappa = 0.110$), 의미론적 판단은 보통 수준의 신뢰도($\kappa = 0.483$)를 보였다. 이는 지각적 및 의미론적 축을 공동으로 평가하도록 설계된 프레임워크의 설계를 뒷받침한다.

의의 및 주장
본 논문은 EEG-to-image 평가가 일반적인 시각적 유사성에서 지각-의미론적 회복 가능성으로 전환되어야 한다고 주장한다. 제안된 프레임워크는 다음을 제공한다:

1. 진단 프로토콜: 현재 지표들의 "가혹함"과 "맹점"을 명시적으로 식별하고 정량화한다.
2. 강건한 평가 신호: BCS는 기존 지표보다 인간의 판단에 더 가깝게 정렬되어, 허용 가능한 신호 유도 저하와 의미론적 손실을 분리하는 재사용 가능하고 컴팩트한 평가기를 제공한다.
3. 공동 일관성의 검증: 인간 검증 결과는 인간이 노이즈가 많은 EEG 재구성에서 낮은 수준의 시각적 충실도를 일관되게 판단하는 데 어려움을 겪을 수 있지만, 재구성의 공동 일관성은 신뢰할 수 있게 판단할 수 있음을 시사하며, 이는 T-PAS/T-SAS 설계의 타당성을 입증한다.

저자들은 BCS가 향후 벤치마킹을 위한 필수적인 평가 신호를 제공한다고 결론지었으나, 이 접근 방식을 fMRI 및 피험자 간(cross-subject) 설정으로 확장하는 것은 여전히 열린 과제로 남겨두었다.