Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

문제 정의

뇌 디코딩(Brain decoding)은 일반적으로 fMRI 반응을 계산 모델의 잠재 임베딩(latent embeddings)으로 매핑함으로써 자극 관련 표현을 추론하는 것을 목표로 한다. 최근에는 풍부한 시각-언어 임베딩 공간을 가진 Contrastive Language-Image Pre-training (CLIP) 모델이 표준적인 타겟 표현으로 자리 잡았다. 그러나 fMRI 신호를 표준 CLIP 표현과 정렬하는 것은 여전히 어려운 과제이다.

저자들은 표준 CLIP이 신경학적 정렬보다는 웹 규모의 이미지-텍스트 대조 학습에 최적화되어 있다고 주장한다. 결과적으로, CLIP의 임베딩은 이미지-텍스트 매칭에는 통계적으로 예측력이 있지만 인간의 뇌 활동에는 충실하게 반영되지 않는 "비강건한(non-robust)" 또는 지름길 기반(shortcut-driven) 특징들을 포착할 수 있다. 기존 연구들은 생물학적 제약(예: 시각적 주의 메커니즘)을 추가하거나 임베딩과 fMRI 반응 사이의 기하학적 유사성을 강제함으로써 디코딩을 개선하려고 시도해 왔다. 본 논문은 이 문제가 단순히 파이프라인의 문제가 아니라, 타겟 표현 자체의 내재적 속성에 있다고 가정한다. 구체적으로, 저자들은 **적대적 강건성(adversarially robust representations)**을 가진 표현이 비강건한 특징을 억제하고 더 안정적이며 지각적으로 구조화된 단서에 의존하게 함으로써, 인간의 신경 표현에서 관찰되는 불변성(invariance)과 더 잘 정렬될 것이라는 가설을 세운다.

방법론

본 연구는 fMRI 디코더와 전체 훈련 파이프라인은 고정시킨 채, 오직 **타겟 표현 모델(target representation model)**만을 변화시키는 통제된 실험 설계를 채택하였다.

• 데이터셋:
  • NSD (Natural Scene Dataset): 73,000개의 이미지와 8명의 피험자로부터 얻은 fMRI 데이터를 포함하는 대규모 시각-fMRI 데이터셋이다. 저자들은 피험자 1, 2, 5, 7에 대해 평가를 수행한다.
  • GOD (Generic Object Decoding Dataset): 훈련-테스트 간의 의미론적 중복이 없는 제로샷 일반화(zero-shot generalization)를 테스트하도록 설계되었으며, 1,250개의 이미지와 5명의 피험자 데이터를 포함한다.
• 타겟 모델:
  • Baseline: 표준 CLIP (ViT-L/14 백본).
  • Robust Variants: 두 가지 적대적으로 훈련된 CLIP 변형 모델:
    • TeCoA: 텍스트 가이드 감독 하에 시각 인코더가 적대적으로 미세 조정된 강건한 변형 모델.
    • FARE: 텍스트 감독 없이 비감독 방식으로 적대적 미세 조정을 수행한 강건한 변형 모델.
  • 저자들은 섭동 예산($\epsilon$)에 따라 서로 다른 수준의 적대적 강도(예: FARE-2/4, TeCoA-2/4)를 평가한다.
• 디코더 아키텍처:
  • 선형 디코더(linear decoder)는 fMRI 복셀 데이터를 예측된 임베딩으로 매핑한다.
  • 훈련 목적 함수 (Training Objectives): 본 연구는 두 가지 목적 함수를 활용한다:
    1. InfoNCE Loss (Contrastive): 대조 손실을 사용하여 예측된 임베딩과 타겟 임베딩 간의 정렬을 최적화한다.
    2. Ridge Regression: 뇌 디코딩의 표준 베이스라인이다.
• 평가 지표:
  • 디코딩 성능: NSD 및 GOD 데이터셋 모두에서 fMRI-이미지 검색을 위한 Top-$k$ 정확도 (Recall@k).
  • 신경 정렬 (Neural Alignment): fMRI 반응과 타겟 표현 사이의 피어슨 상관계수(Pearson correlation), 코사인 유사도(Cosine similarity), 그리고 표현 유사도 분석(RSA).
  • 기여도 분석 (Attribution Analysis): Palazzo 등의 프레임워크[40]를 사용하여, 디코더가 어떤 이미지 특징에 의존하는지 분석하기 위해 픽셀 수준의 기여도 맵을 계산한다. 지표로는 정규화된 엔트로피(normalized entropy), 상위 $k$ 기여 영역의 IoU, 그리고 기여도 맵 간의 스피어만 순위 상관계수(Spearman rank correlation)가 포함된다.

주요 결과

실험 결과, 표준 CLIP을 적대적으로 강건한 변형 모델로 교체하는 것이 뇌 디코딩 성능과 신경 정렬을 일관되게 향상시킨다는 것을 입증하였다.

1. 정렬 및 검색 성능 향상:

   • NSD 데이터셋에서 강건한 변형 모델들(FARE 및 TeCoA)은 표준 CLIP에 비해 더 높은 정렬 점수(피어슨 상관계수, 코사인 유사도, RSA)를 달성하였다. TeCoA-4가 가장 높은 정렬 점수를 기록했다.
   • fMRI-이미지 검색에서 강건한 디코더들은 표준 CLIP 베이스라인보다 우수한 성능을 보였다. 특히, FARE-4는 대조 디코딩(contrastive decoding) 조건에서 CLIP 베이스라인 대비 Top-1 정확도를 13% 향상시켰다.
   • 이러한 개선은 대조 학습과 릿지 회귀 목적 함수 모두에서 유효하게 나타났으며, 이는 타겟 표현의 선택이 훈련 목적 함수보다 더 중요하다는 것을 시사한다.

2. 제로샷 일반화 (GOD 데이터셋):

   • 엄격한 제로샷 조건을 강제하는 GOD 데이터셋에서도 이러한 개선 효과가 재현되었다. 강건한 디코더들은 표준 CLIP에 비해 더 높은 검색 정확도와 제로샷 fMRI-텍스트 분류 성능을 유지하였다.
   • 제로샷 텍스트 분류 작업에서는 일반적으로 TeCoA 디코더가 FARE 디코더보다 우수한 성능을 보였다.

3. 기여도 분석:

   • 공간적 구조: 모든 모델이 높은 전역적 공간 확산(높은 엔트로피)을 보였으나, 강건한 변형 모델들은 더 강력한 **척도 의존적 구조적 변이(scale-dependent structural variation)**를 보여주었다. 이들의 엔트로피는 공간 해상도가 거칠어질수록 감소하였는데, 이는 표준 CLIP의 안정적인 엔트로피와 비교했을 때 더 구조화된 기여 패턴을 가지고 있음을 나타낸다.
   • 특징 불일치 (Feature Disagreement): 표준 CLIP과 강건한 변형 모델 사이에는 일관되게 낮은 일치도가 관찰되었다. 높은 기여도를 보이는 픽셀들에 대한 Top-k IoU는 매우 낮았으며(0.1 미만), 스피어만 순위 상관계수는 약하거나 음수였다. 이는 적대적 훈련이 단순히 특징 사용을 정교화하는 것이 아니라, 구조적으로 구별되는 이미지 특징에 의존하도록 하는 체계적인 특징 중요도의 재구성을 유도함을 시사한다.

기여점

본 논문은 다음과 같은 구체적인 기여를 한다:

1. 강건성의 이점 입증: 적대적으로 훈련된 CLIP 변형 모델(FARE 및 TeCoA)이 fMRI 반응과 모델 표현 간의 정렬을 개선하여, NSD 데이터셋에서 유의미하게 높은 fMRI-이미지 검색 정확도를 달성함을 보여준다.
2. 제로샷 검증: 이러한 개선이 GOD 데이터셋의 제로샷 설정에서도 일반화됨을 입증하여, 얻어진 이득이 특정 데이터셋에 대한 과적합 때문이 아님을 확인한다.
3. 기여도에 대한 통찰: 기여도 분석을 통해, 강건한 모델이 특징 사용에 있어 표준 CLIP과 낮은 일치도를 보이며 공간적으로 집중되고 구별된 패턴을 생성한다는 점을 밝혀냈다. 이는 적대적 강건성이 시각적 특징의 중요도를 재구성함을 시사한다.

의의 및 주장

저자들은 타겟 표현의 선택이 뇌 디코딩 파이프라인에서 결정적인 요소라고 결론짓는다. 저자들은 적대적 강건성이 계산 모델과 뇌 활동 사이의 정렬을 개선하기 위한 유용한 귀납적 편향(inductive bias) 역할을 한다고 주장한다.

본 논문은 인간의 신경 표현이 작은 섭동에 상대적으로 불변하며 비강건한 단서에 덜 의존하기 때문에, 적대적 훈련을 통해 이러한 단서들을 억제하도록 학습된 모델이 자연스럽게 fMRI 신호와 더 잘 호환되는 표현을 생성한다고 주장한다. 이 연구 결과는 향후 뇌 디코딩 연구가 아키텍처 수정이나 파이프라인 엔지니어링에만 집중하기보다, 타겟 모델의 강건성과 같은 내재적 특성을 고려해야 함을 시사한다. 또한, 강건성이 예측 정확도뿐만 아니라 뇌 활동 디코딩 시 시각적 특징이 활용되는 근본적인 방식에도 영향을 미친다는 점을 강조한다.