BRAIN: Bias-Mitigation Continual Learning Approach to Vision-Brain Understanding

1. 연구 배경 및 문제 정의 (Problem)

• 기존 연구의 한계: 시각 - 뇌 이해 (Vision-Brain Understanding, VBU) 분야에서는 fMRI 신호를 기반으로 시각 자극을 재구성하거나 검색하는 연구가 활발합니다. 그러나 기존 방법론들은 데이터셋의 모든 데이터 포인트를 동등하게 취급하며, **시간에 따른 뇌 신호의 불일치 (Inconsistency) 와 편향 (Bias)**을 간과했습니다.
• 핵심 문제: 기억 감퇴에 의한 신호 편향 (Memory Decay Induced Bias)
  • 인간은 시간이 지남에 따라 기억이 감퇴합니다. 자연 장면 데이터셋 (NSD) 과 같은 대규모 데이터는 수 개월에서 수 년에 걸쳐 수집되므로, 참가자들은 이전에 본 시각 자극을 나중에 다시 볼 때 기억이 희미해집니다.
  • 이로 인해 참가자의 응답 정확도와 자신감 (Confidence) 이 시간이 지날수록 감소하며, 후기 세션 (Later Sessions) 에 기록된 fMRI 신호는 시각적 맥락이 약해지고 불확실성이 커집니다.
  • 이러한 **비정상성 (Non-stationarity)**은 모델이 학습하는 데이터 분포를 변화시켜, 모델 성능을 저하시키고 편향된 표현 (Representation Bias) 을 초래합니다. 기존 연구들은 이를 고려하지 않아 성능 한계에 부딪혔습니다.

2. 제안 방법: BRAIN (Bias-Mitigation Continual Learning)

저자들은 뇌 신호의 시간적 편향을 해결하기 위해 지속적 학습 (Continual Learning, CL) 프레임워크를 도입한 BRAIN 접근법을 제안합니다. 이 방법은 두 가지 핵심 손실 함수를 통해 구현됩니다.

가. 편향 완화 대비 학습 (De-bias Contrastive Learning, DCL)

• 동기: 뇌 신호의 분포 $p_t(x)$가 세션 $t$에 따라 변하며, 참가자의 응답 정확도 ($r(t)$) 가 낮을수록 신호의 신뢰도가 떨어집니다.
• 방식: 기존 대비 학습 (Contrastive Learning) 에 **편향 계수 (Bias Factor, $w_t$)**를 도입하여 손실 함수를 재정의합니다.
  • $w_t = e^{1 - r(t)}$로 정의하며, 여기서 $r(t)$는 해당 세션의 참가자 응답 정확도입니다.
  • 정확도가 낮을수록 (불확실성이 높을수록) 손실 값에 더 큰 가중치를 주어, 모델이 신뢰할 수 없는 데이터에 대해 과도하게 학습하는 것을 방지하고, 신뢰도가 높은 데이터에 집중하도록 유도합니다.
  • 이를 통해 신호의 편향을 보정하고 더 안정적인 특징 표현을 학습합니다.

나. 각도 기반 망각 완화 (Angular-based Forgetting Mitigation, AFM)

• 동기: 지속적 학습에서 새로운 데이터를 학습할 때 이전 세션의 지식을 잊는 **파괴적 망각 (Catastrophic Forgetting)**이 발생합니다. 기존 가중치 정규화 ($L_2$) 는 너무 엄격하여 새로운 데이터 적응을 방해하거나, 특징의 크기 (Magnitude) 변화에 민감할 수 있습니다.
• 방식: 지식 증류 (Knowledge Distillation) 기법을 사용하되, 특징 벡터 간의 **거리 (Magnitude)**가 아닌 **방향 (Direction)**에 초점을 맞춥니다.
  • **각도 거리 (Angular Distance)**를 사용하여 이전 모델 ($\theta_{t-1}$) 과 현재 모델 ($\theta_t$) 의 중간 특징 벡터 ($z_{t-1}, z_t$) 간의 차이를 측정합니다.
  • 수식: $\mathcal{D}_f = \| \frac{z_{t-1}}{\|z_{t-1}\|} - \frac{z_t}{\|z_t\|} \|^2_2$
  • 이 방식은 특징의 스케일 변화에 강건하며, 시각 - 뇌 검색 (Retrieval) 과 같은 다운스트림 작업에서 각도 기반 유사도 측정이 일반적이므로 성능 향상에 유리합니다.

3. 주요 기여 (Key Contributions)

1. 편향 문제의 통계적/실험적 규명: 인간 기억 감퇴로 인한 뇌 신호의 불일치가 VBU 모델 성능에 미치는 부정적 영향을 최초로 통계적 및 실험적으로 증명했습니다.
2. 새로운 지속적 학습 프레임워크 (BRAIN): 데이터 수집 세션이 진행됨에 따라 증가하는 편향을 점진적으로 학습하고 완화하는 새로운 CL 접근법을 제안했습니다.
3. 혁신적인 손실 함수 개발:
   • DCL: 응답 정확도를 기반으로 신호 편향을 보정하는 새로운 대비 학습 손실 함수.
   • AFM: 특징의 방향성을 보존하여 파괴적 망각을 방지하는 각도 기반 망각 완화 손실 함수.
4. SOTA 성능 달성: 다양한 지속적 학습 벤치마크에서 기존 방법 (LwF, PLOP 등) 및 비-지속적 학습 방법을 능가하는 State-of-the-Art (SOTA) 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Natural Scenes Dataset (NSD) 을 사용하며, 8 명의 참가자에 대한 30~40 세션의 fMRI 데이터를 활용했습니다.
• 평가 설정: (초기 세션 수, 추가 세션 수) 형태의 다양한 CL 설정 (예: (20, 2), (20, 5), (20, 10), (15, 5)) 에서 Brain-to-Image Retrieval 및 Image-to-Brain Retrieval 태스크를 평가했습니다.
• 성능 비교:
  • 기존 방법 (W/o CL): 새로운 세션 학습 시 초기 성능이 급격히 저하됨 (예: (20, 2) 설정에서 61.57% → 18.06% 로 하락).
  • 제안 방법 (BRAIN): 모든 설정에서 높은 정확도를 유지하며, 성능 저하가 극히 미미함 (예: 57.97% → 54.37% 등).
  • Ablation Study: DCL 과 AFM 을 모두 적용했을 때 (Exp 6) 가장 우수한 성능을 보였으며, DCL 만 적용하거나 AFM 만 적용한 경우보다 우월함을 입증했습니다. 또한, 재현 (Rehearsal) 기반 방법보다 재현 없는 (Rehearsal-free) 방식이 더 효과적이었습니다.
• SOTA 비교: MindEye 등 기존 최첨단 모델 대비 Brain-Image Retrieval 및 Image-Brain Retrieall 모두에서 높은 정확도 (95% 이상) 를 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 인간의 자연스러운 기억 감퇴 현상이 뇌 - 시각 데이터에 미치는 영향을 체계적으로 분석하고, 이를 해결하기 위한 지속적 학습 기반의 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.

• 과학적 통찰: 뇌 신호의 시간적 불일치가 모델 학습에 미치는 편향 문제를 최초로 규명하여, 향후 뇌 - 컴퓨터 인터페이스 (BCI) 및 신경과학 연구의 데이터 처리 방식을 개선할 수 있는 기초를 마련했습니다.
• 기술적 혁신: 편향 보정 (DCL) 과 망각 방지 (AFM) 를 결합한 효율적인 알고리즘은 제한된 fMRI 데이터 환경에서도 모델의 안정성과 일반화 능력을 크게 향상시킵니다.
• 실용성: 대規模 데이터 수집이 장기간에 걸쳐 이루어지는 뇌 과학 연구의 특성을 반영하여, 데이터가 축적되는 과정에서도 실시간으로 모델을 업데이트하고 성능을 유지할 수 있는 실용적인 솔루션을 제공합니다.

결론적으로, BRAIN 은 뇌 신호의 비정상성을 고려한 지속적 학습의 새로운 표준을 제시하며, Vision-Brain Understanding 분야의 성능 한계를 돌파하는 중요한 전환점이 되었습니다.