Towards Interpretable Visual Decoding with Attention to Brain Representations

이 논문은 중간 특징 공간 없이 뇌 신호를 직접 조건으로 하여 이미지 생성을 수행하는 'NeuroAdapter' 프레임워크와 뇌 영역별 기여도를 분석하는 'IBBI' 해석성 도구를 제안함으로써, 뇌 활동 기반의 시각적 복원 과정을 투명하게 이해할 수 있는 새로운 길을 제시합니다.

핵심

🧠 핵심 비유: "뇌의 생각을 그림으로 번역하는 통역사"

상상해 보세요. 누군가 뇌속에서 복잡한 장면을 보고 있는데, 우리는 그 장면을 그림으로 재현하고 싶어요.

1. 기존 방법의 문제점: "중간 번역가"의 장벽

기존의 연구들은 뇌 신호를 그림으로 바꾸는 데 두 단계를 거쳤습니다.

• 1 단계: 뇌 신호를 먼저 '중간 언어' (예: 컴퓨터가 이해하는 텍스트나 추상적인 특징) 로 번역합니다.
• 2 단계: 그 '중간 언어'를 다시 그림으로 그립니다.

비유하자면:

뇌가 "빨간 사과가 나무에 달려 있다"고 말하면, 통역사가 이를 먼저 "빨간색, 둥근 모양, 과일"이라는 중간 코드로 바꾸고, 그 코드를 다시 그림으로 그리는 방식입니다.

문제점: 이 '중간 코드'를 거치면서 뇌의 어떤 부분이 '사과'를 담당하고, 어떤 부분이 '나무'를 담당하는지 알 수 없게 됩니다. 마치 편지를 우편물을 통해 보내는 과정에서, 편지 내용을 보낸 사람과 받은 사람 사이의 구체적인 대화 과정을 알 수 없는 것과 같습니다.

2. 이 논문의 해결책: "NeuroAdapter" (직접 통역)

이 논문은 NeuroAdapter라는 새로운 방법을 제안합니다. 중간 단계를 거치지 않고, 뇌 신호를 바로 그림 그리는 AI(확산 모델) 에게 직접 전달합니다.

비유하자면:

뇌가 "빨간 사과"라고 말하면, 중간 코드를 거치지 않고 바로 그림을 그리는 화가에게 "빨간 사과를 그려줘!"라고 직접 지시하는 것입니다.

장점:

• 더 정확한 그림: 중간 번역 과정에서 정보가 손실될 걱정이 없습니다.
• 투명한 과정: "왜 이 부분이 빨간색으로 그려졌을까?"라고 물었을 때, "뇌의 A 부분이 그걸 지시했기 때문이다"라고 정확하게 추적할 수 있습니다.

---

🔍 어떻게 작동할까요? (세 가지 단계)

이 시스템은 마치 뇌의 지도를 펼쳐서 그림을 그리는 과정과 같습니다.

1. 뇌 지도 나누기 (Parcellation):

   • 뇌는 너무 복잡해서 한 번에 다 볼 수 없어요. 그래서 뇌를 500 개의 작은 구역 (패치) 으로 나눕니다. 마치 거대한 도시를 작은 동네 블록으로 나누는 것처럼요.
   • 이 중에서 소음이 적고 신호가 명확한 '좋은 동네' 200 개만 골라냅니다.

2. 뇌 신호를 토큰으로 변환 (Linear Mapping):

   • 각 동네에서 뇌가 보내는 신호를 AI 가 이해할 수 있는 '토큰' (작은 정보 덩어리) 으로 바꿉니다.
   • 이때, 뇌의 신호가 갑자기 끊어지더라도 그림이 망가지지 않도록 **무작위로 일부 신호를 끄는 훈련 (Dropout)**을 시켜서 AI 가 더 튼튼하게 만들었습니다.

3. 직접 그림 그리기 (End-to-End Decoding):

   • AI 는 처음엔 하얀 잡음 (흰색 화면) 에서 시작합니다.
   • 뇌 신호 (토큰) 를 보며 "여기엔 얼굴이 필요해", "저기엔 배경이 필요해"라고 지시합니다.
   • AI 는 이 지시를 받으며 잡음을 점점 제거하고, 최종적으로 선명한 그림을 만들어냅니다.

---

🕵️‍♂️ 가장 멋진 부분: "뇌와 그림의 연결 고리 찾기 (IBBI)"

이 논문은 단순히 그림을 잘 그리는 것뿐만 아니라, **"뇌의 어떤 부분이 그림의 어떤 부분을 담당했는지"**를 보여주는 **해석 도구 (IBBI)**도 개발했습니다.

비유하자면:

그림이 완성되는 과정을 타임랩스 영상으로 찍어둔다고 상상해 보세요.

• 초반: 뇌의 모든 부분이 "무엇인가를 그려야 해!"라고 아우성칩니다. (화면이 흐릿함)
• 중반: 뇌의 '얼굴 담당 구역'이 "여기엔 눈과 코를 그려!"라고 지시하고, '배경 담당 구역'이 "저기엔 하늘을 그려!"라고 지시합니다.
• 후반: 각 뇌 부위가 자신이 맡은 부분에만 집중하며 그림을 완성합니다.

이 도구를 사용하면, 뇌의 특정 부위를 가리면 그림의 어떤 부분이 사라지는지를 실험해 볼 수 있습니다.

• 실험 결과: 뇌의 '얼굴 담당 부위'를 가리면 그림에서 얼굴이 사라지고, '배경 담당 부위'를 가리면 배경이 흐려집니다. 이는 AI 가 뇌의 신호를 정말로 이해하고 그림을 그렸다는 강력한 증거입니다.

---

💡 결론: 왜 이 연구가 중요할까요?

1. 더 투명한 '마음 읽기': 기존 방법들은 뇌 신호가 어떻게 그림으로 변하는지 알 수 없었지만, 이 방법은 뇌의 각 부분이 그림의 어떤 부분을 만드는지를 명확하게 보여줍니다.
2. 과학적 통찰: 뇌가 시각 정보를 어떻게 처리하는지, 어떤 뇌 부위가 얼굴, 배경, 글자 등을 담당하는지를 그림을 통해 직접 확인할 수 있게 되었습니다.
3. 미래의 가능성: 이 기술은 꿈이나 상상하는 장면을 그림으로 그려내는 등, 인간의 내면 세계를 시각화하는 데 큰 도움을 줄 수 있습니다.

한 줄 요약:

"이 연구는 뇌 신호를 그림으로 바꾸는 '중간 번역'을 없애고, 뇌의 각 부위가 그림의 어떤 부분을 담당하는지 직접 보여줌으로써, 더 투명하고 정확한 '마음 읽기' 기술을 완성했습니다."

기술 요약

NeuroAdapter: 뇌 표현에 주의를 기울인 해석 가능한 시각적 디코딩을 위한 기술 요약

본 논문은 ICLR 2026 에 발표된 **"Towards Interpretable Visual Decoding with Attention to Brain Representations"**으로, 인간 뇌 활동 (fMRI) 으로부터 시각적 자극을 직접적으로 복원하고 그 과정을 해석할 수 있는 새로운 프레임워크인 NeuroAdapter를 제안합니다.

1. 문제 정의 (Problem)

기존의 뇌 기반 시각적 디코딩 (Brain-to-Image Decoding) 연구들은 대부분 2 단계 파이프라인을 따릅니다.

1. 중간 특징 공간 매핑: 뇌 신호를 CLIP, DINO 와 같은 대규모 기초 모델 (Foundation Model) 에서 추출한 중간 이미지 또는 텍스트 임베딩으로 변환합니다.
2. 생성 모델 조건부 학습: 이 중간 임베딩을 사용하여 생성 모델 (예: Stable Diffusion) 을 조건부 학습시켜 이미지를 복원합니다.

한계점:

• 정보 병목 현상 (Information Bottleneck): 뇌 신호와 중간 임베딩 공간 간의 정렬 (Alignment) 이 완벽하지 않으면 복원 품질이 저하됩니다.
• 해석 가능성 부족: 중간 단계를 거치기 때문에, 최종 복원 이미지에 어떤 뇌 영역이 어떻게 기여했는지를 추적하기 어렵습니다. 즉, 뇌의 특정 부위가 이미지의 어떤 부분 (예: 얼굴, 배경, 객체) 을 형성하는지 인과 관계를 파악하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 NeuroAdapter라는 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안하여 중간 특징 공간을 우회하고 뇌 신호를 직접 생성 모델에 연결합니다.

2.1 NeuroAdapter 아키텍처

• 기본 구조: 사전 학습된 **Stable Diffusion (Latent Diffusion Model)**을 기반으로 합니다.
• 뇌 토큰화 (Brain Tokenization):
  • fMRI 데이터를 **Schaefer 패리셀레이션 (500 개 패리셀)**을 사용하여 구조화합니다.
  • 신호 대 잡음비 (SNR) 가 높은 상위 $k$개 패리셀을 선택하여 총 200 개의 패리셀을 사용합니다.
  • 각 패리셀의 fMRI 응답 벡터를 **선형 매핑 (Linear Mapping)**을 통해 고정된 차원 (예: 768 차원) 의 'fMRI 토큰 임베딩'으로 변환합니다.
• 조건부 학습 (Conditioning):
  • Stable Diffusion 의 U-Net 내 크로스 어텐션 (Cross-Attention) 레이어를 IP-Adapter 스타일 모듈로 교체합니다.
  • 텍스트 인코더는 비어있는 입력을 받고, fMRI 토큰 임베딩만이 유일한 조건부 입력으로 작용하여 디노이징 과정을 안내합니다.
  • fMRI 토큰 드롭아웃 (Token Dropout): 학습 중 일부 패리셀 토큰을 무작위로 드롭하여 모델의 강건성을 높입니다.
  • Min-SNR Loss Weighting: 학습 안정화와 샘플 품질 향상을 위해 노이즈가 많은 단계의 가중치를 조정합니다.

2.2 해석 가능성 프레임워크: IBBI (Image-Brain BI-directional)

복원 과정의 투명성을 높이기 위해 제안된 IBBI 프레임워크는 크로스 어텐션 패턴을 분석하여 두 가지 관점을 제공합니다.

1. Brain-directed View (뇌 지향적 관점):
   • 각 디노이징 단계에서 각 뇌 패리셀이 생성 과정에 기여하는 정도 (Attention Mass) 를 계산합니다.
   • 이를 뇌 표면 (Cortical Surface) 에 매핑하여, 어떤 뇌 영역이 생성의 어떤 단계에서 주도적인 역할을 하는지 시각화합니다.
2. Image-directed View (이미지 지향적 관점):
   • 특정 뇌 영역 (ROI, 예: 얼굴 영역, 장면 영역) 이 생성된 이미지의 어떤 픽셀 영역에 주의를 기울이는지 분석합니다.
   • 이를 통해 뇌의 특정 기능이 이미지의 어떤 공간적 특징 (예: 얼굴의 눈, 배경의 풍경) 을 형성하는지 연결합니다.

2.3 평가 및 선택 전략

• Brain Encoder 기반 이미지 선택: 디코더가 여러 후보 이미지를 생성하면, 별도의 Brain Encoder(이미지 $\rightarrow$ 뇌 활동 예측 모델) 를 사용하여 예측된 뇌 활동과 실제 fMRI 데이터 간의 상관관계가 가장 높은 이미지를 최종 결과로 선택합니다.

3. 주요 기여 (Key Contributions)

1. NeuroAdapter 제안: 중간 임베딩 공간 없이 fMRI 데이터를 직접 Latent Diffusion Model 에 조건부로 연결하는 엔드 - 투 - 엔드 프레임워크를 최초로 제안했습니다.
2. 경쟁력 있는 성능: 공개된 fMRI 데이터셋 (NSD, NSD-Imagery, Deeprecon) 에서 기존 2 단계 방식 (Embedding-aligned) 과 비교하여 경쟁력 있는, 때로는 더 우수한 복원 품질을 달성했습니다. 특히 고수준 의미적 (Semantic) 메트릭에서 강점을 보였습니다.
3. IBBI 해석 가능성 프레임워크: 크로스 어텐션 역학을 분석하여 뇌 영역과 이미지 생성 공간 간의 양방향 연결을 시각화했습니다. 이는 뇌가 어떻게 시각적 정보를 구성하는지에 대한 새로운 신경과학적 통찰을 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: NSD (Natural Scene Dataset), NSD-Imagery (상상 과제), Deeprecon (자연 및 인공 이미지).
• 성능 비교:
  • 고수준 의미적 메트릭 (CLIP, Inception 등): NeuroAdapter 는 Cortex2Image, MindEye1, Brain Diffuser 등 기존 최첨단 모델들과 경쟁하거나 일부 지표에서 상회했습니다.
  • 저수준 메트릭 (PixCorr, SSIM): Brain Diffuser 와 같은 모델이 별도의 저수준 특징 예측 경로를 가진 경우 더 높은 점수를 보였으나, NeuroAdapter 는 단순한 구조로도 합리적인 저수준 품질을 유지했습니다.
  • 일반화 능력: 훈련 데이터와 다른 클래스 (Deeprecon) 나 상상 (Imagery) 과제에서도 우수한 일반화 성능을 보였습니다.
• 해석 가능성 분석:
  • Brain-directed: 얼굴, 몸, 장면, 단어와 관련된 뇌 영역이 생성 초기 단계부터 후반부까지 지속적으로 중요한 역할을 함을 확인했습니다.
  • Image-directed: 특정 ROI(예: Face ROI) 가 생성된 이미지의 해당 객체 영역 (얼굴 부분) 에 집중하는 것을 확인했습니다.
  • 인과적 교란 (Causal Perturbation): 고수준 뇌 영역 (High-level ROIs) 을 마스킹하면 이미지의 의미적 내용이 완전히 변하는 반면, 저수준 영역 (Low-level ROIs) 을 마스킹하면 의미는 유지되지만 세부적인 저수준 특성이 변하는 것을 확인하여 모델의 작동 원리를 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 뇌 - 이미지 복원 분야에서 중간 표현 공간의 필요성을 제거하고 직접적인 엔드 - 투 - 엔드 학습이 가능함을 증명했습니다.

• 신경과학적 통찰: 단순히 이미지를 복원하는 것을 넘어, 어떤 뇌 영역이 이미지의 어떤 부분을 생성하는지를 시간적, 공간적으로 추적할 수 있게 함으로써 뇌의 시각 정보 처리 메커니즘을 이해하는 데 기여합니다.
• 미래 방향: 기존 이미지 품질 지표 (Metrics) 만으로는 뇌 디코딩의 충실도를 평가하는 데 한계가 있음을 지적하며, **해석 가능성 (Interpretability)**을 평가의 핵심 요소로 도입해야 함을 강조합니다.
• 응용: 정신 이미지 (Mental Imagery), 꿈, 착시 등 외부 자극이 명확하지 않은 주관적 지각 상태의 복원에도 적용 가능한 잠재력을 가집니다.

요약하자면, NeuroAdapter 는 뇌 활동과 생성 모델 간의 직접적인 연결을 통해 높은 복원 품질과 심층적인 해석 가능성을 동시에 달성한 획기적인 접근법입니다.