Uncovering Semantic Selectivity of Latent Groups in Higher Visual Cortex with Mutual Information-Guided Diffusion

이 논문은 상호정보량 기반 확산 모델을 활용하여 고차 시각 피질의 뉴런 집단이 객체 자세 및 범주 간 변환 등 의미 있는 시각적 특징으로 구조화된 잠재 하위 공간에 선택적으로 인코딩되어 있음을 규명한 MIG-Vis 방법을 제안합니다.

핵심

🧠 1. 문제: 뇌의 '혼란스러운' 도서관

우리의 뇌, 특히 시각 정보를 처리하는 부분 (하측 측두엽, IT) 은 수많은 신경 세포들로 이루어진 거대한 도서관입니다.

• 기존의 어려움: 이전 연구들은 이 도서관의 책들이 어떤 주제 (예: '사과', '자동차') 로 정리되어 있는지 대략적으로만 추측했습니다. 하지만 실제 신경 세포들은 한 가지 주제만 다루지 않습니다. 한 신경 세포가 '사과'에 반응하면서도 동시에 '회전 각도'나 '밝기'까지 함께 처리하는 식으로 **여러 정보가 뒤섞여 **(Mixed Selectivity) 있습니다.
• 비유: 마치 한 사서가 '사과' 책과 '회전하는 바퀴' 책을 동시에 정리하고 있어서, 어떤 책이 어떤 주제인지 구별하기 힘든 상황입니다.

🛠️ 2. 해결책: MIG-Vis (뇌의 비밀을 읽어내는 새로운 도구)

연구팀은 MIG-Vis라는 새로운 방법을 개발했습니다. 이 도구는 뇌의 신경 신호를 보고, "이 신호가 실제로 어떤 이미지를 만들어내는가?"를 실험해 보는 방식입니다.

이 과정은 두 단계로 나뉩니다:

1 단계: 신경 신호를 '주머니'로 나누기 (VAE)

뇌의 복잡한 신호를 분석하여 서로 다른 의미의 정보를 담고 있는 **'주머니 **(Latent Groups)로 나눕니다.

• 비유: 뒤죽박죽 섞인 옷 더미를 정리할 때, '의류' 주머니, '신발' 주머니, '모자' 주머니로 나누는 작업입니다. 연구팀은 이 주머니들이 각각 '물체의 방향', '물체의 종류', '물체의 세부 묘사' 등을 담고 있는지 확인했습니다.

2 단계: '상상력'으로 이미지를 그려내기 (MI-Guided Diffusion)

이제 각 주머니를 살짝 건드려서 (Perturbation), 그 변화가 어떤 이미지를 만들어내는지 확인합니다.

• 기존 방법의 한계: 과거에는 단순히 "이 신호에 해당하는 가장 그럴듯한 그림"을 그리는 방식 (디코더) 을 썼는데, 이 방법은 세부적인 변화가 흐릿하게 사라지거나 평균화되는 문제가 있었습니다.
• **MIG-Vis 의 혁신 **(상호 정보량 활용) 연구팀은 **상호 정보량 **(Mutual Information, MI)이라는 개념을 사용했습니다.
  • 비유: 단순히 "이 신호가 사과인가?"라고 묻는 게 아니라, "이 신호와 만들어낸 그림이 얼마나 깊게 연결되어 있는가?"를 측정합니다.
  • 만약 뇌 신호를 살짝 바꾸었을 때, 그려진 그림이 그 변화에 맞춰 정확하게 변한다면 (예: 신호를 바꾸니 사과가 딸기로 변했다면), 그 신경 주머니가 '물체 종류'를 담당한다고 확신할 수 있습니다. 이 방법은 그림이 흐릿해지지 않고, 뇌의 미세한 변화가 이미지에서 뚜렷하게 드러나도록 도와줍니다.

🔍 3. 발견한 놀라운 사실들

이 도구를 이용해 원숭이의 뇌 데이터를 분석한 결과, 다음과 같은 흥미로운 점들이 발견되었습니다.

1. **방향 **(Pose)

   • 어떤 신경 주머니는 물체의 '회전'을 담당했습니다. 얼굴을 회전시키든 자동차를 회전시키든, 같은 신경 신호를 건드리면 물체가 회전하는 것이 확인되었습니다.
   • 비유: 이 주머니는 마치 '회전 버튼'과 같아서, 어떤 물체든 누르면 회전합니다.

2. **물체 종류 **(Category)

   • 또 다른 주머니는 '물체의 종류'를 담당했습니다. 얼굴 이미지를 넣었는데, 신호를 조절하니 딸기로 변했습니다!
   • 비유: 이 주머니는 '변신 버튼'처럼 작동하여, 한 물체에서 다른 물체로 자연스럽게 변하게 만들었습니다.

3. **세부 묘사 **(Intra-category Details)

   • 나머지 주머니들은 같은 물체 안에서의 세부적인 변화를 담당했습니다. 예를 들어, 얼굴의 '시선 방향'을 바꾸거나, 딸기의 '무늬'를 변경하는 식입니다.
   • 비유: 같은 '사과' 주머니 안에서도, '색깔'을 담당하는 서브 주머니와 '무늬'를 담당하는 서브 주머니가 따로 존재한다는 것을 발견했습니다.

💡 4. 결론: 뇌는 어떻게 세상을 보는가?

이 연구는 뇌가 단순히 물체를 분류하는 것뿐만 아니라, 방향, 종류, 세부 묘사 등을 서로 다른 신경 그룹으로 나누어 체계적으로 처리하고 있음을 보여줍니다.

• 핵심 메시지: 뇌의 신경 세포들은 혼란스럽게 섞여 있는 것이 아니라, 의미 있는 하위 그룹으로 조직화되어 있습니다. MIG-Vis 는 이 그룹들이 실제로 어떤 역할을 하는지 눈으로 직접 볼 수 있게 해주는 '현미경'과 같은 역할을 합니다.

🚀 요약

이 논문은 **"뇌의 신경 신호를 건드리면 어떤 그림이 나올까?"**를 실험하여, 뇌가 세상을 어떻게 조각내어 이해하는지 그 비밀을 밝혀냈습니다. 마치 뇌라는 복잡한 기계의 나사 하나를 돌려보며 그 부품이 어떤 기능을 하는지 직접 확인해 본 것과 같습니다. 이 기술은 앞으로 인공지능과 뇌 과학을 연결하는 중요한 다리가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 연구 동기: 고위 시각 피질 (Higher Visual Cortex, 예: 하측 측두엽 IT) 의 신경 집단이 어떻게 객체 중심의 시각 정보를 인코딩하는지 이해하는 것은 계산 신경과학의 핵심 과제입니다. 기존 연구는 인공 신경망 (DNN) 과 시각 피질 간의 표현 정렬 (Representational Alignment) 을 분석하거나, 단일 뉴런의 선택성 (Selectivity) 및 디코딩 기반 방법을 사용했습니다.
• 한계점:
  • 기존 DNN 기반 분석은 간접적이며, 신경 집단의 내부 구조에 대한 통찰이 부족합니다.
  • 기존 디코딩 방법은 특정 의미론적 특징 (Semantic Features) 을 복원할 수는 있으나, 이러한 특징들이 신경 공간 내에서 어떻게 조직화되어 있는지 (구조적 패턴) 를 밝히지 못합니다.
  • 고위 시각 피질의 단일 뉴런 활동은 여러 시각 - 의미론적 특징에 대한 '혼합 선택성 (Mixed Selectivity)'을 보이기 때문에, 어떤 신경 하위 공간이 어떤 의미 (예: 자세, 카테고리, 세부 내용) 를 담당하는지 직접적으로 해석하기 어렵습니다.
• 목표: 전기생리학적 기록 (Electrophysiological recordings) 에서 의미론적으로 해석 가능한 신경 표현을 추출하고, 고위 시각 피질 신경 집단이 다양한 시각 속성 (Pose, 카테고리, 내용 등) 을 어떻게 구조화하여 인코딩하는지 규명하는 것.

2. 제안 방법론: MIG-Vis (Methodology)

저자들은 **MIG-Vis (Mutual Information-Guided Diffusion for uncovering semantic selectivity of neural latent groups in higher Visual cortex)**라는 새로운 방법을 제안했습니다. 이 방법은 크게 두 단계로 구성됩니다.

2.1 그룹별 분리된 신경 잠재 공간 추론 (Group-wise Disentangled Neural Latent Subspace Inference)

• 모델: 변분 오토인코더 (VAE) 기반의 그룹별 분리 (Group-wise Disentangled) 구조를 사용합니다.
• 구조: 전체 잠재 벡터 $z$를 $G$개의 그룹 ($z_1, ..., z_G$) 으로 나눕니다. 각 그룹은 다차원 ($d_g$) 으로 구성되며, 하나의 그룹이 특정 의미론적 특징 유형 (예: 객체 자세, 카테고리 등) 을 인코딩한다고 가정합니다.
• 학습 전략:
  • 약한 지도 학습 (Weak Supervision): 회전 각도 (Rotation) 와 카테고리 ID 와 같은 일부 이미지 속성을 레이블로 사용하여 특정 잠재 그룹의 학습을 유도합니다.
  • 부분 상관 (Partial Correlation) 정규화: 그룹 간의 통계적 독립성을 보장하기 위해 부분 상관 항을 손실 함수에 추가합니다.
  • 목표: 신경 신호 ($x$) 를 재구성하면서도, 각 잠재 그룹이 서로 다른 의미론적 요인을 분리하여 학습하도록 합니다.

2.2 상호 정보 (Mutual Information, MI) 가이드 확산 합성

• 문제: 기존 디코더나 단순한 잠재 공간 이동 (Latent Traversal) 은 잠재 공간의 미묘한 변화를 평균화하여 의미론적 변화를 명확히 보여주지 못하거나, fMRI 데이터에 적용되던 단순한 활성화 값 (Magnitude) 최적화 방식이 학습된 잠재 공간의 부호 (양/음) 의미와 맞지 않는 문제가 있습니다.
• 해결책 (MI-Guided Diffusion):
  • 특정 잠재 그룹 $z_g$를 교란 (Perturbation, $\tilde{z}_g = z_g + \gamma$) 시킵니다.
  • 확산 모델 (Diffusion Model) 을 사용하여 이미지를 생성할 때, 생성된 이미지 $\tilde{y}$와 교란된 잠재 $\tilde{z}_g$ 사이의 **상호 정보 (Mutual Information, MI)**를 최대화하도록 가이드합니다.
  • 수식: $p_\eta(y_t | z_g) \propto p_\theta(y_t) \cdot \exp(\eta \cdot MI(z_g, y_t))$ 형태로, 조건부 확률 분포를 MI 기반의 분류기 (Classifier) 로 유도합니다.
  • 의미: MI 최대화는 생성된 이미지가 잠재 공간의 교란으로 인한 모든 의미론적 정보를 보존하도록 강제하며, 단순한 평균 재구성을 방지합니다.
• 이미지 편집: DDIM (Denoising Diffusion Implicit Models) 의 결정론적 역전 (Inversion) 을 사용하여 원본 이미지의 구조적 정보 (레이아웃, 윤곽) 는 유지한 채, 의미론적 속성만 변경하는 편집을 수행합니다.

3. 주요 실험 및 결과 (Experiments & Results)

• 데이터셋: 두 마리의 원숭이 (Macaque M1, M2) 의 하측 측두엽 (IT) 에서 수집된 다중 세션 스파이킹 (Spiking) 데이터 (Majaj et al., 2015). 8 가지 기본 객체 카테고리 (얼굴, 자동차, 딸기, 테이블 등) 와 다양한 자세, 크기, 위치를 가진 5,760 개의 이미지.
• 실험 설정:
  • 잠재 차원 $D=24$, 그룹 수 $G=4$ (그룹 1, 2 는 지도 학습, 그룹 3, 4 는 비지도 학습).
  • MIG-Vis 를 사용하여 각 잠재 그룹을 교란하며 생성된 이미지를 시각화했습니다.

주요 발견 (Key Findings):

1. 명확한 의미론적 선택성 (Semantic Selectivity):

   • 그룹 1 (자세, Pose): 객체의 회전 (Rotation) 을 명확하게 조절하며, 객체 카테고리는 변하지 않습니다. 지도 학습 레이블 (회전 각도) 과 일치합니다.
   • 그룹 2 (카테고리 간 변화, Inter-category): 객체 카테고리 자체를 변경합니다 (예: 얼굴 $\to$ 딸기). 이는 명시적인 의미 특징 레이블 없이도 학습된 그룹이 고수준 카테고리 정보를 인코딩함을 보여줍니다.
   • 그룹 3 & 4 (카테고리 내 세부 내용, Intra-category): 비지도 학습된 그룹들이 객체 카테고리별로 다른 세부 특징 (얼굴의 시선 방향, 딸기의 질감/무늬 등) 을 선택적으로 조절합니다. 이는 신경 매니폴드가 전역적으로 정렬된 것이 아니라, 카테고리별로 국소적으로 구조화되어 있음을 시사합니다.

2. 비교 실험 (Baseline Comparison):

   • SLT (Standard Latent Traversal): 디코더 기반 방식은 의미 변화가 불명확하거나 카테고리 변화가 실패했습니다.
   • AP-CFG (Activation Probing): 회전은 잘 포착했으나, 카테고리 간 변화는 MIG-Vis 보다 덜 깔끔했습니다.
   • MI 가이드 제거 (Ours w/o MI): 확률적 인코더의 가능도 (Likelihood) 만을 최대화하는 방식은 복잡한 의미 변화 (카테고리 변경) 에서 비현실적이거나 일관성 없는 결과를 낳았습니다. MI 가이드는 생성된 이미지가 잠재 공간의 정보를 통계적으로 얼마나 잘 반영하는지를 요구하여 더 강력하고 정확한 의미론적 전환을 가능하게 했습니다.

3. 신경 매니폴드 기하학 (Neural Manifold Geometry):

   • 그룹 1 (자세): 모든 객체에서 동일한 의미 (회전) 를 인코딩하지만, 시각적 구현은 객체마다 다릅니다 (예: 얼굴은 시계 방향, 자동차는 반시계 방향). 이는 토러스 (Torus) 형태의 매니폴드를 가정할 수 있으며, 전역적으로 일관된 의미 구조를 가짐을 시사합니다.
   • 그룹 3 (세부 내용): 동일한 잠재 방향의 교란이 객체에 따라 완전히 다른 의미 (시선 방향 vs 질감 변화) 를 생성합니다. 이는 매니폴드가 **비선형적이고 왜곡 (Warped)**되어 있으며, 의미 해석이 객체 위치에 국소적으로 의존함을 보여줍니다.

4. 신경 재구성 품질:

   • 제안된 VAE 모델은 부분 상관 정규화와 약한 지도 학습을 도입했음에도 불구하고, 표준 VAE 와 비교하여 신경 신호 재구성 정확도 ($R^2$) 가 거의 감소하지 않았습니다 (약 1% 이내의 미세한 감소).

4. 주요 기여 (Contributions)

1. 최초의 전기생리학적 데이터 기반 의미 선택성 탐색: 고위 시각 피질의 전기생리학적 기록에서 의미론적 선택성을 가진 신경 잠재 그룹을 탐색한 최초의 연구입니다.
2. MI 기반 확산 합성 프레임워크: DDIM 기반의 결정론적 이미지 편집과 상호 정보 최대화 가이드를 결합하여, 신경 잠재 공간의 의미론적 의미를 직접적으로 시각화하고 검증하는 새로운 방법론을 제시했습니다.
3. 구조화된 의미 표현의 증거: 신경 잠재 공간이 단순한 선형 공간이 아니라, 자세 (전역적 일관성) 와 세부 내용 (국소적 구조화) 에 따라 기하학적으로 다르게 조직화된 복잡한 매니폴드임을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 연구는 고위 시각 피질이 어떻게 다차원적이고 구성적인 (Compositional) 방식으로 시각 정보를 인코딩하는지에 대한 직접적이고 해석 가능한 증거를 제공합니다. MIG-Vis 는 신경 과학자들이 신경 집단의 내부 구조를 '시각화'하고 가설을 검증할 수 있는 강력한 도구가 될 것이며, 향후 뇌의 신경 하위 공간 기하학을 형식적으로 규명하는 연구의 기초를 마련합니다. 또한, 이 방법은 뇌 - 컴퓨터 인터페이스 (BCI) 나 신경 기반 생성 모델 개발에도 중요한 통찰을 줄 수 있습니다.