Interpreting V1 Population Activity via Image-Neural Latent Representation Alignment

기술적 요약: 듀얼-타워 이미지-신경 정렬 (DINA)

문제 제기
1 차 시각 피질 (V1) 에서 시각적 계산을 뒷받침하는 신경 메커니즘을 이해하는 것은 여전히 핵심적인 과제입니다. 최근 정렬 기반 접근법들은 뇌 활동으로부터 시각적 자극을 디코딩하는 정확도를 향상시켰지만, 이러한 방법들은 종종 예측 성능만을 최적화하는 "블랙박스"로 정렬 과정을 취급합니다. 결과적으로 이러한 방법들은 성공적인 디코딩을 가능하게 하는 구체적인 신경 계산과 중간 특징 표현에 대한 통찰력을 제한적으로 제공합니다. 기존의 인코딩 및 디코딩 모델들은 일반적으로 원시 이미지 수준에서 작동하며, 신경 집단이 실제로 인코딩하는 중간 특징 맵을 명시적으로 모델링하지 못합니다. 따라서 자극을 정확하게 디코딩할 뿐만 아니라 잠재적 특징 맵에 대한 해석 가능한 접근을 제공하여 집단 수준의 계산 원리를 탐구할 수 있는 프레임워크가 필요합니다.

방법론: 듀얼-타워 이미지-신경 정렬 (DINA)
이를 해결하기 위해 저자들은 DINA 를 제안합니다. 이는 시각적 자극과 해당 V1 집단 반응을 중간 특징 맵 수준에서 공유 잠재 공간에 정렬하는 해석 가능한 대비적 프레임워크입니다. 이 아키텍처는 공동으로 훈련되는 두 개의 생물학적 동기를 가진 타워로 구성됩니다:

1. 이미지 타워: 대뇌 피질의 시각적 처리를 반영하도록 설계된 이 타워는 국소 및 전역 정보의 병렬 처리에서 영감을 받은 듀얼-스트림 아키텍처를 사용합니다.

   • 국소 스트림: 깊이별 합성곱 (depth-wise convolutions) 을 사용하여 고해상도 입력을 처리하고 공간적으로 국소화된 패턴을 추출합니다.
   • 전역 스트림: 자기-주의 (self-attention) 메커니즘을 사용하여 저해상도 입력을 처리하고 장거리 문맥적 의존성을 포착합니다.
   • 공-주의 (Co-Attention): 스케일 간 공-주의 메커니즘은 국소 및 전역 스트림 간의 양방향 정보 교환을 가능하게 하여 정교한 구조를 전역 문맥과 통합합니다.
   • 출력: 이 타워는 공간 구조를 보존하는 컴팩트한 단일 채널 특징 맵 (1×16×64) 을 생성합니다.

2. 신경 타워: 이 타워는 이미지 타워 출력의 차원과 일치하는 집단 수준의 신경 반응 (예: 2 광자 칼슘 영상 데이터) 으로부터 잠재 표현을 재구성합니다.

   • 임베딩: 개별 뉴런은 뉴런별 반응 특성을 포착하기 위해 학습 가능한 임베딩 벡터에 매핑됩니다.
   • 자기-주의: 자기-주의 모듈은 신경 집단 내 상호작용을 모델링하여 정보 있는 반응들을 통합하고 증폭합니다.
   • 집계: 뉴런별 집계 레이어는 상호작용 인지 표현을 스칼라 값으로 투영한 후, 이를 다층 퍼셉트론 (MLP) 을 통과시켜 최종 잠재 특징 맵 (16×64) 을 생성합니다.

3. 훈련 목적: 두 타워는 이미지-신경 쌍의 배치에 대해 대비적 목적 함수 (InfoNCE 손실) 를 사용하여 훈련됩니다. 이는 공유 잠재 공간에서 일치하는 이미지-신경 시도를 정렬시키고 불일치 쌍을 분리하도록 장려합니다.

주요 결과
마우스 V1 의 대규모 2 광자 칼슘 영상 데이터 (~10,000 개 뉴런 및 2,800 개 자극 포함) 에 대해 평가된 DINA 는 다음과 같은 결과를 보입니다:

• 디코딩 성능: DINA 는 신뢰할 수 있는 신경 기반 디코딩을 달성하여, 4 마리의 마우스에 걸쳐 평균 top-1 검색 정확도 36.8% 및 top-5 정확도 60.5% 를 기록했습니다. 이는 표준 시각 인코더 (VGG-16 및 ViT) 를 MLP 리드아웃과 짝지은 기준선 모델들을 능가합니다.
• 정렬된 표현의 본질: 정렬된 특징 맵에 대한 분석은 성공적인 디코딩이 의미 범주 정보나 정교한 세부 사항보다는 거친 저수준 시각적 구조에 주로 의해 지원됨을 보여줍니다. 이는 다음과 같은 증거로 입증됩니다:
  • 이미지와 신경 특징 맵 간의 높은 구조적 유사성 (SSIM) 과 낮은 지각적 거리 (LPIPS).
  • 자연 이미지와 유사하지만 저주파 구조에 의해 지배되는 고차 성분의 급격한 감소를 보이는 분산 스펙트럼.
  • 통제된 자극 조작: 저차원 구조가 제거된 경우 (백색화 이미지) 검색 정확도가 급격히 하락하지만, 거친 구조를 유지하는 저차원 (8 차원) 이미지의 경우 높은 정확도를 유지합니다.
• 공간적 기여: 이미지 타워에 대한 해석 가능성 분석은 정렬된 특징 맵이 균일한 통합이 아니라 여러 공간적으로 분산된 영역 ("블롭") 에서 비롯됨을 보여줍니다. 이러한 영역은 형태 및 질감 단서를 모두 포착하며, 혼합된 표현이 가장 흔합니다.
• 신경 리드아웃 메커니즘: 신경 타워에 대한 제거 실험은 정렬된 특징 맵이 주로 강하게 반응하는 뉴런의 희소 부분집합에 의해 재구성됨을 보여줍니다 (집단의 약 12% 만으로도 높은 유사성을 회복하기에 충분함). 또한, 기능적 상호작용 (주의 점수를 통해 모델링됨) 은 매우 치우쳐 있어, 소수의 연결이 불균형하게 큰 가중치를 지니며, 이는 희소하고 효율적인 대뇌 피질 코딩과 일치합니다.

주요 기여

1. 분석적 프레임워크: 저자들은 대비적 이미지-신경 정렬을 단순한 디코딩 도구가 아닌, 집단 수준 신경 계산을 탐구하기 위한 일반적인 분석 프레임워크로 공식화했습니다.
2. 생물학적 기반 아키텍처: 저자들은 대뇌 피질 시각 처리 (병렬 국소/전역 경로 및 집단 상호작용) 에서 영감을 받은 듀얼-타워 모델을 제안하여, 신뢰할 수 있는 디코딩을 달성하면서도 V1 에서 정렬된 특징 맵을 생성합니다.
3. 메커니즘적 통찰: 다수준 해석 가능성 분석은 V1 집단 코딩이 저수준 시각적 구조, 공간적으로 분산된 자극 기여도, 그리고 고도로 반응하는 뉴런과 비균일한 기능적 상호작용을 포함하는 희소 신경 리드아웃 메커니즘에 의해 주도됨을 밝힙니다.

의의 및 주장
이 논문은 DINA 가 V1 의 시각적 처리를 뒷받침하는 계산 메커니즘을 탐구하기 위한 원칙적인 프레임워크를 제공한다고 주장합니다. 중간 특징 맵 수준에서 표현을 정렬함으로써, 이 프레임워크는 단순한 디코딩 정확도를 넘어 시각 정보가 어떻게 표현되는지를 드러냅니다. 결과는 V1 집단 활동이 거친 저차원 구조를 인코딩하며, 이러한 인코딩이 희소하고 분산된 신경 메커니즘에 의존함을 확인시켜 줍니다. 저자들은 이 작업을 뇌-컴퓨터 인터페이스나 현실 세계 의사결정을 위한 직접적인 도구가 아니라, 계층적 조직을 탐구하기 위해 이러한 정렬 프레임워크를 다른 뇌 영역으로 확장할 수 있는 길을 제공하는 신경과학의 메커니즘적 조사를 위한 도구로 위치시킵니다.