기술적 요약: 인간 뇌의 플라톤적 표현

문제 제기

강한 플라톤적 표현 가설은 독립적으로 훈련된 인공 신경망이 기하학적으로 유사한 표현으로 수렴하여, 쌍을 이루는 데이터나 공유된 입력 없이도 보편적 잠재 공간을 통해 임베딩을 모델 간에 변환할 수 있음을 주장합니다. 인공지능 비전 및 언어 시스템에서 이에 대한 증거가 존재하지만, 이 원리가 생물학적 신경 시스템으로 확장되는지는 아직 알려지지 않았습니다.

기존의 피험자 간 뇌 데이터를 정렬하는 신경과학 방법 (예: 하이퍼얼라이먼트) 은 일반적으로 교차 피험자 대응 관계를 확립하기 위해 공유 자극에 의존하거나 외부 참조 공간(예: 모델에서 유도된 특징) 에 의존합니다. 본 논문이 다루는 핵심 질문은 쌍을 이루는 교차 피험자 샘플이나 중간 모델 표현 없이 신경 반응의 고유 기하학만을 사용하여 독립적으로 학습된 뇌 표현으로부터 공유된 신경 기하학을 복원할 수 있는지 여부입니다.

방법론

저자들은 8 명의 피험자가 복잡한 자연 이미지를 관찰한 **자연 장면 데이터셋 **(NSD)을 사용하여 이 가설을 검증하는 3 단계 프레임워크를 제안합니다. 핵심적으로, 이 방법은 학습을 위해 피험자별, 비공유 이미지를 사용하고 평가 전용으로 공유 이미지의 홀드아웃 세트를 사용합니다.

1. 기하학 보존 임베딩 학습 (피험자별)

각 피험자 $s$에 대해, 자기지도형 인코더 $f_s$가 fMRI 반응 $X^{(s)}$를 저차원 임베딩 공간 $Z^{(s)}$로 매핑합니다.

• 반복을 통한 자기지도: 이 방법은 반복 자극 제시를 활용합니다. 반복을 평균내는 것 (독립성을 가정함) 대신, 인코더는 이를 안정적인 잠재 신호의 노이즈가 포함된 관측치로 취급합니다.
• 파이프라인:
  1. 볼륨 신뢰도 가중치 부여: 반복 간 상관관계에 기반하여 볼륨을 재가중치하여 노이즈를 억제합니다.
  2. 선형 투영: 신뢰도 가중치가 부여된 반응을 PCA 를 통해 투영한 후, 다중 뷰 정규 상관 분석 (MCCA) 을 수행하여 뷰 간에 공유되는 성분을 추출합니다.
  3. 비선형 정제: 잔차 멀티 레이어 퍼셉트론 (MLP) 이 선형 임베딩을 정제합니다. 모델은 동일한 이미지 (서로 다른 반복 간) 의 임베딩이 가깝고, 서로 다른 이미지의 임베딩은 분리되도록 대비 학습 InfoNCE 손실과 코사인 끌어당김 항을 사용하여 훈련됩니다.
• 목표: 외부 지도 없이 피험자의 자극 반응의 고유 조직을 반영하는 임베딩 공간 $Z^{(s)}$를 학습하는 것입니다.

2. 쌍별 뇌 - 뇌 변환

독립적으로 학습된 임베딩 $\{Z^{(s)}\}$이 주어지면, 저자들은 쌍을 이루는 데이터 없이 피험자 $s$의 공간을 피험자 $t$의 공간으로 변환하기 위한 직교 변환 $R_{s \to t}$를 찾습니다.

• 가짜 대응 관계: 학습 중 공유 이미지가 없으므로, 이 방법은 각 피험자의 임베딩 공간 (K-평균) 을 클러스터링하고 쌍별 유사성 구조에 기반하여 중심점을 매칭함으로써 가짜 매칭 쌍을 구성합니다.
• 반복적 정제: 반복적 최단 거리점 (ICP) 과 유사한 반복적 접근 방식이 직교 프로크루스테스 해를 정제합니다.
• 대칭화: 결과 회전 행렬은 전역 일관성을 위한 요구 사항인 $R_{t \to s} = R_{s \to t}^\top$을 보장하도록 대칭화됩니다.

3. 공유 잠재 공간 구성 (전역 동기화)

쌍별 변환을 넘어 단일 일관된 좌표계를 확립하기 위해, 저자들은 $O(d)$ 군에 대한 직교 동기화 문제를 풉니다.

• 쌍별 회전 행렬의 블록 행렬이 구성됩니다.
• 스펙트럴 방법이 각 피험자에 대한 단일 직교 변환 $R_s$를 복원하여 $R_{s \to t} \approx R_s R_t^\top$가 되도록 합니다.
• 이는 모든 피험자 임베딩을 공유 잠재 공간 $Z$로 매핑하여 피험자 그래프 전체에 대한 순환 일관성을 강제합니다.

주요 결과

피험자 내 성능

자기지도형 인코더는 노이즈가 포함된 fMRI 데이터에서 안정적인 자극 표현을 성공적으로 추출합니다.

• 검색: 동일한 피험자 내 반복 간 매칭 이미지를 검색할 때, 모델은 평균 순위 5.28(우연 = 258) 및 R@1 0.82를 달성합니다.
• 비교: 이는 직접적인 신경 베이스라인 (GLMsingle, PCA), 다중 뷰 자기지도 방법 (SplitAE, DeepCCA), 그리고 모델 기반 베이스라인 (CLIP, DINOv2) 보다 우수합니다. 반복 기반 자기지도는 외부 지도형 인코더보다 더 강력한 인스턴스 수준의 정보를 복원합니다.

교차 피험자 변환 (비지도)

이 방법은 쌍을 이루지 않은 데이터만을 사용하여 피험자 간 임베딩 변환에 성공합니다.

• 성능: 홀드아웃 공유 이미지에서 비지도 직교 변환은 피험자 쌍 간 평균 순위 2.56 및 R@1 0.78을 달성합니다.
• 베이스라인: 이는 "변환 없음" 제어군 (평균 순위 약 189) 및 최적 수송 매칭보다 현저히 우수합니다. 또한 외부 특징 공간에 의존하는 모델 기반 베이스라인 (예: CLIP, ViT) 보다도 우수합니다.
• 기하학: 높은 표현 유사성 분석 (RSA) 점수는 피험자별 공간이 근사적으로 등거리임을 나타냅니다.

공유 잠재 공간

쌍별 회전을 단일 공유 공간으로 동기화하면 성능이 더욱 향상됩니다.

• 개선: 전역 동기화는 평균 순위를 쌍별 기준 2.47 에서 1.97로 낮추고, R@1 을 0.79 에서 0.83으로 높입니다.
• 함의: 이는 독립적으로 학습된 피험자 공간이 공통 좌표계와 상호 호환적임을 확인시켜 줍니다.

모델 - 뇌 정렬

지도 학습 선형 매핑을 통해 복원된 신경 임베딩을 인공 신경망 (ANN) 계층에 매핑할 때:

• 릿지 회귀는 준직교 매핑에 비해 검색 성능 (평균 순위 약 5.86) 을 향상시켜, ANN 이 관련 자극 정보를 포착함을 나타냅니다.
• 그러나 이러한 지도 학습 매핑은 비지도 뇌 - 뇌 변환 (평균 순위 1.97) 보다 여전히 열등합니다. 이는 ANN 이 뇌와 정보를 공유하지만, 인간 피험자 간 관찰된 근사 등거리 기하학적 변환을 공유하지는 않음을 시사합니다.

중요성 및 주장

본 논문은 강한 플라톤적 표현 가설이 생물학적 신경 시스템에도 적용됨을 보여주는 최초의 증거를 제공한다고 주장합니다. 구체적으로:

1. 공유 기하학: 인간 시각 피질의 피험자별 fMRI 표현은 개인 간에 근사적으로 등거리입니다.
2. 보편적 잠재 공간: 이러한 표현은 쌍을 이루는 교차 피험자 샘플이나 외부 모델 앵커 없이 고유 데이터에서 학습된 순수 기하학적 변환(직교 회전) 을 사용하여 공유 좌표계로 변환될 수 있습니다.
3. 실용적 함의: 이 공유 기하학은 한 피험자로부터 학습된 데이터, 인코더, 디코더가 다른 피험자에게 전이될 가능성을 시사하며, fMRI-to-image 디코딩이나 합성 신경 데이터 생성과 같은 응용 분야에서 광범위한 피험자별 보정 필요성을 줄일 수 있습니다.

저자들은 한계에 대해 겸손하게 언급하며, 분석이 반복을 포함하는 고품질 fMRI 데이터에 의존하며, 쌍을 이루지 않은 변환 절차가 초기화에 민감함을 지적합니다. 그들은 현재 ANN 이 인간 기하학을 완벽하게 복제한다고 주장하는 것이 아니라, 뇌가 등거리 변환을 통해 모델이 아직 완전히 정렬하지 못한 복원 가능한 보편적 구조를 지니고 있다고 주장합니다.