Bidirectional representational alignment between biological and artificial neural networks

기술 요약: 생물학적 및 인공 신경망 간의 양방향 표현 정렬 (Bidirectional Representational Alignment)

문제 제기
계산 신경과학 및 기계 학습 분야의 최근 연구들은 생물학적 신경망과 인공 신경망 사이의 표현 정렬(representational alignment)이 본질적으로 비대칭적이라는 사실을 밝혀냈습니다. 구체적으로, 인공 모델의 표현은 생물학적 신경 반응을 예측하는 능력(순방향 예측성, forward predictivity)이 생물학적 반응이 인공 모델의 표현을 예측하는 능력(역방향 예측성, reverse predictivity)보다 현저히 높습니다. 작업 최적화(task optimization)는 신경 표현의 근본적인 원리를 회복할 수 있지만, 작업 성능의 향상이 반드시 정렬의 개선으로 이어지는 것은 아닙니다. 이러한 비대칭성은 "학습된 특징의 표현 기하학(representational geometry)이 이러한 양방향 불일치에 기여하는가?"라는 중요한 질문을 던집니다. 저자들은 표현의 스펙트럼 기하학이 학습 과정 중에 체계적으로 조절될 수 있으며, 이를 통해 정렬을 변조할 수 있다는 가설을 세웠습니다.

방법론
이 가설을 검증하기 위해, 저자들은 **스펙트럼 정규화(spectral regularization)**와 **양방향 예측성 분석(bidirectional predictivity analyses)**을 통합한 계산 프레임워크를 개발했습니다.

• 모델 및 데이터셋: 이 프레임워크는 자기 지도 대조 학습(self-supervised contrastive learning) 모델인 SimCLR(ResNet-50 인코더 사용)을 사용하여 구현되었습니다. 학습에는 ImageNet-1k의 일부 서브셋을 사용하였고, 평가는 마카크 원숭이의 하측두(inferotemporal, IT) 피질 벤치마크(3,200개의 시각 자극에 대한 신경 반응 포함)를 사용하여 수행되었습니다.
• 스펙트럼 스티어링(Spectral Steering): 핵심 혁신은 표준 InfoNCE 대조 손실(contrastive loss)에 스펙트럼 정규화 항을 추가하는 것입니다. 이 항은 학습된 표현의 고유값 스펙트럼(eigenspectrum)에서 목표 스펙트럼 감쇄 지수($\hat{\alpha}$)로부터의 편차를 벌칙(penalty)으로 부과합니다.
  • 정규화는 강한 순방향 예측성을 보이는 것으로 알려진 encoder.layer4.0.bn1의 활성화 값에 적용됩니다.
  • 스펙트럼 지수 $\alpha$는 정규화된 설명 분산(주성분 5~15)의 로그-로그 스펙트럼에 대한 최소제곱법(ordinary least squares)을 통해 추정됩니다.
  • 전체 손실 함수는 $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$이며, 여기서 $\lambda$는 정규화 강도를 제어합니다.
• 평가 지표:
  • 순방향 예측성(Forward Predictivity): 모델 활성화가 신경 반응을 얼마나 잘 예측하는지 측정합니다 (모델에서 뉴런으로의 리지 회귀).
  • 역방향 예측성(Reverse Predictivity): 신경 반응이 모델 활성화를 얼마나 잘 예측하는지 측정합니다 (뉴런에서 모델로의 리지 회귀).
  • 양방향 예측성(Bidirectional Predictivity, BPI): 비대칭성을 벌칙으로 부여하면서 정렬을 정량화하는 합성 지표($BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$)입니다.
  • 유효 차원(Effective Dimensionality): 설명 분산 스펙트럼의 참여 비율(participation ratio)을 통해 계산됩니다.
• 실험 설계: 모델은 다양한 목표 스펙트럼 지수($\hat{\alpha}$)와 정규화 강도($\lambda$)를 가지고 학습되었습니다. 정규화 강도로 인해 정확한 목표치에 도달하지 못할 경우를 고려하여, 분석은 목표값이 아닌 측정된 스펙트럼 지수($\alpha$)를 기준으로 수행되었습니다.

주요 결과
실험 결과, 표현 기하학을 조절하는 것이 양방향 정렬에 체계적으로 영향을 미친다는 것이 입증되었습니다.

1. 스펙트럼 기하학의 제어: 스펙트럼 정규화는 학습된 표현의 측정된 스펙트럼 지수를 성공적으로 조절했습니다. 정규화 강도($\lambda$)가 강할수록 측정된 지수와 목표 지수 사이의 일치도가 높아졌습니다.
2. 비대칭성 감소:
   • 역방향 예측성: 측정된 스펙트럼 지수($\alpha$)가 증가함에 따라 역방향 예측성이 크게 향상되었습니다. $\lambda=3$일 때, 역방향 설명 분산은 베이스라인의 12%에서 가장 높은 $\alpha$ 구간에서 29%까지 개선되었습니다.
   • 순방향 예측성: 스펙트럼 정규화 하에서 순방향 예측성은 베이스라인에 비해 소폭 감소했으나, 고정된 정규화 강도 내에서 서로 다른 측정된 $\alpha$ 값에 대해 비교적 안정적인 상태를 유지했습니다.
   • 양방향 예측성: 순 효과는 양방향 예측성의 유의미한 개선이었으며, 약 20%에서 31%로 증가했습니다(상대적 개선율 55%). 이는 순방향-역방향 비대칭성의 실질적인 감소를 나타냅니다.
3. 메커니즘적 통찰:
   • 공통 유닛(Common vs. Unique Units): 개선 효과는 "공통 유닛"(역방향 예측성에 의해 상위 20%로 랭크된 모델 유닛들)에서 가장 두드러졌습니다. 이 하위 집합에서는 중간 정도의 스펙트럼 지수에서 순방향 및 역방환 예측성이 거의 대칭을 이루었습니다.
   • 차원성: 스펙트럼 지수의 증가는 유효 차원의 감소를 동반했으며, 이는 스펙트럼 스티어링이 표현의 분산을 더 적은 유효 차원으로 집중시킨다는 것을 시사합니다.
   • 서브스페이스 재구성: 이러한 결과는 스펙트럼 정규화가 인공 네트워크와 생물학적 네트워크 간에 공유되는 표현 서브스페이스(representational subspace)를 우선적으로 재구성하여, 모델 표현으로부터 신경 활동의 선형 회복 가능성(linear recoverability)을 높인다는 점을 시사합니다.

의의 및 주장
본 논문은 표현 기하학이 조절 가능한 속성이며, 이것이 양방향 표현 정렬을 직접적으로 변조한다는 것을 보여주는 통제된 프레임워크를 제공합니다.

• 고정된 비대칭성에 대한 반박: 저자들은 순방향-역방환 비대칭성이 작업 최적화된 모델의 고정된 특성이라는 관념을 반박합니다. 대신, 학습 과정 중 스펙트럼 기하학을 변경함으로써 이를 체계적으로 줄일 수 있음을 보여줍니다.
• 인과적 요인으로서의 기하학: 결과는 표현 기하학이 정렬 품질에 기여한다는 가설을 뒷받침합니다. 구체적으로, 스펙트럼 지수를 높이는 것은 순방향 측면의 치명적인 손실 없이 "역방향" 정렬을 개선합니다.
• 지수 매칭 그 이상의 의미: 본 연구는 시각 피질에서 관찰되는 전형적인 스펙트럼 지수($\alpha \approx 1$)를 넘어 정렬이 계속 개선된다는 점에 주목합니다. 이는 단순히 생물학적 스펙트럼 통계치를 맞추는 것만으로는 정렬을 극대화하기에 충분하지 않으며, 오히려 스티어링(steering) 과정 자체가 유익한 재구성을 유도한다는 것을 시사합니다.
• 한계 및 범위: 저자들은 본 연구가 특정 아키텍처(ResNet-50)와 단일 신경 벤치마크를 사용한 초기 시연임을 겸허히 밝히고 있습니다. 스펙트럼 지수는 기하학의 한 가지 특성일 뿐이며, 다른 기하학적 속성들도 역할을 할 수 있음을 인정합니다. 향후 연구를 통해 다양한 아키텍처, 학습 목적 함수 및 데이터셋에 걸쳐 이러한 발견을 일반화할 필요가 있습니다.

요약하자면, 이 연구는 인공 네트워크의 내부 기하학을 "스티어링"하여 생물학적 시스템과 더 잘 정렬시키는 방법을 확립하였으며, 이는 메커니즘적 해석 가능성(mechanistic interpretability)과 지능의 창발(intelligence emergence) 연구에 새로운 경로를 제시합니다.