Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules

기술 요약: 지도 학습은 생물학적으로 타당한 학습 규칙을 통한 초기 시각 피질 정렬을 빠르게 저하시킨다

문제 제기
시각적 과업을 수행하도록 훈련된 심층 신경망(DNN)이 영장류 시각 피질과 상관관계가 있는 표현을 발달시킨다는 사실은 잘 알려져 있으나, 훈련되지 않은 무작위 초기화 네트워크가 종종 훈련된 네트워크보다 초기 시각 영역, 특히 V1과의 정렬도가 높거나 더 우수하다는 역설적인 발견이 존재한다. 이는 학습이 본질적으로 뇌와의 정렬을 개선한다는 가정에 도전한다. 본 연구가 다루는 핵심 질문은 학습이 이러한 정렬을 개선하는지 혹은 침식시키는지이며, 생물학적으로 타당하지 않은 규칙부터 타당한 규칙에 이르는 다양한 학습 규칙들이 이러한 역동성에 어떤 영향을 미치는지이다.

연구 방법론
본 연구는 훈련 과정 전반에 걸쳐 신경망과 인간 fMRI 데이터 사이의 표현 유사성(representational similarity)의 진화를 조사한다.

• 아키텍처: 모든 조건에서 학습 규칙의 효과를 격리하기 위해 공유된 합성곱 아키텍처(3개의 합성곱 블록과 1개의 완전 연결 계층)를 사용하였다.
• 학습 규칙: 네 가지 뚜렷한 규칙이 구현되었다:
  1. 역전파 (Backpropagation, BP): 정확한 경사 하강법을 사용하는 표준 지도 학습.
  2. 피드백 정렬 (Feedback Alignment, FA): 역방향 패스에서 전방 가중치의 전치 행렬 대신 고정된 무작위 피드백 가중치를 사용함.
  3. 예측 부호화 (Predictive Coding, PC): 국소적 예측 오차와 반복적인 정교화 과정을 활용함.
  4. 스파이크 타이밍 의존 가소성 (Spike-Timing-Dependent Plasticity, STDP): 포아송 스파이크 열 내의 스파이크 타이밍 상관관계를 기반으로 가중치를 업데이트함.
• 훈련 프로토콜: 모델들은 CIFAR-10의 일부(8,000개 이미지)에 대해 40 에포크(epoch) 동안 훈련되었다. 활성화 값은 8개의 체크포인트(에포크 0, 2, 5, 10, 20, 30, 40 및 5개의 무작위 시드)에서 추출되었다.
• 평가: 표현 유사성 분석(Representational Similarity Analysis, RSA)이 THINGS 데이터베이스의 720개 물체 이미지를 사용하여 수행되었다. 모델의 표현 불연속성 행렬(RDM)은 세 명의 피험자로부터 얻은 6개의 시각 관심 영역(ROI: V1, V2, V3, V4, LOC, IT)에 대한 fMRI RDM과 비교되었다. 정렬도는 Spearman 순위 상관계수로 정량화되었다.
• 통계 분석: 5개의 시드를 대상으로 쌍체 일방 검정(paired, one-sided permutation tests)을 실시하였다. 제한된 시드 수($n=5$)로 인해 도달 가능한 최소 일방 $p$-값은 약 0.031이다.

주요 결과

1. 초기 시각 피질에서의 보편적 저하: 모든 학습 규칙은 단 1 에포크의 훈련만으로도 V1과의 정렬도를 감소시켰다. 그러나 저하의 크기는 유의미하게 달랐다:
   • 역전파 (BP): 가장 심각한 저하를 보였으며, 단 1 에포크 만에 초기 V1 정렬도의 90%를 상실했다 ($r$ 값이 0.102에서 0.011로 감소).
   • 피드백 정렬 (FA): 49%의 중간 정도 하락을 보였다.
   • 예측 부호화 (PC) 및 STDP: 상당 부분의 정렬을 보존하였으며, 각각 25%와 31%만을 상실했다. 40 에포크 시점에서 PC와 STDP는 BP나 FA보다 유의미하게 높은 V1 정렬도를 유지했다.
2. 초기 영역 간의 일반화: V1에서 관찰된 저하 패턴은 V2와 V3에서도 나타났으며, BP가 일관되게 가장 큰 하락을 보였다. 이 효과는 V4에서는 약화되었다.
3. 대상 선택적 피질에서의 상반된 경향: 외측 후두 복합체(LOC)에서는 약한 반대 경향이 관찰되었다. BP는 훈련 중 정렬도가 가장 크게 증가했다 ($r \approx 0$에서 $r \approx 0.011$). 반면, 국소 규칙(PC, STDP)은 무시할 만한 변화를 보였다. 저자들은 LOC의 이러한 변화가 절대적인 측면에서 작으며, 유의성 검정을 거치지 않았음을 언급하며 이를 암시적인 경향성으로 취급하였다.
4. 시드 변동성: 학습 규칙 간의 차이는 무작위적인 변동이 아니라 체계적이고 일관되게 시드 전반에 걸쳐 나타났다.

의의 및 주장
본 논문은 지도 학습이 초기 시각 표현의 정렬을 보편적으로 저하시키지만, 그 저하의 심각도는 학습 규칙에 따라 체계적으로 의존한다는 점을 주장한다.

• 귀납적 편향 vs. 학습: 훈련되지 않은 아키텍처는 학습을 통해서가 아니라 그들의 아키텍처(합성곱 필터, 풀링, 정규화)에 내재된 저수준 시각 통계치를 포착한다는 것을 시사한다. 훈련은 이러한 표현을 과업 관련 특징을 향해 재형성하며, 이를 통해 V1에 인코딩된 범용적인 통계치로부터 멀어지게 한다.
• 전역적 vs. 국소적 오차 신호: 저하의 정도는 오차 신호의 "전역성(globality)"과 상관관계가 있다. 층별로 정밀한 그래디언트를 전달하는 규칙(BP)은 국소 학습 규칙(PC, STDP)보다 초기 구조를 파괴하는 데 더 치명적이다. 전자는 V1의 구조를 더 많이 저하시키는 반면, 후자는 뇌와 같은 구조를 더 잘 보존한다.
• 표현의 트레이드오프(Trade-off): V1(저하)과 LOC(약한 증가)에서의 상반된 경향은 트레이드오프를 시사한다. BP의 전역적 오차 신호는 초기 시각 구조를 저하시키는 동시에 상위 계층에서 과업 관련 대상 표현을 구축하는 데 기여할 수 있다. 반대로, 국소 규칙은 V1 정렬을 보존하지만 강한 LOC 정렬 표현을 발달시키는 데는 실패하며, 이는 국소적 신용 할당(credit assignment)만으로는 계층적 대상 표현을 구축하기에 불충분할 수 있음을 시사한다.
• 피질 학습에 대한 시사점: 이러한 결과는 과업 최적화와 표현의 뇌 유사성 사이의 긴장을 강조한다. 뇌는 강력한 V1 표현을 유지하면서도 상위 영역에서 대상 선택성을 발달시키는데, 테스트된 어떤 단일 규칙도 이 조합을 완벽하게 달현하지 못했다. 이는 생물학적 학습 메커니즘이 단일 규칙보다 더 미묘한 접근 방식, 즉 국소적 보존과 계층적 신용 할당을 결합하는 방식이 필요할 수 있음을 의미한다.

인정된 한계점
저자들은 몇 가지 제약 사항을 언급하였다: 더 깊은 네트워크 대신 단순한 아키텍처(3 conv + 1 FC)를 사용한 점, CIFAR-10 훈련과 THINGS 평가 사이의 도메인 변화, 생물학적 STDP 및 PC의 단순화된 근사치 사용, 작은 fMRI 표본 크기(3명의 피험자), 그리고 5개 시드 설계로 인한 제한된 통계적 해상도. 또한, 절대적인 상관값 자체가 작기 때문에($r < 0.10$), 이것이 하위 신경 처리 과정에 갖는 실질적인 유의성에 대해서는 여전히 열린 문제로 남아 있다.