Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

기술적 요약: 역전파와 이미지에 대한 뇌 반응 계층 간의 불일치

문제 제기
심층 신경망 (DNN) 과 포유류 시각 체계는 순방향 표현 계층에서 놀라운 유사성을 공유하지만, 딥러닝의 핵심 학습 알고리즘인 역전파의 생물학적 타당성은 계산 신경과학에서 여전히 해결되지 않은 중심적인 질문으로 남아 있습니다. 표준 역전파는 시냅스 대칭성 (가중치 수송) 과 그래디언트의 하향식 계산을 요구하며, 이러한 메커니즘은 생물학적으로 타당하지 않다고 간주됩니다. 이전 연구들이 DNN 의 순방향 활성화가 대뇌 피질 계층과 정렬됨을 입증했음에도 불구하고, 역전파된 그래디언트의 하향식 계층이 신경 반응과 유사한 대응 관계를 보이는지는 아직 알려지지 않았습니다. 본 연구는 역전파된 그래디언트가 인간 뇌 활동에 매핑되는지, 그리고 그 공간적 및 시간적 조직이 역전파의 알고리즘적 예측과 정렬되는지 검증함으로써, 뇌가 역전파와 기능적으로 동등한 메커니즘을 구현하는지 여부를 다룹니다.

방법론
저자들은 고급 인코딩 분석과 결합된 다중 모달 신경영상 기법을 활용했습니다:

• 데이터 소스: 고시간 해상도를 위해 THINGS-MEG 데이터셋 (뇌자도, 4 명 참가자, 22,500 개 이미지) 을, 고공간 해상도를 위해 Natural Scenes Dataset(7T fMRI, 8 명 참가자, 10,000 개 이미지) 을 사용했습니다.
• 모델: 주 분석은 뇌의 예측 부호화에 대한 잠재적 의존성과 정렬되는 비지도 학습 목표를 가진 최첨단 자기지도 학습 비전 트랜스포머인 DINOv3 에 초점을 맞추었습니다. 일반화 가능성을 확보하기 위해 결과를 8 가지 다양한 비전 모델 (지도 학습 CNN, 지도 학습 ViT, 비전 - 언어 모델 (CLIP, SigLIP2 등) 포함) 에서 재현했습니다.
• 인코딩 분석: 저자들은 모델 특징을 신경 데이터에 매핑하기 위해 표준 선형 인코딩 분석을 적용했습니다.
  • 순방향 활성화: 계층별 활성화를 추출했습니다.
  • 역전파된 그래디언트: DINOv3 의 경우 교사 및 학생 네트워크 간의 표준 역전파를 사용하여, 다른 모델의 경우 기본 손실 함수를 사용하여 그래디언트를 계산했습니다.
  • 잔차 역전파: 그래디언트 고유 신호를 분리하기 위해, 저자들은 순방향 및 역방향 신호를 결합한 인코딩 점수에서 순방향 활성화의 인코딩 점수를 뺀 '잔차 역전파' 점수를 계산했습니다.
• 차원 축소: 그래디언트 벡터의 높은 차원성 (~400 만) 으로 인해, 신호는 무작위 행렬에 투영된 후 인코딩 전에 주성분 분석 (PCA) 을 통해 300 차원으로 축소되었습니다.
• 학습 역동성: DINOv3-S 를 처음부터 훈련하여 학습 반복 횟수에 따른 인코딩 점수의 진화를 관찰하는 실험의 하위 집합이 포함되었습니다.

주요 기여

1. 인코딩 분석의 확장: 본 연구는 표준 순방향 활성화 인코딩을 확장하여 역전파된 그래디언트를 신경 데이터에 매핑함으로써, 뇌에서의 학습 신호 상관관계에 대한 직접적인 검증을 제공합니다.
2. 잔차 그래디언트 매핑: 보수적인 잔차 분석을 도입함으로써, 저자들은 역전파된 그래디언트가 순방향 활성화만으로는 설명할 수 없는 신경 변이를 설명함을 입증했습니다.
3. 체계적 분리: 본 논문은 순방향 활성화가 뇌의 하향식 계층과 정렬되는 반면, 역전파된 그래디언트는 생물학적으로 타당한 역전파 이론에서 예측되는 하향식 시간적 및 공간적 조직을 따르지 않는다는 경험적 증거를 제공합니다.

결과

• 그래디언트의 예측력: DINOv3 및 기타 모델의 역전파된 그래디언트는 고차원 시각 피질과 후기 지연 시간에서 특히 fMRI 및 MEG 신호를 모두 신뢰성 있게 예측합니다. 이 매핑은 다양한 아키텍처와 학습 목표에 걸쳐 유지됩니다.
• 잔차 변이: 순방향 활성화와 독립적인 역전파 (잔차 역전파) 는 뇌 활동을 유의미하게 예측하며, 특히 후기 시각 피질 (예: 복내측 및 측두 - 후두엽 피질) 과 자극 후 0.5 초~1.7 초의 후기 시간 창에서 표현을 인코딩합니다.
• 공간적 불일치:
  • 순방향 통과: 얕은 계층은 초기 시각 영역 (V1) 을 예측하고, 깊은 계층은 연합 피질을 예측하여 하향식 계층을 반영합니다.
  • 역방향 통과: 역전파의 하향식 예측과 반대로, 깊은 그래디언트는 초기 감각 영역과 가장 잘 정렬되고, 얕은 그래디언트는 연합 영역과 정렬됩니다. 이는 음의 공간 상관관계를 나타내며, 기대되는 계층을 효과적으로 반전시킵니다.
• 시간적 불일치:
  • 순방향 통과: 인코딩이 순차적으로 정점을 이루며, 얕은 계층이 더 일찍, 깊은 계층이 더 늦게 정점을 이룹니다.
  • 역방향 통과: 역전파된 그래디언트의 모든 계층이 순방향 통과 마지막 계층과 동시에 정점을 이룹니다. 순차적인 하향식 지연은 없으며, 오류 신호가 대뇌 피질 계층을 통해 순차적으로 전파된다면 기대되는 시간적 계층을 그래디언트가 보여주지 않습니다.
• 학습 역동성: 순방향 및 역전파 점수는 훈련 중 로그적으로 증가하며 고차원 영역과 후기 지연 시간으로 확장됩니다. 반면, 잔차 역전파는 비단조적 궤적을 따르며, 교사 및 학생 네트워크가 수렴함에 따라 10,000 회 반복 시 정점을 찍은 후 감소합니다.

의의 및 주장
저자들은 심층 네트워크와 뇌가 순방향 활성화 정렬로 입증된 바와 같이 유사한 표현 내용을 공유할 수 있지만, 이러한 표현을 학습하기 위해 근본적으로 다른 메커니즘에 의존할 가능성이 있다고 결론지었습니다. 본 연구는 뇌에서 관찰된 역전파된 그래디언트의 공간적 및 시간적 조직이 생물학적으로 타당한 역전파 메커니즘 (예: 오류 신호의 순차적 하향식 전파) 하에서 기대되는 패턴과 현저히 다르다고 주장합니다.

본 논문은 이러한 발견이 생물학적 학습 이론에 대한 경험적 제약을 제공한다고 제시합니다. 결과가 그래디언트 기반 학습을 완전히 배제하는 것은 아니지만, 그러한 메커니즘이 뇌에 존재하더라도 표준 역전파의 특정 공간적 및 시간적 서명으로는 나타나지 않는다고 시사합니다. 저자들은 명시적인 오류 그래디언트 전파를 필요로 하지 않는 국소 헤비안 규칙, 대조 학습, 또는 예측 부호화 아키텍처와 같은 대안적 프레임워크가 관찰된 신경 역동성을 더 잘 설명할 수 있다고 제안합니다. 이 연구는 생물학적 학습의 효율성과 현재 딥러닝 알고리즘 사이의 잠재적 격차를 강조하며, 뇌의 실제 학습 전략을 이해하는 것이 더 효율적이고 강력한 기계 학습 접근법을 영감할 수 있음을 시사합니다.