An extremely coarse feedback signal is sufficient for learning human-aligned visual representations

기술 요약: 인간 정렬 시각 표현 학습을 위해 극도로 거친 피드백 신호만으로도 충분함

문제 제기
계산 신경과학의 근본적인 발견은 시각 과제를 위해 훈련된 심층 신경망이 영장류 시각 체계와 유사한 내부 표현을 발달시킨다는 것이다. 그러나 이 분야는 천 가지 객체 분류에서 개별 이미지를 구별하는 대비적 자기지도 학습 목표에 이르기까지 점점 더 세분화된 감독 신호를 향해 점진적으로 이동해 왔다. 비판적이지만 아직 검토되지 않은 중요한 질문이 남아 있다: 뇌와 유사한 표현을 산출하기 위해 최적화 목표가 얼마나 복잡해야 하는가? 생물학적 발달이 하위 범주화 전에 거친 구분 (예: 생동하는 것 vs. 비생동하는 것) 을 통해 진행되지만, 현대 AI 에서 사용되는 세분화된 피드백이 인간 지각 및 신경 반응과의 정렬을 달성하는 데 필수적이거나 심지어 최적인지 여부는 불분명하다.

방법론
감독 신호의 세분화 역할을 체계적으로 조사하기 위해 저자들은 수동 주석을 우회하여 시각 입력의 통계적 구조에서 직접 거친 범주 레이블을 생성하는 데이터 기반, 모달리티 무관 절차를 개발했다.

• 거친 세분화 절차: 사전 훈련된 소스 네트워크 (예: CLIP, AlexNet, ViT, DINOv3) 를 사용하여 모든 ImageNet 훈련 이미지에 대한 특징 표현을 추출했다. 이 표현 공간의 주성분 (PC) 을 계산했다. 첫 번째 주성분 (PC1) 을 따라 중앙값 분할을 수행하여 이진 분할을 생성했다. PC2, PC3 등을 따라 후속 분할을 수행하여 분할을 재귀적으로 반분함으로써 $2^n$개의 범주 (2, 4, 8, 16, 32, 64) 를 산출했다.
• 실험 설계: 수백 개의 신경망을 이러한 거친 분류 과제에서 다양한 아키텍처 (CNN, ResNet-50, ConvNeXt, Vision Transformers) 를 통해 처음부터 훈련했다. 모든 훈련 변수 (데이터셋, 증강, 하이퍼파라미터) 를 일정하게 유지하여 감독 세분화만을 유일한 실험 요인으로 격리했다.
• 평가 지표: 표현 정렬은 표현 유사성 분석 (RSA) 을 사용하여 측정했다. 훈련된 모델의 내부 표현을 다음 항목과 비교했다:
  1. 원숭이 전기생리학: THINGS 복측 스트림 스파이킹 데이터셋 (TVSD) 의 다중 유닛 스파이킹 반응.
  2. 인간 fMRI: 자연 장면 데이터셋 (NSD) 의 7T fMRI 반응.
  3. 인간 행동적 판단: THINGS 데이터셋의 약 470 만 건의 "가장 다른 하나 찾기" 실험에서 유도된 지각적 유사성 임베딩.

주요 결과

1. 신경 정렬: 극도로 거친 신호 (최소 2 개에서 8 개의 광범위한 범주) 로 훈련된 네트워크는 표준 1,000 클래스 ImageNet 목표로 훈련된 모델과 일치하거나 초과하는 원숭이 및 인간 시각 피질과의 신경 정렬을 달성했다. 이는 저수준 (V1) 과 고수준 (IT) 시각 영역 모두에서 유효했다.
2. 행동적 정렬: 거칠게 훈련된 네트워크는 세분화된 감독 모델, 자기지도 모델 (예: DINOv3), 대규모 시각 - 언어 모델 (예: CLIP) 을 포함한 모든 평가된 모델보다 인간 지각적 유사성 판단과 정렬하는 데 크게 우위를 보였다. 최대 성능은 4~8 개의 거친 범주로 관찰되었다.
3. 질적 차이: 표현 기하학의 시각화는 거친 감독이 단순히 세분화된 표현의 저해상도 버전을 생성하는 것이 아님을 드러냈다. 대신, 이는 인간 지각을 반영하는 광범위한 도메인 (예: 동물, 음식, 차량) 의 명확한 범주적 클러스터링을 가진 질적으로 구별되는 기하학을 생성하는 반면, 1,000 클래스 모델은 더 확산된 유사성 공간을 나타낸다.
4. 데이터 효율성: 저데이터 환경에서 ImageNet 데이터셋의 약 1% 만으로 훈련된 거친 모델은 전체 데이터셋으로 훈련된 1,000 클래스 모델보다 더 높은 행동적 정렬을 달성했다.
5. 일반화: 거친 감독의 이점은 현대 아키텍처 (ResNet, ConvNeXt, ViT) 전반에 걸쳐 지속되었으며, 레이블을 유도하는 데 사용된 특정 소스 네트워크에 의존하지 않았다 (CLIP, AlexNet, 픽셀 기반 분할 간 결과가 일관되었으나 픽셀 기반 분할은 정렬에 실패하여 고수준 의미 구조의 필요성을 시사함).

의의 및 주장
이 논문은 인간과 유사한 시각 표현이 놀라울 정도로 거친 피드백에서 나타난다고 주장하며, 뇌 정렬을 위해 세분화된 최적화가 필요하다는 지배적인 가정에 도전한다.

• 학습 신호의 재구성: 결과는 뇌 정렬 표현을 학습하는 데 필요한 최적화 목표가 이전 생각보다 훨씬 더 원시적일 수 있음을 시사한다. 단 4 개에서 8 개의 광범위한 도메인을 포함하는 거친 목표는 세분화된 인식보다 인간 지각에 대한 더 우수한 정렬을 산출할 수 있다.
• 원칙적인 AI 구축 경로: 거친 범주적 피드백은 인간 지각과 더 잘 정렬된 내부 표현을 가진 AI 시스템을 구축하기 위한 원칙적이고 주석 없는 경로를 제공한다. 이 접근법은 대규모 인간 행동 데이터에 대한 직접 최적화를 필요로 하지 않는다.
• 생물학적 타당성: 이 발견은 초기 시각 범주화가 거친 구분에 의존한다는 발달 증거와 부합한다. 저자들은 생물학적 메커니즘, 예를 들어 전두엽 피질에서의 피드백, 도파민성 보상 신호, 또는 시상 투사 등이 발달 과정에서 이러한 거친 감독 신호를 제공할 수 있다고 제안한다.
• 향후 방향: 이 연구는 거친 피드백이 후속 세분화 학습을 위한 표현적 발판을 확립하는 계층적 커리큘럼으로 가는 길을 열고, 거친 규모의 감독이 범용 시각 모델의 기초가 될 수 있음을 시사한다.