기술적 요약: 비전 모델 간 범용 객체 표현의 특성 분석

문제 제기

다양한 아키텍처, 목적 함수, 데이터셋으로 학습된 심층 신경망 (DNN) 은 유사한 시각적 표현에 수렴하는 것으로 관찰되어 왔으며, 이는 때로 "플라톤적 표현 가설 (Platonic Representation Hypothesis)"로 불립니다. 그러나 이러한 공유 표현이 포착하는 구체적인 시각적 속성과 이 수렴을 이끄는 요인은 여전히 잘 이해되지 않고 있습니다. 주요 해결되지 않은 질문들은 다음과 같습니다:

1. 범용 표현은 고차원 개념적 속성 (예: 객체 카테고리) 을 반영하는가, 아니면 저차원 지각적 속성 (예: 엣지, 색상) 을 반영하는가?
2. 어떤 귀납적 편향 (아키텍처, 목적, 학습 데이터, 모델 크기, 또는 성능) 이 이러한 범용 차원의 출현을 주도하는가?
3. 이러한 공유 차원은 생물학적 시각 (신경 활동 및 인간 행동) 과 어떻게 관련되는가?

이전 연구는 모델들이 표현 구조에서 중첩됨을 입증했으나, 대규모이고 다양한 모델 세트를 걸쳐 범용 성분과 모델별 성분을 구분하기 위해 이러한 구조를 해석 가능한 비음수 (non-negative) 차원으로 체계적으로 분해하지는 못했습니다.

방법론

저자들은 다양한 데이터셋 (ImageNet, LAION, Taskonomy 등) 과 목적 (지도 학습, 자기지도 학습, 비전 - 언어) 으로 학습된 162 개의 다양한 비전 모델 (CNN, Transformer, MLP-Mixer, 하이브리드 포함) 을 분석했습니다. 분석 파이프라인은 다음 단계들을 포함했습니다:

1. 데이터 및 표현 추출:

   • 자극: 1,854 개의 기본 수준 객체 카테고리를 포괄하는 THINGS 데이터베이스의 22,248 개 객체 이미지.
   • 특징: 모든 162 개 모델에서 penultimate(두 번째 마지막) 층의 표현을 추출했습니다. penultimate 층은 행동 출력에 가장 근접하게 고차원 개념적 정보와 세밀한 지각적 정보를 통합하기 때문에 선택되었습니다.

2. 대칭 비음수 행렬 분해 (Symmetric NMF):

   • 서로 다른 특징 공간에서 모델 간 표현을 비교 가능하게 만들기 위해, 저자들은 먼저 각 모델에 대해 Radial Basis Function (RBF) 커널을 사용하여 쌍별 객체 유사성 행렬 ($S_m$) 을 계산했습니다.
   • 각 유사성 행렬을 Symmetric NMF 를 사용하여 소수의 비음수 차원 ($r=50$) 으로 분해했습니다: $S_m \approx W_m W_m^\top$.
   • 이는 각 모델에 대한 비음수 임베딩 $W_m$을 산출했으며, 여기서 각 열은 동일한 이미지 세트에 대한 로딩 (loadings) 으로 정의된 차원을 나타냅니다. 이 접근법은 차원이 "부분 기반 (parts-based)" 특징으로 해석 가능하도록 보장합니다.

3. 범용성 정량화:

   • 각 모델의 각 차원에 대해 범용성 점수를 계산했습니다. 이는 타겟 모델의 차원과 모든 다른 모델의 차원 간에 제곱 코사인 유사성을 기반으로 1:1 대응 (Hungarian 알고리즘을 통해) 을 찾는 과정을 포함했습니다.
   • 모델 $m$의 차원 $k$에 대한 점수는 다른 모든 $M-1$개 모델에서 가장 잘 일치하는 차원들과의 평균 유사성입니다.
   • 점수들은 우연한 정렬과 비음수성으로 인한 기준선 유사성을 보정하기 위해 무작위 순열(null distribution) 에 대해 보정되었습니다.

4. 특성 분석 및 검증:

   • 해석 가능성: 1,059 개의 대표 차원을 크라우드 소싱 참가자들이 의미론적 (semantic), 시각적 (visual), 둘 다, 또는 둘 다 아님으로 라벨링했습니다.
   • 구조적 분석: 차원이 객체 카테고리에 따라 이미지를 그룹화하는지 (카테고리 간 분산) 또는 카테고리 내 시각적 특징에 따라 그룹화하는지 (카테고리 내 분산) 를 결정하기 위해 카테고리 일관성 ($\eta^2$) 을 계산했습니다.
   • 생물학적 정렬: 범용 차원과 모델별 차원의 예측력을 다음에 대해 테스트했습니다:
     • 원숭이 하측 측두엽 (IT) 피질의 다중 단위 활동.
     • 인간 유사성 판단 (odd-one-out triplet 작업).
   • 통제된 비교: 저자들은 아키텍처, 목적 함수, 학습 데이터, 모델 크기, 성능의 영향을 분리하여 범용성에 미치는 영향을 확인했습니다.

주요 결과

1. 범용 차원의 존재

이 연구는 162 개의 다양한 모델에서 일관되게 반복되는 해석 가능한 범용 차원 세트를 식별했습니다. 범용성 점수는 우연 수준 (0.0003) 에서 0.54 까지 다양했으며, 가장 범용적인 차원은 모델 내 안정성 상한의 64% 에 도달했습니다. 이러한 범용 차원은 특정 모델 패밀리나 이미지 세트의 인공물이 아닙니다. 왜냐하면 부트스트랩 리샘플링과 이미지 세트 변경 (THINGS 대 ObjectNet) 하에서도 순위가 안정적으로 유지되었기 때문입니다.

2. 범용 차원 대 모델별 차원의 본질

• 범용 차원: 이러한 차원은 인간에게 훨씬 더 해석 가능합니다. 높은 범용성 수준에서 80% 의 차원은 의미론적 또는 혼합 의미론적 - 시각적으로 라벨링되었으며, 강력한 카테고리 일관성 (객체 카테고리에 따라 이미지를 그룹화) 을 보였습니다.
• 모델별 차원: 이러한 차원은 대부분 해석 불가능하며 (낮은 범용성에서 78% 가 "둘 다 아님"으로 라벨링됨), 개념적 구조보다는 지각적 이미지 속성 (질감, 색상, 시점) 에 의해 주도됩니다. 이들은 높은 카테고리 내 분산을 보입니다.
• 재구성 중요성: 결정적으로, 범용성은 차원이 모델의 전체 유사성 구조 (재구성 중요성) 에 기여하는 정도와 상관관계가 없습니다. 범용 차원과 모델별 차원 모두 모델의 표현 기하학에 동등하게 기여합니다.

3. 범용성의 동인

저자들은 단 하나의 귀납적 편향도 범용 차원의 출현을 설명하지 못한다는 사실을 발견했습니다:

• 아키텍처: CNN, Transformer, MLP-Mixer, 또는 하이브리드 간 범용성에 유의미한 차이가 없었습니다.
• 목적 함수: Taskonomy 패밀리 내에서 의미론적 작업이 기하학적 작업보다 더 많은 범용 차원을 생성했지만, 더 넓은 모델 zoo 전반에 걸쳐 단일 목적 (예: 대비 대 비대비, 비전 - 언어 대 비전 전용) 이 범용성을 일관되게 주도하지는 않았습니다.
• 학습 데이터: 데이터셋 규모 (ImageNet-1K 대 21K) 나 특정 웹 규모 데이터셋 (LAION, DFN, MetaCLIP) 모두 범용성 점수를 유의미하게 변경하지 않았습니다.
• 모델 크기/성능: 범용성은 파라미터 수나 ImageNet top-1 정확도와 상관관계가 없었습니다.

4. 생물학적 시각과의 정렬

범용 차원의 비율이 높은 모델은 다음을 더 잘 예측합니다:

• 신경 활동: 원숭이 IT 피질의 다중 단위 활동 ($r = 0.74$).
• 인간 행동: odd-one-out 작업에서의 인간 유사성 판단 ($r = 0.76$).
  또한, 모델 차원의 "범용 절반"(점수 상위 25 개) 은 신경 및 행동 데이터를 예측하는 데 모델별 절반보다 유의미하게 우월합니다.

의의 및 주장

이 논문은 범용성이 성공적인 시각 표현 학습의 출현적 속성이지 특정 아키텍처나 학습 선택의 결과가 아니라고 주장합니다. 발견들은 다음과 같은 점을 시사합니다:

• 다양한 모델은 생물학적 시각과 정렬되는 공유된 개념적이고 해석 가능한 객체 표현 세트로 수렴합니다.
• 이 수렴은 모델별 귀납적 편향보다는 시각 세계 자체의 제약에 의해 주도됩니다.
• 해석 가능성, 개념적 내용, 그리고 생물학적 정렬은 모델들이 수렴하는 구조에서 공존합니다.

저자들은 이 작업을 비전 표현 학습의 "왜 (why)"를 이해하기 위한 한 걸음으로 위치시키며, 모델별 특징의 "분열된" 성질에도 불구하고 생물학적 시각 시스템의 조직을 반영하는 견고한 범용 핵심이 존재함을 보여줍니다. 그들은 명시적으로 이 수렴이 완전하지는 않다고 언급합니다 (범용 차원은 완벽한 점수를 갖지 않으며, 모델별 차원은 여전히 유의미함). 하지만 공유된 구조는 뇌 및 행동과의 정렬을 설명하기에 충분합니다.

이 논문은 공통 입력을 처리하는 임의의 모델 세트에서 공유 대 특정 표현을 이해하기 위한 일반화 가능한 접근법을 제공하며, 단순한 표현 정렬 지표를 넘어 수렴의 내용을 특성화하는 것으로 결론을 맺습니다.