기술 요약: 글로벌 기하학은 시각적 표현을 설명하기에 불충분하다

1. 문제 제기

시각적 표현 학습(visual representation learning)의 지배적인 가정은 등방성(isotropy), 균일성(uniformity), 높은 유효 차원성(high effective dimensionality)과 같은 특성으로 특징지어지는 전역적으로 잘 분포된 임베딩이 견고하고 일반화 가능한 표현을 지원한다는 것이다. 이러한 기하학적 관점은 대조 학습(contrastive alignment), 분산 디코리레이션(variance decorrelation) 등의 학습 목적 함수를 형성하고 평가 프로토콜을 구축하는 데 영향을 미쳤으며, 전역 기하학을 표현 능력의 대리 지표로 취급해 왔다.

그러나 시각적 장면은 단순히 요소들이 존재하는 것뿐만 아니라, 그 요소들이 어떻게 배치되고 관계를 맺는지에 대한 **구성적 결합(compositional binding)**에 의해 정의된다. 즉, 전역 기하학은 어떤 특징이 존재하는지는 효과적으로 인코딩할 수 있지만, 그 특징들이 어떻게 구성되어 있는지에는 둔감할 수 있다. 본 논문은 표준적인 기하학적 지표가 모델의 구성적 결합 능력을 예측할 수 있는지, 아니면 이 능력이 측정되지 않은 다른 차원의 표현 품질에 의존하는지를 조사한다.

2. 방법론

실험 설정

저자들은 7가지의 뚜렷한 학습 목적 함수 계열에 걸친 26개의 사전 학습된 비전 인코더를 평가하였다:

• 분산 디코리레이션(Variance Decorrelation): Barlow Twins, VICReg
• 마스크드 모델링(Masked Modeling): MAE, BEiT, BEiTv2
• 클러스터링/증류(Clustering/Distillation): DINO, DINOv2, SwAV
• 대조 학습(Contrastive): MoCo v3
• 시각-언어(Vision-Language): CLIP, SigLIP, EVA-CLIP
• 지도 학습(Supervised): ConvNeXt, ViT

구성적 결합 능력을 질감 인식이나 객체 탐지와 같은 혼란 변수로부터 격리하기 위해, 저자들은 합성 속성 결합(Attribute Binding) 벤치마크를 설계하였다.

• 태스크: 모델은 쿼리 이미지와 타겟 이미지를 형상-위치 결합(예: "파란 사각형 왼쪽의 빨간 원")을 기준으로 매칭해야 한다.
• 제약 조건: 쿼리와 타겟은 서로 다른 색상 세트를 사용하여 색상 공생(color co-occurrence)에 의존하는 것을 방지함으로써, 모델이 추상적인 공간 관계에 의존하도록 강제한다.
• 대조군: 단순한 구조적 식별을 측정하기 위해 "동일/다름(Same/Different)" 프로브를 사용하여, 이를 진정한 관계적 결합과 구분하였다.

평가 지표

1. 기하학적 지표 (정적):
   • 전역 참여 비율 (G.PR): 전역 유효 차원을 측정한다.
   • 전역 등방성 점수 (G.Iso): 상위 주성분 너머의 분산 분포를 측정한다.
   • 국소 등방성 (L.Iso): 임베딩 공간 내 국소 이웃의 등방성을 측정한다.
2. 기능적 지표 (동적):
   • 자코비안 유효 랭크 (JER): 입력-출력 자코비안($J_f(x) = \partial f(x) / \partial x$)의 유효 랭크를 측정한다. 이는 입력 섭동에 의해 유도되는 표현 공간의 국소적 변화의 차원을 정량화하며, **기능적 민감도(functional sensitivity)**를 특징짓는다.
3. 리드아웃 분석 (Readout Analysis):
   • 저자들은 코사인 유사도가 실패했을 때, 대안적인 기하학 기반 리드아웃(kNN, Local PCA)이 고정된 임베딩으로부터 결합 정보를 복구할 수 있는지 테스트하였다.

3. 주요 결과

기하학적 지표는 결합을 예측하지 못함

• 상관관계 없음: 표준 기하학적 지표(G.PR, G.Iso, L.Iso)는 모든 26개 모델에 대해 구성적 결합 정확도와 거의 상관관계가 없었다 (예: G.Iso의 경우 $r \approx 0.11, p > 0.5$).
• 직교성: 우수한 기하학적 특성(예: 높은 등방성)이 기능적 결합 성능으로 이어지지는 않는다. 우수한 전역 기하학을 가진 모델(DINOv2 또는 CLIP 등)도 결합 태스크에서는 무작위 수준의 성능을 보였다.
• 강건성: 이러한 영(null) 결과는 다양한 하이퍼파라미터 선택(이웃 크기 $k$) 및 지표 공식(Effective Rank, Participation Ratio)에 걸쳐 유지되었다.

기능적 민감도는 결합을 예측함

• 강한 상관관계: 자코비안 유효 랭크(JER)는 결합 정확도와 강한 양의 상관관계를 보였다 ($r = 0.69, p < 0.001$).
• 예측력: JER와 "동일/다름" 식별 정확도를 결합한 이변량 회귀 분석은 결합 성능 분산의 **78%**를 설명했다 ($R^2 = 0.78$).
• 목적 함수 의존성:
  • 분산 디코리레이션 목적 함수(Barlow Twins, VICReg)는 높은 JER(28.8)를 유지하며 가장 높은 결합 정확도(44%)를 달성했다.
  • 대조 학습 및 시각-언어 목적 함수(CLIP, DINOv2)는 자코비안 스펙트럼에서 "랭크 붕괴(rank collapse)"를 보였으며, 낮은 JER(18–20)와 무작위 수준의 결합 정확도(13%)를 나타냈다.
  • 지도 학습 모델은 가장 낮은 JER(~14.1)를 보였다.

랭크 붕괴의 메커니즘

• 스펙트럼 분석: 분산 디코리레이션 모델은 완만하게 감소하는 평탄한 특이값 스펙트럼을 유지하여, 여러 입력 방향에 걸쳐 균일한 민감도를 나타낸다. 반면, CLIP 및 DINOv2와 같은 모델은 급격한 스펙트럼 감소를 보여 소수의 지배적인 모드에 민감도가 집중된다.
• 깊이 분석: 랭크 붕괴는 목적 함수에 따라 다른 단계에서 발생한다. CLIP과 DINOv2는 중간 네트워크(블록 5–8)에서 붕괴가 발생하는 반면, MAE는 백본에서는 높은 랭크를 유지하지만 투영 레이어(projection layer)에서 급격히 붕형된다.
• 리드아웃의 한계: 대안적인 기하학적 리드아웃(kNN, Local PCA)은 낮은 JER를 가진 모델의 결합 정확도를 개선하는 데 실패하였으며, 이는 결합 정보가 사후적인 기하학적 조작을 통해 복구될 수 있는 성질이 아님을 시사한다.

일반화

• JER와 결합 성능 사이의 상관관계는 CLIP 계열 내의 자연 이미지(SugarCrepe 벤치마크)로 일반화되었으며, 제로샷 ImageNet 정확도를 통제한 후에도 JER가 성능을 예측하였다 ($r = 0.69$).

4. 이론적 설명

본 논문은 기하학적 규칙성과 기능적 민감도 사이의 격차가 목적 함수의 설계에서 기인한다고 주장한다:

• 분산 디코리레이션: 이러한 목적 함수는 증강(augmentation)을 통해 2차 특징 통계량(공분산)을 명시적으로 제약한다. 이는 손실 함수가 자코비안($J(x)\Sigma_\delta J(x)^\top$)을 직접적으로 형성하도록 강제하여, 여러 입력 방향에 걸쳐 민감도를 보존하고 높은 JER를 유지하게 한다.
• 대조/클러스터링/마스크/시맨틱: 이러한 목적 함수는 랭크가 부족한 투영(예: 유사도 또는 재구성 오차의 그래디언트)을 통해서만 자코비안을 제약한다. 이들은 특정 태스크(예: 시맨틱 정렬 또는 인스턴스 식별)에 직교하는 방향들을 제약하지 않은 채로 두며, 결과적으로 기능적 랭크의 붕괴와 구성적 민감도의 상실을 초래한다.

5. 의의 및 주장

저자들은 전역 임베딩 기하학이 표현 능력의 부분적인 모습만을 포착한다고 주장한다.

• 현재 지표의 한계: 널리 사용되는 기하학적 진단 도구들은 단일 요인 변화(예: 특징의 존재)에 의해 구동되는 태스크의 성능은 신뢰성 있게 추적하지만, 진정한 구성적 구조를 요구하는 태스크에서는 체계적으로 실패한다.
• 새로운 진단 축: 본 논문은 기능적 민감도(자코비안 유효 랭크로 측정됨)를 구성적 구조를 모델링하기 위한 핵심적이고 보완적인 축으로 확립한다.
• 내재적 특성: 구성적 구조의 선형적 접근 가능성은 대안적인 기하학적 리드아웃을 통해 복구할 수 있는 특징이 아니라, 사전 학습 목적 함수에 의해 유도된 내재적 특성임이 밝혀졌다.

이 연구는 새로운 학습 알고리즘을 제안하는 것이 아니라, 왜 특정 목적 함수(예: 분산 디코리레이션)는 구성적 태스크에서 성공하는 반면 다른 목적 함수(예: 대조 학습)는 실패하는지를 이해하기 위한 진단적 프레임워크를 제공한다. 이는 두 방식 모두 "잘 정돈된(well-conditioned)" 전역 기하학을 생성함에도 불구하고 발생하는 현상이다.