기술적 요약: 비트겐슈타인적 표현 가설

1. 문제 제기

다중 모달 표현 학습에서 근본적인 질문은 서로 다른 모달리티 (예: 시각, 점 구름, 언어) 에서 독립적으로 훈련된 신경망이 왜 공유된 표현 구조로 수렴하는가이다. **플라톤적 표현 가설 (PRH)**은 이러한 수렴이 공유된 "현실의 통계적 구조"를 향해 일어난다고 주장하지만, 이 수렴의 방향성과 종점의 구체적인 본질에 대해서는 중립적인 입장을 취한다.

기존의 수렴에 대한 경험적 증거는 오직 대칭적 유사도 측정 (예: CKA, 상호 kNN, RSA) 에만 의존한다. 이러한 지표들은 구성상 $s(X, Y) = s(Y, X)$를 만족하므로, 수렴이 존재한다는 사실을 감지할 수는 있지만, 수렴이 어디로 또는 어느 방향으로 향하는지는 구조적으로 파악하지 못한다. 따라서 수렴이 상호적인지 방향적인지, 그리고 방향적이라면 어떤 모달리티가 끌개 (attractor) 역할을 하는지에 대한 질문은 아직 검토되지 않은 채 남아있다.

2. 방법론

저자들은 대칭적 측정의 한계를 해결하기 위해 방향성 수렴 분석을 도입한다.

2.1 비대칭 정렬 측정: CYCLE-KNN

핵심 방법론적 혁신은 수렴 방향을 조사하기 위해 본질적으로 비대칭적인 정렬 측정인 CYCLE-KNN을 적용하는 것이다.

• 메커니즘: CYCLE-KNN 은 두 단계의 최근접 이웃 사이클을 통해 정렬을 계산한다. 표현 $X$와 $Y$에 대해, 공간 $Y$에서 점 $i$의 $k$개 최근접 이웃을 찾은 후, 다시 공간 $X$에서 해당 점들의 $k$개 최근접 이웃을 찾는다. 점수는 이 왕복 후 점 $i$가 자신 (또는 원래의 이웃) 으로 돌아오는 점들의 비율이다.
• 비대칭성: 이 측정치는 $k \ge 2$일 때 비대칭적이다. $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$라면, $Y$의 이웃 구조가 $X$보다 더 일관성 있고 (콤팩트하며) 왕복 이동이 성공할 가능성이 높음을 의미한다.
• 방향성 격차 ($\Delta$): 저자들은 $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$를 정의한다. 일관되게 양수인 $\Delta$는 $Y$가 $X$에 대해 더 안정적인 기준 프레임 (끌개) 으로 작용함을 나타낸다.

2.2 실험 설정

• 모델: 이 연구는 추상화 계층을 따라 배열된 세 가지 모달리티에 걸친 58 개의 독립적으로 훈련된 단일 모달 모델을 평가한다.
  • 3D 점 구름: 7 개 모델 (예: PointMAE, PointBERT, PointGPT).
  • 2D 시각: 22 개 모델 (예: ViT, MAE, DINOv2, DINOv3, CLIP).
  • 언어: 29 개 모델 (예: BLOOMZ, LLaMA, Qwen2.5/3, InternLM).
  • 참고: 교차 모달 제어 (CLIP, ReCon++) 를 제외하고, 어떤 모델도 다른 모달리티의 데이터로 훈련되지 않았다.
• 데이터셋:
  • WiT: 시각 - 언어 정렬을 위한 1,024 개의 이미지 - 텍스트 쌍.
  • ShapeNet55: 점 구름 - 시각 - 언어 정렬을 위한 매칭된 3D 객체, 렌더링된 이미지, 텍스트 설명.
• 분석: 저자들은 모든 교차 모달 쌍에 대해 $\Delta$를 계산하고, 계층별 밀도, 모달리티 내 합의, 그리고 파라미터 수 (5.7M 에서 72B 까지) 에 따른 스케일 불변성을 분석한다.

3. 주요 발견

3.1 방향성 비대칭

이 연구는 대칭적 측정으로는 보이지 않는 일관된 방향성 비대칭을 발견한다.

• 비언어 모달리티가 언어로 수렴: 시각 및 점 구름 표현은 언어가 그들에게 정렬되는 것보다 언어에 훨씬 더 크게 정렬된다.
  • $\Delta(\text{시각} \to \text{언어}) = +0.010$ ($p < 0.05$).
  • $\Delta(\text{점 구름} \to \text{언어}) = +0.030$ ($p < 0.01$).
  • $\Delta(\text{점 구름} \to \text{시각}) = +0.046$ ($p < 0.01$).
• 강건성: 이 비대칭성은 638 개의 모델 쌍, 10 개의 모델 패밀리, 그리고 파라미터 크기의 네 자리 수 차이에 걸쳐 유지된다. $k$의 선택 (1 에서 50 까지 테스트) 에도 불변이다.

3.2 모달리티 내 합의

언어 모델은 가장 높은 모달리티 내 표현 합의를 보인다 (평균 CKA = 0.904), 이어 시각 (0.857), 점 구름 (0.440) 순이다. 독립적으로 훈련된 언어 모델 간의 이러한 높은 일치는 표현 공간에서 깊고 안정적인 분지 (basin) 를 차지하고 있음을 시사하며, 이는 "끌개" 가설과 일치한다.

3.3 기하학적 메커니즘: 특징 밀도

방향성은 특징 밀도 비대칭으로 설명된다.

• 콤팩트성: 언어 표현은 표현 공간에서 가장 콤팩트한 영역 (최소 쌍별 평균 거리 $D$) 을 차지하며, 특히 중간에서 후반 계층에서 그렇다.
• 궤적: 시각 모델은 깊이에 따라 단조 증가하는 밀도 (희소) 를 보이는 반면, 언어 모델은 역 U 자형 궤적을 따르며 교차 모달 정렬이 정점에 도달하는 계층에서 최대 콤팩트성에 도달한다.
• 메커니즘: 언어의 콤팩트한 이웃은 CYCLE-KNN 에서의 "왕복 이동"을 용이하게 하여 관찰된 방향성 편향을 유도한다.

3.4 정보 병목 해석

저자들은 이러한 발견을 정보 병목 (IB) 프레임워크를 통해 해석한다. IB 하에서 최적화는 작업과 무관한 정보를 최대한 압축하는 방향으로 표현을 이끈다. 자연어는 지각 경험의 매우 압축되고, 이산적이며, 구성적인 구조로서 최적의 압축 대상 역할을 한다. 모델들이 정보를 압축함에 따라, 그들의 표현은 자연스럽게 언어의 구조적 기하학으로 수렴한다.

4. 비트겐슈타인적 표현 가설 (WRH)

이러한 발견에 기반하여, 본 논문은 비트겐슈타인적 표현 가설을 제안한다.

"언어의 의미 구조는 다중 모달 표현 수렴의 점근적 끌개 (asymptotic attractor) 를 구성한다."

이 가설은 독립적으로 훈련된 모델이 충분히 강력해짐에 따라, 입력 모달리티와 관계없이 학습된 표현이 언어의 의미 구조가 정의하는 표현 기하학으로 수렴한다고 주장한다. 이는 비트겐슈타인의 격언 ("내 언어의 한계가 곧 내 세계의 한계이다") 을 표현 학습에 관한 진술로 재해석한다. 즉, 언어는 충분한 최적화 하에 모든 지각 표현이 수렴하는 경계를 정의하는 구조적 제약을 부과한다.

5. 중요성과 주장

본 논문은 다음과 같은 기여와 중요성을 주장한다.

1. 방법론적 교정: 표현 학습에서의 체계적인 맹점을 규명한다. 대칭적 측정에만 의존한 것이 수렴의 방향을 검토하지 못하게 했다. 저자들은 이전에 기록되었으나 분석되지 않았던 CYCLE-KNN 의 비대칭성이 중요한 방향성 구조를 인코딩하고 있음을 입증한다.
2. PRH 의 해결: PRH 가 수렴이 일어난다는 것을 확립했다면, WRH 는 그것이 어디로 가는지 답한다. 종점은 일반적인 "현실의 통계적 구조"가 아니라, 구체적이고 이산적이며 구성적인 구조, 즉 언어이다.
3. 보편성: 이 현상은 스케일 불변이며 다양한 아키텍처 (트랜스포머, 오토인코더) 와 훈련 패러다임 (지도, 자기지도, 대비적) 에 걸쳐 강건하므로, 특정 훈련 목적이나 모델 크기의 산물이 아니라 모달리티 표현의 근본적인 속성임을 시사한다.
4. 이론적 기반: 본 논문은 정보 병목 프레임워크를 통한 원칙적인 해석을 제공하여, 기하학적 콤팩트성과 지각 경험을 기호 언어로 압축하는 것 사이의 연결을 설명한다.

저자들은 WRH 가 58 개 모델에 걸친 실험으로 확인된 반증 가능한 방향성 예측이라고 명시적으로 밝힌다. 그들은 이것이 현재 신경망 훈련에서의 구조적 경향을 기술할 뿐, 언어가 현실의 "올바른" 또는 "완전한" 표현이라는 규범적 주장은 아니라고 경고하며, 언어 데이터에 내재된 문화적 편향과 관련된 잠재적 위험을 지적한다.