Emergent Ordinal Geometry in Transformers Trained on Local Comparisons

기술 요약: 국소적 비교를 통해 학습된 트랜스포머에서의 창발적 서수 기하학(Emergent Ordinal Geometry)

문제 정의
본 논문은 트랜스포머 모델이 숨겨진 전순서(total order) 내에서 국소적(인접한) 비교만을 학습할 때, 생물학적 체계가 이행적 추론(Transitive Inference, TI)을 위해 사용하는 것과 동일한 원시적 메커니즘을 습득하는지 조사한다. TI는 알려진 인접 관계($A < B, B < C$)로부터 비인접 관계(예: $A < C$)를 추론하는 능력이다. 생물학적 인지는 이를 "아날로그 정신적 수직선(analog mental number line)"을 통해 해결하며, 이는 상징적 거리 효과(distant comparisons가 adjacent ones보다 더 빠르고 정확하게 처리되는 현상)에 의해 입증된다. 반면, 트랜스포머는 순서를 선형적으로 표현하도록 명시적인 압력을 받지 않는다. 본 연구는 이러한 특정 기하학적 표현과 행동적 징후가 Bryant와 Trabasso [1971]의 전형적인 패러다임에 따라 학습된 신경망에서 자발적으로 발생하는지를 묻는다.

방법론
저자들은 숨겨진 전순서($e_0 \prec e_1 \prec \dots \prec e_{N-1}$)를 가진 합성 태스크를 구축하였다.

• 학습 데이터: 모델은 양방향의 인접 쌍($D_{train} = \{(e_i, e_{i+1}), (e_{i+1}, e_i)\}$)에 대해서만 학습된다.
• 평가 데이터: 모델은 분리된 먼 거리의 쌍($D_{OOD} = \{(e_i, e_j) : |i-j| > 1\}$)에 대해 평가되며, 이는 국소적 데이터로부터 전역적 순서를 재구성할 것을 요구한다.
• 모델 아키텍처: 엔티티 임베딩, 하나의 어텐션 헤드(추상적 모델) 또는 두 개의 헤드(결과 섹션), 4d 너비의 GELU MLP, 그리고 선형 언임베딩 헤드를 갖춘 단일 레이어 트랜스포머이다. 관계는 최종 위치의 잔차(final-position residual)로부터 디코딩된다.
• 측정 지표:
  1. 기하학적 구조: 선형성(첫 번째 주성분에 대한 분산, $\rho_1$)과 순위 정렬(투영된 위치와 실제 순위 간의 상관관계)을 측정하기 위해 엔티티 임베딩에 대한 주성분 분석(PCA)을 수행한다.
  2. 행동적 징후: 상징적 거리 효과를 탐지하기 위해 결정 확신도(logit margin)와 기하학적 분리($g_{ij}$)를 순위 거리($|i-j|$)에 대해 측정한다.

주요 기여

1. 합성 태스크 격리: 본 논문은 국소적 비교로부터 서수 일반화(ordinal generalization)를 엄격히 격리하여, 생물학적 TI 패러다임을 정확히 모사하는 통제된 태스크를 도입한다.
2. 창발적 1차원 매니폴드: 트랜스포머가 엔티티 임베딩을 자발적으로 1차원 매니폴드로 조직화한다는 증거를 제시한다. 이 매니폴드의 주축(principal axis)은 숨겨진 순위를 거의 완벽한 충실도로 복구한다.
3. 거리 효과의 계산적 유사체: 모델이 정확도 천장에 도달하더라도, 모델이 상징적 거리 효과를 나타낸다는 것을 입증한다. 즉, 결정 확신도와 기하학적 분리 모두 아이템 간의 순위 거리에 따라 단조적으로 증가한다.

결과
실험은 $N=10, 15, 20$개의 엔티티 세트에 대해 수행되었다.

• 그로킹(Grokking) 유사 역학: 분포 외(OOD) 일반화의 출현은 임베딩의 기하학적 재구성과 일치한다. 이 전이는 최적화(특히 가중치 감쇠)에 민감하며, "그로킹"과 유사한 과도적 역학을 생성한다.
• 기하학적 복구: 학습이 진행됨에 따라 임베딩은 주성분이 실제 순위와 일치하는 직선 위로 붕괴된다.
• 행동적 미러링: 정점의 OOD 정확도에서, 모델의 내부 표현과 출력 확신도는 상징적 거리 효과를 엄격히 따른다. 먼 거리의 쌍은 인접한 쌍에 비해 올바르게 분류될 뿐만 아니라, 임베딩 공간 내에서 더 높은 확신도와 더 큰 기하학적 분리를 동반한다.

의의
본 논문은 50년 된 행동적 규칙성(TI에서의 상징적 거리 효과)을 학습된 신경 표현의 기하학에 근거 지었다고 주장한다. 트랜스포머가 명시적인 감독 없이도 "정신적 수직선"을 자발적으로 개발한다는 것을 보여줌으로써, 본 연구는 인지 과학과 현대 신경망 해석 가능성을 잇는 이행적 추론의 기계적 설명을 제공한다. 이는 추상적 관계 추론 능력이 전순서 내의 국소적 제약을 최적화하는 과정에서 발생하는 자연스러운 부산물일 수 있음을 시사한다.