기술 요약: TGO-I: 스펙트럼 기하학 관측소 (Spectral Geometry Observatory)

문제 정의

컴퓨터 비전 분야에서 비전 트랜스포머(ViT)의 광범위한 채택에도 불구하고, 이들의 표현 기하학(representational geometry)과 훈련 과정 중 기하학이 어떻게 진화하는지에 대한 근본적인 이해는 응용 수준의 적응 연구에 비해 여전히 미개척 영역으로 남아 있다. 기존 문헌은 특정 레이어, 고립된 훈련 단계, 또는 개별 관측량에 국한된 분석을 수행하는 경우가 많아, 네트워크 깊이와 훈련 시간에 따라 표현 기하학이 어떻게 공동으로 진화하는지에 대한 공백을 남겨두고 있다. 구체적으로, 트랜스포머 아키텍처 내에서 차원 활용도가 어떻게 변화하는지, 분산이 표현 방향들 사이에 어떻게 분포되는지, 그리고 전역적 표현(global representations)이 어떻게 출현하는지에 대한 질문은 체계적인 경험적 조사가 부족한 상태이다.

방법론

이러한 격차를 해소하기 위해, 저자들은 트랜스포머 표현의 내부 기하학을 체계적으로 계측하고 분석하기 위해 설계된 모듈형 프레임워크인 **트랜스포머 기하학 관측소(Transformer Geometry Observatory, TGO)**를 소개한다. 그 첫 번째 설치물인 TGO-I는 특히 **스펙트럼 기하학(Spectral Geometry)**에 초점을 맞춘다.

실험 설정은 다음 구성 요소들을 포함한다:

• 모델 및 데이터셋: ImageNet-100 데이터셋에 대해 100 에포크(epoch) 동안 훈련된 ViT-Small/16 모델.
• 관측 프로토콜: 패치 임베딩(Patch Embedding), 위치 임베딩(Positional Embedding), 12개의 모든 트랜스포머 블록, 그리고 최종 CLS 토큰 표현으로부터 포워드 훅(forward hooks)을 통해 활성화 값을 추출한다.
• 데이터 일관성: 관측의 일관성을 보장하기 위해, 모든 스펙트럼 측정은 동적인 훈련 미니 배치가 아닌, 고정된 분석 서브셋인 1,000장의 검증 이미지를 대상으로 수행된다. 이는 $197,000 \times 384$ 크기의 집계된 표현 행렬($B=1000$ 이미지, $T=197$ 토큰, $D=384$ 차원)을 생성한다.
• 스펙트럼 분석: 프레임워크는 각 레이어에 대해 특성 공분산 행렬($C_l$)을 계산하고 고윳값 분해(eigendecomposition)를 수행한다. 그 후, 기하학을 특징짓기 위한 일련의 스펙트럼 관측량을 도출한다:
  • 유효 랭크 (Effective Rank, $r_{eff}$): 정규화된 고윳값 분포의 엔트로피의 지수.
  • 안정 랭크 (Stable Rank, $r_{stable}$): 전체 스펙트럼 에너지와 지배적인 스펙트럼 방향 사이의 비율.
  • 참여 비율 (Participation Ratio, PR): 스펙트럼에 기여하는 유효 차원 수의 추정치.
  • 스펙트럼 엔트로피 (Spectral Entropy): 고윳값 분포의 균일도를 정량화함.
  • 스펙트럼 이방성 (Spectral Anisotropy): 전체 분산 대비 주성분 스펙트럼 방향의 지배력을 측정함.
  • 시각화: 공분산 행렬, 고윳값 스펙트럼, 특잇값 스펙트럼, 그리고 스펙트럼 감쇄 곡선에 대한 직접적인 분석.

주요 결과

본 연구는 훈련이 진행됨에 따라 네트워크 전반에 걸쳐 나타나는 일관된 점진적 스펙트럼 재분배(progressive spectral redistribution) 패턴을 밝혀냈다:

1. 차원 활용도 증가: 거의 모든 모니터링된 레이어에서 유효 랭크, 안정 랭크, 참여 비율이 일관되게 증가한다. 이는 분산이 몇 개의 방향에 집중되지 않고 더 많은 스펙트럼 방향으로 분산되고 있음을 나타낸다.
2. 이방성 감소: 특히 깊은 레이어에서 스펙트럼 이방성이 크게 감소한다. 이는 단일 스펙트럼 방향의 지배력이 약화됨을 시사한다.
3. 스펙트럼 엔트로피 증가: 스펙트럼 엔트로피가 상승하며, 이는 고윳값 분포가 시간이 지남에 따라 더 균일해지고 덜 집중됨을 의미한다.
4. 공분산 구조의 진화: 공분산 행렬은 점진적으로 대각 행렬에 가까워진다. 비대각 상관관계(off-diagonal correlations)는 약화되며, 최종 CLS 표현은 분산이 대각선을 따라 집중된, 대체로 비상관화된(decorrelated) 특성 차원을 보여준다.
5. 레이어별 역학:
   • 패치 및 위치 임베딩: 훈련 과정 전반에 걸쳐 랭크와 기하학 측면에서 상대적인 안정성을 보인다.
   • 트랜스포머 블록: 유효 차원의 점진적 증가와 이방성의 감소를 보인다.
   • CLS 토큰: 최종 CLS 표현은 가장 두드러진 효과를 나타내며, 네트워크 내에서 가장 높은 유효 차원, 가장 높은 스펙트럼 엔트로피, 가장 낮은 이방성을 달성한다.
6. 스펙트럼 평탄화: 고윳값 스펙트럼과 특잇값 스펙트럼은 점진적으로 평탄해지며, 상위 고윳값들의 지배력이 나머지 스펙트럼에 비해 감소한다.

의의 및 주장

본 논문은 TGO-I를 이러한 기하학적 변화가 왜 발생하는지를 설명하는 인과적 연구가 아니라, 트랜스포머 학습 역학의 재현 가능한 측정을 확립하는 기초적인 관측 프레임워크로 규정한다.

• 경험적 기여: 본 연구는 훈련이 정보를 소수의 지배적인 방향으로 집중시킨다는 일반적인 직관에 반하는 경험적 증거를 제공한다. 대신, ViT 표현은 점진적으로 스펙트럼적으로 덜 집중되고 더욱 분산되는 경향을 보인다.
• 프레임워크 유용성: TGO-I는 기하학적 진화를 추적하기 위한 체계적인 파이프라인을 구축하여, 향후 조사를 위한 베이스라인 역할을 한다.
• 가설 생성: 본 논문은 근저에 깔린 메커니즘을 확정적으로 증명하지는 않지만, 관찰된 데이터는 향후 조사를 위한 세 가지 타당한 가설을 제시한다:
  1. 토큰 다양화 (Token Diversification): 토큰들이 점점 더 구별 가능해지며, 더 많은 스펙트럼 방향을 점유하게 된다.
  2. 의미론적 확장 (Semantic Expansion): 모델이 더 많은 의미 있는 특징 방향을 발견하고 인코딩한다.
  3. 중복성 감소 (Redundancy Reduction): 훈련이 기존 정보를 더 효율적이고 덜 중복된 기저(basis)로 재구성하여 특성 간의 통계적 의존성을 줄인다.

저자들은 이러한 가설들을 구별하기 위해서는 토큰 역학, 표현 유사성, 어텐션 기하학, 그리고 최적화 경관(optimization landscapes)을 분석할 수 있는 미래의 관측소(TGO-II부터 TGO-V까지)가 필요하다고 결론짓는다. TGO-I의 주요 가치은 예상치 못한 현상을 식별하고 기계론적 탐구를 촉발하는 체계적이고 재현 가능한 측정을 생성하는 능력에 있다.