기술 요약: MetaOthello: 트랜스포머 내 다중 월드 모델에 관한 통제된 연구

문제 정의

파운데이션 모델은 다양한 데이터로 학습되며, 문맥에 따라 여러 생성 프로세스를 동시에 학습하고 이들 사이를 전환해야 합니다. 기계론적 해석 가능성(mechanistic interpretability)은 Othello-GPT와 같은 단일 작업 설정에서 "월드 모델"(잠재 상태의 내부 표현)을 식별하는 데 성공했지만, 단일 트랜스포머가 공유된 표현 공간 내에서 어떻게 잠재적으로 충돌할 수 있는 여러 월드 모델을 조직하는지는 여전히 불분명합니다. 기존 연구들은 대개 하나의 규칙 시스템만을 분리하여 다루었으며, 여러 규칙 시스템이 공존하고 충돌할 수 있는 이질적인 데이터를 모델이 어떻게 처리하는지는 다루지 못했습니다.

방법론: MetaO-Othello 프레임워크

이 간극을 메우기 위해 저자들은 다중 월드 모델 조직을 연구하기 위한 통제된 합성 프레임워크인 MetaOthello를 도입합니다.

• 게임 변체 (Game Variants): 이 프레임워크는 공유된 어휘(64개 위치 + pass)를 사용하여 $8 \times 8$ 보드에서 진행되는 Othello 유사 게임들의 유니버스를 정의합니다. 게임들은 서로 다른 근본적인 물리 법칙을 가집나다:
  • Classic: 표준 오델로 규칙.
  • NoMidFlip: 초기화 및 검증 방식은 Classic과 동일하지만, 업데이트 규칙이 가장 바깥쪽 두 개의 샌드위치 타일만 뒤집도록 제한됨.
  • DelFlop: 이웃 기반 검증 규칙(움직임이 조각에 인접해야 함)을 사용하며, 업데이트 규칙은 샌드위치된 조각을 뒤집는 대신 삭제함.
  • Iago: 물리적 보드 움직임에 대해 일대일 대응(Syntax Map)을 통해 토큰 어휘가 치환된 스크램블 변체로, 근본적인 논리는 Classic과 동일함.
• 학습 체계 (Training Regime): 소규모 디코더 전용 트랜스포머(8개 레이어, 8개 헤드, $d_{model}=512$)를 다음 데이터로 학습시킵니다:
  • 순수 데이터셋 (Pure Datasets): 단일 게임 변체의 시퀀스.
  • 혼합 데이터셋 (Mixed Datasets): 변체 쌍(예: Classic + NoMidFlip)에서 샘플링된 시퀀스로, 특정 접두사가 두 규칙 세트 모두에서 유효하지만 서로 다른 보드 상태로 이어지는 "모호한" 상황을 생성함.
• 평가 지표:
  • $\alpha$-Score: 유효한 이동 세트의 엔트로피를 고려한 정규화된 성능 지표로, 브랜칭 팩터(branching factor)가 다른 게임 간의 비교를 가능하게 함.
  • 선형 프로브 (Linear Probes): 잔차 연결(residual stream)로부터 보드 상태(내 것/상대 것/빈 칸)와 게임 정체성을 디코딩하도록 학습됨.
  • 인과적 개입 (Causal Intervention): 프로브 가중치를 사용하여 모델의 내부 상태를 조종(예: 표현 내의 타일 상태를 뒤집음)함으로써 인과적 효능을 테스트함.
  • 프로크루스테스 정렬 (Procrustes Alignment): 서로 다른 게임 변체 간의 프로브 가중치에 대한 기하학적 유사성을 측정하여, 표현들을 정렬하는 직교 회전을 식별하는 데 사용됨.

주요 결과

1. 변체 간 정렬 및 공유 표현

혼합 데이터로 학습된 트랜스포머는 용량을 격리된 하위 모델로 분할하지 않습니다. 대신, 이들은 공유된 월드 상태 표현을 학습합니다:

• 기하학적 정렬: 한 변체(예: Classic)로 학습된 선형 프로브가 다른 변체(예: NoMidFlip 또는 DelFlop)의 내부 상태에 효과적으로 개입할 수 있습니다.
• 회전 불변성: 스크램블된 토큰화를 가진 동형(isomorphic) 게임(Iago)의 경우, 표현은 모든 레이어에 걸쳐 일반화되는 단일 직교 회전에 의해 동등합니다. 이는 모델이 표면 토큰과는 독립적인 추상적 구조를 학습함을 나타냅니다.
• 인과적 효능: 교차 프로브 개입이 매칭된 프로브 개입만큼 효과적이라는 것은, 보드 상태의 근본적인 인과적 기하학이 공유된다는 것을 시사합니다.

2. 경제화 및 충돌 해결

모델은 두 개의 완전히 구별된 월드 모델을 동시에 유지하지 않습니다. 대신, 규칙이 일치하는 곳에서는 표현을 공유하고 충돌을 국소화함으로써 **경제화(economize)**를 수행합니다:

• 공유 기질 (Shared Substrate): 보드 상태 표현은 진정으로 공유됩니다.
• 국소적 충돌 (Localized Conflict): 얇고 별도로 계산되는 "충돌 특징(conflict feature)"이 규칙이 갈라지는 시점에 어떤 규칙 시스템이 적용될지를 결정합니다.
• 레이어 특화 (Layer Specialization): Classic-NoMidFlip 혼합의 경우, 모델은 충돌이 발생할 때까지 두 보드 상태를 모두 유지합니다. 게임 정체성에 대한 확률은 레이어 4(MLP를 통해)에서 인코딩되어 레이어 5(특히 Attention Head 5)를 통해 라우팅됩니다. 이 특정 회로를 인과적으로 조종하면 모호한 접두사에 대해 모델이 적용하는 규칙 시스템을 제어할 수 있습니다.

3. 뚜렷한 중재 체제 (Arbitration Regimes)

모호성을 처리하는 메커니즘은 규칙 시스템 간의 괴리 정도에 따라 달라집니다:

• 높은 중첩 (Classic-NoMidFlip): 모델은 두 보드 상태를 모두 유지하며, 충돌 시점에 공유된 중간 레이어 부공간(subspace)을 재가중합니다.
• 낮은 중첩 (Classic-DelFlop): DelFlop 게임 트리가 Classic으로부터 빠르게 발산하기 때문에, 모호한 시퀀스는 빠르게 분포 외(out-of-distribution) 상태가 됩니다. 이 체제에서 모델은 단일 월드 모델(Classic)에 **조기에 확정(commit early)**하고 대안을 버립니다. 억제된 해석을 복구하려면 중간 레이어가 아닌 초기 레이어(2–3)에서 개입해야 합니다.

의의 및 주장

본 논문은 메카니즘적 해석 가능성을 위한 방법론적 기여로서 MetaOthello를 제안하며, 복잡하고 자연적인 데이터에 적용하기 전 기술을 검증할 수 있는 "그라운드 트루스 테스트베드(ground-truth testbed)"를 제공합니다.

• 역설의 해소: 이 연구는 모델이 서로 교체 가능한 표현을 가지면서도 어떻게 서로 다른 게임을 구별할 수 있는지에 대한 외견상의 역설을 해결합니다. 답은 공통 상태를 위한 공유 기질과 충돌 해결을 위한 국소적 라우팅 회로에 있습니다.
• 대규모 모델에 대한 시사점: 이 결과는 대규모 파운데이션 모델이 이질적인 지식을 별도의 하위 네트워크로 분할하는 것이 아니라, 정렬된 구조를 공유하고 식별 가능한 조종 가능한 회로로 충돌을 국소화함으로써 조직할 수 있음을 시사합니다.
• 한계점: 저자들은 이러한 발견이 통제된 합성 환경에서 확립되었음을 인정합니다. 본 연구는 쌍별 혼합(pairwise mixtures)과 특정 아키텍처 규모만을 테스트하며, 불균형한 혼합, 더 큰 규모, 그리고 다방향 중재(many-way arbitration)의 효과는 미해결 과제로 남겨둡니다. 또한 분석이 선형 프로브에 의존하고 있으므로, 비선형 구조는 추가적인 메커니즘을 드러낼 수 있습니다.

요약하자면, 이 논문은 트랜스포머가 공유된 구조를 활용하고 충돌을 국소화함으로써 어떻게 상충하는 월드 모델을 조화시키는지에 대한 구체적이고 메카니즘적인 관점을 제공하며, 이를 통해 다중 작업 학습이 어떻게 작동하는지를 보여줍니다.