One mechanism for many mental spaces: a shared router over a value slot in language models

기술 요약: 하나의 메커니즘을 통한 다수의 정신 공간(Mental Spaces)

문제 정의
언어 모델(LM)은 현실과 괴리된 담화 맥락(예: 믿음, 기억, 가설, 묘사—예를 들어, 실제로는 빨간색이지만 초상화 속에서는 보라색인 꽃)을 관리해야 한다. 형식 의미론은 이를 서로 다른 추론 규칙을 가진 별개의 논리적 영역(양상, 시간, 도식적, 묘사적 영역)으로 취급한다. 반면, 포코니에(Fauconnier)의 정신 공간 이론은 담화가 부분 공간을 생성하고 그곳에 값을 바인딩하는 통합된 "공간 구축(space-building)" 연산을 상정한다. 핵심 질문은 트랜스포머 LM이 이를 별도의 의미론적 모듈로 구현하는지, 아니면 통일된 기계적 연산으로 구현하는지 여부이다. 구체적으로, 모델이 로컬 담화 맥락을 위한 전용 코드(즉, "공간 인덱스")를 보유하고 있으며 이것이 엔티티 값 자체와 인과적으로 구별되는지, 그리고 이 코드가 서로 다른 유형의 비실재적 맥락 전반에 걸쳐 공유되는지를 묻는다.

방법론
본 연구는 제어된 자연어 자극을 사용하여 오픈 웨이트 트랜스포머 모델(주로 Qwen2.5-3B를 사용하며, Pythia-2.8b 및 Falcon3-3B에서 재현)에 대해 기계적 해석 가능성(mechanistic interpretability) 기술을 적용한다.

• 자극(Stimuli): 아이템은 "기저(base)" 세계(현실)와 "대안(alternative)" 공간(예: 그림, 믿음, 과거 상태) 사이에서 두 개의 상충하는 속성 값(예: 색상)을 가진 엔티티를 제시한다. 모델은 특정 공간에 대한 값을 검색하기 위해 이후의 토큰에서 쿼리를 받는다.
• 국소화(Localization): 저자들은 선형 프로빙(linear probing)을 사용하여 쿼리 토큰에서의 잔차 스트림(residual stream) 활성화로부터 기저 값과 대안 값이 모두 디코딩 가능하다는 것을 검증한다.
• 인과적 개입(Causal Intervention):
  • 분산 정렬 탐색(Distributed Alignment Search, DAS): 수동으로 제작된 스티어링 벡터의 실패를 극려하기 위해, 저자들은 교환 목적 함수(interchange objective)를 사용하여 저역 차원 직교 부분 공간($R \in \mathbb{R}^{d \times k}$)을 학습시킨다. 이 부분 공간은 도너(donor) 아이템으로부터 부분 공간 성분을 이식했을 때 모델의 출력을 기저 값에서 대안 값으로 뒤집도록 최적화된다.
  • 이중 해리(Double Dissociation): 저자들은 모델이 보고하는 값(reported value)과 모델이 추론에 사용하는 값(reasoning value, 정렬 규칙을 적용하는 데 사용되는 값)이 별개의 부분 공간에 의해 제어되는지 테스트한다.
  • 유형 간 전이(Cross-Type Transfer): 한 가지 빌더 유형(예: 가설)을 제어하도록 학습된 부분 공간을 다른 빌더 유형(예: 믿음, 시간)에 변경 없이 적용하여 공유 메커니즘의 존재를 테스트한다.
  • 합성(Composition): 중첩된 공간(예: "앨리스는 ~라고 믿었었다...")을 조사하여 새로운 공간이 기저 공간의 값 슬롯을 재사용하면서 새로운 라우터를 생성하는지 확인한다.

주요 기여 및 결과

1. 저역 차원의 공유 부분 공간(공간 인덱스)의 존재:

   • 모델은 나중에 언급될 때 동일한 엔티티에 대한 공존하는 값들을 표현한다.
   • 이 메커니즘은 "라우터" 또는 "공간 인덱스" 역할을 하는 저역 차원 부분 공간(유효 랭크 $\sim$4–5, 인과적 랭크 $\le$4)이다.
   • 이 인덱스는 엔티티 정체성과 **가법적(additively)**으로 합성된다(즉, "공간 S에 있는 엔티티 E"의 표현은 엔티티 + 공간으로 분해된다).
   • 이는 **속성 일반적(property-general)**이며(색상, 높이, 부 등의 작업 가능), **엔티티 유형 일반적(entity-type-general)**이다(사람과 사물 모두에 작동).
   • 바인딩은 **검색 형태(retrieval-shaped)**이다. 값은 정적인 글로벌 슬롯에 저장되는 것이 아니라, 후기 레이어 어텐션 헤드를 통해 소스 토큰으로부터 다시 읽히며, 이는 "룩백(lookback)" 메커니즘과 유사하다.

2. 공간 유형 간의 인과적 통일:

   • 한 빌더 유형(예: 반사실적 상황)에 대해 DAS 부분 공간을 학습시키면, 높은 전이 지수(0.71–0.89, 모델 제품군 전반에 걸쳐)를 보이며 다른 유형(믿음, 시간, 허구)을 인과적으로 제어한다.
   • 이러한 통일성은 형식 의미론에서 별개의 하이퍼인텐셔널(hyperintensional) 사례로 취급하는 **믿음(belief)**에 대해서도 유지된다. 모델은 믿음 태그를 다른 공간 태그와 분리하지 않으며, 동일한 라우터 메커니즘을 공유한다.
   • 이 통일은 평면적인 동일성이 아니다. 조잡한 의미론적 분류(태도, 내포적, 시간적, 허구적)가 공유된 부분 공간 내에서 생존하지만, 믿음이 특별히 분리되어 있지는 않다.

3. 보고와 추론의 해리:

   • 모델이 보고하는 값(텍스트로 출력하는 값)과 추론에 사용하는 값(규칙을 적용하는 값)은 별개의 부분 공간에 의해 제어된다.
   • "색상 보고" 리드아웃(readout)에 대해 부분 공간을 학습시키면 보고된 색상은 바뀌지만 규칙에 의해 도출된 결론은 변하지 않으며, 그 반대의 경우도 마찬가지이다. 이는 모델의 출력이 내부 계산을 반영하지 않을 수 있는 "충실도 격차(faithfulness gap)"에 대한 인과적 메커니즘을 제공한다.

4. 바인딩 연산으로서의 구축(Construction):

   • 복합 공간(예: "과거의 믿음")을 구축할 때, 모델은 기저의 값 슬롯을 재사용하지만(값 바인딩 부분 공간의 높은 전이), 새로운 라우터를 생성한다(복합 공간에 대한 쿼리 토큰 부분 공간은 기저 라우터와 구별되고 직교한다).
   • 이는 공간 구축이 별도의 기능이 아니라 바인딩 메커니즘 자체에 대한 연산임을 확인시켜 준다.

의의 및 주장
본 논문은 트랜스포머 언어 모델이 포코니에의 통합 정신 공간 이론의 기계적 버전을 구현함을 입증한다. 모델은 양상, 시제, 믿음을 위한 별도의 논리 모듈을 유지하는 대신, 어떤 담화 공간에 값이 속하는지를 태깅하는 단일하고 인과적으로 조작 가능한 저역 차원의 "공간 인덱스"를 사용한다.

• 표상 형식: 모델은 엔티티 및 값과 구별되는 담화 맥락에 대한 압축된 키(key)를 운반한다.
• 일반성: 이 메커니즘은 비실재적 맥락의 의미론적 목록 전반에 걸쳐 일반적이다. 믿음(참조 불투명성)과 다른 내포적 맥락 사이의 형식 의미론적 구분은 별도의 표상 메커니즘에 반영되지 않으며, "믿음 태그"는 특권화되지 않는다.
• 기계적 통찰: 이러한 발견은 "충실도" 문제(추론과 보고가 일치하지 않는 문제)가 동일한 바운드 토큰 내에서 서로 다른 부분 공간이 작동하기 때문에 발생한다는 점을 시사한다.
• 범위: 저자들은 이를 인간과 같은 마음 이론(theory of mind)을 가졌다는 증거가 아니라, LM의 공유된 표상 형식을 보여주는 증거로서 제시한다. 결과는 세 가지 모델 제품군에서 견고하며 행동적으로 프런티어 모델까지 확장되지만, 기계적 접근은 더 작은 오픈 모델로 제한된다.

저자들은 "공간 인덱스"가 엔티티 바인딩 ID(엔티티를 추적함)나 캐릭터-객체-상태 추적(특정 트리플을 추적함)과 구별된다는 점을 명시적으로 밝힌다. 기여점은 담화 공간 변수 자체를 공유된 저역 차원의 인과적으로 압축된 라우터로서 국소화한 것이다.