기술 요약: 언어 모델의 믿음-실제 분리 (Belief–Reality Separation)

문제 정의

유능한 언어 모델(LM)은 등장인물의 믿음과 객관적 실제를 구분하는 능력(예: "안나는 파란색이라고 믿는다"와 "실제로는 빨간색이다"라는 문맥이 주어졌을 때, 안나가 무엇을 믿느냐는 질문에는 "파란색"이라 답하고 실제가 무엇이냐는 질문에는 "빨간색"이라 답하는 것)을 보여준다. 그러나 이러한 분리가 모델의 계산 내에서 메커니즘적으로 어디에 위치하는지는 여전히 불분명하다. 기존 연구들은 모델이 엔티티의 상태를 추적하고 마음 이론(Theory-of-Mind, ToM) 과업을 수행할 수 있음을 입증했지만, 믿음과 실제 사이의 분리가 값 표현(value representation) 자체에 인코딩되어 있는지, 아니면 어떤 프레임을 읽을지 결정하는 메커니즘에 인코딩되어 있는지는 알려지지 않았다. 또한, ToM에 대한 행동 벤치마크는 종종 진정한 추론 없이 성능을 부풀리는 "지름길"(예: 최신성 편향, 복사하기)에 취약하다. 본 논문은 믿음-실제 분리를 담당하는 구체적인 계산 메커니ช즘을 국소화하고, 이 메커니즘이 속성 부여된 값을 저장하는 메커니즘과 별개인지 확인하고자 한다.

방법론

저자들은 특정 리드아웃(readout)을 인과적으로 제어하는 모델의 잔차 스트림(residual stream) 내 저차원 연속 부공간(low-rank continuous subspaces)을 식별하기 위해 **분산 정렬 탐색(Distributed Alignment Search, DAS)**을 사용한다. 이 방법론은 세 가지 핵심 구성 요소에 의존한다:

1. 혼란이 제거된 자극(De-confounded Stimuli): ToM 벤치마크(Ullman 2023; Shapira et al. 2024)에서 흔히 발생하는 지름길을 제거하기 위해, 저자들은 절(clause)의 순서를 무작위화하고 서로 다른 값 세트를 가진 최소 쌍(minimal-pair) 템플릿을 설계했다.

   • 선택적 가시성(Selective Visibility): 모델이 캐릭터가 무엇을 보았는지에 따라 믿음을 속성을 부여하는지 테스트한다 (예: 캐롤은 안나가 파란색으로 칠하는 것은 보았지만, 벤이 빨간색으로 칠하는 것은 보지 못함).
   • 언명된 믿음 vs 유도된 믿음(Asserted vs. Derived): 텍스트에 명시적으로 기술된 믿음("안나는 ...라고 믿는다")과 가시성으로부터 추론된 믿음("안나는 ...를 보았다")을 대조한다.
   • 믿음 vs 실제: 믿음과 실제의 값이 충돌하는 단일 문맥을 제시하여 프레임 선택을 테스트한다.
   • 대조군(Controls): 마지막에 언급된 색상이나 단일 언급된 값을 반환하는 것이 오답을 낳는 "복사 방지(copy-proof)" 설계를 포함한다.

2. 중재 프로토콜(Intervention Protocol): 본 연구는 교환 중재(interchange interventions)를 사용한다. 특정 토큰 위치에서 내부 상태의 저차원 슬라이스(부공간)를 식별한다. 이 슬라이스를 쿼리 시점에 "기여자(donor)" 문맥(예: 빨간 컵)에서 "수신자(recipient)" 문맥(예: 파란 컵)으로 복사한다. 만약 모델의 출력이 기여자의 값으로 바뀐다면, 해당 부공간이 그 리드아웃을 인과적으로 제어하는 것이다.

3. 모델 범위: 분석은 주로 Qwen2.5 (3B, 7B, 14B, 32B), Mistral-7B, OLMo-2-7B와 같은 오픈 웨이트 모델에 집중한다. 행동적 스케일링은 5개 제품군을 통해 평가하며, 해당 메커니즘이 견고하게 관찰되는 최소 규모를 7B로 설정한다.

주요 기여

본 논문은 믿음-실제 분리가 단일한 표현이 아니라, 계산의 서로 다른 위치에 존재하는 두 개의 분리 가능한 메커니즘 간의 역할 분담임을 밝혀냈다:

1. 일반적인 값 슬롯(A Generic Value Slot): 속성된 값(예: "파란색")을 보유하지만 프레임에 무관한(frame-agnostic) 저차원 부공간이다. 이는 해당 값이 "믿음"인지 "실제"인지에 대한 태그를 본질적으로 가지고 있지 않다.
2. 프레임 특화 라우터(A Frame-Specific Router): 쿼리 위치에 존재하는 별도의 저차원 부공간으로, 값 슬롯으로부터 어떤 프레임(믿음 또는 실제)을 읽어올지 결정한다.

주요 결과

1. 규모에 따른 능력의 출현

기술된 가시성에 기반하여 믿음을 속성하는 능력은 3B와 7B 파라미터 사이에서 급격히 나타난다.

• 3B 모델은 이 과업에 실패하며, 종종 최신성(마지막에 언급된 색상을 반복함)에 의존한다.
• 7B 모델(Qwen, Mistral, OLMo)은 높은 정확도와 순서 독립성을 가지고 과업을 해결한다.
• 이는 7B를 기계론적 분석을 위한 기질(substrate)로 확립한다.

2. 단일 값 슬롯으로 향하는 두 가지 경로

언명된 믿음(명시적으로 진술됨)과 유도된 믿음(가시성으로부터 추론됨)이 모두 동일한 저차원 부공간을 채운다는 것을 논문은 입증한다.

• 교차 전이(Cross-Transfer): 언명된 믿음을 제어하도록 훈련된 부공간은 유도된 믿음을 효과적으로 조종할 수 있으며(기본 모델에서 0.74–0.97), 그 반대도 마찬가지이다.
• 비대칭성: 지시 튜닝(Instruction tuning)은 유도된 경로(가시성 게이트를 통한 룩백을 포함하는 경로)가 공유 슬롯을 조종하는 데 더 지배적이 되도록 비대칭성을 날카롭게 만든다. 그러나 슬롯 자체는 여전히 공유된다.
• 가시성 의존성: 유도된 믿음은 기술된 가시성에 인과적으로 의존하는 반면(가시적인 행위자를 바꾸면 믿음이 99% 확률로 바뀜), 언명된 믿음은 가시성 절(clause)에 불변이다. 이는 두 개의 서로 다른 입력 경로가 하나의 표현으로 수렴함을 확인시켜 준다.

3. 값 슬롯은 프레임에 무관하다

값 슬롯에 대한 중재 결과, 해당 슬롯은 믿음-실제 태그를 보유하지 않는다.

• 교차 프레임 전이: "믿음" 리드아웃을 제어하도록 훈련된 부공관은 "실제" 리드아웃을 동일한 강도로 이동시킨다 (89–95% 전이).
• 결론: 슬롯은 그것이 믿음이든 사실이든 관계없이 값(예: "파란색")을 저장한다. 분리는 여기에 존재하지 않는다.

4. 라우터가 프레임을 선택한다

믿음과 실제 사이의 분리는 쿼리 위치의 라우터에 의해 구현된다.

• 해리(Dissociation): 믿음 라우터와 실제 라우터는 서로 구별되며, 거의 직교하는 부공간이다. 믿음 라우터를 실제 쿼리에 교체하거나 그 반대의 경우, 올바른 출력을 생성하는 데 실패한다 (교차 레그 누출 $\le$ 0.16).
• 메커니즘: 라우터는 기여자의 특정 값을 주입하지 않고, 어떤 프레임의 값을 읽어올지를 선택한다.
• 분포 내 타당성: 투영 절제(Projection ablations)를 통해 이 라우터들이 단순한 효과적인 교환 대상이 아니라, 모델의 자연스러운 순전파 과정 중에 실제로 사용됨을 확인했다.

의의 및 주장

본 논문은 언어 모델의 믿음-실제 분리가 일어나는 "위치"를 규명했다고 주장한다:

• 분리는 인코딩이 아닌 라우팅이다: 무엇이 캐릭터의 믿음이고 무엇이 사실인지에 대한 구별은 값 표현 자체에 인코딩된 것이 아니다. 대신, 이는 공유된 값 슬롯에 대해 프레임을 선택하는 라우팅 메커니즘으로 구현된다.
• 기계론적 일반화: 이 "슬롯-및-라우터(slot-and-router)" 구조는 세 가지 서로 다른 모델 제품군(Qwen, Mistral, OLMo)과 규모(7B, 14B)에 걸쳐 유효하다.
• 단일적 믿음 표현에 대한 반박: 본 연구 결과는 믿음이 단일하고 자기 완결적인 상태라는 생각에 반한다. 대신, 믿음은 값 결합(슬롯)과 프레임 선택(라우터)의 합성물이다.
• 비실제 문맥의 기초: 저자들은 이 특정 슬лот-및-라우터 형식이 반사실적(counterfactuals), 허구(fiction), 시간적(temporal) 문맥 등 다른 비실제 문맥들과도 공유되는 것으로 보인다고 언급하며, 이는 동반 논문(Steele 2026)에서 확장된다.

본 논문은 2차 믿음(second-order beliefs) 및 지시 튜닝 효과에 대해서는 예비적이거나 단일 기질적 발견임을 명시하며 신중한 태도를 유지하며, 이러한 내부 상태의 "도식적 상태(doxastic status)"에 대한 철학적 주장을 피하고 오직 리드아웃에 대한 인과 구조에만 집중한다.