Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages

기술 요약: 테스트 후 라우팅: 언어 모델이 인컨텍스트 조건부 규칙을 실행하는 방식

문제 정의
대규모 언어 모델(LLM)은 "만약 $P(x)$ 이면 $A$, 그렇지 않으면 $B$" 형태의 인컨텍스트 조건부 규칙을 빈번하게 실행한다. 기계론적 해석 가능성(mechanistic interpretability)의 근본적인 질문은, 모델이 테스트(술어 $P(x)$의 판별)와 라우팅(적절한 답변 $A$ 또는 $B$의 선택)을 위한 분리 가능한 모듈로 구성된 런타임 회로를 조립하는지, 아니면 이 과정들이 하나의 불가분한 메커니즘 안에 얽혀 있는지 여부이다. 행동적 평가를 통해서는 모델이 규칙을 따른다는 점을 확인할 수는 있지만, 이러한 내부 조직 구조를 구별해낼 수는 없다. 가중치에 저장된 회로(예: 간접 목적어 식별)와 달리, 인컨텍스트 조건부는 추론 시점에 동적인 프롬프트 내용에 기반하여 회로를 조립해야 한다.

방법론
저자들은 "테스트"(술어 평가)와 "라우트"(답변 선택)를 분리하기 위해 **활성화 패칭(activation patching)**을 사용하는 새로운 실험 설계를 제안한다.

1. 4-도너(Four-Donor) 설계: 핵심 혁신은 술어의 참/거짓 값과 답변 단어 사이에 "불일치"를 만드는 네 가지 도너 프롬프트 세트이다.

   • BASE: 표준 규칙, 술어 TRUE $\rightarrow$ 답변 $A$.
   • O-DONOR: 표준 규칙, 술어 FALSE $\rightarrow$ 답변 $B$ (결과를 반전시킴).
   • MAP-DONOR: 뒤바뀐 규칙 ("만약 $P(x)$ 이면 $B$, 그렇지 않으면 $A$"), 술어 TRUE $\rightarrow$ 답변 $B$ (매핑을 반전시키되 술어 TRUE는 유지).
   • MAP-NULL: 뒤바뀐 규칙, 술어 FALSE $\rightarrow$ 답변 $A$ (매핑을 반전시키되 술어 FALSE는 유지).
   • 논리: MAP-DONOR와 MAP-NULL에서 참/거짓 값과 답변 단어는 서로 반대되는 레이블을 가리킨다. 연구자들은 특정 레이어의 잔차 스트림(residual stream)을 도너에서 베이스 실행으로 패칭함으로써, 해당 레이어가 조건(참/거짓 값을 따름)을 운반하는지 아니면 답변(단어를 따름)을 운반하는지 결정할 수 있다.

2. 지표:

   • 플립 확률(Flip Probability): 패칭이 모델의 출력을 도너의 답변으로 변화시키는지 측정하며, 분포 붕괴로 인한 아티팩트를 피하기 위해 레이블 질량 임계값($\ge 0.30$)을 적용한다.
   • 스윙 분율 회복량($R$, Fraction-of-Swing Recovery): 패칭이 베이스 로짓 차이를 도너의 방향으로 얼마나 이동시켰는지 측정하는 단계적 지표이다.
   • 전이 컨트롤(Transfer Controls): 진정한 라우팅 모듈과 토큰 특화 리드아웃(readout)을 구분하기 위해, 저자들은 하나의 레이블 쌍(예: dog/cat)에 대해 저차원 부분 공간(DAS-lite)을 학습시킨 후, 이것이 보유하고 있지 않은 다른 레이블 쌍(예: fox/owl)을 변화시킬 수 있는지 테스트한다. 또한 교차 언어 전이(cross-lingual transfer)도 테스트한다.

3. 실험 범위:

   • 모델: 두 계열의 세 가지 오픈 웨이트 모델: Gemma-3-4B, Gemma-3-12B, Qwen3-8B.
   • 언어: 네 가지 스크립트에 걸친 6개 언어 (영어, 중국어, 힌디어, 인도네시아어, 타밀어, 싱할라어).
   • 컨트롤: 모든 셀에 공유되는 고정된 아이템 뱅크 250개; 규칙 이해와 번역 효과를 격리하기 위해 답변 레이블($dog/cat$)은 라틴 문자로 유지함.

주요 결과

1. 모듈형 술어-TEST:

   • 모든 18개 실험 셀(3개 모델 $\times$ 6개 언어)에 걸쳐, 뚜렷한 중간 스택 잔차 밴드(예: Gemma-3-4B의 레이어 21–22)가 술어의 참/거짓 값을 운반한다.
   • 이 밴드를 O-DONOR(참/거짓 값을 반전시킴)로 패칭하면 답변이 확률 $\approx 1.0$으로 재라우팅된다.
   • 동일한 밴드를 MAP-DONOR(매핑은 반전시키나 참/거짓 값은 유지)로 패칭하면 답변이 변하지 않는다($\approx 0.0$).
   • 이 격리는 다섯 가지 다른 술어 패밀리(수치 임계값, 집합 멤버십, 모음 시작 단어)와 세 가지 출력 변형 모델에서도 유지되며, 이는 해당 모듈이 특정 규칙이 아닌 추상적인 참/거짓 값을 계산함을 확인시켜 준다.

2. 비분리형 ROUTE:

   • ROUTE 단계(참/거짓 값이 답변 단어로 매핑되는 단계)는 분리 가능하거나 전이 가능한 부분 공간을 보여주지 않는다.
   • 학습된 부분 공간은 하나의 레이블 쌍(예: dog/cat)을 완벽하게 뒤집을 수 있지만(교환 정확도 $\approx 1.00$), 학습되지 않은 다른 레이블 쌍(예: fox/owl)을 뒤집는 데는 실패한다(정확도 $\approx 0$).
   • 교차 언어 전이: Gemma-3-4B에서 고정된 쌍(dog/cat)에 대한 학습된 방향은 다른 언어(타밀어, 중국어)의 동일한 쌍으로 거의 완벽하게 전이된다($\approx 0.98$). 이는 해당 방향이 추상적인 라우팅 메커니즘이라기보다 토큰에 결속된(특정 답변 토큰에 종속된) 것임을 나타낸다.
   • Qwen3-8B의 경우, 방향은 쌍(pair)에 특화되어 있으며 리드아웃과 직교하지만, 여전히 새로운 쌍으로는 전이되지 않는다.

3. 단계 경계:

   • 실험은 명확한 단계 경계(예: Gemma-3-4B의 $L_{22} \to L_{23}$)를 드러낸다. 경계 아래에서는 패치가 조건을 따르며, 경계 위에서는 답변 단어를 따른다.
   • TEST 앵커는 언어 불변적이며 일관된 상대적 깊이에 위치한다. ROUTE의 시작점은 모델과 언어에 따라 달라지며, 이는 리드아웃이 스택의 더 늦은 단계에서 결정됨을 시사한다.

의의 및 주장
본 논문은 LLM이 인컨텍스트 조건부를 실행하는 방식에 근본적인 비대칭성이 있다고 주장한다:

• Test는 모듈형이다: 술어의 평가는 인과적으로 분리 가능하고, 위치를 특정할 수 있으며, 휴대 가능한 모듈이다. 이는 추상적인 참/거짓 값을 운반하며, 이를 덮어씀으로써 모델의 결정을 조종할 수 있다.
• Route는 얽혀 있다: 라우팅 메커니즘은 재사용 가능한 추상적 모듈이 아니다. 대신, 이는 특정 답변 어휘와 얽혀 있는 토큰 결속형 리드아웃 방향(또는 쌍 특화 방향)으로 보인다. 이는 서로 다른 레이블 쌍 간에 일반화되지 않는다.

함의:

• 스티어링(Steering): 술어 수준의 스티어링(참/거짓 값을 수정하는 것)은 답변 수준의 스티어링보다 프롬프트와 어휘 세트 전반에 걸쳐 더 높은 휴대성을 가질 것이다.
• 감사(Auditing): 분리 가능한 TEST 밴드는 최종 출력이 생성되기 전에 판단/행동의 불일치를 감지할 수 있는 "모니터링 훅(monitoring hook)"을 제공한다.
• 기계론적 이해: 본 연구 결과는 모든 인컨텍스트 동작이 재사용 가능한 가중치 저장 회로에 의존한다는 가정에 도전한다. 대신, 런타임 조립은 '테스트' 단계만이 모듈화된 구별된 단계들로 이루어져 있음을 보여준다.

한계점
저자들은 본 결과가 오픈 웨이트 모델과 단일 토큰 라틴 레이블을 사용하는 통제된 합성 작업에 국한된다는 점을 명시한다. 이들이 이 발견이 모든 프런티어 모델, 고유 스크립트 조건부, 또는 자유 형식 완성(free-form completions)에 확장된다고 주장하는 것은 아니다. "얽혀 있는" 라우터의 특성은 테스트된 설정 내에서 정밀하지만, 다른 모든 라우팅 작업으로 일반화될 수는 없다.