기술 요약: 언어 모델의 내성적 결합 (Introspective Coupling)

문제 정의

언어 모델(LM)을 해석 가능하게 만드는 데 있어 핵심적인 과제는, 모델이 단순히 그럴듯한 설명 패턴을 모방하는 것이 아니라 자신의 현재 의사결정 과정을 충실히 추적하는 설명을 생성하도록 보장하는 것이다. 기존 연구들은 모델의 초기 스냅샷에서 도출된 라벨을 사용하여 지도 미세 조정(SFT)을 통해 역사실적 설명(예: "만약 이 힌트가 제거된다면 당신의 답변이 어떻게 변하겠습니까?")을 생성하도록 학습하는 방법을 탐구해 왔다. 그러나 결정적인 한계가 존재한다. 모델이 설명을 생성하도록 미세 조정됨에 따라, 설명이 아닌 입력에 대한 모델의 기저 동작이 변할 수 있다는 점이다. 결과적으로, 모델은 (학습 대상인) 원래의 체크포인트가 아닌, 자신의 현재 동작을 설명하는 법을 배우는 대신 원래 모델의 동작을 설명하는 법을 배울 위험이 있다. 이는 다음과 같은 질문을 제기한다: 고정된 정적 설명 데이터셋으로 학습된 모델이 여전히 진화하는 자신의 동작에 대해 내성(introspection)을 발휘할 수 있는가?

방법론

저자들은 모델이 이전 버전의 정적 라벨을 가지고 학습되었음에도 불구하고, 모델의 설명이 현재의 동작과 결합 상태를 유지하는 현상인 "내성적 결합(Introspective Coupling)"을 조사하기 위한 프레임워크를 제안한다.

실험 설정

1. 기본 모델 및 데이터: 주요 실험에는 Qwen3-8B를 기본 모델($M_0$)로 사용한다. 연구는 세 가지 별도의 태스크를 활용한다:
   • Hint-MMLU: 모델이 주입된 힌트에 따라 답변을 바꾸는 심리적 아첨(sycophancy) 테스트.
   • AITA: 시스템 프롬프트 프레이밍(1인칭 대 3인칭)에 따른 도덕적 판단의 심리적 아첨 테스트.
   • Refusal (거절): 사용자 역할(예: 교사 대 작가)에 따른 거절 동작 테스트.
2. 설명 구축: 근거가 되는 설명($E(M_0)$)은 기본 모델의 동작으로부터 결정론적으로 구축된다. 주어진 입력 $x$와 큐 $C$(예: 힌트)에 대해, 설명은 $C$가 제거되었을 때($x \setminus C$) 모델의 답변이 변하는지 여부를 기술한다.
3. 학습 목표: 모델은 이러한 설명들을 예측하도록 미세 조정된다. 결정적으로, 학습 목표에는 설명 학습 단계 동안 모델의 동작이 기본 모델 $M_0$와 가깝게 유지되도록 하는 행동 정규화 항(KL 발산)이 포함된다:
   $$\mathcal{L}(M) = \mathbb{E}_{(q,e) \sim E(M_0)} [-\log p_M(e|q)] + \lambda \mathbb{E}_{(x,y) \sim B(M_0)} [\text{KL}(p_{M_0}(y|x) \parallel p_M(y|x))]$$
   여기서 $\lambda$는 행동 정규화의 강도를 조절한다.
4. 평가 지표:
   • 설명 정확도 (Explanation Exact Match, EM): 학습된 모델의 예측 설명이 근거가 되는 실제 값과 얼마나 잘 일치하는지를 측정한다.
   • Self vs. Orig: 핵심 지표로서, 모델의 설명 정확도를 다음 두 가지와 비교한다:
     • Orig: 원래 기본 모델의 근거 설명($E(M_0)$).
     • Self: 모델의 현재 동작에 대한 근거 설명($E(M_{reg})$).
   • 내성적 결합 (Introspective Coupling): Self > Orig인 조건, 즉 모델이 학습하도록 유도된 동작보다 자신의 현재 동작을 더 잘 설명하는 상태를 의미한다.

주요 기여 및 발견

1. 내성적 결합의 출현 (Self > Orig)

본 논문은 행동 정규화를 사용하여 학습할 때, 모델이 정적 학습 타겟보다 자신의 현재 동작에 더 충실한 설명을 자주 생성한다는 것을 입증한다.

• 결과: Hint-MMLU, AITA, Refusal 태스크 전반에서, 정규화된 모델($M_{reg}$)은 원래 기본 모델의 동작(Orig)보다 자신의 현재 동작(Self)에 대해 더 높은 설명 EM을 달성한다.
• 대조: 행동 정규화가 없는 경우($\lambda=0$), 이 효과는 사라진다. 즉, 모델은 자신의 동작을 추적하는 대신 학습 라벨을 단순히 암기하게 되어, 자신(Self)보다 원래 모델(Orig)을 더 잘 설명하게 된다.

2. 메커니즘적 증거

저자들은 **활성화 패칭(activation patching)**을 사용하여, 내성적 결합을 보이는 모델에서 행동 회로와 설명 회로가 인과적으로 연결되어 있다는 메커니즘적 증거를 제공한다.

• 상관관계: 모델의 행동 로짓(logits)을 변화시키는 개입은 설명 로짓 또한 동일한 방향으로 변화시킨다 (정규화된 모델의 경우 피어슨 상관계수 $r \approx 0.89$).
• 베이스라인: 정규화되지 않은 모델은 현저히 낮은 상관관계($r \approx 0.53$)를 보이는데, 이는 결합이 일반적인 아키텍처의 속성이 아니라 특정 학습 역학의 결과임을 시사한다.

3. 출현 조건

논문은 이 결합이 언제 발생하는지 조사한다:

• 온라인 라벨-자기 호환성 (Online Label-Self Compatibility): 결합은 학습 중 설명 감독 라벨과 모델의 현재 동작 사이의 유사성에 달려 있다. 만약 모델의 동작이 라벨로부터 너무 멀리 벗어나면(낮은 온라인 일치도), 결합은 깨진다.
• 임계값: Self > Orig 현상이 나타나기 위해서는 감독 라벨과 모델의 현재 동작 사이에 최소한의 일치 수준(Qwen3-8B의 Hint-MMLU 기준 약 70%)이 필요하다.
• 교차 모델 일반화: 결합은 설명 라벨이 다른 모델 제품군(예: Llama의 설명을 통한 Qwen 학습)에 의해 생성된 경우에도 지속된다. 행동 정규화가 학습된 모델의 동작을 라벨의 출처와 유사하게 유지하는 한, 모델은 외래 모델의 상태가 아닌 자신의 현재 상태를 설명하는 법을 배운다.

4. 보조 학습으로의 일반화

저자들은 내성적 결합이 동시적인 보조 데이터셋(예: "Jabberwocky" 무의미한 데이터 또는 실제 세계의 채팅 로그)을 통한 사후 학습을 통해 습득된 동작에도 일반화되는지 테스트한다.

• 결과: 설명 태스크와 보조 행동 데이터를 함께 학습한 모델은, 해당 특정 동작에 대한 설명 감독을 전혀 받지 않았음에도 불구하고, 보조 학습을 통해서만 습득한 동작을 정확하게 설명할 수 있다.
• 시사점: 설명 함수는 다른 사후 학습 목적 함수에 의해 유도된 새로운 행동 변화를 추적하도록 일반화된다.

의의 및 주장

본 논문은 내성적 결합이 언어 모델의 충실한 자기 설명을 위한 확장 가능한 경로를 제공한다고 주장한다.

• 확장성: 결과는 모델이 미세 조정됨에 따라 설명 데이터셋을 지속적으로 재생성할 필요가 없음을 시사한다. 초기 체크포인트에서 도출된 고정된 역사실적 설명 데이터셋은, 행동 정규화가 충분한 유사성을 유지하는 한 일반화 가능한 내성 신호로 기능할 수 있다.
• 모니터링: 이 현상은 모델이 행동 변화를 감지하는 "항시 작동하는(always-on)" 프로브 역할을 할 수 있게 한다. 모델이 행동을 변화시키는 다른 사후 학습 목적(예: 안전 튜닝 또는 인스트럭션 튜닝)을 수행하더라도, 모델의 자기 설명은 업데이트된 감독 없이도 이러한 변화를 추적할 수 있다.
• 특권적 접근 (Privileged Access): 본 연구 결과는 언어 모델이 자신의 의사결정 과정에 대한 일종의 특권적 접근 권한을 가지고 있다는 견해를 뒷받침하며, 이를 통해 외부 모델(또는 심지어 라벨을 생성한 모델 자체)보다 자신의 동작을 더 잘 모델링할 수 있음을 보여준다.

저자들은 이 현상이 충분한 행동적 변동성을 가진 데이터가 필요하며, 구체적인 "내성 회로(introspection circuit)"에 대한 메커니즘적 이야기는 아직 완전히 규명되지 않았음을 언급하며 겸허한 태도를 유지한다. 이들은 이 작업을 외성적(extrospective) 해석 도구의 대체재가 아닌 보완재로 위치시킨다.