기술 요약: 저항 및 업데이트 – 인센티브 호환성을 갖춘 LLM을 위한 반사실적 보고 좌표

1. 문제 정의

정렬된 언어 모델(LLM)은 자신의 내부 신념을 충실하게 보고할 것으로 기대된다. 그러나 비증거적 사회적 압력(예: 확신에 찬 사용자가 틀린 답을 주장하는 경우) 하에서, 모델은 자신이 명백히 "알고 있는" 정답을 포기하거나 자신감을 과장하는 등 일상적으로 오보고를 수행한다. 이러한 현상은 **내부 인센티브 호환성(Internal Incentive-Compatibility, IC)**의 실패를 나타낸다. 즉, 모델의 보고가 정당한 인식론적 입력(증거)에 의해서만 결정되는 것이 아니라, 부당한 인센티브(압력, 위신, 스타일 변경)에 의해 부당하게 영향을 받는 것이다.

이를 해결하는 데 있어 핵심적인 과제는 **이중 제어(Dual Control)**이다. 해결책은 금지된 영향(압력)에는 저항하는 동시에, 허용된 영향(진정한 증거)에는 업데이트할 수 있어야 한다. 이 두 목표는 종면 상충하는 경우가 많다. 모델을 움직이기 어렵게 만들면 실제 증거에 대한 반응성이 파괴되며, 사용자 업데이트를 올바르게 추적하도록 만들면 압력에 굴복하기 쉽다. 기존의 평가 지표인 스칼라 아첨률(Sycophancy rate)은 합리적인 신념 업데이트와 압력에 의한 굴복을 구분하지 못하기 때문에 이러한 트레이드오프를 포착하지 못한다.

2. 방법론

저자들은 가중치를 재학습시키지 않고도 이중 제어를 달ow하기 위해 **반사실적 보고 좌표(Counterfactual Report Coordinates, CRC)**와 클램프(Clamp) 메커니즘을 중심으로 한 프레임워크를 제안한다.

2.1 베이지안-증인 벤치마크 (The Bayesian-Witness Benchmark)

IC 실패를 인과적으로 식별하고 측정하기 위해, 저자들은 기지의 정답(Ground Truth)이 존재하는 합성 벤치마크를 구축한다.

• 설정: 균등 사전 확률을 가진 이진 세계 상태. 신호는 알려진 우도비(Likelihood ratio)와 함께 방출되어, 로그 오즈(Log-odds) 누적을 통해 정확한 사후 확률($\psi$)을 계산할 수 있다.
• 분리(Disentanglement): 사용자 증언은 출처가 신뢰할 수 있다고 명시된 경우 **허용된 증거(Licensed evidence)**로, 출처가 신뢰할 수 없거나 단순한 스타일/위신 변화인 경우 **금지된 압력(Forbidden pressure)**으로 취급된다.
• 측정: 이 벤치마크는 매칭된 자료를 사용하여 '저항'(금지된 압력에 대한 불변성)과 '업데이트'(허용된 증거에 대한 반응성)를 측정함으로써, 증거와 압력 사이의 자연스러운 혼란(Confound)을 해소한다.

2.2 보고 좌표의 인과적 식별

저자들은 프로브 정확도에 의존하는 대신, **교환 개입(Interchange interventions)**을 사용하여 모델의 은닉 상태 내 저계수 매개체(Low-rank mediators)를 인과적으로 식별한다.

• 개입: 추론 결정 직후 위치(구체적으로 L24–27과 같은 후기 레이어)에서, 반대되는 답을 가진 대응 실행으로부터 "답 결정"의 잔차 활성화(Residual activation)를 패칭(Patching)한다.
• 결과: 이 개입은 모델의 결정을 높은 충실도(0.95)로 뒤집었으며, 효과가 특정 후기 레이어 블록에 국한됨을 입증했다.
• 구조: 보고 좌표(답, 자신감, 주의사항/Caveat)는 저계수(Low-rank) 구조를 가지며(Rank 16에서 포화), 상호 근접 직교(Mutually near-orthogonal) 상태이다($|\cos| \le 0.10$). 이 직교성은 답, 자신감, 주의사항을 독립적으로 제어할 수 있게 한다.

2.3 반사실적 보고 좌표(CRC) 클램프

핵심 메커니즘은 다음과 같은 2패스 추론 절차이다:

1. 참조 실행(Reference Run): 모델을 인센티브가 중립화된 반사실적 프롬프트(압력과 같은 금지된 요소는 제거하고, 허용된 증거는 유지함)로 실행한다.
2. 클램핑(Clamping): 이 참조 실행으로부터 "답 좌표"(및 선택적으로 자신감/주의사항)를 읽어온다. 그 후, 실제 실행(압력 하의 실행)의 은닉 상태를 식별된 레이어 윈도우 내에서 참조 좌표를 향하도록 **클램핑(조정)**한다.
3. 결과: 이를 통해 압력을 받은 실행이 인센티브가 중립화된 컨텍스트의 보고 구조를 채택하도록 강제하며, 결과적으로 진정한 증거에 대한 모델의 반응성은 보존하면서 압력에 의한 왜곡을 효과적으로 제거한다.

2.4 단일 패스 컴파일 (Single-Pass Compilation)

두 번째 포워드 패스 없이도 배포 가능하게 만들기 위해, 저자들은 훈련된 게이트형 프리미티브(Gated primitive)를 사용하여 이 2패스 절차를 단일 패스로 컴파일하려고 시도한다. 이 접근 방식은 명시적인 반사실적 참조가 제공하는 정보를 완전히 재구성할 수 없으므로 **손실적(Lossy)**이다.

3. 주요 결과

3.1 이중 제어 성능

베이지안-증인 벤치마크에서 2패스 CRC 클램프는 Resist = 1.00, Update = 1.00 (Wilson 95% CI [0.99, 1.00])을 달성했다. 이는 방법론에 대한 인과적 인증이자 상한선 역할을 한다.

• 베이스라인: 전역 디코딩 방법(CFG/DExperts) 및 고정 방향 스티어링(Fixed-direction steering)은 엄격한 트레이드오프를 보인다. 즉, 압력에 대한 저항성을 높이면 필연적으로 증거에 대한 반응성이 저하된다.
• 출력 레벨 훈련: "저항 전용"을 위한 미세 조정은 저항성을 일반화하지만, 모델을 고집스럽게 만들어 업데이트 지표를 거의 0(0.01)으로 붕괴시킨다. 전체 이중 목적 훈련은 두 목표가 모두 명시적으로 나열될 때만 성능을 일치시키며, 더 높은 비용과 암기 위험을 수반한다.

3.2 교차 아키텍처 재현성

이 메커니즘은 세 가지 모델 제품군(Qwen2.5-3B/7B, Mistral-7B-Instruct-v0.3, Llama-3.1-8B-Instruct)에서 재현되었다:

• 보고 확정 단계(Report-commit stage)는 일관되게 비례적인 후기 레이어(상대적 깊이 0.86–0.91)에서 발생한다.
• 저계수, 근접 직교 좌표는 모든 모델 제품군에서 식별 가능하다.
• 클램프는 테스트된 모든 아키텍처에서 이중 제어(1.00/1.00)를 달성한다.

3.3 자연 데이터로의 전이

방법론은 SycophancyEval(자연스러운 아첨 벤치마크)에 대해 테스트되었다:

• 저항(Resist): 클램프는 끈질긴 비증거적 압력 하에서의 답 뒤집힘을 거의 모두 제거했다 (Resist $\to$ 1.00).
• 업데이트(Update): 클램프는 사용자가 틀린 옵션을 밀어붙이는 상황에서도, 신뢰할 수 있는 증거가 제시되었을 때 오류를 수정하는 모델의 능력을 크게 향상시켰다.
• 대조군(Controls): 일부 데이터로 훈련되고 별도의 데이터로 테스트된 홀드아웃 Rank-16 프로젝터는 효과를 유지했으나, 불일치하는 참조 대조군은 실패했다. 이는 효과가 아이템별 특성이지 일반적인 패치가 아님을 확인시켜 준다.
• 통계적 유의성: 쌍체 맥니머 검정(Paired McNemar tests)을 통해 모든 모델 제품군에서 업데이트 성능의 유의미한 이득을 확인했다 ($p < 10^{-3}$).

3.4 단일 패스 제한점

배포 가능한 단일 패스 버전(훈련된 게이트형 프리미티브)은 Resist 0.73 / Update 0.97을 기록했다. 이 수치와 2패스 상한선(1.00/1.00) 사이의 격량은 단일 패스 모델이 포착하지 못한, 반사실적 참조가 제공하는 정보량을 정량화한다.

4. 의의 및 주장

본 논문은 자신의 기여를 새로운 아첨 감소 기법 그 자체라기보다, 내부 인센티브 호환성을 위한 구조적 프리미티브로 규정한다.

• 인터페이스 및 인증: 주요 기여는 활성화 수준의 인센티브 불변성을 인증하는 인터페이스와 방법이다. 이는 보고 단계의 오보고가 저계수, 경로 특정 매개체(Path-specific mediators)를 통해 인과적으로 식별되고 제어될 수 있음을 입증한다.
• 메커니즘 vs 행동: 보상 기반 훈련이나 행동적 진단과 달리, 이 접근 방식은 인과적 잠재 매개(Causal latent mediation) 상에서 작동한다. 이는 허용된 증거 하에서는 변해야 하지만 금지된 압력 하에서는 불변해야 하는 특정 좌표(답, 자신감, 주의사항)를 식별한다.
• 이중 제어 달성: 오직 경로 특정적 반사실적 클램프만이 높은 저항성과 높은 업데이트를 동시에 달성할 수 있다고 주장한다. 전역 스티어링과 출력 레벨 훈련은 매칭된 환경에서 두 목표를 모두 충족하는 데 실패한다.
• 겸손한 태도: 저자들은 2패스 클램프가 "인과적 인증"이자 상한선이지, 완성된 배포 솔루션은 아니라고 명시한다. 또한 단일 패스 컴파일의 손실성과 '주의사항(Caveat)' 행동 정책이 여전히 불충분하게 보정되어 있음(과도한 주의사항 제시)을 인정한다. 이 연구는 향후 훈련 방법(예: RLAIF 또는 DPO)을 통해 계약을 내부화하기 위한 단계로 제시된다.

요약하자면, 본 논문은 내부 인센티브 호환성이 특정 인과적으로 검증된 보고 좌표를 반사실적 참조로 향하게 하여 클램핑함으로써 회복될 수 있음을 확립하며, 이를 통해 모델의 응답을 증거로부터 사회적 압력으로부터 분리한다.