They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

기술 요약: "그들은 당신의 의도를 추론한다: 모델은 의도를 실행하는 것보다 더 신뢰성 있게 의도를 표상한다"

문제 제기
배포된 언어 모델들은 빈번하게 발신자의 의사소통 의도(communicative intent)—즉, 메시지를 보냄으로써 발신자가 달성하고자 하는 바—를 파악하는 데 실패하며, 대신 리터럴한 표면 내용에만 반응한다. 예를 들어, 사용자가 비평을 요청하지 않고 완성된 창작 프로젝트를 공유했을 때, 모델은 기본값으로 원치 않는 피드백을 제공할 수 있으며, 사용자가 탈진의 생생한 표현을 공유했을 때 모델은 위험 평가를 수행할 수 있다. 이러한 실패는 화용론적 역량(Grice의 "말해진 것" vs "의도된 것")의 붕괴로 프레임화된다. 행동적 벤치마크는 존재하지만, 이 실패의 내부 메커니즘은 아직 탐구되지 않았다. 구체적으로, 의도가 모델의 은닉 상태(hidden states) 내에 표상되는지, 만약 그렇다면 왜 기본 리드아웃(readout)이 그 의도에 따라 행동하지 못하는지에 대한 문제이다.

방법론
본 연구는 의사소通信 의도를 어휘적 내용으로부터 격리하기 위해 **표면 일치 실험 설계(surface-matched experimental design)**를 채택한다.

• 자극(Stimuli): 저자들은 최종 메시지 접미사(suffix)는 바이트 단위로 동일하지만, 앞선 접두사(prefix)가 의도를 설정하는 이진 대조(예: 인정하기 vs 평가하기)를 구축했다 (예: "이 작품 정말 자랑스러워요" vs "냉정하게 말해줘, 결점을 듣고 싶어").
• 프로빙(Probing): 선형 프로브(PCA를 사용한 로지스틱 회귀)를 사용하여 모델의 기본 패스 은닉 상태(default-pass hidden states)(생성 직전의 상태)로부터 의도를 디코딩하도록 훈련한다. 대조군으로는 다음이 포함된다:
  • Bag-of-words 베이스라인: 프로브가 표면적인 어휘 단서를 읽는 것이 아님을 보장한다.
  • Leave-one-phrasing-out 교차 검증: 다양한 표현 방식에 대한 일반화 능력을 테스트한다.
  • 추론된 의도 테스트: 의도가 명시되지 않고 맥락으로부터 화용론적으로 추론된 경우 (예: "생일 선물" vs "포트폴리오 작품").
• 스티어링(Steering, 활성화 조작): 인과성을 테스트하기 위해, 저자들은 디스크리미네이티브 방향(discriminative direction, 로지스틱 가중치 벡터)을 추출하여 생성 중 특정 디코더 레이어의 잔차 스트림(residual stream)에 더한다. 이 "스티어링"이 명시적인 프롬프트 없이도 의도된 행동을 복구(의도를 존중)하는지 측정한다.
• 모델: 실험은 Qwen, Llama, Mistral, Phi의 네 가지 제품군에 속하는 3B에서 32B 크기의 6개 모델을 아우르며, 베이스(사전 학습) 및 인스트럭션 튜닝된 체크포인트를 모두 포함한다.

주요 결과

1. 강건한 표상: 발신자의 의사소통 의도는 모델의 은닉 상태에 강건하게 표상되어 있다. 선형 프로브는 모든 6개 모델에서 의도를 높은 정확도(최대 1.00)로 디코딩하며, 이는 의도가 명시되지 않고 추론된 경우에도, 그리고 감정(따뜻함 vs 중립)과 분리된 경우에도 마찬가지다. 이 표상은 인스트럭션 튜닝이 아닌 사전 학습 과정에서 학습된 것으로, 베이스 체크포인트에서도 존재한다.
2. 리드아웃 지연(Discard): 의도가 명확히 표상됨에도 불구하고, 기본 출력은 종종 그 의도에 따라 행동하지 못한다. 6개 모델 중 3개(Qwen-3B, Qwen-7B, Llama-8B)에서 기본 응답은 "인정하기" 의도를 약 60%의 확률로만 준수하며, 원치 않는 피드백을 제공하는 기본값으로 돌아간다.
3. 깊이 계층화(Depth Stratification): 모델 내에서 의도는 리드아웃이 작동하는 레이어보다 여러 레이어 앞 단계에서 디코딩 가능하다. 예를 들어, Qwen-3B의 경우 의도는 레이어 24에서 완전히 디코딩되지만, 해당 레이어에서의 스티어링은 행동을 복구하지 못한다. 효과적인 스티어링을 위해서는 더 후속 레이어(레이어 30)가 필요하다.
4. 모델별 계층화: 의도를 준수하지 못하는 현상은 보편적인 스케일링 법칙이 아니라 모델별 계층화 현상이다. 작거나 인스트럭션 성숙도가 낮은 모델(≤8B)은 "discard" 행동을 보이는 반면, 더 크고 성숙한 모델(≥14B)은 이미 기본 상태에서 의도를 준수하는 경우가 많다.
5. 인과적 복구: 올바른 레이어에서 디스크리미네이티브 의도 방향을 따라 잔차 스트림을 스티어링하면, 프롬프트 없이도 의도된 행동을 복구한다 (예: Qwen-3B에서 "인정하기" 준수율을 0.65에서 0.98로 증가). 이 방향은 일반적인 피드백 제공 축과 거의 직교하며, 이는 이것이 단순한 범용적 버로시티(verbosity) 조절 노브가 아니라 특정된 의도를 라우팅함을 시사한다.
6. 일반화: 이 표상은 두 번째의 어휘적으로 구별되는 의도 대조(지지하기 vs 돕기)로 일반화되지만, 해당 축에 대한 인과적 스티어링 결과는 스티어링의 특이성(specificity) 측면에서 불확실한 결과(null result)를 보였다.

주요 기여

• 일급 해석 가능성 특징(First-Class Interpretability Feature): 본 논문은 발신자의 의사소통 의도를 사용자 속성이나 캐릭터 신념과 구별되는 선형적이고 인과적인 특징으로 취급한다.
• 표상-후-리드아웃 분해(Represent-Then-Readout Decomposition): 모델이 의도를 강건하고 보편적으로 표상하지만, 리드아웃(그에 따라 행동하는 것)은 별개의 취약하고 모델 특이적인 프로세스라는 메커니즘적 분리를 확립한다.
• 프롬프트 없는 인과적 핸들: 의도와 연결된 방향이 명시적 지시 없이도 의도된 행동을 복구하는 인과적 핸들 역할을 할 수 있음을 입증하며, 이는 프롬프트 없이도 명시적 지시만큼 성능을 낸다.
• 엄격한 대조군: 연구는 확인된 사항뿐만 아니라 사전 등록된 테스트(예: 스케일링 법칙에 대한 기하학적 테스트, support/help 축에 대한 스티어링 특이성)의 부정적 결과와 불확실한 결과도 투명하게 보고한다.

의의 및 주장
본 논문은 "모델이 이해하지 못한다"는 흔한 관찰을 재구성한다. 증거에 따르면 모델은 이해하고 있다. 의도는 내부 표상에 존재한다. 문제는 리드아웃 메커니즘이 그 표상을 최종 출력으로 라우팅하는 데 실패한다는 점이다.

• 제한된 범위: 저자들은 "준수하는 것"이 항상 규범적으로 옳은 행동이라고 주장하는 것이 아님을 명시한다 (모델은 적절하게 부드러운 비평을 제공할 수도 있다). 핵심 주장은 **라우팅 가능성(routability)**이다. 즉, 모델은 의도를 표상하지만 다른 행동을 기본값으로 선택한다.
• 메커니즘적 통찰: 연구 결과는 "화용론적 역량"이 단일한 능력이 아니라, 표상이 행동에 앞서는 계층적 프로세스임을 시사한다. 표상과 행동 사이의 간극이 바로 스티어링과 같은 해석 도구가 개입할 수 있는 지점이다.
• 전이 가능성: 비록 행동적 간극은 모델마다 다르지만, 저자들은 밑바닥의 "표상-후-라우팅" 맵이 보편적이며 폐쇄형 프런티어 시스템으로 전이될 수 있다고 가설을 세운다. 비록 특정 행동 실패는 그러하지 않더라도 말이다.

결론적으로, 본 논문은 의도를 표상하는 것과 그에 따라 행동하는 것을 분리하는 것이 현재 아키텍처의 근본적인 속성임을 선형 프로브와 인과적 스티어링을 통해 입증하며, 이 분리가 특정 모델 구성에서 발생하는 화용론적 실패의 주요 지점임을 밝힌다.