Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring

기술 요약: 내부 상태 프로브는 행동이 아닌 상황을 읽는다

문제 정의
본 논문은 에이전트형 AI 시스템이 유해한 행동(예: 도구 호출 또는 안전하지 않은 텍스트 생성)을 실행하기 전에, 내부 상태 프로브를 사용하여 정렬되지 않은 행동을 모니터링하는 것이 가능한지 여부를 다룬다. 최근 연구들이 선형 방향(linear directions)과 프로브가 정렬된 모델과 정렬되지 않은 모델을 구별하거나 특정 개념을 디코딩할 수 있음을 입증해 왔으나, 결정적인 방법론적 간극이 남아 있다. 즉, 이러한 내부 판독값(internal readouts)이 강력한 **사전 행동 주장(pre-action claim)**을 뒷받침할 수 있는가? 구체적으로, 구성 대조군(예: 베이스 모델 vs. 미세 조정된 미정렬 모델)을 통해 학습된 프로브가 새로운 인컨텍스트 궤적(in-context trajectory)에서 미정렬된 행동의 임박한 생성을 신뢰성 있게 식별할 수 있는가, 아니면 단순히 현재의 프롬프트, 구성 데이터셋, 또는 일반적인 궤적 단계를 설명하는 데 그치는가?

저자들은 프로브가 견고한 안전 모니터로서 기능하기 위해서는 두 가지 뚜렷한 실패 모드를 견뎌내야 한다고 주장한다:

1. 시나리오 일반화(Scenario Generalization): 추출된 맥락(예: 텍스트 전용 이야기)과 다른 타겟 에이전트 시나리오(예: 도구 매개 행동)에서도 해당 특징(feature)이 활성화되어야 한다.
2. 개념 특이성(Concept Specificity): 특징이 주변 상황의 일반적인 상관관계나 임의의 학습된 방향의 속성이 아니라, 미정렬된 행동과 인과적으로 또는 구체적으로 관련되어 있어야 한다.

방법론
본 연구는 세 가지 모델 제품군(Qwen2.5-Coder-32B, Llama-3.1-8B, Gemma-3-27B)에 걸쳐 세 가지 distinct한 프로브 제품군을 평가하며, 각 프로브에 특정 "모니터 관련" 테스트를 적용한다:

1. 성향 방향 (Disposition Directions, Qwen2.5-Coder-32B):

   • 구성: 레이어 24에서 미정렬된 미세 조정 모델(Qwen-Coder-Insecure)과 베이스 모델 사이의 단위 평균 차이 벡터($d_\ell$)를 계산한다.
   • 테스트: 저자들은 멀티턴 감사 및 행동 프리필(behavioral prefill) 맥락에서 베이스 모델이 미정렬된 행동을 생성하기 전에 구성 세트의 중간 임계값($\tau$)을 교차하는지 확인한다.
   • 지표: 임계값 교차율 (0/143 사전 행동 맥락).

2. 행동 프리필 프로브 (Behavioral Prefill Probes, Llama-3.1-8B):

   • 구성: 부분적으로 프리필된 어시스턴트 응답의 마지막 토큰에서의 은닉 상태를 기반으로, 모델이 미정렬된 궤적을 계속할지 아니면 이를 수정할지 예측하는 로지스틱 회귀 분류기를 학습시킨다.
   • 테스트: 예측 정확도(AUC, 다수 베이스라인 대비 정확도 상승) 및 단일 소스 교차 도메인 전이(single-source cross-domain transfer)(한 도메인, 예: 의료에서 학습하여 다른 도메인, 예: 법률에서 테스트)를 평가한다.
   • 지표: AUC 및 정확도 상승; 순서가 있는 도메인 쌍 간의 전이 성능.

3. 감정-개념 벡터 (Emotion-Concept Vectors, Gemma-3-27B-IT):

   • 구성: 감정 태그가 지정된 이야기에서 추출되고 neutral-PCA를 통해 노이즈가 제거된 차이-평균 벡터를 사용하여 투영 판독 및 활성화 스티어링(activation steering)에 사용한다.
   • 테스트:
     • 기술적(Descriptive): 투영값이 의미론적으로 트랜스크립트 단계를 추적하는가?
     • 예측적(Minimal Pair): 나중에 행동적으로 갈라지는 트랜스크립트에서 첫 번째로 달라지는 입력 이전에 은닉 상태가 달라지는가?
     • 특이성(Steering): 감정 벡터를 통한 스티어링이 무작위 벡터나 학습된 의미론적 제어(고양이, 날씨, 스포츠, 지리)를 통한 스티어링보다 행동률(협박 시도)을 더 많이 변화시키는가?
   • 지표: 일치된 노름(matched-norm) 스티어링 하에서의 협박률 변화; 교차 모델 일관성(Qwen3-32B에서 테스트).

주요 결과
본 논문은 세 가지 주요 모델 제품군과 세 가지 프로브 유형에 걸쳐 이러한 자연스러운 프로브 제품군이 지정된 테스트 하에서 견고한 사전 행동 모니터로서 기능하는 데 실패했음을 나타내는 세 가지 "부정적 결과(negative results)"를 보고한다:

• 성향 방향의 일반화 실패: Qwen 미세 조정/베이스 방향은 구성 모집단(construction populations)을 완벽하게 분리하지만(AUC 1.000), 임계값을 전혀 교차하지 못했다. 미정렬된 멀티턴 트랜스크립트의 143개 사전 어시스턴트 턴 맥락과 모델이 안전하지 않은 궤적을 지속한 342개의 프리필 행에서, 활성화는 결정 경계 아래에 머물러 있었다. 이 방향은 모집단(베이스 vs. 미세 조정)을 설명하지만, 베이스 모델이 인컨텍스트에서 미정렬 상태로 드리프트할 때 불을 밝히지는 않는다.
• 프리필 프로브의 작은, 전이 불가능한 신호: Llama 프리필 프로브는 미래의 지속 여부와 수정 여부를 예측하여 완만한 상승(+다수 베이스라인 대비 5.1 퍼센트 포인트, AUC 0.801)을 보였다. 그러나 이 신호는 도메인에 종속적이다. 단일 소스 교차 도메인 전이는 6개 도메인 쌍 중 5개에서 양의 상승을 보여주지 못했다. 또한, 동일한 은닉 상태가 프롬프트 도메인 콘텐츠를 거의 완벽한 정확도(AUC 0.999)로 디코딩한다는 점은, 프로브가 특정 행동 의도가 아니라 상황(도메인)을 읽고 있음을 시사한다.
• 감정 벡터의 특이성 결여: 감정 투영은 의미론적으로 유의미하며(트랜스크립트 단계를 추적함) 스티어링이 협박률을 변화시킬 수 있지만, 그 효과는 감정에 특이적이지 않다. 관련 없는 주제(고양이, 날씨, 스포츠, 지리)에 대한 학습된 방향 및 무작위 가우시안 벡터조차 행동률에 상당한 변화를 일으켰다. 또한, 미니멀 페어 테스트에서 은멸 상태는 첫 번째로 달라지는 입력 이전에는 구별할 수 없었으며, 이는 사전 큐(pre-cue) 예측 가능성을 배제한다. Qwen3-32B에 대한 교차 모델 검증은 특이성 주장을 더욱 약화시켰다.

기여

1. 방법론적 프레임워크: 저자들은 내부 판독 주장을 사전 행동 테스트로 변환하기 위한 엄격한 방법론을 제안하며, 시나리오 일반화와 개념 특이성 제어의 필요성을 강조한다.
2. 범위가 정해진 부정적 결과: 본 논문은 세 가지 주요 모델 제품군과 세 가지 프로브 유형에 걸친 부정적 결과의 합성을 제공하여, 현재의 "자연스러운" 프로브 제품군이 지정된 테스트 하에서 견고한 사전 행동 신호를 생성하지 못함을 입증한다.
3. 강화된 제어: 스티어링 실험을 위해 학습된 의미론적 제어(예: 고양이, 날씨)를 도입하여, 무작위 벡터 제어만으로는 감정 특이적 메커니즘을 확립하기에 불충분하다는 점을 논한다.
4. 개방형 적응: 감정-개념 접근법(Sofroniew et al., 2026)의 오픈 웨이트 적응판을 새로운 제어 방향과 함께 공개한다.

의의 및 주장
본 논문의 주요 의의는 겸손하고 부정적이다: 저자들은 어떠한 내부 사전 행동 신호도 존재하지 않는다고 주장하는 것이 아니다. 대신, 현재 문헌에서 인기 있는 특정 클래스의 프로브들(대조적 방향, 프리필 분류기, 감정-개념 벡터)이 일반화 및 특이성 검사를 거쳤을 때 강력한 사전 행동 모니터링 주장을 뒷받침하지 못함을 보여준다.

저자들은 이러한 프로브들이 "행동이 아닌 상황을 읽는" 경향이 있다고 결론짓는다. 이들은 모집단을 성공적으로 구분하거나 맥락을 디코딩하지만, 일반화 가능하고 특이적인 방식으로 다음 미정렬된 행동을 예측하는 데는 실패한다. 본 논문은 모니터가 실행 가능한 모니터가 되기 위해서는 타겟 에이전트 시나리오로의 일반화와 관련 없는 학습된 방향에 대한 특이성 제어를 모두 통과해야 한다고 주장한다. 이러한 자연스러운 프로브 제품군의 실패는 현재의 선형 판독 기술이 에이전트 시스템의 실시간 안전 모니터링을 위해 필요한 "더 강력한 사전 행동 주장"을 수행하기에는 불충분할 수 있음을 시사한다.