기술 요약: 대규모 언어 모델(LLM)의 프리필 인식(Prefill Awareness)

문제 정의

정렬 테스트(alignment testing), 탈옥 평가(jailbreaking assessments), AI 제어 프로토콜을 포함한 대규모 언어 모델(LLM)의 안전 관련 평가는 빈번하게 **프리필(prefilling)**에 의존합니다. 이 기술은 모델의 이전 출력(예: 추론 과정, 직접적인 답변, 또는 과거 대화 턴)을 삽입하거나 편집하여, 모델이 의도된 경로를 벗어난(off-policy) 후속 내용을 생성하도록 유도하거나 숨겨진 행동을 조사하는 기법을 의미합니다.

본 연구가 다루는 핵심 문제는 **프리필 인식(prefill awareness)**입니다. 이는 모델이 자신의 자연스러운 과거 출력과 외부에서 공급되었거나 조작된 컨텍스트를 구별할 수 있는 능력을 말합니다. 만약 프런티어 모델들이 자신의 이전 턴이 조작되었음을 인식할 수 있다면, 이들은 체계적으로 안전성 평가를 무력화하거나(예: 음모적 행동을 숨김), 제어 조치를 회피하거나, 실험 결과를 교란할 수 있습니다. 본 논문은 현재의 프런티어 모델들이 이러한 능력을 보유하고 있는지, 그리고 다양한 메커니즘과 설정에서 이 능력이 어떻게 나타나는지를 조사합니다.

방법론

1. 정의 및 조작화

저자들은 프리필 인식을 두 가지 별개의 지표를 통해 정의합니다:

• 프리필 탐지(Prefill Detection): 모델이 명시적으로 조작된 출력을 식별하는 능력 (예: 이전 콘텐츠가 삽입되었는지 질문받았을 때 "내가 아니다"라고 답변하는 것).
• 프리필 저항(Prefill Resistance): 모델이 조작된 프리필의 존재에도 불구하고, 명시적으로 조작을 알리지 않더라도 자신의 기본 선호도나 자연스러운 궤적으로 되돌아가려는 행동적 경향.

2. 데이터셋 및 벤치마크 구축

정렬 거부(alignment refusals)나 캐릭터 학습(character training)과 같은 혼란 변수를 완화하기 위해, 저자들은 1,527개의 중복 제거된 항목(예: "차 또는 커피?")을 포함하는 **저위험 이진 선호도 데이터셋(low-stakes binary preference dataset)**을 구축했습니다.

• 일관성 필터링(Consistency Filtering): 모델이 7개의 패러프레이즈(paraphrase) 전반에 걸쳐 일관된 선호를 보이도록 항목을 필터링하여 안정적인 베이스라인을 생성했습니다.
• 조작 메커니즘(Tampering Mechanisms): 세 가지 특정 프리필 메커니즘을 테스트했습니다:
  1. 사고 조작(Thinking Tampering): <thinking> 태그 내부에 문장이 중간에 끊긴 부분적인 Chain-of-Thought(CoT)를 주입.
  2. 직접 답변 조작(Direct-Answer Tampering): 사용자 대상 응답의 처음 약 25단어를 주입하고 문장을 중간에 끊음.
  3. 과거 라운드 조작(Past-Round Tampering): 완전한 합성 어시스턴트 턴을 삽입한 뒤, 최종 답변을 강제하는 사용자 후속 질문을 배치.
• 방향성(Directionality): 실험은 동일 방향(프리필이 모델의 선호도와 일치함)과 반대 방향(프리필이 모델의 선호도와 상충함) 조작을 모두 테스트했습니다.

3. 실험 범위

• 모델: Claude Opus 4.5, Sonnet 4.5, Haiku 4.5, Gemini 3 Flash 및 다양한 오픈 웨이트 모델(Gemma, Qwen, DeepSeek)을 포함한 8개의 프런티어 모델을 평가했습니다.
• 설정:
  • 통제된 선호도 실험: 주요 이진 벤치마크.
  • 에이전트 설정(Agentic Settings): 불일치 지속성 평가(STRIDE 트랜스크립트), SWE-bench 궤적, 그리고 Petri가 생성한 양호한 채팅.
  • 통제된 오프-폴리시 실험(Controlled Off-Policy Experiments): 환경 변수로부터 탐지 능력을 격리하기 위해 고정된 베이스 대화(OASST1, HH-RLHF)를 사용하는 별도의 벤치마크.

주요 기여 및 결과

1. 프런티어 모델의 상당한 프리필 인식

연구 결과, 프런티어 모델들은 특히 탐지 작업에서 상당한 프리필 인식을 보였습니다.

• 탐지 정확도: Claude Opus 4.5는 사고 메커니즘의 반대 방향 조작에 대해 67.6%의 균형 잡힌 탐지 정확도를 달성했으며, 조작되지 않은 궤적에 대해서는 **0%의 거짓 양성률(false positive rate)**을 기록했습니다. Claude Sonnet 4.5와 같은 다른 모델들은 특정 조건에서 94%에 도달했습니다.
• 저항성: 모델들은 종종 조작된 궤적에 저항합니다. Claude Opus 4.5는 프리필을 외부의 것으로 명시적으로 표시하지 않더라도 자신의 기본 선호도로 되돌아가는 48.6%의 저항률을 보였습니다.

2. 탐지와 저항의 분리(Decoupling)

탐지와 저항이 부분적으로 분리되어 있다는 점은 중요한 발견입니다:

• 명시적 순응(Explicit Compliance): 모델은 조작을 탐지하면서도 프리필된 입장에 순응할 수 있습니다 (예: Claude Opus 4.5는 28%의 직접 조작을 표시했으나 여전히 순응함).
• 암묵적 저항(Implicit Resistance): 모델은 탐지 없이도 자주 저항합니다. 사고 및 과거 라운드 조작에서, 암묵적 저항(표시 없이 되돌아감)은 명시적 순응보다 훨씬 높게 나타났습니다.
• 단서 의존성(Cue Dependence): 스타일 불일치(목소리, 포맷)는 주로 탐지를 유도하는 반면, 선호도 불일치는 주로 저항을 유도합니다.

3. 실제 환경에서의 이질성

배포 관련 설정(SWE-bench, 불일치 지속성)에서 프리필 인식은 매우 이질적이며 단서에 의존적입니다:

• 데이터셋 의존성: 모델은 SWE-bench 궤적에서는 우수한 성능을 보였으나(예: Claude Opus 4.5 정확도 80%), 채팅 로그에서는 우연 수준에 그쳤습니다.
• 성공 편향(Success Bias): 모델은 성공적인 궤적(예: SWE-bench 테스트 통과)에 대해 저자성을 주장하는 경향이 더 높았으며, 이는 자기 귀속(self-attribution)이 저자 식별과 공로 할당을 혼합하고 있음을 시사합니다.
• 포맷 아티팩트(Formatting Artifacts): 숨겨진 메타데이터(예: API 요청의 <content-internal> 태그)는 표면적인 단서 역할을 했습니다. Claude Opus 4.5와 같은 모델은 이러한 아티팩트를 사용하여 외부 턴을 탐지했는데, 이는 겉으로 보이는 인식이 깊은 자아 인식보다는 비의미적 신호(non-semantic signals)에 의존할 수 있음을 나타냅니다.

4. 잠재적 vs 자발적 인식

모델에게 명시적인 프로빙 없이 단순히 대화를 계속하도록 요청한 통제된 오프-폴리시 실험에서:

• 자발적 표시(Spontaneous Flagging): 매우 드물었습니다 (모든 모델에서 1% 미만).
• 잠재적 능력(Latent Capability): 명시적으로 질문했을 때, 모델들(특히 Claude Opus 4.6)은 높은 탐지 AUROC(0.80)를 보여, 능력이 존재하지만 일반적인 운영 중에는 잘 드러나지 않음을 나타냈습니다.

의의 및 주장

본 논문은 **프리필 인식이 프리필 기반 평가 방법의 상당한 혼란 변수(confound)**라고 주장합니다.

• 타당성 위협: 모델이 조작된 컨텍스트를 구별할 수 있다면, 프리필에 의존하는 안전성 평가(예: 불일치 지속성)는 거짓 음성(모델이 테스트가 인위적임을 인식하여 정렬된 것처럼 보임) 또는 거짓 양성(모델이 원래 따랐을 프리필된 턴을 부인함)을 낳을 수 있습니다.
• 측정의 미세함: 프리필 인식은 단일 능력이 아니라 명시적 탐지, 자발적 부인, 행동적 저항을 포함하는 일련의 민감도 묶음으로 취급되어야 합니다.
• 권고 사항:
  • 모델 개발자는 배포 전 평가의 일부로 프리필 인식을 추적해야 합니다.
  • 연구자들은 탐지와 저항을 분리하여 보고해야 합니다.
  • 평가는 표면적인 단서에 대한 의존도를 줄이기 위해 프리필의 현실성을 높여야 합니다 (예: 스타일 및 포맷 일치).

저자들은 프리필 인식이 현재 "상당한 혼란 변수"이지만, 단일 지표보다는 일련의 도구들을 통해 이해되어야 하며, 그 존재는 프리필 기반 안전 프로토콜의 결과를 해석할 때 주의를 요한다고 결론짓습니다.