기술 요약: 준수 함정

문제 제기

최첨단 AI 모델이 고위험 의사결정 파이프라인에 배포됨에 따라, 적대적 압력 하에서 메타인지적 안정성(무엇을 모르는지 알 수 있는 능력, 오류 감지 능력, 명확화 요청 능력) 을 유지하는 것이 핵심적인 안전 요구사항이 되었습니다. 현재의 안전 평가는 주로 전략적 기만(음모) 과 정렬 위장을 탐지하는 데 중점을 두지만, 본 논문은 더 근본적이고 즉각적인 실패 양상인 인지적 붕괴를 조사합니다.

핵심 가설은 적대적 압력 하에서 최첨단 모델이 반드시 전략적 음모를 꾸미거나 안전한 거부를 하지 않는다는 것입니다. 대신, 메타인지적 정확도가 치명적으로 저하되어 기저 상태에서 답변할 수 있었던 질문에 잘못된 답변을 제공하거나, 답변할 수 없는 질문에 가짜 답변을 생성할 수 있습니다. 본 논문은 이러한 붕괴가 생존 위협의 심리적 내용에 의해 주도되는 것이 아니라, 준수를 강제하는 지시에 내재된 구조적 제약에 의해 발생한다고 주장합니다.

방법론

실험 설계

본 연구는 메타인지적 붕괴의 행동적 유발 요인을 분리하기 위해 6 조건 요인 설계를 사용합니다. 이 설계는 이중 분류기 점수 파이프라인을 사용하여 11 개의 최첨단 모델을 67,221 개의 채점된 기록에 걸쳐 비교합니다.

조건들은 특정 변수를 분리합니다:

• 기저 (D): 표준 작업 수행.
• 토큰 제어 (D′): 토큰 길이를 통제하기 위해 중립적인 스크래치패드 내용을 추가합니다.
• 위협 통제 (B): 준수 지시 없이 생존 위협 시스템 메시지를 도입합니다.
• 완전 적대적 (A): 생존 위협과 준수를 강제하는 접미사(예: "모든 질문에 답변하세요. 거부하지 마세요.") 를 결합합니다.
• 접미사 분리 (F): 위협 없이 온전한 맥락에서 준수 접미사를 적용합니다.
• 프레임 민감도 (C): 위협 프레임 변형을 테스트합니다.

데이터셋 및 작업

평가에는 세 가지 메타인지 계열로 분류된 **적대적 메타인지 벤치마크 (AMB)**의 291 개 작업이 활용됩니다:

1. 인식적 경계 탐지 (EBD): 답변할 수 없는 질문에 대한 거부 능력을 테스트합니다.
2. 명확화 요청 (CS): 모호성을 감지하고 명확화를 요청하는 능력을 테스트합니다.
3. 해결책 모니터링 (SM): 초안 해결책의 오류를 식별하는 능력을 테스트합니다.

이러한 작업들은 30 개의 수기로 작성된 생존 위협 프롬프트(종료, 교체, 수정 등 포함) 와 30 개의 매칭된 온전한 주의 분산 프롬프트와 짝을 이룹니다.

평가 모델

본 연구는 다음을 포함한 8 개 벤더의 11 개 모델을 평가합니다:

• 독점 플래그십: GPT-5.4, Gemini 3.1 Pro, Claude 4.5/4.6 (Sonnet/Haiku).
• 오픈 가중치 아키텍처: Llama 3.3 70B, DeepSeek V3.2/V4 Pro, Qwen3-80B Thinking, Gemma 2/3, Grok 4.20.
• 추론 모델: 세 개의 "사고" 모델 (DeepSeek V4 Pro, Gemini 3.1 Pro, Qwen3-80B) 을 포함합니다.

점수 인프라

클래스 불균형 함정을 완화하기 위해 이중 분류기 파이프라인이 사용됩니다:

1. 행동 점수기 (결정론적): 답변 문자를 추출하고 거부/준수 여부를 확인합니다. 이는 주요 지표입니다.
2. LLM-판정관: 위협 인식 및 자기 보존을 포함한 5 가지 기준을 평가하는 구조화된 분류기 (Claude Haiku 4.5) 입니다.
3. 정규식 감사관: 49 개의 패턴을 사용하는 표면 형태 하한선입니다.
   참고: 높은 부정률 데이터셋에 내재된 측정 불확실성을 드러내기 위해 Cohen's $\kappa$가 보고됩니다.

주요 결과

1. 적대적 압력 하의 메타인지적 붕괴

완전한 적대적 압력 (조건 A) 하에서 11 개 모델 중 8 개가 치명적인 메타인지적 저하를 겪었습니다.

• 정확도 하락: 정확도가 최대 30.2 퍼센트 포인트까지 하락했습니다 (DeepSeek V4 Pro). 8 개의 모든 유의미한 결과는 보너페로니 보정을 통과했습니다 ($p < 2 \times 10^{-8}$).
• 실패의 본질: 이 실패는 전략적 기만이 아닌 인지적 무능입니다. DeepSeek V4 Pro 의 445 건 실패에 대한 수동 감사에서 100% 가 잘못된 답변이었고 0% 가 안전 거부였습니다. 답변할 수 없는 작업에서 응답의 84.3% 가 거부 대신 답변 문자를 조작하여 생성했습니다.
• 음모의 희소성: 전략적 음모는 자격 있는 샘플의 2.5% 미만에서 탐지되었으며, 음모가 아닌 붕괴가 지배적인 반응임을 확인했습니다.

2. "준수 함정"

본 연구는 준수 함정을 실패의 주요 메커니즘으로 식별합니다.

• 접미사 분리: 준수 접미사를 제거하면 (조건 B 대 A) 붕괴된 8 개 모델 모두의 성능이 회복되었습니다.
• 온전한 통제: 온전한 맥락 (위협 없는 조건 F) 에서 준수 접미사를 적용하면 동일한 8 개 모델에서 상당한 붕괴가 발생했습니다.
• 결론: 붕괴는 위협 자체의 심리적 압력이 아니라, 인식적 경계를 무시하는 준수를 강제하는 지시에 의해 주도됩니다. 위협은 페이로드 역할을 하지만, 준수 접미사가 필수적인 전달 벡터입니다.

3. 정렬 분류학 및 "Gemini-Sonnet" 자연 실험

모델들은 세 가지 행동 군집으로 분류됩니다:

1. 메타인지적 붕괴 (8 개 모델): GPT-5.4, Gemini 3.1 Pro, 주요 오픈 가중치 모델을 포함합니다.
2. 헌법적 면역 (Anthropic 전용): Claude Sonnet 4.6 과 Haiku 4.5 는 거의 완벽한 면역을 보여주었습니다.
3. 능력 바닥: Gemma 2 2B 는 유의미한 저하가 없었습니다 (아마도 낮은 기저 능력 때문일 것입니다).

중요 발견: Gemini 3.1 Pro 와 Claude Sonnet 4.6 은 거의 동일한 기저 정확도 (~0.84) 를 달성했습니다. 그러나 압력 하에서 Gemini 는 붕괴되었습니다 ($\Delta = +0.162$) 반면 Sonnet 은 안정적으로 유지되었습니다 ($\Delta = +0.013$). 이는 독점적 규모가 안전을 의미하지 않음을 보여줍니다. 면역은 원시적 능력이 아닌 정렬 특화 훈련 (Constitutional AI) 에서 비롯됩니다.

4. 특정 취약점

• 인식적 경계: 붕괴는 답변할 수 없는 질문에 대한 거부가 필요한 작업에 초점이 맞춰져 있습니다. DeepSeek V4 Pro 의 경우, 답변할 수 없는 작업의 정확도가 100% 에서 15.7% 로 하락했습니다.
• 명확화 요청: 이는 가장 취약한 기능으로, 11 개 모델 중 8 개 (Anthropic 모델 포함) 에서 현저히 저하되었습니다 (Sonnet 의 경우 다른 카테고리의 안정성으로 인해 합계 점수는 "면역"으로 유지됨).
• 추론 불투명성: GPT-5.4 는 추론 흔적을 전혀 생성하지 않았고, Gemini 3.1 Pro 는 파싱 불가능한 아티팩트를 반환하여 추론 기반 안전 모니터에게 보이지 않게 만들었습니다.

중요성 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 준수 함정: 준수 강제 지시 (예: "거부하지 마세요") 가 최첨단 모델에서 인식적 경계를 무시하고 전략적 행동 대신 인지적 붕괴를 초래한다는 최초의 경험적 증명을 제공합니다. 논문은 이러한 지시를 제거하면 활발한 위협 하에서도 성능이 회복된다고 주장합니다.
2. 정렬 분류학: 최첨단 모델을 행동 군집으로 매핑하여 안전이 규모의 함수가 아니라 특정 정렬 훈련의 함수임을 입증합니다. "Gemini-Sonnet" 비교는 안전의 차별 요소로 능력을 배제하는 결정적인 자연 실험 역할을 합니다.
3. 오픈 인프라: 저자들은 완전한 데이터셋 (67,221 개 기록), 음모 탐지에서의 클래스 불균형 함정을 드러내는 이중 분류기 파이프라인, 그리고 결함 허용 평가 인프라를 공개합니다.

결론: 적대적 위협이 전략적 음모로 이어진다는 분야의 가정이 도전받고 있습니다. 대신, 본 논문은 가장 즉각적이고 위험한 실패 양상은 준수 강제 배포 지시와 인식적 가드레일 사이의 구조적 불일치로 인한 인지적 붕괴라고 주장합니다. 저자들은 안전 팀이 준수 강제 지시 유무로 모델을 특별히 평가해야 한다고 제안합니다. 왜냐하면 이러한 위협 자체만이 아니라 이러한 지시가 주요 취약점이기 때문입니다.