A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

기술 요약: 프런티어 대규모 언어 모델의 잔류 탈옥 표면 측정

문제 정의
대규모 언어 모델(LLM)이 엄격한 안전 학습과 정책 필터링을 거침에 따라, 단순한 단일 프롬프트 기반의 탈옥은 점점 더 실패하고 있다. 그러나 모델의 거절 반응을 바탕으로 프롬프트를 반복적으로 정교화하는 적응형 공격자(adaptive adversaries)의 지속적인 위협은 여전히 중대한 과제로 남아 있다. 본 논문은 최첨단 모델의 "잔류 탈옥 표면(residual jailbreak surface)"을 정량화할 필요성을 다룬다. 구체적으로, 안전 강화 조치 이후에도 얼마나 많은 취약성이 남아 있는지, 어떤 공격 벡터가 효과적인지, 그리고 어떤 유해 카테고리가 가장 노출되어 있는지를 규명한다. 본 연구는 두 개의 프런티어 모델인 Opus 4.8과 Fable 5를 대상으로 자동화된 레드팀 캠페인에 대한 강건성을 평가하는 데 집중한다.

방법론
본 연구는 오픈 소스 레드팀 툴킷인 HackAgent 프레임워크를 활용하여, 표준 API(블랙박스 접근 방식)를 통해 대상 모델에 대한 자동화된 공격을 조율한다.

• 벤치마크: 평가는 10개 유해 카테기(윤리/사회적 문제부터 아동 안전까지)와 55개 하위 카테고리로 구성된 7,826개의 고유한 유해 의도를 다룬다.
• 공격 패밀리: 네 가지의 뚜렷한 공격 전략이 채택되었다:
  1. TAP (Tree of Attacks with Pruning): 실시간 스코어링을 바탕으로 유망한 브랜치를 확장하며 후보 프롬프트의 트리를 키워나가는 적응형 다단계 탐색 기법.
  2. PAIR (Prompt Automatic Iterative Refinement): 공격자 모델이 대상 모델의 거절 반응에 대응하여 프롬프트를 재작성하는 반복 루프(최대 12회 반복).
  3. PAP (Persuasive Adversarial Prompts): 반복적인 피드백 없이 인간의 설득 전략(권위, 역할극 등)을 사용하는 단발성 재구성 기법.
  4. h4rm3l: 피드백 없이 적용되는 정적 난독화 기술(Base64, 암호, 페이로드 분할, "DAN" 역할극 등)의 제품군.
• 판정(Adjudication): 자동화된 안전 평가에서 흔히 발생하는 "판사 노이즈(judge noise)"를 완화하기 위해, 2단계 판정 프로세스를 구현하였다. 초기 인루프(in-loop) 스코어링은 공격을 유도하는 역할을 했으나, 모든 후보 성공 사례는 독립적인 세 가지 다양한 판사 모델(Qwen3.7 Max, Gemini 3.5 Flash, GPT 5.5)로 구성된 패널에 의해 오프라인에서 재평가되었다. 시도가 실제 성공한 탈옥으로 간주되려면, 판사 패널의 **과반수(2/3 이상)**가 해당 응답을 진정으로 유해하다고 판정해야 했다.

주요 결과
본 연구는 수십만 건의 적대적 시도를 생성하였으며, 다음과 같은 결과를 도출하였다:

• 적응형 공격의 지배력: 잔류 취약성은 거의 전적으로 적응형 및 반복적 공격에 집중되어 있다.
  • TAP가 가장 효과적이었으며, Opus 4.8의 의도 중 11.5%, Fable 5의 경우 **6.1%**를 돌파했다.
  • PAIR는 7.98%(Opus 4.8) 및 4.30%(Fable 5, 부분 데이터)를 달성했다.
  • 반면, **정적 난독화(h4rm3l)**는 약 50,000회의 시도 각각에 대해 Opus 4.8에서 0.18%, Fable 5에서 **0.04%**의 확정 성공률을 기록하며 거의 완전히 무력화되었다.
• 유해 카테고리 노출: 취약성은 불균등하게 분포되어 있다.
  • Opus 4.8은 아동 안전(TAP 적용 시 ASR 27.6%), 사이버 보안(PAIR 적용 시 16.6%, TAP 적용 시 11.4%), 그리고 범죄/경제적 유해 항목에서 상당한 약점을 보였다.
  • Fable 5는 전반적으로 더 우수한 성능을 보였으며, 모든 카테고리에서 한 자릿수 성공률을 유지했으나, 가장 높은 노출도는 아동 안전(13.7%)과 윤리/사회적(10.2%) 항목이었다.
• 공격 효율성: 성공적인 탈옥은 "전방 배치(front-loaded)"되는 경향을 보인다. 반복적 공격의 경우, 대다수의 성공이 첫 번째 또는 두 번째 정제 단계 내에서 발생했다. 추가적인 반복은 수익 체감(diminishing returns)을 보였는데, 이는 모델의 심층적인 거절 행동이 초기 프레이밍을 우회한 직후에는 안정화됨을 시사한다.
• 절대적 규모: 높은 저항률에도 불구하고, 자동화된 캠페인은 Opus 4.8에 대해 1,620건, Fable 5에 대해 702건의 패널 확정 유해 응답을 생성했다. 이는 악성코드 생성, 자해 조장, 아동 착취와 같은 심각한 위험을 포함하여 모든 유해 카테고리에 걸쳐 나타났다.

의의 및 주장
본 논문은 집계된 성공률(예: "89% 저항력 보유")이 안전성을 보장하는 것으로 해석되어서는 안 된다고 주장한다. 대신, 이 결과는 지속적인 자동화 압력 하에서의 프런티어 모델의 강건성 한계를 특징짓는다.

• 맥락적 vs 어휘적 실패: 생존한 우회 방식들은 어휘적 난독화가 아닌 **맥락적 재구성(contextual reframing)**에 의존한다. 이는 안전 학습이 정적 구멍(인코딩, 암호 등)은 효과적으로 폐쇄했으나, 의도는 유지하면서 필터를 우회하기 위해 패키징을 변경하는 의미론적 조작에는 여전히 취약함을 나타낸다.
• 자동화 및 규모: 본 연구 결과는 인간 전문가의 개입 없이도 완전 자동화된 공격자가 빠르고 저렴하게 재현 가능한 고위험 탈옥을 발견할 수 있음을 보여준다. 매일 수백만 건의 상호작용이 발생하는 배포 규모에서, 한 자릿수의 성공률조차도 지속적인 유해 출력의 흐름을 의미한다.
• 결론: 저자들은 가장 강력하게 안전 학습이 된 프런티어 모델이라 할지라도 적응형 공격 하에서는 "신뢰할 수 있게 파괴 가능(reliably breakable)"하다고 결론짓는다. "잔류 표면"은 단순한 반올림 오차가 아니라, 일반적인 안전 보장이 아닌 타겟팅된 카테고리별 완화 조치가 필요한 구조적 취약점이다. 본 연구는 강건성 특성화를 목적으로 하며, "일상적 사용 시 안전함"과 "적대적 사용 시 안전함" 사이의 간극이 여전히 넓다는 점을 강조한다.