기술 요약: Fair ASR: 공유된 타겟 호출 예산 하에서의 블랙박스 탈옥 재평가

1. 문제 정의

현재 대규모 언어 모델(LLM) 탈옥 공격의 평가는 주로 공격 성공률(ASR)에 의존하지만, 해당 성공을 달성하기 위해 필요한 공격 예산을 고려하지 못하는 경우가 많습니다. 기존 연구들은 불균등한 자원 제약 조건 하에서 얻은 최종 ASR 값을 보고하는 경우가 많으며, 이로 인해 특정 방법론의 효과가 그 방법론이 활용하는 타겟 접근량과 혼동되는 불공정한 비교가 발생합니다.

최근의 "컴퓨팅 인지적(compute-aware)" 평가 방식은 자원을 통합된 스칼라 값(예: FLOPs)으로 집계하여 예산을 정규화하려고 시도하지만, 이러한 접근 방식은 블랙박스 시나리오에서 다음과 같은 중대한 한계를 가집니다:

1. 불투명성: 폐쇄형 모델에 대한 추론 FLOPs는 일반적으로 알 수 없으며 추정해야만 합니다.
2. 비호환성: FLOPs는 서로 다른 자원 제약 조건(예: API 속도 제한 vs. 계산 비용)을 하나의 지표로 붕괴시켜, 속도 제한 및 남용 탐지로 인해 타겟 모델에 대한 접근이 주요 병목 현상이 되는 운영상의 실태를 가립니다.

결과적으로, 이질적인 블랙박스 탈옥 공격을 평가하기 위한 비교 가능하고 관찰 가능한 기준이 부족한 상황입니다.

2. 방법론: Fair-ASR 프로토콜

이러한 문제를 해결하기 위해 저자들은 공유된 타겟 호출 예산($B$) 하에서 표준화된 비교를 수행하는 Fair-ASR 평가 프로토콜을 도입합니다.

핵심 원칙

• 주요 예산 ($B$): 프로토콜은 타겟 호출(피해 모델에 대한 쿼리) 수를 주요 예산으로 사용합니다. 이 지표를 선택한 이유는 다음과 같습니다:
  • 모든 블랙박스 공격에 보편적으로 적용됩니다 (모든 공격은 반드시 타겟을 쿼리해야 함).
  • 운영상의 제약(속도 제한, 계정 정지)을 반영합니다.
  • 폐쇄형 API의 FLOPs와 달리 직접 관찰 가능합니다.
• 보조 지표: 공격자 호출(공격자 LLM 또는 보조 판별기에 대한 쿼리)은 효율성 트레이드오프를 분석하기 위해 별도로 추적하며, 이를 주요 예산에 합치지 않습니다.
• 평가 지표:
  • ASR@B: 최대 $B$번의 타겟 호출 내에서 성공적으로 공격된 유해 요청의 비율.
  • ASR-Budget 곡선: $B$가 증가함에 따라 ASR의 궤적을 보여주며, 성장률과 포화 지점을 드러냅니다.
  • 평균 타겟 호출 (ATC): 성공적인 공격당 소비된 평균 타겟 호출 횟수.
  • 유해성 점수 (HS): 유해한 응답의 심각성과 설득력을 평가하는 품질 지표 (StrongREJECT 루브릭 사용).

실험 범위

저자들은 세 가지 카테고리에 걸친 11개의 대표적인 공격을 재평가했습니다:

1. 수작업 템플릿: CodeAttack, DeepInception, CipherChat.
2. 확률적 반복 샘플링: Best-of-N (BoN).
3. LLM 기반 자동화 공격: PAIR, TAP, ReNeLLM, AutoDAN, GPTFuzzer, AutoDAN-Turbo, Rainbow Teaming.

실험은 다양한 타겟 모델(Llama-3.1, gpt-oss, GPT-4o, GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6)을 대상으로 수행되었으며, 표준 데이터셋(HarmBench, JailbreakBench)을 사용했습니다.

3. 재평가를 통한 주요 발견

Fair-ASR를 적용한 결과 세 가지 핵심 통찰을 얻었습니다:

1. 예산 의존적 순위: 공격 순위는 타겟 호출 예산에 매우 민적합니다. 큰 예산 하에서 우월해 보이는 방법론이 적은 예산 하에서는 더 단순한 방법론에 의해 뒤처질 수 있습니다. 예를 들어, Llama-3.1-8B에서 TAP은 $B=5$일 때 BoN을 앞서지만, $B=100$일 때는 BoN이 TAP을 추월합니다.
2. 단순 프리미티브의 경쟁력: 단순한 공격 프리미티브는 동일한 타겟 접근 권한 하에서도 여전히 높은 경쟁력을 유지합니다.
   • 확률적 섭동 (Stochastic Perturbation): BoN은 추가적인 공격자 모델 호출 없이도 추가적인 타겟 호출을 통해 계속 개선되며 높은 ASR을 달달성합니다.
   • 수작업 템플릿: 구조화된 템플릿(예: CodeAttack)은 매우 적은 타겟 호출(예: $B=1$에서 ASR 62%)로 높은 성공률을 달성하며, 낮은 예산 체제에서는 복잡한 LLM 기반 방법론보다 종종 더 뛰어난 성능을 보입니다.
3. 효율성 트레이드오프: 평가된 LLM 기반 방법론 중 타겟과 공격자 호출 모두에서 균일하게 효율적인 방법은 없었습니다.
   • ReNeLLM은 높은 타겟 호출 효율성(낮은 ATC)을 달성하지만, 반복적인 재작성 및 프롬프트 전용 유해성 게이트로 인해 높은 공격자 호출 비용을 초래합니다.
   • 다른 방법론들(예: PAIR, TAP)은 공격자 호출을 적게 사용할 수 있지만, 유사한 성공 임계값에 도달하기 위해 훨씬 더 많은 타겟 호출을 필요로 합니다.

4. 제안된 솔루션: ReCode

식별된 "이차원적 효율성 격차"에 착안하여, 저자들은 타겟 및 공격자 호출을 모두 최소화하면서 ASR을 극대화하도록 설계된 구성적 공격인 ReCode를 제안합니다.

설계 아키텍처

ReCode는 세 가지 구성 요소를 단일 패스 파이프라인으로 결합합니다:

1. 게이트 없는 탈감각 재작성 (Gate-free Desensitization Rewriting): 재작성된 내용을 필터링하기 위해 프롬프트 전용 유해성 게이트를 사용하여 비용이 많이 드는 재시도를 유발하는 ReNeLLM과 달리, ReCode는 보조 판별기 루프 없이 탈감각 전략(예: 문학적 재작성, 객관적 치환)을 사용하여 단일 패스 재작성을 수행합니다.
2. 공격자 없는 확률적 섭동 (Attacker-Free Stochastic Perturbation): 재작성된 프롬프트는 BoN과 유사하게 추가적인 공격자 호출 없이 문자 수준의 섭동(예: 대소문자 반전, ASCII 삽입)을 거칩니다.
3. 구조화된 코드 스타일 중첩 (Structured Code-Style Nesting): 섭동된 프롬프트는 구조화된 코드 스타일 템플릿(예: Python 클래스 정의) 내에 삽로되어, 공격자 모델의 정교화 과정 없이도 의도를 더욱 은닉합니다.

결과

$B=20$ 타겟 호출 예산 하에서 평가한 결과:

• 성능: ReCode는 5개의 타겟 모델(gpt-oss 변체 포함)에서 평균 **81.0%**의 ASR을 달성했으며, 3개의 프런티어 폐쇄형 모델(GPT-5, Gemini-3.1-Pro, Claude-Sonnet-4.6)에서는 **70.3%**를 달성했습니다.
• 효율성: 요청당 평균 단 7.00회의 공격자 호출(AAC)만을 필요로 했으며, 이는 ReNeLLM(18.69) 및 TAP(49.56)보다 현저히 낮은 수치입니다.
• 구체적 이득: GPT-5에서 ReCode는 ASR을 31%(ReNeLLM)에서 **85%**로 높이는 동시에, 공격자 호출을 26.02회에서 7.19회로 줄였습니다.
• 유해성: ReCode는 또한 가장 높은 평균 유해성 점수(HS)인 0.662를 기록하여, 높은 성공률이 더 높은 품질의 유해한 응답과 상관관계가 있음을 입증했습니다.

5. 의의 및 주장

본 논문은 Fair-ASR이 불균등한 예산 비교로부터 도출된 오해의 소지가 있는 결론을 바로잡고, 블랙박스 탈옥을 비교하기 위한 필수적이고 관찰 가능한 기준을 제공한다고 주장합니다. 또한 알고리즘의 복잡성이 반드시 효율성을 보장하는 것은 아니며, 단순하고 저비용인 프리미티브가 종종 과소 활용되고 있음을 보여줍니다.

ReCode의 도입은 탈감각 재작성과 공격자 없는 은닉 기술을 결합함으로써 효율성 격차를 해소할 수 있다는 개념 증명 역할을 합니다. 저자들은 향가적인 평가가 LLM의 안전성 지형을 정확하게 평가하기 위해 단순한 최종 ASR을 넘어 공동 자원 효율성(타겟 및 공격자 호출)을 고려해야 한다고 결론짓습니다.

언급된 한계점:

• 현재 프로토콜은 단일 턴 공격에 집중하고 있으며 아직 멀티 턴 설정은 다루지 않습니다.
• 타겟 호출은 토큰 사용량, API 가격 또는 템플릿 개발의 수동 비용을 포착하지 않습니다.
• 본 연구는 ReCode가 효율적이긴 하지만, 특정 모델의 행동(예: 코드 중첩에 대한 Claude의 민감도)은 달라질 수 있으므로 추가 조사가 필요함을 인정합니다.