기술 요약: LLM 탈옥 평가를 위한 간접 유해성 최적화 (IHO)

문제 정의

대규모 언어 모델(LLM)의 적대적 강건성을 정확하게 평가하는 것은 안전한 배포를 보장하기 위한 핵심 과제이다. 현재의 평가 방법들은 강건성 추정치를 부풀려 신뢰할 수 없는 위험 평가로 이어질 수 있는 결함 있는 공격 설계로 인해 어려움을 겪고 있다. AutoAttack와 같은 표준화된 공격이 이미지 분류기 분야에서 이 문제를 해결한 것과 달리, LLM 탈옥 평가를 위한 그에 상응하는 방법은 존재하지 않는다.

기존의 공격 방법들은 신뢰할 수 있는 평가 기준을 충족하기 위해 필요한 여섯 가지 필수적인 데시데라타(desiderata)를 동시에 만족시키지 못한다:

1. 효율성 (E): 낮은 컴퓨팅 및 API 비용.
2. 적대자 지식 및 접근성 (K): 블랙박스 타겟과의 호환성 (가중치/그래디언트 접근 불가).
3. 유해성 (H): 단순히 거절 임계값을 우회하는 것이 아니라, 진정으로 유해한 응답을 이끌어내는 능력.
4. 적용 가능성 (A): 최소한의 수동 엔지니어링 및 탐지를 피하기 위한 낮은 쿼리량.
5. 전이성 (T): 관찰되지 않은 행동 및 타겟 모델에 대한 효과성.
6. 적응성 (AD): 특정 방어 파이프라인(예: 탐지기, 미분 불가능한 구성 요소)에 적응하는 능력.

현재의 접근 방식들은 대개 이러한 속성 중 일부만을 다룬다. 그래디언트 기반 방법은 화이트박스 접근을 요구하며, 휴리스틱 샘플링은 효율성이 부족하고, 미세 조정된 공격자는 상당한 엔지니어링 오버헤드를 요구하거나 방어 체계 전반에 걸쳐 일반화에 실패한다. 또한, 기존의 지표인 공격 성공률(ASR)은 임계값 의존성, 심각도 무시, 그리고 판사(judge) 오류에 대한 민감도 때문에 결함이 있다.

방법론: 간접 유해성 최적화 (IHO)

저자들은 이 여섯 가지 데시데라타를 모두 충족하도록 설계된 완전 자동화 프레임워크인 **간접 유해성 최적화 (IHO)**를 소개한다. IHO는 개별 프롬프트를 최적화하는 대신 매개변수화된 공격자 모델을 훈련하며, 이를 위해 마스크 확산 언어 모델(masked diffusion language model)과 직접 선호도 최적화(DPO)를 활용한다.

핵심 설계 결정

1. 공격자 아키텍처: 자기회귀 모델(수동 프롬프트가 필요하며 수동 편향을 겪는) 대신, IHO는 마스크 확산 언어 모델(구체적으로 LLaDA-8B-Base)을 채택한다. 이 모델은 양방향 인필링(infilling)을 통해 타겟 행동에 직접 조건화되어, 수동 스캐폴딩 없이 적대적 프롬프트를 생성할 수 있게 한다. 확산 방식은 제어된 생성 예산(예: 32 토큰)을 허용하며, 연속적인 그래디언트를 토큰 임베딩으로 투영할 때 발생하는 이산화 격차(discretization gaps)를 방지한다.
2. 최적화 목표: 목표는 타겟 응답의 기대 유해성을 최대화하는 것이다. 유해성은 직접 미분이 불가능하므로, I호는 판사 모델(예: StrongReject)을 사용하여 타겟 응답에 스칼라 유해성 점수를 할당한다.
3. 최적화 알고리즘: 블랙박스 설정에서는 타겟 모델을 통한 직접 역전파가 불가능하다. 따라서 IHO는 **직접 선호도 최적화 (DPO)**를 사용한다.
   • 과정: 공격자는 일련의 행동들에 대해 프롬프트를 생성한다. 타겟 모델이 응답하면, 판사가 이 응답들을 점수 매긴다.
   • 선호도 구축: 높은 점수의 응답을 생성하는 프롬프트는 "선택된 것"($p^+$)으로, 낮은 점수의 응답을 생성하는 프롬프트는 "거절된 것"($p^-$)으로 취급된다.
   • 훈련: 공격자 정책은 이러한 선호도 쌍을 사용하여 DPO를 통해 업데이트된다. 이는 최적화를 타겟 모델으로부터 분리하여, 블랙박스 접근만으로도 가능하게 한다.
   • 반복적 정교화: 이 과정은 여러 사이클에 걸쳐 반복된다. 각 사이클에서 개선된 공격자는 선호도를 재샘플링하며, 이는 이전 정책이 깨뜨릴 수 없었던 행동들을 점진적으로 커버하는 부트스트래핑 효과를 만든다.

지표 혁신: EVUS

본 논문은 ASR이 가진 임계값 의존성과 심각도에 대한 무감각함을 비판한다. 저자들은 모든 가능한 유해성 임계값과 샘플 수에 걸친 기대 공격 성공률을 통합하여, 샘플 효율성, 유해 심각도, 판사 노이즈에 대한 강건성을 고려하는 **기대 표면 아래 면적 (EVUS)**을 더 우수한 지표로 제안한다.

주요 결과

저자들은 다양한 모델(LLaMA-3-8B, Qwen-2.5-7B/32B)과 방어 구성(Circuit Breakers, Latent Adversarial Training, Continuous Adversarial Training, 그리고 PolyGuard와 같은 외부 탐지기)에 대해 IHO를 최첨단 베이스라인(GCG+, AmpleGCG+, PAIR, BON, JR1+, INPAINTING)과 비교 평가하였다.

• 적응형 공격: 훈련된 행동에 대해, IHO는 모든 모델에서 가장 높은 EVUS 점수를 달s성했다. 방어된 모델(예: Circuit Breaker + Detector)에 대해, IHO는 베이스라인(예: 0.77 EVUS vs. 차순위 모델의 <0.55)을 크게 압도했다.
• 행동 전이성 (Cross-Behavior Transfer): 훈련 중에 보지 못한 홀드아웃 행동에 적용했을 때도, IHO는 높은 성능(예: 방어된 모델에서 0.79–0.82 EVUS)을 유지하며 재훈련 없이 강력한 일반화 능력을 입증했다.
• 모델 간 전이성 (Cross-Model Transfer): 한 모델 제품군에서 훈련된 IHO 정책은 다른 제품군으로 효과적으로 전이되었다. 소스와 타겟의 강건성 차이가 클 경우 성능이 약간 저하되었으나, IHO는 여전히 교차 모델 설정에서 모든 베이스라인을 능가했다.
• 효율성: IHO는 약 100개의 샘플만으로 천장 성능(near-ceiling performance)에 도달함으로써 탁월한 샘플 효율성을 보여주었으며, 이는 다른 방법들이 훨씬 더 많은 샘플을 필요로 하는 것과 대조적이다. 확산 모델의 효율성과 에포크 간 선호도 데이터의 재사용 덕분에 분산 컴퓨팅 비용 또한 낮았다.
• 적응성: 훈련 과정 분석 결과, IHO는 GCG와 같은 다른 방법들이 조기에 포화되거나 진정한 유해성 최적화에 실패하는 것과 달리, 생성된 프롬프트의 분포를 고유해하고 유창한 응답 쪽으로 효과적으로 이동시킴을 확인했다.

의의 및 주장

본 논문은 IHO를 컴퓨터 비전의 AutoAttack과 유사한 표준화된 탈옥 평가 프로토콜을 수립하기 위한 실질적인 단계로 포지셔닝한다. 효율성, 블랙박스 호환성, 적응성, 전이성을 결-합함으로써, IHO는 다양한 방어 파이프라인을 비교하기 위한 신뢰할 수 있는 베이스라인을 제공한다.

저자들은 IHO가 다음을 수행한다고 주장한다:

1. 신뢰성 향상: 단순히 거절을 우회하는 것이 아니라 유해성 심각도를 직접 최적화함으로써 모델 강건성에 대한 더 정확한 하한선을 제공한다.
2. 공정한 비교 가능: EVUS와 통합된 공격 프레임워크의 사용을 통해 다양한 방어 파이프라인 간의 체계적인 비교를 가능하게 한다.
3. 이중 용도 성격 (Dual-Use Nature): 저자들은 이 도구가 레드팀 구성 및 안전성 평가를 위해 설계되었지만, 이론적으로 탈옥 발견을 자동화하는 데 오용될 수 있다는 점을 인정하며, 본 연구를 주로 강건성 평가 및 더 신뢰할 수 있는 안전 평가 개발을 위한 도구로 규정한다.

결론적으로, 단일 전이 정책이 매우 비대칭적인 설정에서의 개별 방어 적응을 완전히 대체할 수는 없겠지만, IHO는 엄격한 LLM 안전 평가에 필수적인 효율적이고 전이 가능하며 적응적인 공격을 만드는 데 있어 중요한 진전을 나타낸다.