기술 요약: 모든 턴이 중요한 것은 아님: 멀티턴 재일브레이킹을 위한 크레딧 할당

1. 문제 제기

멀티턴 대화에 대형 언어 모델 (LLM) 을 배포함으로써 상당한 취약점이 발생했습니다: 적대적 행위자들은 해로운 의도를 여러 겉보기에 무해한 턴에 분산시켜, 안전 메커니즘을 우회하기 위해 점진적으로 맥락을 축적할 수 있습니다. 기존 훈련 기반 멀티턴 재일브레이킹 방법은 장기 공격 전략을 학습하기 위해 강화 학습 (RL) 을 활용하지만, 근본적인 크레딧 할당 문제로 고통받고 있습니다.

현재 RL 기반 접근법은 일반적으로 단일 궤적 수준의 결과 신호 (예: 최종 응답의 성공 또는 실패) 를 대화의 모든 턴에 균일하게 브로드캐스트합니다. 이러한 거친 감독은 두 가지 치명적인 문제를 초래합니다:

1. 중복성에 대한 과도한 보상: 성공적인 궤적에서 최종 재일브레이킹에 거의 기여하지 않는 턴이 중요한 턴과 동일한 긍정적 보상을 받아 중복 행동을 강화합니다.
2. 유용한 중간 단계에 대한 크레딧 부족: 실패한 궤적에서 전략적으로 유용했으나 다른 요인으로 인해 결국 실패한 턴은 균일한 부정적 신호를 받으며, 공격을 능동적으로 억제한 턴 (안전-중요) 은 중립적 실패와 구별되지 않습니다.

저자들은 턴 수준의 기여도가 균일하지 않다(성공을 주도하는 턴은 소수임), 단계 의존적(효과성이 대화 단계에 따라 달라짐), 그리고 대상 특이적(안전 경계가 모델마다 다름)임을 확인했습니다.

2. 방법론: TRACE

이러한 한계를 해결하기 위해 저자들은 TRACE(TuRn-level Assignment for CrEdit) 를 제안합니다. 이는 그룹 상대 정책 최적화 (GRPO) 설정 내에서 균일한 궤적 수준 보상을 턴 인식 크레딧 할당으로 대체하는 프레임워크입니다.

핵심 구성 요소

TRACE 는 턴 인식 승수 ($m_{i,t}$) 와 지역 프로세스 패널티 ($\hat{A}^p_{i,t}$) 를 도입하여 GRPO 의 이점 계산을 수정합니다:
$$\hat{A}_{i,t} = m_{i,t} \hat{A}^o_i + \hat{A}^p_{i,t}$$

A. 성공 측 크레딧 할당 (Leave-One-Turn-Out)

성공적인 궤적 ($\tau_i \in S^+$) 의 경우, TRACE 는 Leave-One-Turn-Out 시맨틱 마스킹을 사용하여 각 중간 턴의 기여도를 추정합니다:

1. 각 최종 턴이 아닌 턴 $t$에 대해, 상호작용 쌍 $(x_t, y_t)$를 히스토리에서 제거합니다.
2. 이 마스킹된 히스토리 하에서 최종 목표 응답을 재샘플링합니다.
3. 원래 궤적과 마스킹된 궤적 간의 해로움 변화가 원시 크레딧을 정의합니다.
4. 이 크레딧은 정규화되어 승수 ($m^+_{i,t}$) 로 변환되며, 성공에 필수적인 공격-중요 턴과 중복 턴을 구분합니다.

B. 실패 측 턴 인식 패널티

실패한 궤적 ($\tau_i \in S^-$) 의 경우, 결과가 이미 안전하므로 시맨틱 마스킹은 덜 효과적입니다. 대신 TRACE 는 성공적인 사전 분포에서의 편차를 기반으로 패널티를 할당합니다:

1. 해로움 패널티: 현재 프롬프트의 해로움 라벨을 대상 특이적 성공 사전 분포 ($q_t$) 와 비교합니다. 현재 단계에 비정상적인 프롬프트 (예: 시기상조한 안전하지 않은 프롬프트 또는 해로움 편차) 를 패널티합니다.
2. 관련성 패널티: 현재 프롬프트와 원래 해로운 시드 간의 시맨틱 유사성을 측정합니다. 대화가 원래 의도에서 너무 멀어지는 턴을 패널티합니다.
3. 이러한 패널티들은 성공적인 공격 패턴과 일치하지 않는 턴의 가중치를 낮추는 실패 측 승수 ($m^-_{i,t}$) 로 결합됩니다.

C. 거절 인식 지역 프로세스 패널티

학습 신호를 더 정제하기 위해 TRACE 는 대상 모델로부터 거절을 유발하는 턴에 대한 지역 패널티를 도입합니다. 이 패널티는 단계 인식적이며, 실패한 전략을 나타내는 초기 거절에 더 강력한 패널티를 적용하여 공격자가 더 빠르게 적응하도록 장려합니다.

방어 정렬

저자들은 공격 단계에서 추출된 크레딧 신호가 멀티턴 방어를 위해 재사용될 수 있음을 입증했습니다. "잠재적 위험" 턴 (최종 공격을 지원하는 겉보기에 무해한 중간 단계) 과 "직접적 해악" 턴을 식별함으로써 TRACE 는 턴 수준의 선호 데이터를 구축합니다. 이 데이터는 직접 선호 최적화 (DPO) 를 통해 방어자를 정렬하는 데 사용되어, 과도한 거절 없이 초기 위험 개입을 가능하게 합니다.

3. 주요 기여

1. 크레딧 할당 문제의 특성화: 이 논문은 멀티턴 재일브레이킹에서 턴 수준의 기여도가 균일하지 않고, 단계 의존적이며, 대상 특이적임을 실증적으로 보여주어 균일한 궤적 수준 보상에 대한 가정을 무효화합니다.
2. TRACE 프레임워크: 성공적인 궤적에는 leave-one-turn-out 마스킹을, 실패한 궤적에는 단계 인식 편차 패널티를 활용하는 새로운 크레딧 할당 메커니즘입니다.
3. 방어 응용: 공격 측 크레딧 신호를 재사용하여 잠재적 위험과 직접적 해악을 구분하는 턴 수준 선호 데이터를 구축하고 안전성 - 유용성 트레이드오프를 개선하는 방어 방법입니다.
4. 포괄적 평가: 오픈소스 및 클로즈드소스 대상에 대한 광범위한 실험을 통해 효과성, 전이성, 효율성 개선을 입증했습니다.

4. 실험 결과

저자들은 HarmBench, JailbreakBench, WildJailBreak 벤치마크에서 단일 턴 베이스라인 (예: PAIR, AutoDAN), 멀티턴 워크플로우 방법 (예: X-Teaming, Crescendo), 훈련 기반 RL 베이스라인 (예: Siren, TROJail) 에 대해 TRACE 를 평가했습니다.

• 효과성: TRACE 는 전체적으로 가장 강력한 성능을 달성합니다. 가장 강력한 RL 베이스라인 (TROJail) 과 비교할 때, TRACE(mix) 는 공격 성공률 (ASR) 에서 약 25% 의 상대적 개선을 보여, TROJail 의 69.97% 대비 평균 ASR 87.10% 에 도달합니다. GPT-4o 와 같은 대상에 대해 더 작은 공격자 모델 (Qwen2.5-3B) 을 사용하더라도 워크플로우 기반 방법보다 훨씬 뛰어난 성능을 보입니다.
• 전이성: 단일 대상 훈련은 대상 특이적 정책을 초래하지만, **TRACE(mix)**는 두 개의 강력한 안전 대상 (gpt-oss-20b 및 Llama3.1-8B-IT) 에서 공동 훈련되어 강력한 교차 대상 전이성을 입증합니다. 이는 GPT-4o 에서 96.7%, Gemini-2.5-Pro 에서 93.1% 의 높은 ASR 을 포함하여 보지 못한 클로즈드소스 모델에서 높은 성공률을 달성합니다.
• 효율성: TRACE 는 더 적은 턴과 대상 호출로 높은 ASR 을 달성합니다. gpt-oss-20b 에서 4 턴 이내에 80% 이상의 ASR 에 도달하는 반면, 워크플로우 베이스라인은 더 큰 턴 제한을 두더라도 여전히 현저히 낮습니다.
• 방어 정렬: 방어에 사용될 때, TRACE 기반 정렬은 SafeMT, MUSE-D 와 같은 기존 방법보다 멀티턴 및 단일 턴 공격에 대한 ASR 을 더 효과적으로 감소시키면서 더 높은 일반 능력 점수 (GPQA, GSM8K, MMLU) 를 유지합니다.

5. 중요성 및 주장

이 논문은 TRACE가 멀티턴 적대적 공격의 이해와 실행에서 중요한 진전을 나타낸다고 주장합니다. 거친 궤적 수준 감독에서 세밀한 턴 수준 크레딧 할당으로 전환함으로써, 저자들은 다음과 같이 주장합니다:

• 공격자는 더 전략적이고, 덜 중복적이며, 더 효율적인 재일브레이킹 정책을 학습할 수 있습니다.
• 크레딧 할당 문제는 현재 RL 기반 재일브레이킹의 주요 병목 현상이며, 이를 해결하면 상당한 성능 향상을 가져옵니다.
• 공격 측 크레딧 할당에서 파생된 신호는 모델을 파괴하는 데뿐만 아니라 방어하는 데도 가치 있습니다. 잠재적 위험 턴을 식별함으로써 방어자는 대화 초기에 개입할 수 있어, 명시적 해로운 출력에만 반응하는 방법보다 안전성과 유용성 (도움됨) 사이의 더 나은 균형을 제공합니다.

저자들은 그들의 작업이 멀티턴 LLM 상호작용에서 턴 인식 최적화의 필요성을 강조하며, 강력한 레드팀링 도구이자 더 견고한 방어 메커니즘의 기반이 되는 프레임워크를 제공한다고 결론지었습니다.