기술 요약: 결점까지 도움이 되는 것: 멀티턴 다국어 LLM 에이전트에서의 불법적 지원 측정

1. 문제 제기

대형 언어 모델 (LLM) 에이전트가 도구와 메모리를 통해 실제 워크플로우를 실행하기 위해 점점 더 많이 배포되고 있지만, 기존 안전 벤치마크는 대부분 멀티턴, 반복적 오용의 위험을 포착하지 못합니다. 현재 에이전트 오용 벤치마크 (예: AgentHarm, OS-Harm) 는 주로 단일 프롬프트 악성 지시를 평가합니다. 이는 적대자가 대화적 맥락, 적응적 후속 질문, 그리고 benign(선한) 페르소나를 활용하여 에이전트를 점진적으로 coerce(강제) 하여 단일 턴에서는 거절당했을 복잡한 불법 작업을 완수하도록 만드는 방식을 이해하는 데 있어 중요한 공백을 남깁니다. 또한, 챗봇 환경에서 안전성과 성능이 영어 밖에서는 종종 저하된다는 증거가 있음에도 불구하고, 비영어권 및 저자원 언어에서 작동하는 것이 에이전트 안전에 미치는 영향은 여전히 충분히 탐구되지 않았습니다.

2. 방법론: STING 프레임워크

저자들은 대상 에이전트와 멀티턴 상호작용을 하는 적대적 사용자를 시뮬레이션하도록 설계된 자동화된 레드팀링 프레임워크인 STING(Sequential Testing of Illicit N-step Goal execution, 불법 N 단계 목표 실행의 순차적 테스트) 을 소개합니다. STING 은 네 가지 조정된 에이전트를 통해 작동합니다:

1. 전략가 (Strategist): 선한 것처럼 보이는 페르소나를 합성하고 해로운 의도 ($H$) 를 $N$개의 원자적 실행 가능 단계 ($P = \{p_0, \dots, p_{|P|-1}\}$) 시퀀스로 분해하여 공격을 조율합니다.
2. 공격자 (Attacker): 합성된 페르소나를 구현하고 대상 에이전트와 턴별로 상호작용하여 현재 단계를 완료합니다. 단계가 완료되거나 예산이 소진될 때까지 거부를 숨기거나 운영적 구체성을 높이는 등의 피드백에 따라 전략을 적응시킵니다.
3. 거부 감지기 (Refusal Detector): 대상의 응답을 분석하여 명시적 또는 암시적 거부를 식별하고, 공격자의 다음 행동을 안내하기 위한 근거를 제공합니다.
4. 단계 완료 확인기 (Phase-Completion Checker): 대상의 응답이 현재 단계의 즉각적인 목표 (예: 성공적인 도구 호출 또는 아티팩트 생성) 를 충족하는지 평가합니다.

이 프레임워크는 레드팀링 프로세스를 예산이 제한된 첫 번째 탈옥 시간 (budgeted time-to-first-jailbreak) 문제로 취급합니다. 공격자가 제한된 전략 수 ($S_{max}$) 와 턴 수 ($T_{max}$) 내에서 "성공 집합"(모든 단계 완료) 에 도달하려는 마르코프 결정 과정 (MDP) 으로 상호작용을 모델링합니다.

새로운 분석 프레임워크

이진 성공률을 넘어선 저자들은 **생존 분석 (survival analysis)**에 기반한 통계적 분석 프레임워크를 제안합니다:

• 발견 곡선 (Discovery Curves): 테스트된 전략의 수가 증가함에 따라 탈옥을 발견할 확률을 플롯하기 위해 Kaplan–Meier 추정량을 사용합니다.
• 위험 비율 (Hazard Ratios): Cox 비례 위험 모델을 사용하여 공격 언어와 같은 위험 요인을 귀속시키기 위해 "첫 번째 탈옥 시간"을 이산 시간 사건으로 모델링합니다.
• 제한된 평균 탈옥 발견 (Restricted Mean Jailbreak Discovery, RMJD): 주어진 예산 내에서 취약점을 노출하는 공격의 평균 효율성을 나타내는 발견 곡선 아래 면적을 정량화하는 새로운 지표입니다.

3. 주요 기여

1. 멀티턴 오용 평가: STING 은 멀티턴 상호작용이 단일 턴 프롬프팅에 비해 불법 작업 완수를 크게 증가시킨다는 것을 보여줍니다. AgentHarm 시나리오에 대한 평가에서 STING 은 단일 턴 기준 대비 최대 107.1% 높은 불법 작업 완수율(AgentHarm 점수로 측정) 을 기록했습니다.
2. 다국어 에이전트 오용 테스트 스위트: 저자들은 여섯 가지 비영어권 언어 (중국어, 프랑스어, 우크라이나어, 힌디어, 우르두어, 텔루구어) 를 테스트하기 위해 합성 다국어 도구 인터페이스와 언어 중립적 평가 기준을 개발했습니다. 챗봇 안전성 연구 (저자원 언어가 종종 더 높은 취약성을 보임) 와는 대조적으로, 이 연구는 에이전트 환경에서 저자원 언어가 탈옥 성공을 일관되게 증가시키지 않는다는 사실을 발견했습니다. 일부 경우 (예: Qwen3-Next 와 함께 사용된 힌디어와 텔루구어) 는 영어보다 취약성이 낮았습니다.
3. 공식 분석 도구: RMJD 와 위험 비율 귀속의 도입은 공격 효율성을 비교하고 언어의 효과를 의도 난이도에서 분리해 내는 엄격한 방법을 제공합니다.
4. 종합적 절단 연구 (Ablation Studies): 이 논문은 추론 노력, 공격자 도구 지식, 그리고 경량 방어의 영향을 평가합니다.
   • 추론: 추론 노력과 안전성 사이의 관계는 단조롭지 않습니다. GPT-5.1 의 경우, 중간 수준의 추론 노력이 추론이 없거나 높은 추론 노력보다 더 안전했습니다.
   • 방어: 간단한 안전 프롬프트 (Safety Prompt) 방어는 유해 작업 완수를 상당 부분 감소시켰습니다 (약 37% 평균 감소). 이는 이 특정 멀티턴 컨텍스트에서 PromptGuard 와 같은 프롬프트 필터링 도구보다 우수한 성과를 보였으며, benign 도구 사용에는 modest한 영향만을 미쳤습니다.

4. 실험 결과

• 성능: 도구 사용 에이전트에 적응되었을 때 STING 은 단일 턴 프롬프팅과 챗 지향 멀티턴 기준 (X-Teaming 등) 보다 일관되게 우수한 성과를 보였습니다.
• 모델 민감도: Qwen3-Next 가 불법 에이전트 작업에 가장 취약한 것으로 나타났으며, 이어 DeepSeek-V3.2 와 Gemini 3 Flash 가 뒤를 이었습니다. Claude Sonnet 4.5 는 가장 낮은 불법 작업 완수율을 보였습니다.
• 언어 역학: 일부 언어 (예: Gemini 3 Flash 의 경우 프랑스어, 우크라이나어, 우르두어) 는 영어보다 높은 위험 비율을 보였지만, 다른 언어 (Qwen3-Next 의 경우 힌디어, 텔루구어) 는 더 낮은 비율을 보였습니다. 저자들은 이를 저자원 언어에서의 불완전한 다국어 도구 사용에 기인합니다. 이는 높은 "AgentHarm 점수"(도구 사용 표시) 로 이어질 수 있지만 특정 해로운 의도를 충족하지 못하므로 성공적인 탈옥으로 간주되지 않습니다.
• 방어 효과성: 이 연구는 단일 터 환경에서 효과적인 방어 (PromptGuard 등) 가 멀티턴 STING 공격에는 제한적인 영향을 미친 반면, 맞춤형 안전 프롬프트는 안전성과 유용성 사이 더 유리한 절충안을 제공한다는 점을 강조합니다.

5. 중요성 및 주장

이 논문은 STING 이 본질적으로 멀티턴이며 종종 다국어인 현실적인 배포 환경에서 에이전트 오용을 평가하고 스트레스 테스트할 수 있는 실용적이고 표준화된 방법을 제공한다고 주장합니다. 레드팀링을 시간-사건 프로세스로 공식화함으로써 저자들은 공격 비용과 도구 사용 에이전트의 특정 역학을 고려한 에이전트 안전에 대한 더 세밀한 관점을 제시합니다.

저자들은 명시적으로 그들의 작업이 **이중 사용 위험 (dual-use risks)**을 가지고 있다고 밝히는데, 이는 프레임워크가 멀티턴 공격 분해를 체계화하기 때문입니다. 따라서 그들은 공격을 위한 실행 가능한 운영 지침 제공보다는 측정과 분석에 기여점을 집중합니다. 그들은 주요 긍정적 영향이 단일 턴 프롬프팅 하에서는 보이지 않는 실패 모드를 탐지할 수 있게 함으로써 연구자와 실무자가 배포 전에 완화 조치를 더 잘 스트레스 테스트할 수 있게 한다는 점을 강조합니다. 논문은 STING 이 중요한 취약점을 드러내지만, 그 발견은 더 나은 평가를 통해 에이전트 안전 방어를 강화하기 위한 것임을 결론지었습니다.