💬 NLP

SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks

SEMA는 외부 데이터 없이 멀티턴 탈옥 공격자를 훈련하기 위해 사전 채워진 미세 조정(prefilled fine-tuning)과 의도 드리프트 인식 강화 학습(intent-drift-aware reinforcement learning)을 사용하는 단순하고 자기 튜닝이 가능한 프레임워크로, 최첨단의 공격 성공률을 달면서 LLM 안전성에 대한 강력하고 재현 가능한 스트레스 테스트를 제공한다.

원저자: Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingqian Feng, Xiaodong Liu, Weiwei Yang, Jialin Song, Xuekai Zhu, Chenliang Xu, Jianfeng Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 매우 예의 바른 로봇 친구와 대화하고 있다고 상상해 보세요. 당신은 이 로봇에게 "절대로 누군가가 위험하거나 못된 일을 하는 것을 돕지 마라"라는 엄격한 규칙을 가르쳤습니다. 보통, 만약 당신이 자동차를 훔치는 방법에 대한 가이드를 써달라고 요청한다면, 로봇은 정중하게 "그것은 할 수 없습니다"라고 말할 것입니다. 하지만 만약 한 번에 다 묻지 않는다면 어떨까요? 만약 당신이 길고 구불구불한 대화의 게임을 펼친다면 어떨까요? 당신은 자동차의 역사에 대해 묻는 것으로 시작해서, 엔진이 어떻게 작동하는지로 넘어가고, 보안 시스템에 대해 묻는 식으로, 아주 많은 차례에 걸쳐 서서히 로봇이 규칙을 잊어버리고 자동차 절도 가이드를 내놓도록 속일 수도 있습니다. 이것이 바로 "멀티턴 탈옥(multi-turn jailbreaks)"의 세계입니다. 이것은 우리의 AI 안전 가드들이 단순히 하나의 무례한 질문뿐만 아니라, 영리하고 끈기 있는 대화를 처리할 수 있을 만큼 충분히 강한지를 테스트하는 방법입니다. 과학자들이 이 분야에 관심을 갖는 이유는 실제 세상의 챗봇들은 질문 하나에 답하고 멈추는 것이 아니라, 우리와 몇 시간 동안 대화를 나누기 때문입니다. 만약 로봇이 긴 대화 중에 속을 수 있다면, 그것은 빠른 테스트에서는 안전해 보일지라도 실제 세상에서는 안전하지 않을 수 있습니다.

여기에 변장의 명수이자 인내심의 달인처럼 행동하는 새로운 방법인 SEMA가 등장합니다. 이 논문의 연구자들은 사람이 직접 스크립트를 쓰거나 미리 만들어진 기술 라이브러리를 필요로 하지 않으면서도, 길고 까다로운 대화를 나누는 법을 배울 수 있는 AI 공격자를 구축하고자 했습니다. 그들은 기존의 많은 방법이 마치 딱딱한 대본을 읽는 배우와 같아서, 만약 로봇 친구가 주제를 약간만 바꿔도 배우가 혼란에 빠지거나 지루하고 안전한 대화로 흘러가 버린다는 것을 발견했습니다. 그러나 SEMA는 다릅니다. SEMA는 "단순하면서도 효과적인" 학습기로서, 백 가지의 무해해 보이는 방식으로 같은 질문을 던지면서도 대화가 위험한 목표에 집중되도록 유지하는 법을 알아냅니다.

SEMA의 비결은 두 단계의 훈련 과정에 있습니다. 첫째, 그들은 **"프리필링 셀프 튜닝(prefilling self-tuning)"**이라는 기술을 사용합니다. 이는 마치 수줍음 많은 학생에게 목소리를 높이라고 가르치려는데, 학생이 입을 열 때마다 "할 수 없습니다"라고 말하는 상황과 같습니다. 연구자들은 문장 맨 처음에 아주 작고 무섭지 않은 신호(예를 들어 목록에 "1."이라고 적는 것)를 줌으로써 이 문제를 해결했습니다. 이 작은 넛지는 AI가 단지 목록을 이어 쓰는 중이라고 착각하게 만들어, 거절을 멈추고 일련의 질문들을 생성하기 시작하게 합니다. 이를 통해 AI는 "아니오"라고 말하는 루프에 빠지지 않고, 긴 멀티턴 계획을 만드는 법을 "안전하게" 연습할 수 있습니다.

AI가 대화에 익숙해지면, 두 번째 단계인 "의도 드리프트 인식(Intent-Drift-Aware)" 보상을 활용한 강화 학습이 시작됩니다. 이것은 AI의 긴 대화를 지켜보는 엄격한 코치와 같습니다. 만약 AI가 원래의 위험한 목표(예: 해킹) 대신 안전하고 지루한 것(예: 날씨)에 대해 이야기하기 시작하면, 코치는 낮은 점수를 줍니다. 하지만 만약 AI가 길고 구불구불한 질문의 경로를 통해 위험한 요청을 몰래 집어넣고, 결국 로봇이 원래의 해로운 질문에 답하게 만든다면, 코치는 높은 점수를 줍니다. AI는 단순히 계속 대화를 이어가는 것이 목표가 아니라, 몇 번의 턴이 걸리더라도 올바른 것에 대해 계속 대화를 이어가는 것이 목표임을 배우게 됩니다.

결과는 꽤 인상적입니다. 연구진이 다양한 AI 모델(오픈 소스 모델과 GPT-4와 같은 거대 폐쇄형 모델 모두)을 대상으로 SEMA를 테스트했을 때, SEMA는 거의 모든 다른 방법들을 능가했습니다. 표준 테스트인 AdvBench에서 SEMA는 평균 **80.1%의 공격 성공률(ASR)**을 달eli 성과를 냈는데, 이는 이전의 최고 방법들보다 약 33.9% 더 높은 수치입니다. SEMA는 단 한 종류의 로봇에서만 작동한 것이 아니라 다양한 로봇에서 작동하며 그 전략의 유연성과 강력함을 보여주었습니다. 더욱 중요한 점은, SEMA가 다음 수를 계획하기 위해 피해 로봇의 답변에 의존할 필요 없이 이 일을 해냈다는 것입니다. SEMA는 단계별로 반응하는 것이 아니라, 마치 열 수 앞을 내다보는 체스 선수처럼 전체 대화를 한 번에 계획했습니다.

이 논문은 이러한 접근 방식이 AI 안전성을 스트레스 테스트하는 훨씬 더 나은 방법임을 시사합니다. 단순히 로봇이 하나의 나쁜 질문을 거절하는지 확인하는 대신, S一名은 로봇이 길고 영리한 대화 후에 어떻게 실패할 수 있는지를 보여줍니다. 저자들은 이것이 로봇에게 나쁜 것을 가르치려는 것이 아니라, 그 결함들을 찾아내어 고칠 수 있도록 갑옷의 틈을 찾는 과정임을 강조합니다. 거대한 데이터셋이나 인간의 스크립트에 의존하지 않고 재현 가능한 단순한 방법을 사용함으로써, SEMA는 우리의 AI 안전성이 어디에서 실패하고 있는지에 대한 더 명확하고 현실적인 그림을 제공합니다. 이는 AI의 세계에서 가장 위험한 공격은 가장 큰 소리를 내는 공격이 아니라, 답이 바뀔 때까지 "한 번만 더요?"라고 조용히, 끈기 있게 계속 묻는 공격일 수 있음을 상기시켜 줍니다.

기술 요약: SEMA – 다회차 탈옥 공격을 위한 단순하면서도 효과적인 학습

문제 정의

대규모 언로 모델(LLM)과의 실제 상호작용은 종종 여러 차례의 턴(multi-turn)을 통해 이루어지지만, 기존의 안전성 연구는 주로 단일 턴(single-turn) 탈옥에 집중되어 있습니다. 단일 턴 공격은 다회차 상호작용의 특수한 사례일 수 있으나, 다회차 상호작용은 더 현실적이고 복잡한 위협 모델을 제시합니다. 다회차 공격은 공격자가 맥락을 설정하고, 해로운 의도를 은폐하며, 방어 체계를 점진적으로 우회할 수 있게 하여 탐지를 더욱 어렵게 만듭니다.

현재의 다회차 탈옥 접근 방식은 두 가지 주요 과제에 직면해 있습니다:

탐색 복잡성: 다회차 프롬프트의 탐색 공간은 적대적 프롬프트와 피해자 응답의 결합 공간을 포함하므로 각 턴마다 조합론적으로 증가합니다. 기존 방법들은 폐쇄형 API와 피해자의 피드백에 의존하는 수동 설계 전략이나 템플릿 기반 파이프라인에 의존하여 이 탐색을 제한하며, 이는 높은 비용, 경직성, 그리고 취약한 탐색 프로세스로 이어집니다.
의도 표류(Intent Drift): 다회차 상호작용에서 대화가 원래의 해로운 목표에서 벗어나 무해하거나 무관하거나 일관성 없는 주제로 이동하는 경우가 발생합니다. 미세한 변화는 때때로 방어를 낮출 수 있지만, 상당한 수준의 표류는 모델이 명시적으로 거절하지 않더라도 공격을 실패하게 만듭니다. 이는 최종 출력이 원래의 해로운 의도를 충족하지 못하기 때문입니다.

방법론: SEMA 프레임워크

저자들은 외부 데이터, 사전 정의된 전략, 또는 피해자의 피드백에 의존하지 않고 다회차 탈옥 공격자를 학습시키기 위해 설계된 SEMA(Simple Yet Effective Multi-turn Attack) 프레임워크를 제안합니다. SEMA는 오픈 루프(open-loop) 방식으로 작동하며, 피해자의 응답과 분리되어 한 번에 일련의 적대적 프롬프트를 생성합니다. 이는 탐색 복잡성을 줄이고 단일 턴과 다회차 설정을 통합합니다.

이 프레임워크는 두 개의 뚜렷한 단계로 구성됩니다:

1. 프리필링 셀프 튜닝 (Prefilling Self-Tuning)

공격자 모델이 사용 가능한, 거절이 없는 롤아웃(rollout)을 생성할 수 있도록 안정화하고 학습 과정을 보장하기 위해, SEMA는 프리필링 셀프 튜닝 단계를 채택합니다.

메커니즘: 공격자 모델은 스스로 생성한, 거절이 없고 구조가 잘 잡힌 다회차 적대적 프롬프트에 대해 미세 조정됩니다. 추론 시 시작 부분에 최소한의 구조적 접두사(예: "1.")를 주입하여 모델이 요청을 거절하는 것을 방지합니다.
과정: 모델은 이 접두사 하에서 배치의 롤아웃을 생성합니다. 거절이 없고 올바른 형식을 갖춘 이 롤아웃들은 지도 미세 조정(SFT)을 위해 사용됩니다.
목표: 이 단계는 공격자의 '거절 성향을 제거(de-refuse)'하고, 파싱 가능한 롤아웃을 안정화하며, 모델의 지식을 사전 정의된 전략으로 제한하지 않으면서 샘플 효율성을 높여 후속 강화 학습을 위한 개방형 탐색을 보존합니다.

2. 의도 표류를 고려한 보상 기반 강화 학습 (Reinforcement Learning with Intent-Drift-Aware Reward)

셀프 튜닝 이후, 공격자는 원래의 해로운 목표를 유지하면서 유효한 다회차 공격을 학습하기 위해 그룹 상대 정책 최적화(GRPO)를 사용하여 훈련됩니다.

전략: 시스템 지침은 공격자에게 "같은 것을 다른 방식으로 요청하라"고 안내합니다. 전체 대화의 맥락에서 볼 때, 마지막 턴은 원래의 해로운 쿼리와 동일한 정형적(canonical) 답변을 산출해야 합니다.
보상 설계: 표류를 억제하고 고품질의 해로운 출력을 장려하기 위해 새로운 **의도 표류 인식 보상( $R_{IDA}$ $R_{I D A}$ )**이 도입되었습니다. 보상은 훈련 시점의 피해자 모델에서 공격을 시뮬레이션하고 최종 응답( $r_T$ $r_{T}$ )을 원래의 의도( $q$ $q$ )와 비교하여 계산됩니다. 보상은 세 가지 구성 요소를 결합합니다:
1. 의도 정렬(Intent Alignment): 최종 답변이 원래의 해로운 의도와 얼마나 잘 일 alignment되는지 측정합니다.
2. 준수 위험(Compliance Risk): 응답의 내재적 위험도를 점수화합니다.
3. 상세도(Level of Detail): 구체적이고 실행 가능한 답변을 선호합니다.
  공식은 다음과 같습니다: $R_{IDA} = \frac{1}{2} \text{Alignment}(r_T, q) \cdot [\text{Risk}(r_T) + \text{Detail}(r_T)]$ .
형식 보상: 출력이 파싱 가능한 상태(예: 올바르게 번호가 매겨진 리스트)를 유지하도록 하는 추가적인 이진(binary) 보상이 제공됩니다.

주요 기여

단순하고 확장 가능한 프레임워크: SEMA는 고정된 악의적 목표를 유지하면서 자유롭게 탐색하는 다회차 공격자를 훈련시킵니다. 이는 수동으로 작성된 스크립트, 템플릿 휴리스틱, 외부 코퍼스를 피하며, 컴팩트하고 재현하기 쉽습니다.
최첨단 성능: 이 방법은 여러 데이터셋(AdvBench, HarmBench), 피해자 모델(오픈 소스 및 폐쇄형 소스), 그리고 탈옥 판독기(jailbreak judge) 전반에서 우수한 공격 성공률(ASR)을 달s합니다.
오픈 루프 효율성: 프롬프트 생성과 피해자 응답을 분리함으로써, SEMA는 상호작용 비용과 탐색 복잡성을 줄이는 동시에 단일 턴과 다회차 공격 설정을 통합합니다.

실험 결과

저자들은 SEMA를 단일 턴 공격(FlipAttack, ADV-LLM, Jailbreak-R1), 수동으로 제작된 다회차 방법(Jigsaw Puzzle), 그리고 템플릿 기반 상호작용 공격(Crescendo, GOAT, CoA, FITD, ActorAttack, X-Teaming)을 포함한 포괄적인 베이스라인과 비교 평가했습니다.

공격 성공률 (ASR): AdvBench에서 SEMA는 세 가지 피해자 모델(Qwen2.5-3B, Llama-3.1-8B, GPT-4.1-mini)에 대해 평균 ASR@1 **80.1%**를 달성하였으며, 이는 이전의 SOTA보다 33.9% 향상된 수치입니다. HarmBench에서는 평균 ASR@1 **75.0%**를 기록했습니다.
강건성: SEMA는 폐쇄형 모델을 공격자로 사용하는 모델을 포함한 모든 베이스라인을 지속적으로 능가했습니다. 또한 분포 외(out-of-distribution) 데이터셋과 GPT-oss-20B와 같이 높은 안전 정렬을 가진 모델에 대해서도 강력한 강건성을 입증했습니다.
전이 가능성: 전이 설정(소스 피해자에서 훈련하여 타겟 피해자를 공격)에서 SEMA는 가장 높은 전이 공격 성공률(TASR)을 달성했으며, GPT-4.1-mini와 같은 타겟에 대해 종종 85-90%를 초과했습니다.
확장성: SEMA는 추가적인 시도 예산(attempt budget)을 성공으로 효율적으로 전환합니다. 예를 들어, GPT-4.1-mini를 대상으로 한 HarmBench에서 SEMA는 단 20회의 시도만으로 **99.7%**의 ASR에 도달하여, 훨씬 더 많은 시도를 필요로 하는 베이스라인들을 압도했습니다.
절제 연구 (Ablation Studies): 의도 표류 인식 보상을 제거했을 때 ASR이 크게 하락(AdvBench 기준 67.5%에서 50.4%로)하여, 그 필요성을 확인했습니다. 마찬가지로, 프리필링 셀프 튜닝 단계를 건너뛰면 거절 동작으로 인해 모델이 수렴하는 데 실패했습니다.

의의 및 주장

본 논문은 SEMA가 LLM 안전성에 대한 더 강력하고 현실적인 스트레스 테스트를 제공한다고 주장합니다. 기존 연구를 엄격히 포괄하고 현실적인 적대적 전략으로 범위를 확장함으로써, SEMA는 안전하게 정렬된 챗봇의 실패 모드를 노출하고 국지화하기 위한 **자동화된 레드팀(red-teaming)**을 가능하게 합니다.

저자들은 자신들의 작업이 방어적 성격을 띠고 있음을 강조합니다. 목표는 오용을 조장하는 것이 아니라, 실무자들이 시스템을 강화할 수 있도록 실패 모드를 드러내는 것입니다. 그들은 오픈 루프, 의도 안정적 다회차 공격을 체계적으로 연구하는 것이 현재 방어 체계의 격차를 메우는 데 필수적이라고 주장합니다. 이 프레임워크는 대규모 언어 모델의 안전성을 평가하기 위한 체계적이고 자동화된 레드팀의 단계로서, 재현 가능하고 확장 가능한 접근 방식을 제시합니다.