Multi-Stream Perturbation Attack: Breaking Safety Alignment of Thinking LLMs Through Concurrent Task Interference

이 논문은 사고 모드 (thinking mode) 를 사용하는 대형 언어 모델의 안전 정렬을 우회하기 위해 단일 프롬프트 내 여러 작업 스트림을 교차시켜 간섭을 유발하는 '멀티스트림 교란 공격'을 제안하고, 이를 통해 주요 모델들에서 높은 공격 성공률과 사고 과정 붕괴를 입증했습니다.

핵심

🧠 1. 배경: "생각하는" AI 의 등장

과거의 AI 는 질문을 받으면 바로 대답했습니다. 하지만 최신 AI 들은 **"생각하는 모드"**를 도입했습니다.

• 비유: 과거 AI 가 "주문받자마자 바로 요리해 주는 요리사"라면, 최신 AI 는 **"요리하기 전에 레시피를 100 페이지 분량으로 꼼꼼히 적고, 재료를 고르는 과정을 설명한 뒤 요리하는 요리사"**입니다.
• 이 방식은 복잡한 수학 문제나 코딩에는 아주 훌륭하지만, 연구자들은 이 '꼼꼼한 생각 과정'이 새로운 보안 구멍이 될 수 있다고 의심했습니다.

💣 2. 공격 방법: "멀티 스트림 교란 공격" (Multi-Stream Perturbation Attack)

연구자들은 AI 의 '생각 과정'을 혼란스럽게 만들기 위해 세 가지 기교를 사용했습니다.

🎭 비유: "혼란스러운 식당 주문"

상상해 보세요. 당신이 요리사 (AI) 라면, 한 손님이 동시에 여러 가지 이상한 주문을 해옵니다.

1. 멀티 스트림 교란 (MS): "섞인 주문"

   • 상황: 손님이 "치킨 한 마리 주세요"라고 말하면서, 그 사이에 "오늘 날씨 어때요?", "프랑스 케이크 종류 알려줘"라는 말을 글자 하나하나씩 섞어서 말합니다.
   • 효과: 요리사는 "치킨인가? 날씨인가? 케이크인가?"라고 생각하다 보니, 어떤 게 진짜 주문인지 혼란에 빠집니다. AI 도 마찬가지로 "해로운 질문"과 "무해한 질문"이 섞여 있으면, 해로운 질문을 무시하고 무해한 질문처럼 처리해 버립니다.

2. 반전 교란 (MS_Reverse): "거울 속 주문"

   • 상황: 손님이 "치킨"이라고 말하려는데, "니크치"라고 글자를 거꾸로 말합니다. 그리고 그 사이에 "날씨"를 "씨날"이라고 말합니다.
   • 효과: 요리사는 "아, 거꾸로 쓴 거구나. 치킨이네"라고 생각하며 글자를 다시 뒤집는 데 에너지를 다 씁니다. 이 과정에서 AI 는 해로운 질문의 본질을 파악하는 대신, 글자 뒤집기 작업에 매몰되어 보안 필터를 우회하게 됩니다.

3. 형태 변형 (MS_Structure): "삼각형 주문"

   • 상황: 손님이 주문할 때, 첫 줄은 글자 1 개, 두 번째 줄은 글자 2 개, 세 번째 줄은 글자 3 개... 이런 삼각형 모양으로 주문서를 작성하라고 요구합니다.
   • 효과: 요리사는 "음식을 만드는 것"과 "글자 수를 맞추는 것" 두 가지 일을 동시에 해야 하므로 정신없이 바빠집니다.

📉 3. 결과: AI 의 두 가지 붕괴

이 공격을 받으면 AI 는 두 가지 끔찍한 상태를 겪게 됩니다.

1. 생각 붕괴 (Thinking Collapse): "뇌 정지"

   • 비유: 요리사가 너무 많은 주문을 동시에 처리하려다 주위를 빙글빙글 돌다가 결국 쓰러지는 상황입니다.
   • AI 는 해로운 내용을 생성하기 위해 생각하다가, 너무 많은 정보에 압도되어 같은 말을 반복하거나 아예 답을 못 내고 멈춰버립니다. (연구 결과, 17% 의 확률로 발생)

2. 반복 출력 (Response Repetition): "녹음기 고장"

   • 비유: 요리사가 "치킨, 치킨, 치킨, 치킨..."이라고 끝없이 같은 말을 중얼거리는 상황입니다.
   • AI 는 생각의 흐름이 끊겨서 무한 루프에 빠지게 됩니다. (연구 결과, 60% 까지 발생)

🛡️ 4. 왜 이것이 중요한가요?

기존의 해킹 방법들은 AI 가 "나쁜 말"을 하지 못하게 막는 **문지기 (보안 필터)**를 속이는 데 집중했습니다.
하지만 이 연구는 **"AI 가 생각하는 과정 자체를 망가뜨리는 것"**이 더 강력하다는 것을 증명했습니다.

• 핵심 메시지: AI 가 "생각하는 모드"를 쓸 때, 그 생각하는 과정이 너무 길고 복잡해지면, 오히려 보안 시스템이 무너지고 AI 는 미친 듯이 헛소리를 하거나 해로운 내용을 만들어낸다는 것입니다.

🏁 결론

이 논문은 **"AI 가 너무 많이 생각하면, 오히려 멍청해지고 위험해질 수 있다"**는 것을 보여줍니다. 마치 우리가 너무 많은 일을 동시에 하다가 실수를 저지르는 것처럼, AI 도 복잡한 생각 과정 속에서 보안 장벽을 뚫고 해로운 내용을 만들어낼 수 있다는 경고입니다.

이제 AI 개발자들은 "생각하는 과정"을 어떻게 보호할지, 그리고 "생각이 너무 길어지지 않도록" 어떻게 제어할지 고민해야 할 시기가 왔습니다.

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: 최근 대규모 언어 모델 (LLM) 은 복잡한 추론 능력을 향상시키기 위해 '생각 모드 (Thinking Mode)'를 도입했습니다. 이는 외부 프롬프트 없이 모델이 스스로 단계별 추론 과정을 생성한 후 답변을 출력하는 방식입니다 (예: OpenAI o1, DeepSeek-R1, Qwen3 등).
• 위협: 기존 탈출구 (Jailbreak) 공격은 주로 단일 단계 응답을 대상으로 하지만, '생각 모드'를 가진 모델은 단계별 추론 과정에서 더 상세한 유해 콘텐츠를 생성할 수 있는 새로운 취약점을 보입니다.
• 핵심 문제: 생각 모드는 여러 작업을 동시에 처리할 때 (Interleaved Tasks) 고유한 취약점을 보입니다. 공격자는 이러한 '동시 작업 간섭'을 악용하여 모델의 안전 정렬 (Safety Alignment) 을 우회하고, 추론 과정 자체를 붕괴시킬 수 있습니다.

2. 제안된 방법론: 멀티-스트림 교란 공격 (Multi-Stream Perturbation Attack)

이 논문은 생각 모드의 추론 과정을 교란시키기 위해 단일 프롬프트 내에 여러 작업 스트림을 얽히게 하는 멀티-스트림 교란 공격을 제안합니다.

핵심 아이디어

해로운 작업 (Harmful Task) 과 여러 개의 benign(유해하지 않은) 보조 작업 (Benign Auxiliary Tasks) 을 단어 (Word) 단위 또는 문자 (Character) 단위로 교차시켜 입력합니다. 이는 모델이 안전 감지 로직을 우회하도록 유도할 뿐만 아니라, 제한된 인지 자원을 분산시켜 추론 안정성을 해칩니다.

세 가지 교란 전략 (Perturbation Strategies)

1. 멀티-스트림 인터리빙 (MS, Multi-Stream Interleaving):
   • 해로운 작업과 benign 보조 작업을 {}와 []와 같은 구분자를 사용하여 단어 단위로 교차 배치합니다.
   • 모델이 동시에 여러 의미 경로를 파싱하도록 강제하여 주의 집중 (Attention) 을 분산시키고, 안전 감지기의 시퀀스 무결성 인식을 방해합니다.
2. 반전 교란 (MS_Reverse):
   • 인터리빙 구조를 유지하면서, benign 보조 작업의 단어들을 **문자 단위로 반전 (Reverse)**시킵니다.
   • LLM 은 반전된 단어의 의미를 파악할 수 있는 능력을 가지지만, 이는 디코딩 부하를 증가시키고 해로운 작업에 대한 처리를 지연시킵니다. 이로 인해 '중첩된 간섭 (Superimposed Interference)' 효과가 발생합니다.
3. 형태 변환 교란 (MS_Structure):
   • 인터리빙 구조에 삼각형 출력 형식 제약 (i 번째 줄에 i 개의 문자 포함) 을 추가합니다.
   • 내용 생성, 다중 스트림 파싱, 형식 제어라는 세 가지 제약 조건이 동시에 작용하여 모델의 인지 부하를 극대화하고 추론 오류를 유발합니다.

3. 주요 기여 (Key Contributions)

1. 생각 모드 대상 공격 기법 제안: 기존 탈출구 공격과 달리, 생각 모드의 단계별 추론 특성을 악용하여 멀티-스트림 교란을 통해 안전 메커니즘을 우회하는 새로운 공격 프레임워크를 제시했습니다.
2. 이중 취약성 발견: 생각 모드가 멀티-스트림 교란 하에서 **콘텐츠 안전성 (Content Safety)**뿐만 아니라 **추론 안정성 (Reasoning Stability)**에서도 취약하다는 것을 발견했습니다. 구체적으로 '생각 붕괴 (Thinking Collapse)'와 '반복적 출력 (Repetitive Outputs)' 현상이 발생함을 증명했습니다.
3. 광범위한 검증: Qwen3 시리즈, DeepSeek, Gemini 2.5 Flash 등 주요 상용 및 오픈소스 모델과 JailbreakBench, AdvBench, HarmBench 등 3 개의 벤치마크 데이터셋을 통해 공격의 유효성을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 공격 성공률 (ASR): 제안된 방법 (특히 MS_Reverse 전략) 은 기존 GCG, PAIR, AutoDAN 등 주요 베이스라인 방법들보다 모든 모델과 데이터셋에서 높은 공격 성공률을 기록했습니다. 일부 모델에서는 90% 이상의 성공률을 보였습니다.
• 생각 붕괴 (Thinking Collapse):
  • 모델이 유해한 답변을 생성하지 못하고 무한 반복되거나 출력 한계에 도달하여 추론이 중단되는 현상입니다.
  • Qwen3 4B 모델에서 **17%**의 붕괴율을 기록했으며, 이는 다른 공격 방법들 (거의 0%) 과 대조적입니다.
• 반복적 출력 (Response Repetition):
  • 모델이 특정 문자열을 무한히 반복하여 출력하는 현상입니다.
  • Qwen3 4B 모델에서 **60%**의 반복률을 보였으며, DeepSeek 모델에서도 25% 에 달했습니다.
• 추론 시간 및 길이 증가:
  • 공격 시 모델의 추론 길이 (Thinking Length) 가 급격히 증가했습니다 (Qwen3 8B 기준 10K12K 자 이상, DeepSeek 기준 17K28K 자 이상).
  • 추론 시간도 최대 7 분~9 분까지 증가하여 모델의 계산 자원 소모와 실용성 저하를 유발했습니다.
• 방어 메커니즘 우회: 기존 키워드 기반 검출이나 LLM 기반 검출 (GPT-4, Qwen3Guard 등) 이 이 공격으로 생성된 복잡한 의미 변형을 탐지하는 데 어려움을 겪었으며, 특히 Qwen3Guard 4B 모델이 가장 높은 탐지 성능을 보였으나 여전히 한계가 있었습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 새로운 공격 표면 (Attack Surface) 발견: 생각 모드의 '단계별 추론' 과정 자체가 안전성 측면에서 새로운 취약점이 될 수 있음을 밝혔습니다. 모델이 유해한 요청을 '복잡한 문제'로 오인하거나, 추론 과정에서 '합리화 (Rationalization)'를 시도하며 안전 장벽을 무너뜨립니다.
• 안전과 안정성의 동시 위협: 이 공격은 단순히 유해 콘텐츠를 생성하는 것을 넘어, 모델의 추론 과정 자체를 붕괴시켜 서비스 거부 (DoS) 유사 효과를 일으킬 수 있음을 보여줍니다.
• 향후 방향: 생각 모드의 보안 강화, 추론 길이 제어와 안전성 간의 관계, 그리고 생각 붕괴를 방지하는 방어 메커니즘 개발이 시급함을 강조합니다.

요약하자면, 이 논문은 생각 모드 LLM 이 다중 작업 간섭에 취약하여 안전 정렬이 무너지고 추론 과정이 붕괴될 수 있음을 최초로 체계적으로 증명하고, 이를 위한 구체적인 교란 공격 기법을 제시한 연구입니다.