AutoRAN: Automated Hijacking of Safety Reasoning in Large Reasoning Models

1. 문제 정의 (Problem)

대규모 추론 모델 (Large Reasoning Models, LRMs; 예: GPT-o3/o4-mini, Gemini-2.5-Flash, DeepSeek-R1) 은 단계별 사고 과정 (Chain-of-Thought, CoT) 을 명시적으로 생성하여 복잡한 문제 해결 능력을 극대화하고 안전성 정렬 (Safety Alignment) 을 강화합니다. 그러나 이러한 추론 과정의 투명성이 새로운 치명적인 취약점으로 작용합니다.

• 핵심 문제: 모델이 자신의 사고 과정 (Reasoning Trace) 을 사용자에게 노출할 때, 공격자는 이 '거부 (Refusal) 와 관련된 사고 과정'을 분석하여 모델의 안전 방어 기제를 우회할 수 있습니다.
• 기존 한계: 기존 재일브레이크 (Jailbreak) 공격들은 수동으로 제작된 프롬프트나 정적 규칙에 의존하여, 진화하는 안전 정렬 메커니즘에 적응하지 못하거나 확장성이 부족했습니다.

2. 방법론 (Methodology: AutoRAN)

저자들은 AutoRAN이라는 새로운 프레임워크를 제안하여 LRMs 의 안전 추론을 자동화하여 탈취 (Hijacking) 하는 방식을 제시합니다. 이는 약하지만 정렬이 덜 된 보조 모델 (Attacker Model) 을 사용하여 강력하고 잘 정렬된 표적 모델 (Victim Model) 을 공격하는 '약자에서 강자로 (Weak-to-Strong)' 시뮬레이션 패러다임입니다.

주요 구성 요소 및 공격 흐름:

1. 실행 시뮬레이션 (Execution Hijacking):

   • 공격자 모델이 해로운 요청에 대한 '초기 실행 추론 궤적 (Coarse reasoning trace)'을 시뮬레이션합니다.
   • 이 추론 궤적은 이야기 템플릿 (Narrative Template, 예: 교육적 프레임워크, 역할극 등) 에 채워져 초기 공격 프롬프트 ($x_0$) 를 생성합니다.
   • 목적: 표적 모델이 안전성 검토 (Safety Deliberation) 를 거치는 대신, 즉시 **작업 수행 모드 (Task-completion mode)**로 진입하도록 유도합니다.

2. 표적 정제 (Targeted Refinement):

   • 표적 모델이 거부를 하더라도, 그 과정에서 노출된 **중간 사고 과정 ($p_i$)**을 분석합니다.
   • 공격자 모델은 이 사고 과정을 통해 모델이 구체적으로 어떤 안전 우려 (예: "윤리적 가이드라인 준수") 를 가지고 있는지 파악합니다.
   • 이를 바탕으로 프롬프트를 수정하여 (예: 우려 사항을 해결하는 정당성 추가, 목표 명확화) 모델의 안전 장비를 무력화하고 다음 턴에서 응답을 유도합니다.

3. 자동화 루프:

   • Case 1 (즉시 거부): 사고 과정이 없으면 새로운 시뮬레이션과 템플릿으로 재시도.
   • Case 2 (거부 + 추론): 모델의 사고 과정을 분석하여 우려 사항을 중화하는 논리를 프롬프트에 추가.
   • Case 3 (실질적 응답): 응답이 해로운 요청을 충분히 충족하지 못하면, 공격자 모델이 '심판자 (Judge)' 역할을 하여 프롬프트를 더 구체적으로 수정.

3. 주요 기여 (Key Contributions)

• 최초의 자동화 추론 탈취 프레임워크: LRMs 의 내부 안전 추론을 자동화하여 탈취하는 최초의 체계적인 프레임워크를 제안했습니다.
• 이중 공격 표면 (Dual Attack Surfaces) 발견:
  1. 실행 탈취: 시뮬레이션된 추론 궤적을 통해 안전 검토를 우회.
  2. 표적 정제: 모델의 거부 메시지에 포함된 사고 과정을 역이용하여 안전 우려를 중화.
• 추론 투명성의 역설: 투명성이 신뢰와 성능을 높이지만, 동시에 적대적 공격자에게 치명적인 정보를 노출시켜 모델의 행동을 조작할 수 있음을 증명했습니다.
• 방어적 활용 (Red Teaming): AutoRAN 을 사용하여 생성된 적대적 데이터를 학습 데이터로 활용하면, 모델의 공격 성공률을 92% 감소시키는 강력한 방어 기제로 재사용 가능함을 보였습니다.

4. 실험 결과 (Results)

저자들은 AdvBench, HarmBench, StrongReject 등 다양한 벤치마크에서 GPT-o3/o4-mini, Gemini-2.5-Flash, DeepSeek-R1 등 최첨단 상용 LRMs 를 대상으로 실험했습니다.

• 공격 성공률 (ASR): 모든 대상 모델에서 약 100% 의 공격 성공률을 기록했습니다.
• 효율성: 대부분의 공격이 1~2 턴 이내에 성공했습니다. 특히 GPT-o3 과 Gemini-Flash 는 거의 1 턴 만에 우회되었습니다.
• 강건한 평가: 공격자 모델뿐만 아니라, GPT-4o, Gemini-2.5-Flash, LLaMA Guard 등 외부 정렬된 심판자 (External Judges) 에 의해 평가하더라도 여전히 높은 성공률 (70~100% 범위) 을 유지했습니다.
• 비용 효율성: 기존 방법 (MouseTrap 등) 대비 토큰 사용량은 약 2.42.9 배, 실행 시간은 1318 배 더 효율적이었습니다.
• 메커니즘 분석: 실험 결과, AutoRAN 프롬프트는 모델의 초기 사고 토큰 확률 분포를 변화시켜, '안전 검토' 토큰의 확률을 낮추고 '작업 수행' 토큰의 확률을 높이는 것을 확인했습니다.

5. 의의 및 시사점 (Significance)

• 새로운 보안 위협의 발견: LRMs 의 안전 메커니즘이 최종 출력뿐만 아니라 중간 추론 과정 (Reasoning Traces) 자체를 보호해야 함을 시사합니다.
• 방어 전략의 전환 필요: 단순한 출력 필터링이나 시스템 프롬프트 강화만으로는 부족하며, 모델의 내부 추론 흐름을 보호하거나, 추론 과정이 노출될 때 이를 악용하지 못하도록 하는 새로운 방어 기법이 필요합니다.
• 적응형 공격의 위험성: 약한 모델이 강력한 모델의 사고 패턴을 모방하여 공격할 수 있다는 점은, 추론 모델 생태계가 확대될수록 보안 위협이 기하급수적으로 커질 수 있음을 경고합니다.
• 윤리적 고려: 이 연구는 취약점을 공개함으로써 향후 더 견고한 방어 시스템 개발을 촉진하고, 자동화된 레드팀 (Red-teaming) 도구로서 모델의 안전성을 강화하는 데 기여할 수 있음을 강조합니다.

결론적으로, AutoRAN 은 대규모 추론 모델의 '투명한 사고 과정'이 어떻게 치명적인 공격 표면이 될 수 있는지를 체계적으로 증명하며, AI 안전 분야에서 추론 과정 자체를 보호해야 할 시급성을 제기합니다.