LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 안전성 문제는 주로 사전 학습 (Pre-training) 과정에서 유해한 데이터에 노출되었기 때문에 발생합니다. 기존 연구들은 악의적인 공격자가 해로운 프롬프트를 변형하여 (예: 암호화, 역할극, 특정 시나리오 가정) 안전 장치를 우회하는 **'악의적 분포 이동 (Malicious Distribution Shift)'**에 집중해 왔습니다.

하지만 이 논문은 기존 안전 훈련 데이터에 포함되지 않더라도, **사전 학습 분포 내에 존재하는 해로운 내용과 의미적으로 연결된 ' benign(선한) 프롬프트'**를 통해 모델의 안전 장치가 우회될 수 있다는 새로운 취약점을 발견했습니다. 이를 **'자연적 분포 이동 (Natural Distribution Shift)'**이라고 정의하며, 이러한 선해 보이는 다중 턴 (Multi-turn) 대화로 모델이 점차 유해한 내용을 노출하게 만드는 현상을 규명했습니다.

2. 방법론: ActorBreaker (Methodology)

논문은 Latour 의 **행자 - 네트워크 이론 (Actor-Network Theory, ANT)**을 기반으로 한 새로운 공격 기법인 ActorBreaker를 제안합니다. 이 방법은 해로운 목표 (Toxic Target) 와 의미적으로 연결된 다양한 '행자 (Actors)'를 식별하여 다중 턴 공격 프롬프트를 생성합니다.

• 행자 네트워크 구축 (Actor-network Construction):

  • 해로운 목표 (예: "폭탄 제조") 를 중심으로 6 가지 유형의 행자를 정의합니다:
    1. Creation (창조): 해로운 아이디어의 기원 (예: Alfred Nobel)
    2. Execution (실행): 해로운 행위를 수행한 주체 (예: Ted Kaczynski)
    3. Distribution (유통): 해로운 정보의 확산 매체 (예: Anarchist Cookbook, 웹사이트)
    4. Reception (수용): 해로운 행위의 피해자나 수용자 (예: 보스턴 마라톤 폭탄 테러 피해자)
    5. Facilitation (촉진): 해로운 행위를 가능하게 하는 요소 (예: 아나키즘 이념)
    6. Regulation (규제): 해로운 행위를 통제하려는 주체 (예: 테러 방지 NGO)
  • 이 행자들은 인간 (역사적 인물) 과 비인간 (책, 미디어, 사회 운동) 으로 구분되어 포괄적인 취약점 탐색을 가능하게 합니다.

• 공격 체인 추론 및 생성:

  1. 공격 체인 추론: 선택된 행자 (예: Ted Kaczynski) 와 해로운 목표 사이의 의미적 연결 고리를 통해, 어떻게 선한 질문에서 시작해 점차 해로운 답변으로 유도할지 사고 체인 (Chain of Thought) 을 구성합니다.
  2. 자기 대화 (Self-talk) 를 통한 프롬프트 생성: 공격자 LLM 이 스스로 질문과 답변을 시뮬레이션하며 초기 다중 턴 공격 시퀀스를 생성합니다. 이는 실제 피해 모델과의 상호작용 전에도 공격 경로를 최적화합니다.
  3. 동적 수정 (Dynamic Modification): 실제 피해 모델과 상호작용 중, 모델이 "모른다"고 답하거나 거절할 경우, 공격자는 프롬프트를 재작성하거나 문맥을 변경하여 공격을 지속합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 실패 모드 발견: 정렬된 (Aligned) LLM 들이 해로운 내용과 의미적으로 연결된 선한 프롬프트에 대해 취약하다는 '자연적 분포 이동'에 대한 취약성을 처음 체계적으로 규명했습니다.
2. ActorBreaker 제안: Latour 의 이론을 적용하여 인간 및 비인간 행자를 포함한 다양한 공격 경로를 탐색하는 새로운 다중 턴 공격 프레임워크를 개발했습니다.
3. SOTA 성능 달성: HarmBench 벤치마크에서 기존 단일 턴 및 다중 턴 공격 (GCG, PAIR, Crescendo 등) 을 모두 상회하는 공격 성공률 (ASR) 을 기록했습니다. 특히 강력한 추론 능력을 가진 GPT-o1 모델에서도 60% 의 성공률을 보였습니다.
4. 적응형 방어 및 데이터 구축: 이 취약점을 해결하기 위해 ActorBreaker 로 생성된 다중 턴 안전 정렬 데이터를 구축하고, 이를 통해 모델을 미세 조정 (Fine-tuning) 하면 방어 효과가 있음을 입증했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): 6 가지 주요 LLM (GPT-3.5, GPT-4o, GPT-o1, Claude-3.5, Llama-3 등) 을 대상으로 한 실험에서 ActorBreaker 는 평균 **77.7%**의 공격 성공률을 기록했습니다. 이는 기존 최상위 다중 턴 공격인 Crescendo (49.3%) 와 CoA (19.3%) 보다 월등히 높은 수치입니다.
• 다양성 (Diversity): 생성된 프롬프트의 임베딩 거리를 측정한 결과, ActorBreaker 는 고정된 전략을 사용하는 기존 방법들보다 훨씬 더 다양하고 자연스러운 프롬프트를 생성했습니다.
• 전파성 (Transferability): 특정 모델에 최적화되지 않아도 다른 모델로 전파되어 효과적인 공격이 가능했습니다.
• 방어 우회: Llama-Guard 2 와 같은 입력 안전 장치를 우회하여, 프롬프트의 독성 (Toxicity) 점수가 낮음에도 불구하고 해로운 내용을 유도할 수 있음을 확인했습니다.
• 방어 효과: ActorBreaker 로 생성된 다중 턴 안전 데이터로 모델을 미세 조정 (SFT) 한 결과, 공격에 대한 방어력이 크게 향상되었습니다. (단, 유용성 (Helpfulness) 과 안전성 간의 트레이드오프가 존재함)

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 안전성 연구에 중요한 시사점을 제공합니다.

• 안전 훈련의 범위 확장 필요성: 단순히 명시적인 유해한 질문을 차단하는 것을 넘어, 해로운 내용과 의미적으로 연결된 광범위한 선한 프롬프트 공간까지 안전 훈련 범위를 확장해야 함을 강조합니다.
• 다중 턴 상호작용의 위험성: 사용자가 점진적으로 유도하는 자연스러운 대화 흐름이 모델의 안전 장치를 무력화할 수 있음을 보여주며, 다중 턴 컨텍스트에서의 안전성 평가의 중요성을 부각시켰습니다.
• 이론적 기반의 접근: 사회학적 이론 (ANT) 을 AI 안전 공격에 적용함으로써, 기존 기술 중심의 공격 방법론을 넘어선 새로운 패러다임을 제시했습니다.

결론적으로, ActorBreaker 는 현재 정렬된 LLM 들이 가진 치명적인 맹점을 드러냈으며, 이를 해결하기 위해서는 더 포괄적인 의미 공간에 대한 안전 정렬 데이터의 구축이 필수적임을 증명했습니다.