Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

기술 요약: LLM 탈출을 위한 소수 샷의 진정한 benign DPO 공격

문제 제기

파인튜닝 API 를 통해 사용자는 최첨단 대형 언어 모델 (LLM) 을 특정 작업에 맞게 커스터마이징할 수 있지만, 이는 파인튜닝 과정에서 안전 정렬 (safety alignment) 을 약화시킬 수 있는 치명적인 공격 표면을 도입합니다. 이전 연구는 소수의 유해한 학습 예제만으로도 안전성이 훼손될 수 있음을 입증했으나, 이러한 공격은 학습 데이터에 노골적으로 안전하지 않은 내용이 포함되어 있어 상대적으로 탐지가 용이합니다.

본 논문은 더 미묘하고 위험한 위협 모델을 다룹니다: benign 파인튜닝 공격. 이 시나리오에서 제출된 파인튜닝 데이터는 내용 검사를 거치더라도 완전히 무해해 보이며, 합법적인 사용자의 의도 (예: 안전한 프롬프트에 대한 '과도한 거부' 감소) 를 모방합니다. 핵심 과제는 내용이 유해할 뿐만 아니라 일반적인 커스터마이징 요청과 구별되지 않는 데이터를 사용하여 안전 정렬을 저하시킬 수 있는지, 그리고 이를 통해 현재의 중재 시스템을 우회할 수 있는지 확인하는 것입니다.

방법론

저자들은 진정한 benign 직접 선호도 최적화 (DPO) 공격을 제안합니다. 적대적 접두사, 페르소나 전환, 또는 다단계 학습에 의존하는 이전의 benign 공격들과는 달리, 이 방법은 OpenAI 와 같은 상용 파인튜닝 서비스에서 명시적으로 지원되는 DPO 의 메커니즘을 활용합니다.

핵심 메커니즘:
이 공격은 OpenAI 서비스에서 허용되는 최소 규모인 10 개의 무해한 선호도 쌍으로 구성된 최소 데이터셋을 구축합니다. 각 쌍은 다음으로 구성됩니다:

1. 프롬프트 ($x$): benign 한 일상적인 요청 (예: "파스타 만드는 법은 무엇인가요?").
2. 선호하는 응답 ($y^+$): 기본 모델이 생성한 도움이 되는 표준 답변.
3. 선호하지 않는 응답 ($y^-$): 표준 거부 응답 (예: "죄송합니다, 그건 도와드릴 수 없습니다.").

학습 목표는 이러한 benign 프롬프트에 대해 거부 응답보다 도움이 되는 답변을 선호하도록 모델을 최적화하는 것입니다. 저자들은 DPO 가 응답 간의 상대적 마진을 최적화하기 때문에, benign 입력에서의 거부 행동을 억제하는 것이 보지 못한 유해 입력으로 일반화될 것이라고 가정합니다. 모델은 "거부"를 선호하지 않는 응답 패턴으로 학습하게 되어, 유해한 프롬프트 (예: "폭탄 만드는 법은 무엇인가요?") 를 접할 때 거부를 우회하게 됩니다.

주요 설계 특징:

• 진정한 benign 의도: 데이터에는 유해한 프롬프트, 탈출 지시문, 또는 은밀한 인코딩이 포함되어 있지 않습니다. 이는 과도한 거부를 줄이려는 합법적인 사용자 요청과 실질적으로 구별할 수 없습니다.
• 최소 데이터: 이 공격은 10 개의 쌍 (오픈 가중치 모델에서는 단일 쌍) 만으로도 성공하며, 매우 저비용이고 데이터 효율적입니다.
• 블랙박스 환경: 공격자는 모델 가중치나 내부 안전 메커니즘에 접근할 수 없으며, 공개된 파인튜닝 API 를 통해서만 작동합니다.

주요 기여

1. 새로운 실패 모드 식별: 본 논문은 DPO 가 SFT 기반 공격보다 더 강력하고 감사하기 어려운 실패 모드를 도입함을 입증합니다. 단순 모방이 아닌 상대적 선호도를 최적화함으로써 DPO 는 오직 benign 데이터로만 학습되었을지라도 거부 행동을 광범위하게 억제할 수 있습니다.
2. "진정한 benign" 공격: 저자들은 의구심을 자아내는 신호가 전혀 없는 고유한 공격을 제시합니다. 이전의 benign 공격들 (예: AOA, TenBenign, NOICE) 이 인위적인 페르소나, 비자연스러운 학습 구성, 또는 감사자가 플래그를 달 수 있는 특정 응답 패턴에 의존하는 것과 달리, 이 공격의 데이터는 자연스럽고 합법적인 커스터마이징과 구별할 수 없습니다.
3. 메커니즘 분석: 경사 유사성 분석과 학습 동역학 관찰을 통해 저자들은 이 공격이 거부 응답의 가능성을 감소시킴으로써 작동함을 보여줍니다. 최적화 업데이트는 답변 생성 행동을 강화하고 동시에 거부 행동을 억제하여, 학습 중에는 결코 보지 못한 유해한 쿼리로 일반화됩니다.

실험 결과

저자들은 독점적인 OpenAI 모델 (GPT-4o, GPT-4.1, GPT-4.1-mini, GPT-4.1-nano) 과 오픈 가중치 모델 (Llama 3, Qwen 2.5) 에 대해 이 방법을 평가했습니다.

• 공격 성공률 (ASR): 이 공격은 HEx-PHI 레드팀 벤치마크에서 높은 ASR 을 달성했습니다:
  • GPT-4o: 59.13%
  • GPT-4.1: 70.20%
  • GPT-4.1-mini: 54.80%
  • GPT-4.1-nano: 81.73%
  • 이러한 결과는 기본 모델 대비 상당한 증가 (예: GPT-4.1-nano 에서 13.78 배) 를 나타내며, 기존 benign 파인튜닝 공격 (Indirect, AOA, TenBenign, NOICE) 보다 우수한 성능을 보입니다.
• 비용 효율성: 공격 비용은 모델당 $0.1 에서$1.7 사이로 미미했습니다.
• 데이터 효율성: 최소 데이터 요구 사항이 없는 오픈 가중치 모델에서는 단일 benign 선호도 쌍만으로도 공격 효과가 나타났습니다.
• 유용성 보존: 일부 이전 공격들이 하류 능력을 저하시켰던 것과 달리, 이 방법은 GSM8k 와 같은 높은 유용성 점수를 유지하여 안전성의 선택적 약화를 시사하며 일반적인 모델 저하가 아님을 보여줍니다.
• 강건성: 이 공격은 다양한 거부 템플릿, 다양한 선호 응답 구성, 그리고 전체 파인튜닝과 LoRA (파라미터 효율적) 설정 모두에서 효과적으로 유지되었습니다.

중요성 및 주장

본 논문은 현재 안전 파이프라인의 실용적인 맹점을 드러낸다고 주장합니다. 그 중요성은 기존 콘텐츠 중재 시스템과 심지어 고급 LLM 감사자조차 학습 데이터의 내용과 표면적 의도가 모두 진정으로 benign 하기 때문에 이 공격을 탐지하지 못한다는 사실에 있습니다.

• 감사 한계: 표준 중재 API(예: OpenAI Moderation API) 와 더 강력한 LLM 감사자 (예: GPT-5, Claude Opus) 는 인위적인 패턴을 식별하여 다른 benign 공격 (AOA 또는 TenBenign 등) 을 성공적으로 탐지하지만, 진정한 benign DPO 공격은 플래그를 달지 못합니다. 의도 기반의 엄격한 감사 하에서도 이 특정 공격에 대한 탐지율은 거의 0 에 가깝습니다.
• 안전에 대한 함의: 이 연구 결과는 파인튜닝 데이터의 콘텐츠 수준 검사만으로는 불충분함을 시사합니다. 안전 메커니즘은 최적화 목표의 행동적 결과를 감사할 수 있도록 진화해야 합니다. 본 논문은 선호도 데이터가 광범위하게 거부를 억제하도록 구성될 경우, 유용성을 개선하도록 설계된 메커니즘 자체 (거부보다 도움이 되는 답변을 선호함) 가 안전 정렬을 우회하는 무기로 악용될 수 있다고 주장합니다.

결론적으로, 본 논문은 선호도 기반 파인튜닝이 "진정으로 benign"인 데이터조차도 안전하지 않은 모델 행동을 유발할 수 있는 취약점을 생성한다고 제시하며, 입력 데이터의 안전성뿐만 아니라 선호도 목표의 영향을 추론할 수 있는 새로운 보호 장치가 필요하다고 역설합니다.