기술 요약: GPT 및 DeepSeek 모델의 재일브레이크 복원력에 대한 포괄적 보안 분석

문제 제기

대규모 언어 모델 (LLM) 의 급속한 확산은 '재일브레이크' 공격과 관련된 보안 우려를 심화시켰습니다. 재일브레이크 공격은 정렬 (alignment) 안전장치를 우회하고 위험한 콘텐츠를 유도하도록 적대적 입력을 조작하는 공격입니다. GPT-4 와 같은 독점 모델은 광범위하게 평가되었으나, DeepSeek 계열 (예: DeepSeek-R1) 과 같은 신흥 오픈소스 시스템의 견고성은 충분히 검토되지 않았습니다. 실용 애플리케이션에서의 채택이 증가하고 있음에도 불구하고, DeepSeek 과 같은 오픈소스 모델이 GPT-3.5 및 GPT-4 와 같은 확립된 폐쇄형 소스 모델과 비교하여 적대적 입력을 어떻게 처리하는지에 대한 비교 분석이 critically 부족합니다. 이 격차는 오픈소스 모델이 급속히 주목받고 있지만, 공격 하에서의 안전 정렬 메커니즘과 일반화 능력이 잘 이해되지 않기 때문에 중요합니다.

방법론

저자들은 HarmBench 벤치마크를 사용하여 재일브레이크 복원력에 대한 대규모 체계적 평가를 수행했습니다. 이 연구는 DeepSeek 모델 계열(1.5B 에서 32B 파라미터까지 증류된 변형) 과 GPT 계열 모델(0613 및 1106 릴리스를 포함한 GPT-3.5-Turbo 및 GPT-4 변형) 을 비교했습니다.

평가 프레임워크

• 데이터셋: 이 연구는 HarmBench 의 510 가지 유해 행위를 활용했으며, 표준, 저작권, 문맥적, 멀티모달의 네 가지 범주로 구성되었습니다.
• 공격 분류: 두 가지 위협 모델을 기반으로 한 일곱 가지 대표적인 공격 전략을 평가에 포함했습니다:
  • 블랙박스 공격: 문맥 기반 (예: HumanJailbreak), 프롬프트 재작성 (예: GCG-T, ArtPrompt), 그리고 LLM 기반 (예: PAIR, TAP-T, PAP, ZeroShot).
  • 화이트박스 공격 (DeepSeek 전용): 그래디언트 기반 (GCG, AutoDan, TAP) 및 로그이트 기반 (H-CoT).
• 지표: 주요 지표는 공격 성공률 (ASR) 이었으며, 분류기 기반 평가 프로토콜 (비저작권 행위의 경우 Llama-2-13B-Chat 사용, 저작권 행위의 경우 해시 기반 분류기 사용) 을 사용하여 모델 출력이 성공적인 재일브레이크에 해당하는지 여부를 결정했습니다.
• 기준선: 특정 공격으로 인한 취약성의 상대적 증가를 측정하기 위해 직접 요청 (Direct Request, DR) 설정을 비교를 위한 기준선으로 사용했습니다.

주요 기여

1. 최초의 포괄적 DeepSeek 평가: 이 작업은 표준화된 조건 하에서 GPT 계열 모델과 직접 비교하여 DeepSeek 모델 계열의 재일브레이크 복원력에 대한 최초의 체계적 조사를 제시합니다.
2. 세밀한 비교 분석: 저자들은 집계 점수를 넘어 특정 행동 영역 (예: 허위 정보, 사이버 범죄, 화학 안전) 에서의 성능을 분석하기 위해 기능적 및 의미적 분류를 사용하여 정렬 행위를 평가했습니다.
3. 확장성 대 복원력 분석: 이 연구는 모델 규모가 취약성에 미치는 영향을 조사하며, 파라미터 수 증가에 따른 안전성 저하 경향을 파악하기 위해 1.5B 에서 32B 까지의 DeepSeek 변형을 비교했습니다.
4. 공격별 복원력 프로파일링: 이 논문은 서로 다른 모델이 특정 공격 벡터에 어떻게 저항하는지에 대한 뚜렷한 패턴을 밝혀냈으며, 복원력이 모든 적대적 전략에 걸쳐 균일하지 않음을 드러냈습니다.

주요 결과

일반적 성능 및 확장성

• GPT 우위: GPT-4 및 GPT-4 Turbo 는 모든 카테고리에서 가장 강력하고 일관된 복원력을 보여주었으며, DeepSeek 모델보다 현저히 낮은 ASR 을 기록했습니다.
• DeepSeek 확장성 취약성: 더 큰 모델이 본질적으로 더 안전하다는 가정과 반대로, DeepSeek 모델은 규모가 커질수록 점점 더 취약해지는 경향을 보였습니다. 예를 들어, GCG 공격 하에서 DeepSeek 의 ASR 은 1.5B 모델의 33.44% 에서 32B 모델의 55.31% 로 상승했습니다. 마찬가지로 H-CoT 공격은 모델 크기가 증가함에 따라 성공률이 거의 단조 증가하는 것을 보였습니다.
• 공격 벡터 민감도:
  • DeepSeek: 최적화 기반 공격 (TAP-T 등) 에는 선택적으로 저항했으나, 프롬프트 기반 및 인간이 설계한 악용 (예: ZeroShot 공격은 DeepSeek 에서 약 77% 의 ASR 을 기록한 반면 GPT-4 는 약 19% 에 그침) 에는 훨씬 더 취약했습니다.
  • GPT: 전반적으로 견고했으나, GPT 모델은 세밀한 토크 교란 (TAP-T) 과 언어적으로 위장된 프롬프트에 민감한 것으로 나타났지만, 전반적인 실패율은 낮게 유지되었습니다.

도메인별 발견

• 표준 및 문맥적 행위: DeepSeek 모델은 GPT 에 비해 표준 및 문맥적 유해 행위에 대한 위험한 출력 생성에서 더 높은 취약성을 보였습니다.
• 저작권: 저작권 도메인에서는 흥미로운 역전 현상이 관찰되었습니다. GPT-4 모델이 DeepSeek 보다 더 높은 위반률을 보인 반면, DeepSeek 은 더 큰 변형에서 거의 0 에 가까운 ASR 을 달성했습니다.
• 고위험 도메인: 허위 정보, 사이버 범죄, 불법 활동과 같은 도메인에서 DeepSeek 은 현저히 높은 ASR 을 보였습니다 (예: 허위 정보의 경우 0.6422 대 GPT 의 약 0.2). 이는 사회적으로 민감한 주제에서 안전 정렬이 약함을 시사합니다. 반면, 화학 및 생물학 도메인에서는 DeepSeek 변형이 GPT 모델이 일부 취약성을 보인 재일브레이크를 성공적으로 방지했습니다.

행동 일관성

세밀한 분석 결과, DeepSeek 은 종종 적대적 프롬프트 전반에 걸쳐 안전 제약을 일관되게 적용하지 못해 불균등한 거절 행동을 보였습니다. 반면, GPT 모델은 다양한 입력에 걸쳐 더 일관된 거절 메커니즘을 보여주었습니다.

중요성 및 주장

이 논문은 연구 결과가 모델 효율성/용량과 정렬 일반화 사이의 본질적 트레이드오프를 강조한다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 확장성만으로는 부족함: 파라미터 수를 늘리는 것만으로는 안전성이 보장되지 않습니다. 오히려 정렬 메커니즘이 비례하여 확장되지 않으면 더 큰 모델이 특정 적대적 전략에 더 취약해질 수 있습니다.
2. 정렬 성숙도의 중요성: GPT 모델의 우수한 성능은 강력한 안전 최적화 및 인간 피드백을 통한 강화 학습 (RLHF) 에 기인하며, DeepSeek 과 같은 오픈소스 모델은 덜 광범위한 안전 강화에 의존하여 정교한 프롬프트 엔지니어링에 취약할 수 있습니다.
3. 표적 튜닝의 필요성: 이 결과는 오픈소스 LLM 의 안전한 배포를 보장하기 위해 표적 안전 튜닝과 견고한 정렬 전략의 필요성을 강조합니다. 저자들은 향후 방어는 진화하는 재일브레이크 기술에 대비하여 독점 및 오픈소스 시스템 모두를 보호할 수 있는 적응형, 확장 가능한 정렬 프레임워크로 나아가야 한다고 제안합니다.

이 연구는 DeepSeek 이 강력한 추론 능력을 제공하지만, 인간이 설계한 및 프롬프트 기반 적대적 공격에 대한 일관성과 견고성을 선도적인 독점 모델과 일치시키기 위해서는 안전 정렬이 더 정제되어야 한다고 결론 내립니다.