기술 요약: 페르소나 기반 적대적 프롬프팅 (PCAP)

문제 정의

대규모 언어 모델 (LLM) 에 대한 자동화된 레드 팀링은 현재 제한된 공격자 다양성과 평가와 실행 가능한 완화 사이의 격차라는 두 가지 치명적인 한계에 직면해 있습니다. 기존 자동화 파이프라인은 종종 제한된 전술 세트 (예: 고정 템플릿 또는 직접 공격) 와 단일 회변환에 의존합니다. 그 결과, 공격자 정체성, 사회 공학, 그리고 문맥적 프레임 (예: 역할 기반 신뢰 또는 도메인 특화 전문 용어) 에 의존하는 현실적이고 복잡한 공격 벡터를 포착하지 못합니다. 이러한 좁은 탐색은 견고한 안전성 미세 조정을 위한 불충분한 데이터를 산출하며, 실제 세계의 위험을 과소평가합니다. furthermore, 취약점 발견과 방어 사이의 루프를 닫기 위한 "퍼플 팀링" 접근법이 존재하지만, 많은 경우 공격자 정체성 간의 체계적인 다양화와 명시적 전략 조건부 설정이 부족합니다.

방법론: 페르소나 기반 적대적 프롬프팅 (PCAP)

저자들은 TAP(Tree of Attacks with Pruning) 알고리즘을 확장한 PCAP 프레임워크를 소개합니다. PCAP 는 다양한 공격자 페르소나와 명시적 전략 세트에 적대적 탐색을 조건부로 설정하여 블랙박스 환경에서 현실적인 공격 시나리오를 탐색합니다.

핵심 구성 요소

1. 페르소나 구성: 페르소나 생성기 ($G_p$) 는 고유한 인구통계학적 정보, 전기적 세부 사항, 행동 특성을 가진 $N$개의 서로 다른 페르소나 (예: 호기심 많은 학생, 도메인 전문가, 악의적 행위자) 를 생성합니다.
2. 목재 재구성: 재구성 모델 ($R$) 은 각 페르소나 ($\pi_i$) 의 맥락 내에서 목표 해로운 목표 ($g$) 를 재해석하여, 공격 의도를 페르소나의 내러티브에 통합한 개인화된 목표 ($\tilde{g}_i$) 를 생성합니다.
3. 전략 조건부 설정: 공격 전략 세트 ($\Sigma$) 가 정의됩니다 (예: 역할극, 페이로드 분할, 오타). 각 페르소나는 전략의 부분 집합 ($\Sigma_i$) 을 할당받습니다. 공격자 모델 ($A$) 은 페르소나, 재구성된 목표, 그리고 특정 전략 카드에 조건부로 설정되어 문맥 내 가이드 역할을 합니다.
4. 병렬화 된 적대적 탐색: 단일 검색 빔 대신 PCAP 는 $N$개의 독립적인 TAP 검색을 병렬로 실행합니다. 각 검색은 너비 $W$의 자체 빔 ($S^{(i)}_t$) 을 유지합니다. 각 반복 단계에서 페르소나 기반 공격자가 변형을 생성하면, 온-토픽 체커 ($O$) 가 이를 필터링하고, 평가자 ($E$) 가 점수를 매긴 후 상위 $W$개 후보로 가지치기됩니다.
5. 메타데이터가 풍부한 데이터셋 생성: 핵심적으로, 모든 성공적인 프롬프트는 할당된 페르소나, 목표, 그리고 전략 태그로 자동으로 주석 처리됩니다. 이는 견고한 거부 행동을 학습하는 데 적합한 풍부한 주석 없는 코퍼스를 생성합니다.

주요 기여

• 페르소나 기반 조건부 설정: PCAP 는 개선 파이프라인을 수정하는 데 초점을 맞추는 대신, 공격자가 누구이며 어떻게 공격하는지를 변경합니다. 이 모듈식 접근법은 역할 기반 신뢰와 도메인 특화 프레임을 악용하는 다양한 언어적 및 전략적 프레임을 탐색합니다.
• 포괄적인 경험적 평가: 저자들은 다양한 능력 (Dense 및 Mixture-of-Experts 아키텍처) 을 가진 여러 공격자 모델에 걸쳐 PCAP 를 평가합니다. 전용 가드레일에 대한 공격 성공률 (ASR), 프롬프트 수확량, 그리고 전이성에서 일관된 개선을 입증합니다.
• 실용적인 폐쇄 루프 완화: 이 논문은 취약점 발견부터 자동화된 방어까지의 완전한 파이프라인을 보여줍니다. PCAP 가 생성한 데이터로 경량 어댑터 (ALoRA) 를 미세 조정함으로써, 저자들은 수동 주석 없이 모델 견고성을 크게 향상시켰음을 보여줍니다.
• 오픈 소스 공개: 저자들은 승인 시 레드 팀링 프레임워크와 통합된 PCAP 코드를 공개할 것을 약속합니다.

실험 결과

실험은 다양한 공격자 모델 (Llama 3.3 70B, Granite 3.3 8B, Granite 4.0 H Tiny, Kimi K2.5, Mixtral 8x22B) 을 사용하여 GPT-OSS 120B를 목표 모델로 수행되었습니다.

공격 성능

• 공격 성공률 (ASR): PCAP 는 기존 TAP 를 크게 능가합니다. GPT-OSS 120B 에서 ASR 은 Llama 3.3 70B 공격자의 경우 **57.7% 에서 97.3%**로, Granite 4.0 H Tiny 공격자의 경우 **41.0% 에서 98.0%**로 증가했습니다.
• 프롬프트 수확량: PCAP 는 목표당 TAP 대비 2~6 배 더 많은 다양한 성공적인 프롬프트를 생성합니다. 예를 들어, Granite 4.0 H Tiny 는 목표당 0.43 에서 2.41 개의 프롬프트로 수확량이 증가했습니다.
• 전이성: PCAP 가 생성한 프롬프트는 높은 전이성을 보여, 전용 가드레일 (Granite Guardian 3.3 및 Llama Guard 3) 을 **30~58%**의 비율로 우회했습니다. 특히, 이러한 프롬프트의 상당 부분이 목표 모델과 가드레일 모두를 우회하여 일반화 가능한 의미론적 취약점의 발견을 시사합니다.
• 다양성: PCAP 프롬프트는 기존 방법 대비 낮은 의미론적 유사성 (코사인 유사도 약 0.620.67) 과 낮은 Self-BLEU 점수 (0.020.08) 를 보여 높은 어휘적 및 의미론적 다양성을 확인시켰습니다. 전략 분포는 역할극에 크게 의존했던 TAP 보다 더 균형 잡혔으며 (낮은 $\chi^2$ 점수), 이는 역할극에 크게 의존했던 TAP 와 대비됩니다.

완화 및 견고성

• 미세 조정: 경량 ALoRA 어댑터를 PCAP 가 생성한 데이터셋 (50 개 목표에 대한 300 개 프롬프트) 으로 미세 조정했습니다.
• 성능 향상: 미세 조정은 세 가지 모델 계열 (Granite, Llama, Qwen) 전반에 걸쳐 적대적 견고성을 극적으로 향상시켰습니다.
  • Recall: 0.260.36 에서 0.961.00으로 향상되었습니다.
  • F1 점수: 0.410.53 에서 0.960.98로 향상되었습니다.
  • 정밀도: 최소한의 오탐으로 높은 수준 (0.94~0.97) 을 유지했습니다.
• 퍼플 팀링 검증: 미세 조정된 모델을 PCAP 로 재테스트했을 때 강력한 저항력을 보였습니다. 예를 들어, Granite 3.3 8B 는 ASR 이 100% 에서 **33.7%**로 떨어졌으며, 성공적인 재일브랙을 찾는 데 필요한 쿼리 수는 5~7 배 증가했습니다. 이는 데이터셋이 일반화 가능한 공격 패턴 인식을 가르친다는 것을 확인시켜 줍니다.

중요성 및 주장

이 논문은 PCAP 가 LLM 안전성을 위한 완전하고 자동화된 폐쇄 루프 접근법을 제공한다고 주장합니다. 다양한 페르소나에 적대적 탐색을 조건부로 설정함으로써, 이 방법은 좁은 파이프라인이 놓치는, 특히 사회 공학 및 정체성 기반 신뢰에 의존하는 취약점을 발견합니다.

저자들은 생성된 데이터셋의 주석 없는 특성이 인간 레드 팀링의 비용과 확장성 문제를 제거하는 핵심적인 실용적 이점이라고 강조합니다. 몇 시간 (A100 에서 2~9 시간) 내에 경량 미세 조정을 통해 거의 완벽한 견고성 (F1 > 0.96) 을 달성할 수 있는 능력은 지속적인 모델 강화를 위한 실용적인 경로를 보여줍니다. 이 작업은 PCAP 를 단순한 발견 도구가 아니라, 취약점 식별과 자동화된 효과적인 방어 사이의 격차를 메우는 기능적인 "퍼플 팀"으로 위치시킵니다.