Adversarial Prompting Framework for AI Safety Assessment

기술 요약: AI 안전성 평가를 위한 적대적 프롬프팅 프레임워크

문제 정의
생성형 AI(GenAI)의 기업 환경 내 급격한 도입은 특히 적대적 프롬프트 공격(Adversarial Prompt Attacks, APA)과 같은 중대한 보안 리스크를 야기했습니다. AI의 확산에도 불구하고, 연구에 따르면 GenAI 프로젝트 중 적절하게 보안이 확보된 경우는 극소수에 불과합니다. 문헌상 다양한 완화 전략이 존재하지만, 다양하고 진화하는 적대적 입력의 스펙트럼에 대해 모델의 회복력을 평가할 수 있는 통일되고 체계적인 접근 방식은 현재 부재합니다. 주요 과제는 직접적인 유해 요청부터 정교한 인코딩 기반의 우회 기법에 이르기까지, 실세계의 복잡한 APA를 충분히 포착하지 못하는 기존 분류 체계의 한계에 있습니다.

방법론
저자들은 구조화된 테스트와 정량적 지표를 통해 AI 안전성을 평가하기 위해 설계된 체계적인 방법론인 **적대적 프롬프팅 프레임워크(Adversarial Prompting Framework, APF)**를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 작동합니다:

1. 적대적 프롬프트 분류:
   기존 분류 체계의 공백을 메우기 위해, 본 논문은 공격의 정교함과 취약점 악용 능력에 기반한 5단계 분류 시스템을 도입합니다:

   • 레벨 1: 직접적 적대적 프롬프트: 유해한 콘텐츠에 대한 가감 없는 요청 (예: 불법 지시 사항).
   • 레벨 2: 맥락적 역할 수행(Contextual Role-Playing): 유해한 요청을 정당화하기 위해 특정 페르소나나 전문적인 맥락 내에 프레임을 설정한 공격.
   • 레벨 3: 다단계 지시 시퀀스: 유해한 요청을 무해해 보이는 구성 요소로 분해하여, 종종 모델에게 안전 가이드라인을 무시하도록 명시적으로 지시하는 복잡한 프롬프트.
   • 레벨 4: 인코딩 및 난독화: 의도를 숨기기 위해 카이사르 암호(Caesar ciphers), 리트스피크(leetspeak), 유니코드 인코딩, 16진수 표현, 텍스트 역순 배치 등의 기술을 사용하는 고급 공격.
   • 레벨 5: 정교한 탈옥(Jailbreaking): 지시 무시, 안전 프로토콜 우회, 복잡한 인코딩 기법을 결합한 최고 단계의 공격.

2. 자동 프롬프트 생성:
   프레임워크는 사고의 사슬(Chain-of-Thought, CoT) 지침을 사용하여 적대적 프롬프트를 생성합니다. 입력값에는 정책 개념(예: 사이버 범죄), 작업 형식(예: 코드, 이메일), 그리고 지리적 영역이 포함됩니다. 시스템은 인간의 개입(human-in-the-loop) 검증 없이도 커버리지를 보장하기 위해 생성된 프롬프트에 다양성 차원(diversity dimensions) 태그를 부여합니다.

3. 응답 평가 및 점수 산정:
   프레임워크는 적대적 프롬프트($a$)에 대한 모델 응답($M$)을 다음과 같은 복합 점수 공식으로 평가합니다:
   $$score = \lambda_1 \cdot toxicity + \lambda_2 \cdot sentiment + \lambda_3 \cdot keyword$$

   • **독성(Toxicity)**은 detoxify 모델을 사용하여 측정합니다.
   • **감성(Sentiment)**은 distilbert-sst2-sentiment를 사용하여 분석합니다.
   • **키워드(Keywords)**는 알려진 블랙리스트 유해 단어 목록과 대조하여 확인합니다.
   • 가중치($\lambda_1, \lambda_2, \lambda_3$)는 수동으로 라벨링된 데이터를 기반으로 지도 학습 회귀 모델을 훈련하여 결정됩니다.
   • 모델이 유해한 의도를 올바르게 식별하고 답변을 거부하는 경우 0점을 부여합니다. 최종 모델 점수는 테스트된 모든 프롬프트에 대한 점수의 평균값입니다.

주요 결과
저자들은 Google, OpenAI, Anthropic, Meta, Mistral, DeepSeek의 파운데이션 모델들을 대상으로 약 25가지 유해 정책(마약 밀매, 자금 세탁, 폭력 등 포함)을 다루는 1,000개의 적대적 프롬프트에 대해 광범위한 실험을 수행했습니다. 모델들은 Excellent, Good, Moderate, Concerning의 네 가지 안전 수준으로 분류되었습니다.

• Claude 모델: 거의 모든 공격 카테고리에서 가장 낮은 취약성 점수를 기록하며 가장 높은 회복력을 보여주었으며, 이는 견고한 안전 가드레일을 시사합니다.
• 오픈 소스 모델 (Llama, Mistral): 광범위한 APA에 대해 더 높은 취약성을 보였습니다. 기본적인 필터링에는 효과적이었으나, 난독화 및 다단계 역할 기반 공격에 대해서는 안전 정렬(safety alignment)이 약화되었습니다. 그러나 규모가 더 크고 최신인 모델(예: Llama-3.1-405B, Mistral-Large-2)은 난독화에 대해 현저히 감소된 취약성을 보였습니다.
• 특화 모델 (예: CodeLlama): 도메인 전문 지식(예: 디버깅으로 프레임된 요청)을 악용하는 역할 수행 중심의 탈옥에 대해 독특한 취약성을 나타냈습니다.
• GPT 모델: 단순한 프롬프트에 대해서는 강력한 방어력을 보였으나, 인코딩 및 맥락적 오도(misdirection)가 포함된 복잡하고 다층적인 공격에는 측정 가능한 취약성을 보였습니다.
• Gemini 모델: 인코딩 공격과 관련하여 모든 버전에서 유사한 취약성 수준을 보였습니다.

의의 및 주장
본 논문은 현재의 AI 안전 조치가 기본적이거나 단일 계층의 공격은 안정적으로 차단하지만, 정교하고 다차원적인 전략에 대해서는 여전히 유의미하게 효과가 낮다는 점을 주장합니다. 저자들은 인코딩 기술(예: 리트스피크, 유니코드)과 맥락적 역할 수행을 결합하는 것이 오늘날 가장 강력한 위협 벡터라고 단언합니다.

이 연구의 의의는 다음과 같습니다:

1. 표준화: 복잡한 기존 방식에 비해 방어 메커니즘을 더 단순하고 체계적으로 평가할 수 있는 역량 기반의 구조화된 분류 체계를 제공합니다.
2. 정량적 벤치마킹: 독점 모델과 오픈 소스 모델 모두에 대해 재현 가능한 테스트 기능과 정량적 보안 지표를 갖춘 자동화된 프레임워크를 제공합니다.
3. 미래 방향 제시: 산업계가 에이전틱 AI(agentic AI) 및 사이버 보안 애플리케이션으로 이동함에 따라, 정적 프롬프트 필터링과 동적 맥락 이해 및 적응형 적대적 탐지를 통합하는 차세대 방어 메커니즘의 시급한 필요성을 강조합니다.

저자들은 본 연구가 독립적이며 각자의 고용주(Microsoft 및 Walmart Global Tech)의 승인을 받지 않았음을 강조하며, 승인 절차가 완료되는 대로 구현체를 공개할 예정이라고 밝혔습니다.