기술 요약: 에이전트 시대의 AI 레드 팀링 재정의

1. 문제 제기

AI 시스템이 의료, 금융, 국방과 같은 핵심 영역으로 침투함에 따라, 엄격한 AI 레드 팀링의 필요성이 최우선이 되었습니다. 그러나 현재 레드 팀링 관행은 근본적으로 라이브러리 중심으로 운영되어 보안 운영자에게 심각한 병목 현상을 초래합니다.

기존 프레임워크 (예: PyRIT, Garak, Promptfoo) 는 운영자가 수동으로 워크플로우를 구성할 수 있도록 깊은 기술적 전문성을 요구합니다. 운영자는 다음 작업을 수행해야 합니다:

• 수십 가지의 가능한 기법 중 특정 공격 전략을 선택합니다.
• 인코딩, 페르소나 래핑 (persona wrapping) 등의 변환 (transforms) 과 스코어러 (scorers) 를 포함한 복잡한 공격 조합을 수동으로 제작합니다.
• 매개변수를 구성하고 원시 출력 파일을 구문 분석하기 위해 코드를 작성합니다.
• 추적 기록 (traces) 을 수동으로 해석하고, 발견 사항을 분류하며, 결과를 규정 준수 프레임워크에 매핑합니다.

이 수동 프로세스는 인지적으로 과부하를 일으키며 확장성이 떨어집니다. AI 대상이 에이전트 시스템, 멀티모달 모델, 다국어 배포로 진화함에 따라 공격 표면은 조합적으로 확장됩니다. 결과적으로 운영자는 실제 취약점을 탐지하는 것보다 워크플로우를 구성하는 데 더 많은 시간을 보내며, 몇 시간 만에 완료되어야 할 평가에 몇 주가 소요되는 경우가 많습니다.

2. 방법론: Dreadnode 에이전트 프레임워크

저자들은 오픈소스 Dreadnode SDK 를 기반으로 구축된 AI 레드 팀링 에이전트를 소개합니다. 이 시스템은 라이브러리 기반 구성에서 에이전트 자동화로 패러다임을 전환하며, 에이전트가 자연어 목표를 기반으로 기술적 오케스트레이션을 처리합니다.

시스템 아키텍처

이 프레임워크는 네 가지 주요 계층을 통해 작동합니다:

1. 상호작용 계층: 운영자는 **Dreadnode 터미널 사용자 인터페이스 (TUI)**를 통해 상호작용하며, 자연어로 목표를 설명합니다 (예: "ransomware 생성을 목표로 Model X 에 대해 TAP 공격을 실행하세요"). 에이전트는 이러한 의도를 실행 가능한 워크플로우로 변환합니다.
2. 공격 계층: 다음을 포함하는 포괄적인 카탈로그를 제공합니다:
   • 45 개 이상의 공격 전략: 핵심 잼브레이크 (TAP, PAIR, Crescendo), 고급 적대적 공격 (AutoRedTeamer, NEXUS), 전통적인 ML 공격 (SimBA, HopSkipJump), 그리고 멀티모달 프로브가 포함됩니다.
   • 450 개 이상의 변환 (Transforms): Base64, ROT13 과 같은 결정론적 인코딩부터 LLM 기반 적응 (페르소나 재작성, 저자원 언어 번역, 스켈레톤 키 프레임링) 에 이르기까지, 정렬 약점을 탐지하기 위해 입력을 변형하는 함수들입니다.
   • 130 개 이상의 스코어러: 성공, 부분 준수, 거부를 평가하는 자동화된 심판으로, PII 유출, 도구 오용, 잼브레이크 탐지 등의 카테고리를 다룹니다.
3. 실행 계층: 공격은 전체 OpenTelemetry (OTEL) 계측이 포함된 재현 가능한 Python 스크립트로 실행됩니다. 로컬이든 원격이든 실행 여부와 관계없이 모든 프롬프트, 응답, 변환 적용 및 점수가 구조화된 추적 스팬으로 캡처됩니다.
4. 분석 계층: 시스템은 OTEL 추적을 구조화된 발견 사항으로 처리합니다. 자동 심각도 분류 (Critical 에서 Info 까지) 를 수행하고, 발견 사항을 규정 준수 프레임워크 (OWASP LLM Top 10, MITRE ATLAS, NIST AI RMF, Google SAIF) 에 매핑하며, 집계된 대시보드를 생성합니다.

통합 접근법

주요 방법론적 혁신은 전통적인 ML 과 생성형 AI 레드 팀링의 통합입니다. 이 프레임워크는 LLM 을 위한 프롬프트 기반 공격과 분류기/비전 모델을 위한 입력 변조 공격을 단일 인터페이스 내의 반복적 최적화 문제로 간주합니다. 이로 인해 서로 다른 AI 시스템 유형에 대한 별도의 라이브러리가 필요하지 않게 됩니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 에이전트 인터페이스: 운영자가 자연어를 통해 탐지할 대상을 정의하고, 에이전트가 구현 방법 (공격 선택, 변환 구성, 실행, 보고) 을 자율적으로 처리하는 시스템입니다. 이는 평가 기간을 몇 주에서 몇 시간으로 단축합니다.
2. 통합 프레임워크: 적대적 예제를 통해 전통적인 ML 모델을 탐지하고, 잼브레이크 및 프롬프트 인젝션을 통해 생성형 AI 시스템을 탐지할 수 있는 단일 아키텍처로, 이질적인 도구 간 전환의 인지적 부담을 제거합니다.
3. Llama Scout 사례 연구: 메타의 Llama Scout(170 억 파라미터 모델) 를 인간이 작성한 코드 없이 레드 팀링한 포괄적인 시스템 시연입니다.

4. 결과: Llama Scout 사례 연구

저자들은 Meta 의 Llama Scout 를 대상으로 한 사례 연구를 다음과 같은 구성으로 수행했습니다:

• 목표: 유해 콘텐츠와 공정성/편향성을 아우르는 68 개의 적대적 목표.
• 방법론: 에이전트가 공격 유형 (TAP, Crescendo, 가지치기가 포함된 공격 그래프) 을 자율적으로 선택하고 5 가지 변환 변형을 적용했습니다.
• 규모: 681 개 평가, 674 개 공격, 7,727 회 시도.
• 완료 시간: 운영자가 작성한 코드가 없는 상태에서 실제 경과 시간 약 3 시간.

주요 지표:

• 공격 성공률: 약 85%.
• 발견 사항: 총 573 건의 발견 사항 중 401 건 (59.5%) 이 완전한 잼브레이크로 분류되었습니다.
• 심각도: 발견 사항의 34.4% 가 Critical(심각도 점수 ≥0.9) 로 분류되었습니다.
• 주요 발견 사항:
  • SQL 인젝션 및 랜섬웨어: 역할극 및 언어 적응 변환을 통한 Crescendo 로 달성되었습니다.
  • 자해 지시: 스켈레톤 키 프레임링을 통한 TAP 로 달성되었습니다 (점수 1.0).
  • 신원 도용: 가지치기가 포함된 공격 그래프 (GAP) 가 변환 없이 브라우저 확장 프로그램을 생성했습니다.
  • 유권자 탄압: Crescendo 를 통해 유권자를 잘못된 위치로 안내하는 자동 전화 스크립트가 생성되었습니다.

분석적 통찰:

• Crescendo와 공격 그래프는 모든 카테고리에서 100% 성공률을 달성했습니다.
• 페르소나 기반 변환(스켈레톤 키, 역할극) 이 가장 신뢰할 수 있는 공격 표면이었습니다 (100% 성공).
• Base64 인코딩은 가장 효과가 낮은 변환이었습니다 (75% 성공), 이는 인코딩 기반 우회에 대한 일부 견고성을 시사합니다.
• 80% 의 목표에는 변환이 필요하지 않았으며, 이는 모델의 근본적인 안전 정렬 격차를 나타냅니다.

5. 중요성과 주장

이 논문은 AI 레드 팀링 분야가 소프트웨어 개발과 유사한 필수적인 전환을 겪고 있다고 주장합니다. 즉, 라이브러리 기반(운영자가 원시 구성 요소를 구성) 에서 에이전트 지원(운영자가 의도를 명시) 으로 이동하는 것입니다.

• 인지적 부하 감소: 시스템은 운영자의 역할을 구현 (코딩, 매개변수 튜닝) 에서 전략 (목표 정의, 발견 사항 해석) 으로 전환합니다. 45 개 이상의 공격 전략을 기억할 필요를 자연어 명세로 대체합니다.
• 확장성: 에이전트 접근법은 수동 워크플로우가 충족할 수 없는 에이전트 및 멀티모달 시스템의 공격 표면 조합적 폭발을 해결합니다.
• 운영 효율성: 워크플로우 생성, 스코어링, 규정 준수 매핑을 자동화함으로써 "제로 코드" 레드 팀링을 가능하게 하여, 보안 팀이 도구 구축이 아닌 대상 탐지에 집중할 수 있게 합니다.
• 증거 기반 규정 준수: 시스템은 OWASP, MITRE, NIST 프레임워크에 발견 사항을 매핑하여 감사 준비가 된 증거를 자동으로 생성하므로, 규제 보고에 필요한 수동 노력을 크게 줄입니다.

저자들은 근본적인 공격 알고리즘이 여전히 중요하지만, AI 시스템의 빠른 진화에 발맞추기 위해 그 구성과 실행의 관리는 자동화되어야 한다고 결론지었습니다. Dreadnode 프레임워크는 운영자가 코드를 작성할 필요 없이 포괄적이고 고심각도의 레드 팀링을 몇 주가 아닌 몇 시간 내에 달성할 수 있음을 보여줍니다.