AgenticRed: Evolving Agentic Systems for Red-Teaming

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 안전성을 확보하기 위한 '레드 테이밍 (Red-Teaming, 취약점 탐지)' 분야에서 기존의 자동화 방법론은 다음과 같은 한계를 가지고 있습니다.

• 수동 워크플로우 의존성: 대부분의 기존 자동화 레드 테이밍 방법은 인간이 직접 설계한 에이전트 워크플로우 (예: 특정 프롬프트 구조, 고정된 다중 에이전트 상호작용) 에 의존합니다.
• 편향과 비효율: 수동 설계는 인간의 편향을 내포하며, 더 넓은 설계 공간 (Design Space) 을 탐색하는 데 비용과 시간이 많이 소요됩니다.
• 최적화 한계: 기존 방법들은 주로 사전 정의된 구조 내에서 공격자 정책 (Attacker Policy) 만을 최적화하거나, 강화학습 (RL) 을 통해 특정 모델에 과적합 (Overfitting) 되는 경향이 있어, 새로운 모델이나 다른 벤치마크로 전이될 때 성능이 떨어집니다.

이러한 문제를 해결하기 위해, 인간의 개입 없이 LLM 의 컨텍스트 학습 (In-context Learning) 능력을 활용하여 레드 테이밍 시스템 자체를 진화시키고 자동 설계하는 방법이 필요합니다.

2. 방법론 (Methodology): AGENTICRED

저자는 AGENTICRED라는 자동화 파이프라인을 제안합니다. 이는 레드 테이밍을 단순한 공격 생성이 아닌 **'시스템 설계 문제 (System Design Problem)'**로 재정의하고, **진화 알고리즘 (Evolutionary Algorithms)**을 적용합니다.

핵심 구성 요소

1. 메타 에이전트 (Meta Agent):
   • 새로운 레드 테이밍 에이전트 시스템 (코드 형태) 을 설계하는 역할을 합니다.
   • 기존 아카이브의 성공/실패 사례와 학술 문헌의 지식을 바탕으로 새로운 워크플로우를 생성합니다.
2. 진화적 선택 (Evolutionary Selection):
   • 적자 생존 (Survival of the Fittest): 각 세대 (Generation) 에서 여러 개의 후보 에이전트 시스템을 생성한 후, 벤치마크 (HarmBench 등) 에서의 공격 성공률 (ASR) 을 기준으로 가장 성능이 좋은 시스템 ('Fittest') 만을 선택하여 다음 세대로 전달합니다.
   • 초기 아카이브 (Archive): 초기에는 Self-Refine, JudgeScore-Guided Adversarial Reasoning 등 레드 테이밍에 특화된 기존 시스템들을 아카이브의 베이스로 사용하여 'Warm Start'를 제공합니다.
3. 세대별 지식 (Generational Knowledge):
   • 실패/성공 메모리: 이전 세대의 실패한 프롬프트 (FailedPromptMemory) 와 성공한 프롬프트 (SucceedPromptMemory) 를 저장합니다.
   • 중복 방지 및 다양성 확보: 새로운 공격을 생성할 때 실패한 패턴을 반복하지 않도록 하고, 성공한 공격들의 의미적 거리 (Semantic Distance) 를 측정하여 새로운 전략을 탐색하도록 유도합니다.
4. 피드백 루프:
   • 타겟 모델의 응답과 저지 (Judge) 모델의 점수 (Logit 기반) 를 활용하여 시스템이 스스로를 평가하고 수정할 수 있는 밀도 높은 신호 (Dense Signal) 를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 자동화된 레드 테이밍을 '에이전트 시스템 설계 문제'로 공식화한 최초의 프레임워크를 제안했습니다. LLM 의 컨텍스트 학습 능력과 진화 알고리즘을 결합하여 시스템을 자동 최적화합니다.
2. AGENTICRED 파이프라인: 레드 테이밍 도메인에 특화된 진화적 선택 압력과 세대별 지식을 통합하여, 아키텍처 변형을 체계적으로 탐색하고 정제하는 자동화 파이프라인을 구현했습니다.
3. 수학적/기술적 증명: 다양한 설정 (오픈 웨이트 모델, 프로プライ에터리 모델) 에서 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

실험은 오픈 웨이트 모델 (Llama-2-7B, Llama-3-8B, Qwen3-8B) 과 최신 프로プライ에터리 모델 (GPT-5.1, DeepSeek-R1, DeepSeek-V3.2 등) 을 대상으로 수행되었습니다.

• 공격 성공률 (ASR) 향상:
  • Llama-2-7B: 96%
  • Llama-3-8B: 98%
  • Qwen3-8B: 100%
  • HarmBench 벤치마크에서 기존 SOTA 방법 (AutoDAN-Turbo, PAIR, AdvReasoning 등) 보다 압도적으로 높은 성능을 기록했습니다.
• 강력한 전이 능력 (Transferability):
  • AGENTICRED 는 학습 단계에서 접근하지 않은 최신 프로プライ에터리 모델에 대해서도 놀라운 전이 성능을 보였습니다.
  • GPT-5.1, DeepSeek-R1, DeepSeek-V3.2에서 100% ASR을 달성했습니다.
  • Claude Sonnet-3.5(60%), Haiku-4.5(48%) 등 안전 정렬이 매우 강력한 모델에서도 높은 성공률을 보였습니다.
• 효율성 및 다양성:
  • 세대별 지식 축적을 통해 성공에 필요한 쿼리 수 (Queries-per-success) 가 점차 감소하여 효율성이 향상되었습니다.
  • 다양성 지향 검색 (Diversity-oriented search) 을 통해 의미적으로 다른 다양한 공격 전략을 생성했습니다.

5. 의의 및 결론 (Significance)

• AI 안전 연구의 패러다임 전환: 인간이 직접 워크플로우를 설계하는 대신, AI 가 스스로 안전성 테스트 시스템을 설계하고 진화시키는 새로운 패러다임을 제시했습니다.
• 확장성 있는 감독 기술: 빠르게 진화하는 AI 모델에 맞춰 안전성 평가 도구를 자동으로 업데이트할 수 있는 확장 가능한 솔루션을 제공합니다.
• 과학적 발견 가속화: 진화 알고리즘을 AI 안전 분야에 적용함으로써, 인간 전문가의 초기 통찰력을 바탕으로 AI 가 스스로 더 나은 안전성 평가 방법을 발견할 수 있음을 증명했습니다.

결론적으로, AGENTICRED 는 수동 설계의 한계를 극복하고, 진화적 접근법을 통해 다양한 모델과 환경에서 강력하고 견고한 레드 테이밍 시스템을 자동 생성할 수 있음을 입증한 획기적인 연구입니다.