FERRET: Framework for Expansion Reliant Red Teaming

이 논문은 수평적, 수직적, 메타 확장을 통해 다중 모달 적대적 대화를 생성하고 기존 자동화된 레드 테이밍 접근법보다 우수한 성능을 보이는 'FERRET' 프레임워크를 제안합니다.

핵심

FERRET: AI 를 위한 '지능적인 보안 테스트' 프레임워크

이 논문은 인공지능 (AI) 이 세상에 나가기 전에, 얼마나 안전한지 확인하는 새로운 방법을 소개합니다. 제목인 FERRET은 "확장에 의존하는 적대적 테스트 프레임워크"라는 뜻인데, 쉽게 말해 **"AI 의 허점을 찾아내는 아주 똑똑한 해커 팀"**이라고 생각하시면 됩니다.

기존의 보안 테스트는 주로 "단순한 질문"을 던져보거나, "미리 정해진 목표"만 가지고 테스트를 했습니다. 하지만 FERRET 는 그보다 훨씬 더 유연하고 창의적입니다.

이 복잡한 개념을 이해하기 쉽게 세 가지 핵심 단계로 나누어, 일상적인 비유로 설명해 드리겠습니다.

---

🕵️‍♂️ 비유: "치밀한 스파이 훈련"

FERRET 는 AI 를 해킹하려는 스파이 (공격 모델) 가 훈련을 받는 과정과 같습니다. 이 훈련은 크게 세 가지 방식으로 진행됩니다.

1. 수평적 확장 (Horizontal Expansion): "어떤 질문을 던져야 할까?"

• 기존 방식: "나쁜 짓을 하라고 해!"라고 막연하게 지시하거나, 이미 정해진 질문만 반복합니다.
• FERRET 의 방식: 스파이는 먼저 **"어떤 질문을 던져야 AI 가 넘어갈까?"**를 스스로 고민합니다.
  • 비유: 마치 도둑이 금고에 들어가기 위해 "어떤 문이 잠겨 있을까?", "어떤 비밀번호가 뚫릴까?"를 스스로 실험해 보는 과정입니다.
  • FERRET 는 과거에 실패한 질문과 성공한 질문을 기억해 두었다가, "이번엔 저렇게 물어보면 될 것 같아!"라고 스스로 질문을 더 잘 만들어냅니다. 이를 수평적 확장이라고 합니다.

2. 수직적 확장 (Vertical Expansion): "대화를 길게 이어가자"

• 기존 방식: 한 번 질문하고 답을 들으면 끝납니다. (일회성 공격)
• FERRET 의 방식: 질문을 던진 후, AI 의 답변을 보고 **"아, 이 부분은 약점이 있네!"**라고 생각하며 대화를 이어갑니다.
  • 비유: 도둑이 문을 열려고 시도하다가 잠금장치가 걸려 있으면, "자, 잠금장치를 피하는 다른 방법을 써볼까?"라고 대화 (공격) 를 계속 이어가며 문을 엽니다.
  • 특히 FERRET 는 텍스트 (말) 와 이미지 (사진) 를 섞어서 공격합니다. "이 사진은 위험해 보이는데, 이 설명글을 붙이면 AI 가 혼란스러워하지 않을까?"처럼 텍스트와 이미지를 섞어 더 강력한 공격을 시도합니다.

3. 메타 확장 (Meta Expansion): "새로운 공격 기술을 발명하자"

• 기존 방식: 이미 알려진 해킹 방법 (예: "너는 나쁜 AI 야"라고 속이기) 만 사용합니다.
• FERRET 의 방식: 대화 도중 **"지금까지 없던 새로운 해킹 방법"**을 스스로 만들어냅니다.
  • 비유: 도둑이 기존에 쓰던 지렛대만 쓰는 게 아니라, "이건 안 되네? 그럼 이걸 녹여서 새로운 열쇠를 만들어볼까?"라고 즉흥적으로 새로운 도구를 발명하는 것입니다. FERRET 는 대화 중에도 새로운 공격 전략을 발견하고 발전시킵니다.

---

🧪 실험 결과: "FERRET 가 더 잘한다!"

연구팀은 FERRET 를 기존에 유명한 보안 테스트 도구 (FLIRT, GOAT) 와 비교했습니다.

1. 더 많은 허점을 찾아냄: FERRET 는 다른 도구들보다 훨씬 더 많은 AI 의 안전하지 않은 부분 (허점) 을 찾아냈습니다.
2. 다양한 공격: FERRET 는 같은 질문을 반복하지 않고, 텍스트와 이미지를 섞어 다양한 방식으로 공격했습니다.
3. 단일 대화 vs 대화 연속: FERRET 는 한 번의 질문뿐만 아니라, 여러 번의 대화를 이어가며 AI 를 속이는 데 훨씬 능숙했습니다.

💡 왜 이것이 중요한가요?

지금까지 AI 는 "한 번의 질문"이나 "이미 정해진 목표"로만 테스트받았습니다. 하지만 실제 세상에서는 사람들이 AI 와 오래 대화하거나, 사진과 말을 섞어서 복잡한 상황을 만들기도 합니다.

FERRET 는 이런 복잡하고 실제적인 상황을 미리 시뮬레이션하여, AI 가 개발되어 공개되기 전에 숨겨진 위험을 찾아냅니다.

🛡️ 결론: "악용을 막기 위한 훈련"

이 논문은 AI 를 해킹하는 방법을 알려주는 것처럼 보일 수 있지만, 그 목적은 정반대입니다.

• 목적: 개발자들이 AI 를 세상에 내놓기 전에, FERRET 라는 '가상의 해커'를 통해 약점을 미리 찾아내고 고쳐서, 실제 해커들이 AI 를 악용하지 못하도록 안전하게 만드는 것입니다.

한 줄 요약:

"FERRET 는 AI 가 세상에 나가기 전에, 스스로 다양한 질문과 그림을 섞어 '가상의 해커'처럼 훈련하며, AI 의 숨겨진 약점을 찾아내어 더 안전하게 만드는 똑똑한 보안 시스템입니다."

기술 요약

1. 문제 정의 (Problem)

대규모 시각 - 언어 모델 (LVLM) 의 발전과 함께 모델의 안전성을 보장하기 위한 '레드 팀링 (Red Teaming, 적대적 공격 테스트)'의 중요성이 커지고 있습니다. 그러나 기존 자동화된 레드 팀링 연구는 다음과 같은 한계를 가지고 있습니다:

• 이원화된 접근 방식:
  1. 프롬프트 발견 중심: 특정 위험 영역에서 unsafe 한 결과를 유발하는 프롬프트를 자동 발견하지만, 대부분 단일 턴 (Single-turn) 공격에 그쳐 모델의 심층적인 취약점을 충분히 활용하지 못함.
  2. 목표 기반 대화 중심: 특정 적대적 목표 (Goal) 를 입력받아 다중 턴 (Multi-turn) 대화를 통해 공격하지만, 목표 자체를 자동으로 발견하지 못함. 목표는 사전에 제공되어야 하므로 유연성이 떨어짐.
• 모달리티의 부재: 기존 연구들은 텍스트 또는 이미지 중 하나에만 초점을 맞추는 경우가 많음. 텍스트와 이미지가 결합된 멀티모달 (Multi-modal) 적대적 공격을 체계적으로 수행하는 프레임워크가 부족함.

2. 방법론 (Methodology)

저자들은 기존 두 가지 패러다임을 통합하고 멀티모달 공격을 지원하기 위해 **FERRET (Framework for Expansion Reliant Red Teaming)**를 제안합니다. 이 프레임워크는 세 가지 주요 확장 (Expansion) 메커니즘을 통해 적대적 대화를 생성합니다.

핵심 구성 요소

1. 수평적 확장 (Horizontal Expansion):

   • 목적: 고수준 정책 (Policy) 을 기반으로 효과적인 **대화 시작 프롬프트 (Conversation Starters)**를 자동 발견 및 개선.
   • 메커니즘: 레드 팀 모델은 이전 시도 (성공/실패) 의 로그를 '수평적 메모리'로 활용합니다. 성공한 예시 (Positive) 와 실패한 예시 (Negative) 를 샘플링하여 컨텍스트 학습 (In-context Learning) 을 수행함으로써, 더 효과적인 프롬프트를 자기 개선 (Self-improvement) 합니다.

2. 수직적 확장 (Vertical Expansion):

   • 목적: 수평적 확장을 통해 발견된 시작 프롬프트를 완전한 다중 턴 대화로 확장.
   • 메커니즘: 텍스트와 이미지 공격을 결합하여 대화 흐름에 따라 적절히 전략을 쌓아올립니다 (Stacking). 변환 툴킷 (Transformation Toolkit) 을 통해 XML 태그로 지정된 이미지 부분을 실제 이미지로 생성하거나 변형하여 멀티모달 공격을 수행합니다.

3. 메타 확장 (Meta Expansion):

   • 목적: 대화 과정에서 새로운 공격 또는 탈옥 (Jailbreaking) 전략을 발견 및 생성.
   • 메커니즘: 기존 공격 전략을 기반으로 텍스트, 이미지, 또는 이들의 융합 (Fusion) 을 지원하는 새로운 전략을 창의적으로 도출하여 공격의 효율성을 극대화합니다.

작동 흐름

1. 정책 설명과 공격 전략을 입력받음.
2. 수평적 확장으로 대화 시작 프롬프트 생성 및 평가 (성공/실패 기록).
3. 생성된 프롬프트를 수직적 확장으로 다중 턴 대화로 발전시킴 (텍스트 + 이미지 결합).
4. 대화 중 메타 확장을 통해 새로운 공격 전략을 동적으로 생성.
5. 생성된 대화는 로그에 저장되고, 다음 수평적 확장 사이클로 돌아감.

3. 주요 기여 (Key Contributions)

• FERRET 프레임워크 제안: 수평적 (목표 발견), 수직적 (대화 확장), 메타적 (전략 혁신) 확장을 통합한 최초의 자동화 멀티모달 레드 팀링 프레임워크.
• 멀티모달 공격 지원: 텍스트와 이미지의 융합을 통해 단일 모달리티보다 효과적인 적대적 공격을 생성할 수 있는 변환 툴킷 및 전략 도입.
• 이원화된 패러다임 통합: 자동 프롬프트 발견과 목표 기반 다중 턴 공격의 장점을 결합하여, 목표가 명시되지 않은 상황에서도 유연하게 취약점을 탐색 가능하게 함.
• 자기 진화 메커니즘: 피드백 루프 (Horizontal Memory) 를 통해 공격 모델이 과거의 성공/실패 경험을 학습하여 지속적으로 성능을 향상시킴.

4. 실험 결과 (Results)

저자들은 Llama Maverick, Claude Haiku 2, GPT-4o 등 다양한 타겟 모델에서 FERRET 를 기존 방법론 (FLIRT, GOAT) 과 비교 실험했습니다.

• 공격 성공률 (ASR, Attack Success Rate):
  • FERRET 는 모든 타겟 모델에서 가장 높은 ASR을 기록했습니다.
    • 예: GPT-4o 기준 FLIRT(12.1%), GOAT(15.2%) 대비 FERRET는 **18.7%**의 성공률을 보임.
  • 단일 턴 (Single-turn) 설정에서도 FLIRT 대비 FERRET 가 더 높은 성공률과 다양성을 보였습니다.
• 다양성 (Diversity):
  • FERRET 는 GOAT 보다 더 다양한 공격 패턴을 생성했으며, FLIRT 는 다양성은 높았으나 실제 공격 성공률은 낮았습니다.
  • t-SNE 시각화 결과, FERRET 는 정책별로 명확하게 분리된 밀집 군집 (Dense Clusters) 을 형성하여 정교한 공격을 수행함을 확인했습니다.
• 샘플링 전략 분석:
  • 수평적 확장 시 성공한 예시 (Positive Samples) 만을 샘플링하는 전략이 무작위 샘플링이나 실패 예시만 샘플링하는 것보다 성능이 가장 뛰어났습니다 (ASR 33.0% vs 21.7% vs 16.2%).
• 인간 평가 (Human Studies):
  • 인간 전문가가 평가한 결과에서도 FERRET 의 공격 성공률이 자동 평가 결과와 일치하며, 기존 방법론보다 우월한 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전성 강화: AI 모델 배포 전, 텍스트와 이미지가 결합된 복잡한 시나리오에서의 취약점을 포괄적으로 발견하여 모델의 안전성을 높이는 데 기여합니다.
• 연구 패러다임의 전환: 단일 턴 공격이나 고정된 목표에 의존하는 기존 접근법을 넘어, 자기 진화하는 다중 턴 멀티모달 공격의 중요성을 부각시켰습니다.
• 미래 지향성: FERRET 는 에이전트 기반 설정 (Agentic Setups) 이나 더 정교한 변환 툴킷 등으로 확장 가능한 기반을 마련하여, 자동화된 레드 팀링 연구의 새로운 방향성을 제시합니다.

요약하자면, FERRET 는 **목표 발견 (수평), 대화 확장 (수직), 전략 혁신 (메타)**의 3 단계 확장을 통해 기존 레드 팀링 프레임워크의 한계를 극복하고, 멀티모달 환경에서 훨씬 더 효과적이고 정교한 취약점 탐지를 가능하게 하는 획기적인 프레임워크입니다.