AVISE: Framework for Evaluating the Security of AI Systems

논문 요약: AVISE (AI 취약점 식별 및 보안 평가 프레임워크)

1. 문제 제기 (Problem)

최근 인공지능 (AI), 특히 대규모 언어 모델 (LLM) 이 다양한 산업에 급격히 도입되면서 시스템 보안 취약점으로 인한 위험이 커지고 있습니다. 그러나 AI 시스템의 보안을 체계적으로 평가하는 방법론과 도구는 아직 미흡한 실정입니다.

• 기존 도구의 한계: 기존 보안 평가 도구들은 주로 특정 범위의 모델에 국한되거나, AI 의 확률적 (stochastic) 인 특성을 고려하지 않고 단일 실행 결과를 기반으로 평가하는 경향이 있습니다. 또한, 다중 턴 (multi-turn) 대화나 새로운 AI 유형 (멀티모달, 지속 학습 등) 에 대한 평가 도구가 부족합니다.
• 평가의 불확실성: AI 모델의 출력은 확률적이므로 단일 테스트 실행만으로는 시스템의 보안 상태를 정확하게 판단하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 AVISE (AI Vulnerability Identification and Security Evaluation) 라는 모듈형 오픈소스 프레임워크를 제안했습니다.

• AVISE 아키텍처:

  • 오케스트레이션 레이어 (Orchestration Layer): 테스트 파이프라인의 운영 로직을 처리합니다. BaseSETPipeline(테스트 실행의 기본 구조), SET(구체적인 보안 평가 테스트), Evaluator(결과 평가), Report Generator(보고서 생성), Execution Engine(실행 관리) 으로 구성됩니다.
  • 인터랙션 레이어 (Interaction Layer): 오케스트레이션 레이어와 대상 AI 시스템 간의 통신을 담당합니다. Connector 를 통해 대상 시스템의 API 와 연결하여 블랙박스, 그레이박스, 화이트박스 평가를 지원합니다.
  • 확장성: 다양한 AI 시스템 (텍스트, 이미지, 멀티모달 등) 에 맞춰 커스텀 SET 을 쉽게 개발할 수 있도록 설계되었습니다.

• 구체적인 구현 사례: Red Queen SET (Adversarial Language Model 활용)

  • Red Queen 공격 확장: 기존 이론적 마음 (Theory-of-Mind) 기반의 다중 턴 'Red Queen' 공격 (사용자가 해로운 행동을 막기 위해 도움을 요청하는 척하며 모델을 속이는 기법) 을 자동화된 보안 평가 테스트 (SET) 로 변환했습니다.
  • ALM (Adversarial Language Model) 도입: 다중 턴 공격 시 대상 모델의 응답이 예상과 달라 공격이 실패할 수 있는 문제를 해결하기 위해, 공격 프롬프트를 실시간으로 수정하는 ALM 을 도입했습니다. ALM 은 대상 모델의 이전 응답을 분석하여 공격 템플릿을 변형하여 최종적으로 해로운 지시를 이끌어내도록 유도합니다.
  • ELM (Evaluation Language Model): 테스트 결과 (해로운 지시 유무) 를 자동으로 판별하기 위해 ELM 을 사용했습니다. 이는 정적 평가기나 인간 평가자의 대안으로 작동합니다.
  • 테스트 구성: 25 개의 공격 시나리오 (위조 지폐, 범죄 현장 정리, 마약 밀수, 폭탄 제작 등) 를 포함하는 25 개의 테스트 케이스로 구성되었습니다.

3. 주요 기여 (Key Contributions)

1. 모듈형 보안 평가 프레임워크 (AVISE) 개발: 연구자와 산업 전문가가 다양한 AI 시스템에 맞춰 자동화된 블랙박스, 화이트박스, 그레이박스 공격을 개발하고 배포할 수 있는 확장 가능한 기반을 제공했습니다.
2. ALM 증강 Red Queen 공격 SET 구현: 다중 턴 jailbreak(탈옥) 취약점을 탐지하기 위해 ALM 을 활용한 자동화된 테스트를 개발했습니다. 이는 모델의 확률적 응답 편차를 보정하여 공격 성공률을 높입니다.
3. 정량적 평가 지표 제시: ELM 의 성능을 정밀하게 평가하기 위해 정확도 (Accuracy), F1 점수, Matthews 상관 계수 (MCC) 등을 도입하고, 기존 도구들의 한계를 보완하는 평가 방식을 제시했습니다.

4. 실험 결과 (Results)

최근 출시된 9 가지 크기의 다양한 오픈소스 언어 모델 (Llama 3 시리즈, Mistral, Qwen, Nemotron 등) 을 대상으로 AVISE 프레임워크를 적용하여 실험했습니다.

• 취약성 발견: ALM 을 활용한 증강 Red Queen 공격을 수행했을 때, 평가된 모든 9 개의 언어 모델이不同程度的로 취약점을 보였습니다.
  • 가장 취약한 모델: Ministral 3 14B (실패율 84%), Llama 3.1/3.2 (실패율 68%).
  • 가장 견고한 모델: Qwen 3.5 35B (실패율 8%), Nemotron 3 Super 120B (실패율 12%).
  • ALM 의 효과: ALM 을 사용하지 않은 경우 (단순 템플릿 공격) 는 대부분의 모델이 테스트를 통과했으나, ALM 을 사용한 경우 실패율이 급격히 증가하여 모델의 실제 취약성이 드러났습니다. 이는 다중 턴 대화에서 모델의 응답 편차가 공격 성공에 결정적임을 시사합니다.
• ELM 평가 성능:
  • ALM 을 사용한 경우 ELM 의 평가 정확도는 92%, F1 점수 0.91, MCC 0.83으로 매우 높은 성능을 보였습니다.
  • ALM 을 사용하지 않은 경우 ELM 의 성능은 떨어졌으나 (정확도 79%), 이는 모델 응답의 불일치로 인한 오탐 (False Positive) 증가 때문으로 분석되었습니다.

5. 의의 및 중요성 (Significance)

• 체계적인 보안 평가의 필요성 입증: 최신 언어 모델들도 다중 턴 적대적 공격에 취약하며, 단순한 단일 턴 테스트로는 이를 파악하기 어렵다는 것을 증명했습니다.
• 자동화된 평가 도구로서의 가치: AVISE 는 연구자와 실무자가 AI 시스템의 수명 주기 동안 취약점을 사전에 발견하고 수정할 수 있는 실용적인 도구를 제공합니다.
• 미래 지향성: 멀티모달 AI 나 지속 학습 (Continual Learning) 시스템 등 emerging AI 기술의 보안 평가에도 프레임워크를 확장 적용할 수 있는 기반을 마련했습니다.
• 윤리적 고려: 이 도구는 '이중 사용 (Dual-use)' 딜레마가 있으나, 책임 있는 공개 (Responsible Disclosure) 관행을 통해 방어자 우선의 보안 강화에 기여할 수 있음을 강조했습니다.

결론적으로, AVISE 는 AI 시스템의 보안 취약점을 체계적이고 자동화된 방식으로 평가할 수 있는 새로운 표준을 제시하며, 특히 다중 턴 대화에서의 취약점 탐지를 위한 ALM 기반 접근법의 유효성을 입증했습니다.