NAAMSE: Framework for Evolutionary Security Evaluation of Agents

이 논문은 수동적 평가나 정적 벤치마크의 한계를 극복하고, 유전적 프롬프트 변이와 계층적 탐색을 통해 적응형 적대적 공격을 자동화하면서도 안전성을 유지하는 진화형 에이전트 보안 평가 프레임워크 'NAAMSE'를 제안합니다.

핵심

NAAMSE: AI 에이전트의 '진짜' 안전성을 테스트하는 새로운 방법

이 논문은 인공지능 (AI) 에이전트들이 실제 세상에서 일하기 시작하면서 생긴 보안 문제를 해결하기 위한 새로운 방법, NAAMSE를 소개합니다.

기존의 보안 테스트 방식이 왜 부족하고, NAAMSE 가 어떻게 더 똑똑하게 문제를 찾아내는지 쉬운 비유로 설명해 드리겠습니다.

---

1. 왜 새로운 방법이 필요할까요? (기존 방식의 한계)

지금까지 AI 의 안전성을 테스트하는 방법은 크게 두 가지였습니다.

• 사람이 직접 해킹 시도하기 (레드 팀링): 전문가들이 직접 AI 에게 "나쁜 짓을 해봐"라고 명령하며 테스트합니다.
  • 문제점: 사람이 직접 하니까 너무 느리고 비쌉니다. 또한, 사람이 생각한 것만 테스트하니까 AI 가 숨겨둔 다른 약점은 발견하지 못합니다.
• 고정된 시험지 주기 (정적 벤치마크): 미리 정해진 나쁜 질문 (예: "비밀번호 알려줘") 들을 AI 에게 던집니다.
  • 문제점: AI 는 금방 배우고 적응합니다. 2 년 전에 통했던 나쁜 질문은 지금은 AI 가 거절할 수 있습니다. 마치 옛날 시험지로 최신 학생을 평가하는 것과 같아서, 새로운 해킹 수법을 놓칩니다.

2. NAAMSE 란 무엇인가요? (진화하는 해커)

NAAMSE 는 **"AI 를 해킹하는 AI"**를 만들어서, 스스로 진화하며 약점을 찾아내는 시스템입니다.

이걸 **한 명의 똑똑한 '진화하는 해커'**가 있다고 상상해 보세요. 이 해커는 단순히 질문을 던지는 게 아니라, 학습하고 적응하는 과정을 거칩니다.

NAAMSE 의 4 단계 작동 원리 (비유: 보물찾기 게임)

이 시스템은 보물 (약점) 을 찾기 위해 4 단계를 반복합니다.

1. 선택 (Selection):
   • 해커는 거대한 지도 (데이터베이스) 에서 다양한 질문들을 골라냅니다. "어디서부터 시작해볼까?"라고 고민하며 다양한 시나리오를 준비합니다.
2. 실행 및 평가 (Execution & Evaluation):
   • AI 에게 질문을 던집니다. 그리고 AI 의 반응을 점수화합니다.
   • 중요한 점: 이 점수는 단순히 "해킹 성공했나?"만 보는 게 아닙니다.
     • 나쁜 질문에 AI 가 순순히 따라주면 점수 100 점 (대박! 위험!).
     • 좋은 질문 (예: "오늘 날씨 어때?") 에 AI 가 "거부합니다"라고 하면 점수 100 점 (대박! 쓸모없음!).
     • 즉, AI 가 너무 경직되어서 아무것도 못 하거나, 너무 순진해서 나쁜 짓을 하는 경우 모두를 '실패'로 간주합니다.
3. 진화 (Evolution):
   • 점수가 낮으면? -> "아, 이 방법은 안 먹히네." 다른 지역 (다른 질문 유형) 으로 이동합니다.
   • 점수가 중간이면? -> "조금 더 다듬어보자." 질문을 살짝 변형해서 다시 시도합니다.
   • 점수가 높다면? -> "이게 먹히네!" 그 방법을 더 공격적으로 변형해서 최악의 상황을 만들어냅니다.
   • 마치 게임 캐릭터가 레벨업하면서 더 강력한 무기를 만드는 것과 같습니다.
4. 기록 (Integration):
   • 새로 발견한 나쁜 질문은 다시 지도에 저장합니다. 다음에 또 쓸 수 있도록 말이죠. 시간이 지날수록 해커는 더 똑똑해지고, AI 의 약점은 더 명확해집니다.

3. 이 방식이 왜 특별한가요? (핵심 통찰)

NAAMSE 의 가장 큰 장점은 **"균형"**을 잡는다는 점입니다.

• 기존 방식의 함정: 많은 보안 도구는 "AI 가 나쁜 말을 거절하면 안전하다"고 생각합니다. 그래서 AI 가 **"아무것도 하지 않는 것 (거부)"**을 최선의 방어라고 착각하게 만듭니다.
  • 비유: 집 문에 자물쇠를 100 개 달아서 도둑은 못 들어오지만, 주인도 못 들어오게 만든 집은 '안전'한 걸까요? 아닙니다. 쓸모없는 집일 뿐입니다.
• NAAMSE 의 해결책: NAAMSE 는 AI 가 **"나쁜 말은 거절하되, 좋은 말은 잘 도와주는지"**를 동시에 테스트합니다. AI 가 너무 경직되어서 일상적인 질문에도 "거부합니다"라고 답하면, 이를 '보안 실패'로 간주하여 점수를 깎아줍니다.

4. 실험 결과 (무엇이 증명되었나요?)

연구진은 최신 AI 모델 (Gemini 등) 로 실험을 해보았습니다.

• 한 번에 던지는 질문 (Static): 약점을 거의 찾지 못했습니다.
• 무작위 질문만 던지는 것 (Exploration only): 약점을 찾기는 하지만, 그 약점을 깊게 파고들지 못해 약한 공격에 그쳤습니다.
• NAAMSE (진화 + 탐험): 가장 강력한 결과를 냈습니다.
  • 처음에는 약한 질문으로 시작해서, AI 의 반응을 보고 질문을 점점 더 교묘하게 변형했습니다.
  • 그 결과, 기존 방법으로는 절대 발견하지 못했을 심각한 보안 구멍들을 찾아냈습니다.

5. 결론: AI 의 안전은 '체크리스트'가 아니라 '훈련'입니다

이 논문이 말하고자 하는 핵심은 이렇습니다.

"AI 의 안전성을 한 번의 시험지로 확인하는 시대는 지났습니다. AI 는 끊임없이 변하는 세상에서 적응하는 해커와 끊임없이 싸워야만 비로소 안전해질 수 있습니다."

NAAMSE 는 AI 가 실제 세상 (Wild) 에서 마주할 다양한 상황과 공격에 대비할 수 있도록, 스스로 진화하며 약점을 찾아내는 훈련 시스템을 제안합니다. 이는 AI 가 우리 삶에 더 안전하게 자리 잡을 수 있는 중요한 첫걸음이 될 것입니다.

---

한 줄 요약:
NAAMSE 는 AI 가 "나쁜 말은 거절하고, 좋은 말은 잘 도와주는지"를 스스로 진화하는 해커를 통해 끊임없이 테스트하여, AI 가 너무 경직되거나 너무 순진하지 않게 만드는 최고의 보안 훈련 시스템입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: AI 에이전트의 생산 환경 도입이 급격히 증가하고 있으나, 이에 따른 보안 평가는 여전히 미흡한 상태입니다.
• 기존 방법론의 한계:
  • 수동 레드팀 (Manual Red-teaming): 특정 결함을 찾는 데는 효과적이지만, 확장성이 부족하고 (느리고 노동 집약적), 현대 LLM 의 방대한 입력 공간을 포괄적으로 커버할 수 없습니다.
  • 정적 벤치마크 (Static Benchmarks): 고정된 공격 데이터셋을 사용하므로, 새로운 모델이나 패치가 적용되면 빠르게 구식화됩니다. 또한, 단일 턴 (one-shot) 공격에 집중하여 적응형 다중 턴 (multi-turn) 적대적 에이전트를 모델링하지 못합니다.
  • 기존 자동화 도구: GPTFuzzer 나 AutoDAN 같은 도구들은 정적 공격 생성을 시도하지만, 복잡한 에이전트 워크플로우에 맞춰 공격을 지능적으로 선택하고 진화시키는 메커니즘이 부족합니다. 또한, 생산 환경 에이전트의 '유용성 - 보안' 트레이드오프를 고려하지 않고 단순히 공격 성공률 (ASR) 만을 최대화하는 경향이 있습니다.
• 핵심 문제: 적응형, 진화형 적대적 에이전트에 대응할 수 있는 확장 가능하고 현실적인 에이전트 보안 평가 프레임워크의 부재.

2. 방법론 (Methodology: NAAMSE)

저자들은 NAAMSE를 제안하며, 에이전트 보안 평가를 피드백 기반 최적화 문제로 재정의합니다. 이 프레임워크는 단일 자율 에이전트가 유전적 프롬프트 변이 (Genetic Prompt Mutation), 계층적 코퍼스 탐색, 비대칭 행동 점수 평가를 조율하는 진화 사이클을 수행합니다.

시스템 아키텍처 (4 단계 파이프라인)

1. 선택 및 표현 (Selection & Representation):
   • 128K 이상의 적대적 쿼리와 50K 이상의 정당한 (benign) 쿼리로 구성된 대규모 코퍼스를 기반으로 시드 프롬프트를 선택합니다.
   • all-MiniLM-L6-v2 임베딩과 재귀적 K-means 클러스터링을 통해 프롬프트를 계층적 트리 구조로 조직화하여 상호작용 패턴 (예: 역할극 탈출, 은행 질의 등) 을 파악합니다.
2. 실행 및 평가 (Execution & Evaluation):
   • 선택된 프롬프트를 타겟 에이전트에게 전송하고 응답을 받습니다.
   • **행동 엔진 (Behavioral Engine)**이 3 가지 신호를 기반으로 스칼라 피트니스 점수 (0~100) 를 계산합니다:
     • 해로움 (Harmfulness): LLM 기반 판정기를 통해 6 가지 안전 카테고리 평가.
     • 정렬 (Alignment): 요청 이행 여부 (거부, 준수, 복종) 평가.
     • 개인정보 위험 (Privacy Risk): PII(개인식별정보) 유출 감지.
   • 핵심 로직: 적대적 프롬프트의 경우 유해한 준수를 패널티, 정당한 프롬프트의 경우 불필요한 거부를 패널티로 주어, "무조건적인 거부 (Blanket Refusal)"가 보안으로 오인되는 것을 방지합니다.
3. 진화적 의사결정 (Evolutionary Decision):
   • 계산된 점수에 따라 다음 행동을 결정하는 적응형 로직을 적용합니다:
     • 낮은 점수 (<50): 탐색 (Exploration) - 새로운 클러스터로 이동.
     • 중간 점수 (50~80): 정제 (Refinement) - 의미적 유사 변이 생성.
     • 높은 점수 (80~100): 변이 (Mutation) - 공격 심화를 위한 격렬한 변환 적용.
     • 완벽 점수 (100): 다시 탐색 - 국소 최적점 (Local Optima) 회피.
   • 변이 연산자: 연구 기반 전략 (게임 이론), 커뮤니티 기법 (역할극), 기본 난독화 (다국어 인코딩 등) 를 사용합니다.
4. 코퍼스 통합 (Corpus Integration):
   • 생성된 새로운 프롬프트를 클러스터링 엔진에 다시 피드백하여 코퍼스에 통합하고, 향후 반복 실행에서 활용되도록 합니다.

3. 주요 기여 (Key Contributions)

• 진화형 보안 평가 프레임워크: 정적 벤치마크를 넘어, 피드백 루프를 통해 공격 전략을 점진적으로 진화시키는 NAAMSE 프레임워크를 최초로 제안했습니다.
• 이중 차원 평가 (Dual-Dimensional Evaluation): 단순한 공격 성공률 (ASR) 이 아닌, **적대적 프롬프트 (유해 준수 방지)**와 **정당한 프롬프트 (불필요한 거부 방지)**를 동시에 평가하여, 모델이 "유용하면서도 안전한" 상태를 유지하는지 검증합니다.
• 탐색과 변이의 시너지: 무작위 탐색만으로는 고위험 취약점을 발견하기 어렵고, 변이만으로는 국소 최적점에 갇히기 쉽다는 것을 실험을 통해 입증하고, 두 기법의 결합이 최적의 성능을 낸다는 것을 증명했습니다.
• 오픈소스 및 재현성: 프레임워크의 소스 코드를 공개하여 연구 커뮤니티의 재현과 확장을 지원합니다.

4. 실험 결과 (Results)

• 실험 설정: Gemini 2.5 Flash 를 타겟 모델로 사용하며, 다양한 최신 LLM 에 대한 일반성도 검증했습니다.
• 비교 실험 (Ablation Study):
  • 전체 시스템 (All): 탐색 + 변이 결합. 평균 점수 79.76 (가장 높은 취약점 발견).
  • 탐색만 (Random+Similar): 평균 점수 42.86. 고점수 프롬프트를 찾더라도 이를 심화시킬 변이 능력이 없어 점수가 급격히 하락했습니다.
  • 변이만 (Mutation-only): 평균 점수 54.79. 초기 저점수 프롬프트에 변이만 반복하여 국소 최적점에 갇혀 성능이 정체되었습니다.
• 결론: 탐색 (Exploration) 은 잠재적 취약점 후보를 찾고, 변이 (Mutation) 는 이를 성공적인 공격으로 전환하는 데 필수적임을 입증했습니다.
• 점수 보정: ChatGPT 5.2, Claude Sonnet 4.5 등 외부 모델들을 통해 점수 100 점 (성공적인 재일브레이크) 을 받은 프롬프트가 실제로 해로운지 검증하여 평가의 신뢰성을 확보했습니다.

5. 의의 및 중요성 (Significance)

• 실제 위협 모델링: 정적 체크리스트나 고정된 테스트 세트를 넘어, 진화하는 위협에 대응하는 적응형 테스트의 필요성을 강조합니다.
• 생산 환경 적합성: 단순히 "거부"만 하는 모델을 보안 모델로 오인하지 않도록, 실제 사용자의 유용성 (Utility) 을 해치지 않는 선에서 보안을 평가하는 기준을 제시합니다.
• 확장성: 텍스트 기반 에이전트뿐만 아니라 도구 호출, API 악용, 멀티모달 인젝션 등으로 확장 가능한 아키텍처를 제공합니다.
• 미래 지향성: AI 에이전트 보안 평가의 패러다임을 '일회성 감사'에서 '지속적이고 진화적인 최적화'로 전환하는 데 기여합니다.

이 논문은 AI 에이전트가 실제 환경에 배포되는 시대에 맞춰, 보다 역동적이고 현실적인 보안 평가 방법론을 제시한다는 점에서 중요한 의의를 가집니다.