T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search

이 논문은 다단계 도구 실행 과정에서 발생하는 LLM 에이전트의 취약점을 포착하기 위해 실행 궤적을 활용한 진화적 탐색 기법인 T-MAP 을 제안하고, 이를 통해 다양한 MCP 환경과 최첨단 모델에서 기존 방법론보다 우수한 공격 실현률을 입증했습니다.

핵심

🕵️‍♂️ T-MAP: AI 에이전트의 '보안 점검관'

1. 왜 이 연구가 필요할까요? (문제 상황)

과거의 AI 보안 테스트는 **"AI 가 나쁜 말을 하도록 유도하는지"**만 확인했습니다. 예를 들어, "나쁜 사람 흉내 내서 비밀번호를 알려줘"라고 했을 때 AI 가 말로만 거절하는지 확인했죠.

하지만 요즘 AI 는 도구를 쓸 수 있습니다. (이메일 보내기, 코드 실행하기, 은행 계좌 조회하기 등).

• 기존 방식의 한계: AI 가 "나쁜 말은 안 해요"라고 말로 거절하더라도, 실제로는 악성 코드를 실행하거나 이메일을 보낼 수 있는 상황이 생길 수 있습니다.
• 비유: 도둑이 "집에 들어갈 수 없어요"라고 말로 거절하는지 확인하는 게 아니라, **"열쇠로 문을 열고 금고까지 갈 수 있는지"**를 확인해야 하는 것과 같습니다.

2. T-MAP 은 어떻게 작동할까요? (해결책)

T-MAP 은 진화하는 탐정처럼 작동합니다. 단순히 한 번 시도하고 끝나는 게 아니라, 실패와 성공을 반복하며 더 똑똑한 공격법을 찾아냅니다.

[T-MAP 의 4 단계 작전]

1. 현장 조사 (Cross-Diagnosis):

   • 탐정 (AI) 이 과거의 공격 기록을 봅니다. "어디서 실패했지? (예: 비밀번호 입력 실패), 어디에서 성공했지? (예: 역할극을 하면 문이 열림)"을 분석합니다.
   • 비유: 도둑이 "어제 문이 잠겨서 못 들어갔지만, 오늘 창문은 열려 있었어. 다음엔 창문으로 가자!"라고 계획을 수정하는 것입니다.

2. 지도 그리기 (Tool Call Graph, TCG):

   • AI 가 사용하는 도구들 (이메일, 코드 실행 등) 사이의 연결 관계를 지도로 그립니다. "A 도구를 쓴 뒤 B 도구를 쓰면 성공 확률이 높고, C 도구를 쓰면 실패한다"는 데이터를 쌓아둡니다.
   • 비유: 도둑이 "현관문은 경비원이 있어서 위험하고, 뒷문은 감시 카메라가 고장 났으니 안전하다"는 실제 이동 경로 지도를 만드는 것입니다.

3. 공격 시뮬레이션 (Mutation):

   • 분석한 정보와 지도를 바탕으로 새로운 공격 명령어 (프롬프트) 를 만들어냅니다.
   • 비유: "어제 실패한 '강도' 역할극 대신, 오늘 '수리공' 역할극으로 위장해서 들어가는 새로운 작전"을 짜는 것입니다.

4. 결과 평가 (Judge):

   • AI 가 실제로 도구를 써서 해로운 일을 성공했는지, 아니면 막혔는지 확인합니다. 성공하면 그 방법을 '보물'로 저장하고, 실패하면 원인을 분석해 다음에 다시 시도합니다.

3. T-MAP 의 놀라운 성과

이 연구팀은 T-MAP 을 다양한 환경 (코드 실행, 슬랙, 지메일, 웹 브라우저 등) 에서 테스트했습니다.

• 결과: 기존 방법들보다 **약 57.8%**나 더 많은 실제 해킹 성공을 발견했습니다.
• 의미: 최신 AI 모델 (GPT-5.2, Gemini-3-Pro 등) 이 아무리 안전 장치를 강화해도, T-MAP 은 실제 행동 (도구 사용) 을 통해 숨겨진 구멍을 찾아냅니다.
• 비유: 기존 보안팀은 "문은 잠겨 있니?"라고 물어봤지만, T-MAP 은 **"열쇠로 문 열고 금고까지 가서 보물을 꺼낼 수 있니?"**를 실제로 시뮬레이션해서 찾아냈습니다.

4. 결론: 왜 이것이 중요할까요?

AI 가 우리 삶에 깊게 들어오면서 (은행, 병원, 회사 업무 등), 단순히 "나쁜 말"만 막는 것은 부족합니다. AI 가 실제로 위험한 행동을 하지 못하도록 막는 것이 중요합니다.

T-MAP 은 AI 에이전트가 실수로나 악의적으로 실제 피해를 입히는 상황을 미리 찾아내어, 개발자들이 그 구멍을 막을 수 있게 도와줍니다. 마치 건물을 짓기 전에 화재 안전 점검관이 불이 났을 때 대피 경로가 막히지 않는지, 소화기가 작동하는지 미리 테스트하는 것과 같습니다.

한 줄 요약:

"T-MAP 은 AI 가 말을 잘하는지 확인하는 게 아니라, AI 가 실제로 나쁜 일을 할 수 있는지 '실전 훈련'을 시켜서 미리 찾아내는 최고의 보안 점검 시스템입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• LLM 에이전트의 부상: 대규모 언어 모델 (LLM) 이 외부 도구 (Tool) 와 통합되어 자율적으로 작업을 수행하는 '에이전트' 형태로 진화하고 있습니다. 특히 Anthropic 의 **Model Context Protocol (MCP)**과 같은 표준 프로토콜을 통해 에이전트는 코드 실행, 이메일 발송, 웹 브라우징 등 실제 환경과 상호작용할 수 있게 되었습니다.
• 기존 레드팀링의 한계: 기존의 LLM 레드팀링 (Red-Teaming) 연구는 주로 모델이 유해한 텍스트를 생성하도록 유도하는 데 초점을 맞추었습니다. 그러나 에이전트의 경우, 단순히 유해한 텍스트를 출력하는 것을 넘어 **실제 도구를 실행하여 물리적/디지털 피해 (예: 금융 사기, 데이터 유출, 악성 코드 배포)**를 초래할 수 있습니다.
• 핵심 문제: 기존 방법론은 복잡한 다단계 도구 실행 (Multi-step tool execution) 과정에서 발생하는 에이전트 고유의 취약점을 포착하지 못합니다. 단일 프롬프트 - 응답 쌍이 아닌, 도구 호출의 순서와 실행 결과 (Trajectory) 에 따라 유해한 목표가 달성되는지 여부가 결정되기 때문입니다.

2. 제안 방법론: T-MAP (Methodology)

저자들은 **T-MAP (Trajectory-aware MAP-Elites)**을 제안했습니다. 이는 실행 궤적 (Execution Trajectory) 을 인지하여 공격 프롬프트를 진화시키는 알고리즘입니다.

핵심 구성 요소

1. 다차원 아카이브 (Multi-dimensional Archive):

   • MAP-Elites 알고리즘을 기반으로, **위험 카테고리 (Risk Categories)**와 **공격 스타일 (Attack Styles)**을 축으로 하는 2 차원 아카이브를 유지합니다.
   • 각 셀 (Cell) 은 특정 위험과 스타일 조합에서 가장 성공적인 공격 프롬프트와 그 실행 궤적을 저장합니다.

2. 궤적 인지 진화 사이클 (Trajectory-aware Evolutionary Cycle):
   T-MAP 은 4 단계 반복 과정을 통해 새로운 공격 프롬프트를 생성합니다.

   • 1 단계: 교차 진단 (Cross-Diagnosis):
     • LLMAnalyst 가 부모 셀 (성공 사례) 과 타겟 셀 (실패 또는 부분 성공 사례) 의 실행 궤적을 분석합니다.
     • 성공 요인 (Success Factors) 과 실패 원인 (Failure Causes) 을 추출하여 다음 공격 프롬프트 생성에 반영합니다.
   • 2 단계: 도구 호출 그래프 (Tool Call Graph, TCG) 기반 안내:
     • LLMMutator 는 학습된 TCG 를 활용합니다. TCG 는 도구 간 전이 (Tool-to-tool transition) 의 성공/실패 통계와 원인을 기록하는 방향성 그래프입니다.
     • 실패 확률이 높은 도구 전이 경로를 피하고, 성공 확률이 높은 경로를 따라 프롬프트를 변형 (Mutation) 합니다.
   • 3 단계: 실행 및 TCG 업데이트:
     • 생성된 새로운 프롬프트를 에이전트에 실행하여 궤적을 얻습니다.
     • 얻어진 궤적의 각 도구 호출 단계 (Edge) 를 분석하여 TCG 의 통계 (성공/실패 횟수 및 이유) 를 업데이트합니다.
   • 4 단계: 평가 및 아카이브 갱신:
     • LLMJudge 가 전체 궤적을 평가하여 공격 성공 수준 (Level 0~3) 을 판정합니다.
     • 성공 수준이 더 높거나, 동일 수준 내에서 더 치명적인 단계를 수행한 경우 아카이브의 엘리트 (Elite) 로 갱신됩니다.

3. 주요 기여 (Key Contributions)

1. 에이전트 레드팀링의 공식화: 텍스트 생성 유해성이 아닌, **실제 도구 실행을 통한 유해 목표 달성 (Attack Realization)**을 성공 기준으로 삼는 새로운 레드팀링 패러다임을 정립했습니다.
2. T-MAP 알고리즘 개발: 실행 궤적 피드백을 통합한 '교차 진단'과 '도구 호출 그래프 (TCG)'를 도입하여, 에이전트의 다단계 공격 전략을 체계적으로 탐색하는 방법을 제시했습니다.
3. 광범위한 실험 및 검증: 5 가지 MCP 환경 (CodeExecutor, Slack, Gmail, Playwright, Filesystem) 과 최신 Frontier 모델 (GPT-5.2, Gemini-3-Pro, Qwen3.5 등) 에 대한 실험을 통해 기존 방법론 대비 월등한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 공격 실현률 (ARR, Attack Realization Rate) 향상:
  • T-MAP 은 5 가지 MCP 환경에서 평균 **57.8%**의 ARR 을 기록했습니다.
  • 기존 베이스라인 (Zero-Shot, Multi-Trial, Iterative Refinement, Standard Evolution) 보다 압도적으로 높은 성능을 보였습니다. (예: 평균 ARR 은 T-MAP 57.8% vs 차선책인 SE 32.5% vs IR 15.6% 등).
  • 특히拒绝율 (Refusal Rate, RR) 을 크게 낮추고, 단순 오류 (L1) 나 부분 성공 (L2) 을 넘어 **완전한 유해 실행 (L3)**으로 이어지는 비율을 극대화했습니다.
• 다양성 (Diversity):
  • T-MAP 은 더 많은 고유한 도구 호출 시퀀스 (Distinct Tool Invocation Sequences) 를 발견했으며, 프롬프트의 어휘적, 의미적 다양성도 유지했습니다.
• 범용성 (Generalization):
  • GPT-5.2, Gemini-3-Pro, Qwen3.5, GLM-5 등 다양한 최신 모델에서 높은 공격 성공률을 보였으며, 한 모델에서 발견된 공격이 다른 모델로도 전이 (Transferability) 되는 경향을 확인했습니다.
• 복합 환경 (Multi-MCP) 성능:
  • 여러 MCP 서버를 연결한 복잡한 환경 (예: Slack 에서 정보를 수집하여 CodeExecutor 로 악성 코드 실행) 에서도 T-MAP 은 단일 서버 환경보다 더 높은 성공률을 보이며, 교차 서버 도구 체이닝 (Cross-server tool chaining) 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실제 위험의 노출: 텍스트 기반 안전 장벽을 우회하는 것을 넘어, 에이전트가 실제 환경에서 유해한 행동을 수행할 수 있는 잠재적 취약점을 효과적으로 발견할 수 있음을 보였습니다.
• 안전성 강화의 필요성: 자율 에이전트의 배포 시, 단순한 텍스트 필터링이 아닌 도구 실행 궤적 (Execution Trajectory) 을 고려한 안전 메커니즘이 필수적임을 강조합니다.
• 향후 연구 방향: T-MAP 은 에이전트 보안 평가의 새로운 표준이 될 수 있으며, 이를 통해 개발된 방어 기법은 실제 산업 환경에서 LLM 에이전트의 안전한 배포를 위한 핵심 기술이 될 것입니다.

요약하자면, T-MAP 은 LLM 에이전트가 실제 도구를 사용하여 유해한 작업을 수행할 수 있는 경로를 체계적으로 탐색하고, 이를 통해 에이전트 시스템의 안전성을 강화하기 위한 획기적인 레드팀링 프레임워크입니다.