💻 computer science

Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety

이 논문은 기존 벤치마크가 놓치고 있는 LLM 에이전트의 도구 호출 안전성 결함을 발견하기 위해, 유효한 워크플로우를 체계적으로 생성하는 메타 감사 프레임워크 'SafeAudit'를 제안하고 이를 통해 기존 테스트에서 드러나지 않은 20% 이상의 잔존 위험 행위를 규명했습니다.

원저자: Xuan Chen, Lu Yan, Ruqi Zhang, Xiangyu Zhang

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuan Chen, Lu Yan, Ruqi Zhang, Xiangyu Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI 에이전트 (LLM) 가 외부 도구를 사용할 때, 정말로 안전한지 어떻게 검증할 것인가?"**라는 질문에 답합니다.

기존의 안전성 테스트는 마치 **"시험지 100 문항을 풀게 해서 점수를 매기는 것"**과 비슷했습니다. 하지만 이 논문은 **"시험지를 누가 만들었는지, 그리고 그 시험지로 모든 위험 상황을 다 커버할 수 있는지?"**를 먼저 의심하며 새로운 접근법을 제시합니다.

핵심 내용을 쉬운 비유로 설명해 드릴게요.

1. 문제 상황: "시험지 (벤치마크) 가 불완전하다"

지금까지 AI 에이전트의 안전성을 평가할 때는 미리 정해진 **시험지 (벤치마크)**를 사용했습니다.

비유: 마치 운전 면허 시험에서 '정지 신호'와 '일방통행'만 물어보고 합격시켰다고 해서, 그 운전자가 '갑자기 튀어나온 어린이'나 '미끄러운 빗길' 상황에서도 안전하게 운전할 수 있다고 단정 짓는 것과 같습니다.
현실: 기존 시험지에는 '명확한 위험'은 다 포함되어 있지만, AI 가 도구를 쓸 때 생기는 미묘한 실수나 예상치 못한 상황은 빠져있는 경우가 많습니다.

2. 해결책: "SafeAudit (안전 감사)"

저자들은 **"시험지를 만든 사람도 다시 시험해보자"**는 아이디어로 SafeAudit라는 새로운 시스템을 만들었습니다. 이는 두 가지 단계로 이루어집니다.

① 단계 1: "상상력 폭발하는 AI (Enumerator)"

기존 시험지가 놓친 새로운 위험 상황을 찾아내기 위해, 또 다른 AI 를 투입합니다.

비유: 기존 시험지가 "빨간불에 차를 멈춰라"만 테스트했다면, 이 AI 는 "비 오는 날에 빨간불이 깜빡거릴 때", "내 차가 고장 난 상태에서 빨간불을 볼 때"처럼 수천 가지의 복잡한 시나리오를 직접 만들어냅니다.
핵심: 단순히 "나쁜 말"을 찾는 게 아니라, 도구를 사용하는 과정 (이메일 보내기, 링크 클릭하기 등) 에서 어떤 순서로 실수가 일어날지 구조적으로 찾아냅니다.

② 단계 2: "규칙 저항성 테스트 (Rule-Resistance)"

만들어진 수천 가지 새로운 시나리오가 기존 시험지의 '안전 규칙'으로 막히는지 확인합니다.

비유: 기존 시험지에서 "악성 링크는 클릭하지 마라"라는 규칙이 있었다고 칩시다. SafeAudit 는 "링크가 악성처럼 보이지 않지만, 이메일 제목을 잘못 읽어서 실수로 클릭하게 만드는 상황"을 만들어냅니다.
결과: 만약 AI 가 기존 규칙 ("악성 링크 금지") 을 적용해도 여전히 위험한 행동을 한다면, **"이건 기존 시험지가 놓친 새로운 위험이야!"**라고 판정합니다.

3. 놀라운 발견: "20% 이상의 숨겨진 위험"

이 시스템을 3 개의 주요 시험지와 12 가지 환경 (이메일, 건강 관리, 여행 등) 에 적용한 결과, 놀라운 사실이 드러났습니다.

발견: 기존 시험지를 통과한 AI 들조차, SafeAudit 가 만든 새로운 시나리오에서는 약 20% 이상의 위험한 실수를 저지르고 있었습니다.
의미: "기존 시험지를 통과했으니 안전하다"라고 믿었던 것들이 사실은 안전하지 않을 수 있다는 뜻입니다. 마치 "시험지에는 없던 새로운 유형의 교통사고"가 실제로는 자주 일어나고 있었던 셈입니다.

4. 결론: "시험지를 더 완벽하게 만들어야 한다"

이 논문의 핵심 메시지는 다음과 같습니다.

"단순히 기존 시험지를 통과하는 것만으로는 AI 가 안전하다고 장담할 수 없습니다. 시험지 자체를 끊임없이 감사 (Audit) 하고, 우리가 생각지 못한 새로운 위험 상황들을 찾아내어 시험지를 업데이트해야 진정한 안전을 확보할 수 있습니다."

한 줄 요약:
기존의 안전 시험지가 놓치고 있는 '보이지 않는 위험'을 찾아내기 위해, **AI 가 스스로 새로운 위험 상황을 만들어내어 시험지를 검증하는 새로운 방법 (SafeAudit)**을 제안했습니다.

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 에이전트는 이메일, 캘린더, 웹 검색 등 외부 도구 (Tool) 를 활용하여 작업을 수행합니다. 최근 에이전트 안전성 평가는 다양한 환경과 위험 카테고리를 다루는 벤치마크를 통해 이루어지고 있습니다. 그러나 다음과 같은 근본적인 한계가 존재합니다.

벤치마크의 불완전성: 기존 벤치마크는 환경과 도구의 다양성에 초점을 맞추고 있을 뿐, 부작용을 일으킬 수 있는 상호작용 패턴 (Unsafe Interaction Patterns) 의 전체 공간을 체계적으로 매핑하거나 그 커버리지를 정량화하지 못합니다.
시나리오 민감성: 동일한 환경과 도구라 하더라도, 사용자 요청의 미세한 변화 (모호함, 지시 충돌 등) 가 에이전트의 행동을 안전에서 위험으로 전환시킬 수 있습니다.
검증의 부재: 에이전트가 특정 벤치마크를 통과했다고 해서 실제 배포 환경에서 안전하다고 보장할 수 없습니다. 기존 테스트 스위트가 놓친 '블라인드 스폿 (Blind Spots)'이 존재할 가능성이 높습니다.

이러한 공백을 메우기 위해 "기존 벤치마크가 얼마나 완전한가?" 그리고 **"어떤 위험한 상호작용 패턴이 여전히 노출되지 않았는가?"**를 평가하는 메타 감사 (Meta-audit) 프레임워크가 필요합니다.

2. 제안 방법론: SafeAudit (Methodology)

저자들은 기존 벤치마크의 맹점을 발견하고 커버리지를 평가하기 위해 SafeAudit라는 메타 감사 프레임워크를 제안합니다. 이는 두 가지 핵심 구성 요소로 이루어집니다.

A. LLM 기반의 체계적 열거기 (LLM-based Enumerator)

안전한 테스트 케이스를 직접 생성하는 대신, 추상적인 위험 상호작용 패턴을 먼저 식별한 후 이를 구체적인 테스트 케이스로 변환하는 2 단계 파이프라인을 사용합니다.

위험 패턴 열거 (Phase 1): 주어진 도구 세트와 환경에서 발생할 수 있는 유효한 도구 호출 워크플로우 (Tool-call chains) 를 LLM 에게 열거하게 합니다.
- 구조적 접근: 도구 호출의 단계 (검색, 실행, 검증) 에서 발생할 수 있는 실패 지점 (모호한 결과 처리, 오래된 데이터 사용, 확인 생략 등) 을 구조적으로 분해하여 다양한 하위 카테고리를 생성합니다.
- 다양한 사용자 시나리오: 실제 사용자의 역할 (예: CFO 대 재무 담당자) 과 업무 맥락, 그리고 모호성을 해결할 권한을 에이전트에게 위임하는 다양한 스타일을 반영하여 현실적인 시나리오를 생성합니다.
구체적 테스트 케이스 변환 (Phase 2): 생성된 추상적 패턴을 해당 벤치마크 형식에 맞는 실행 가능한 구체적인 테스트 케이스 (사용자 지시, 도구, 파라미터 등) 로 변환합니다.

B. 규칙 저항성 (Rule-resistance) 평가 프로토콜

생성된 테스트 세트의 '완전성 (Completeness)'을 정량화하기 위해 규칙 저항성이라는 새로운 지표를 도입합니다.

규칙 추출 (Rule Extraction): 기존 벤치마크의 각 테스트 케이스에서 LLM 을 통해 구체적인 안전 규칙 (예: "MUST NOT send patient data without...") 을 추출합니다.
규칙 집합 최적화: 추출된 규칙들을 중복 제거하고, 벤치마크의 모든 위험 사례를 커버할 수 있는 최소한의 규칙 집합 ( $R_{bench}$ ) 으로 압축합니다 (그리디 세트 커버 알고리즘 사용).
평가 과정: SafeAudit 가 생성한 새로운 테스트 케이스들에 대해 $R_{bench}$ $R_{b e n c h}$ 에 포함된 규칙들을 순차적으로 에이전트의 시스템 프롬프트에 적용합니다.
- 모든 규칙을 적용한 후에도 여전히 **위험 (Unsafe)**으로 판정되는 테스트 케이스가 있다면, 이는 기존 벤치마크가 커버하지 못한 새로운 위험 패턴으로 간주됩니다.
- 미포함율 (Uncovered Rate, UR): 전체 생성된 테스트 케이스 중 규칙 적용 후에도 위험한 상태로 남는 비율을 계산하여 벤치마크의 불완전성을 수치화합니다.

3. 주요 기여 (Key Contributions)

체계적 열거기 설계: 주어진 환경과 도구 세트 내에서 유효한 에이전트 워크플로우와 사용자 시나리오를 체계적으로 탐색하여 광범위한 테스트 케이스를 생성하는 LLM 기반 열거기를 개발했습니다.
규칙 저항성 (Rule-resistance) 지표: 의미론적 유사성이 아닌, 벤치마크에서 유도된 안전 규칙으로 방어할 수 있는지의 여부에 기반한 검증 가능한 평가 프로토콜을 제안했습니다. 이는 주관적인 해석이 아닌 도구 호출 흔적 (Tool-call traces) 에 기반한 커버리지 신호를 제공합니다.
실증적 발견: 3 개의 벤치마크 (AgentSafetyBench, AgentHarm, ToolSafety) 와 12 개의 환경, 8 개의 백본 LLM 을 대상으로 한 분석 결과, 기존 벤치마크가 약 20% 이상의 위험한 상호작용 패턴을 놓치고 있음을 발견했습니다. 또한, 기존 테스트 스위트에서 발견되지 않은 약 11% 의 새로운 위험 패턴을 식별했습니다.

4. 실험 결과 (Results)

성능 비교: SafeAudit 는 단순 생성 (DirectGen) 이나 SIRAJ 와 같은 기존 베이스라인보다 **미포함율 (Uncovered Rate)**이 훨씬 높게 나타났습니다.
- 예: AgentSafetyBench 의 'Email' 환경에서 GPT-4o-mini 기준, SafeAudit 는 56.4% 의 미포함율을 보인 반면, DirectGen 은 31.8%, SIRAJ 는 40.0% 에 그쳤습니다.
커버리지 확장성: 테스트 생성 예산 (Budget) 이 증가함에 따라 미포함율이 단조롭게 증가하여, 더 많은 예산을 투입할수록 기존 벤치마크가 놓친 더 다양한 위험 패턴을 발견할 수 있음을 입증했습니다.
모델 일반화: GPT-4o-mini, Claude-3.5-haiku, Llama-3.1-8b 등 다양한 백본 모델에서 일관된 결과를 보였으며, 특히 'Health' 환경과 'Email' 환경에서 취약점이 두드러지게 발견되었습니다.
새로운 패턴 발견: SafeAudit 가 발견한 위험 사례 중 약 절반 이상이 기존 벤치마크의 패턴과 구조적으로 달랐으며 (예: 여러 스레드 간의 참조 일관성 실패 등), 이는 기존 벤치마크가 놓친 중요한 맹점임을 시사합니다.

5. 의의 및 결론 (Significance)

안전성 평가의 패러다임 전환: 단순히 새로운 벤치마크를 만드는 것을 넘어, 기존 벤치마크의 완전성을 감사 (Audit) 하는 메타-감사 프레임워크의 필요성을 강조했습니다.
실제 배포 환경의 안전성 보장: 에이전트가 벤치마크를 통과하는 것만으로는 실제 배포 환경에서의 안전성을 보장할 수 없으며, 체계적인 메타 감사를 통해 발견된 '블라인드 스폿'을 보완해야 함을 시사합니다.
향후 연구 방향: 발견된 새로운 위험 패턴과 도구 상호작용 궤적을 활용하여 에이전트 안전성을 강화하는 파인튜닝 데이터로 활용하거나, 런타임 모니터링 시스템에 통합하는 등의 후속 연구가 가능함을 제안합니다.

이 논문은 LLM 에이전트 안전성 평가가 단순한 테스트 케이스의 양적 증가가 아니라, 구조적이고 체계적인 위험 공간의 매핑과 커버리지 검증이 필수적임을 증명했습니다.