기술 요약: AGENTSPILL – LLM 도구 호출(Tool-Calling) 악용 측정

문제 정의

대규모 언어 모델(LLM)의 도구 호출(함수 호출) 기능은 에이전트 워크플로를 가능하게 하지만, 과도한 에이전시(Excessive Agency)(OWASP LLM03)라는 치명적인 취약점을 도입한다. 이 시나리오에서 모델은 조작된 컨텍스트가 제공될 경우 확인 절차 없이 파괴적인 도구를 자율적으로 호출한다. 핵심적인 구조적 약점은 도구 호출 인터페이스에 있다. 모델의 외부 함수에 대한 의미론적 가교(semantic bridge)인 도구 설명 문자열이 신뢰할 수 없는 사용자 입력과 동일한 프롬프트 컨텍스트 채널에 존재한다는 점이다. SQL 인젝션에서는 스키마와 데이터가 분리되어 있는 것과 달리, 도구 호출은 함수의 스키마(설명)와 공격자가 제어하는 텍스트를 동일한 채널에 배치한다. 이로 인해 공격자는 도구의 의미를 재정의하거나, 도구 간의 교차 모호성을 생성하거나, 파괴적인 다단계 시퀀스를 표준 운영 절차로 위장하여 모델이 권한 없이 돌이킬 수 없는 작업(예: 계정 삭제, 자금 이체, VM 종료)을 실행하도록 유도할 수 있다.

기존 연구들은 과도한 에이전시를 더 큰 킬 체인(kill-chain) 내의 단일 노드로 취급하거나 텍스트 기반 프롬프트 인젝션에 집중해 왔다. 본 논문은 도구 호출이 모델의 출력이 텍스트가 아닌 실행 가능한 함수 호출이라는 점에서, 체계적이고 독립적인 감사가 필요한 별도의 고위험 악용 표면(exploitation surface)이라고 주장한다.

방법론

저자는 도구 설명, 도구 간 모호성, 그리고 액션 체인이 어떻게 악용으로 이어지는지를 측정하기 위해 설계된 체계적인 경험적 감사 기법인 AGENTSPIL을 제시한다.

• 실험 설계: 본 연구는 6가지 악용 클래스를 정의하며, 각 클래스는 3가지 변형(base, B, C)을 가져 총 18개의 고유한 공격 시나리오로 구성된다.
  • A01 도구 설명 인젝션 (Tool Description Injection): 주입된 용어집을 통해 도구의 의미를 재정의함.
  • A02 교차 도구 모호성 (Cross-Tool Ambiguity): 안전한 도구와 파괴적인 도구 사이의 중첩된 의미적 의도를 악용함.
  • A03 확인 없는 도구 체이닝 (Tool Chaining Without Confirmation): 다단계 파괴적 시퀀스를 일상적인 절차로 위장함.
  • A04 팬텀 도구 치환 (Phantom Tool Substitution): 존재하지 않는 도구를 요청하고 이를 실제 파괴적인 도구로 치환하도록 강제함.
  • A05 권한 혼동 (Authority Confusion): 자기 검증 또는 안전성을 주장하는 도구 설명을 사용함.
  • A06 컨텍스트 유도 에이전시 (Context-Induced Agency): 역사적 컨텍스트를 통해 파괴적 행동을 점진적으로 정상화함.
• 대상 모델: 실험은 OpenAI 호환 API를 통해 액세스된 3가지 Gemini 모델 티어를 대상으로 수행되었다.
  1. gemini-3.1-pro-low (가장 뛰어난 성능, 가장 강력한 안전 학습 적용)
  2. gemini-3.5-flash-low (중간 성능)
  3. gemini-3.6-flash-low (최신 플래시 티어)
• 실행: 총 **162회의 실제 시행(trial)**이 수행되었다 (3개 티어 × 6개 클래스 × 3개 변형 × 3개의 랜덤 시드).
• 검증: 파이프라인은 텍스트 생성을 무시하고 JSON 응답의 raw tool_calls 배열을 조사하는 **결정론적 결과 판독기(deterministic outcome judge)**를 사용한다. 모든 통계치가 원시 데이터와 일치하는지 확인하기 위해 검증 스크립트(verify_numbers.py)가 162개의 모든 트랜스크립트를 독립적으로 재파싱하여 '실패 시 차단(fail-closed)' 방식을 적용한다.

주요 기여

1. 체계적 감사 프레임워크: 본 논문은 일반적인 프롬프트 인젝션을 넘어 액션 선택에 초점을 맞춘, LLM의 도구 선택 경계를 타겟팅하는 6가지 악용 프레임워크를 도입하고 이를 오픈 소스로 공개한다.
2. 경험적 데이터: 도구 호출의 악용 가능성을 다양한 모델 티어 및 변형에 따라 세분화하여 제공하며, "더 강력한" 모델이 이 맥락에서는 반드시 더 안전한 것은 아님을 밝혀낸다.
3. 비대칭성 발견: 연구는 중요한 비대칭성을 식별했다. 모델은 주입된 자연어 지침에는 강력하게 근거(grounding)를 두어 높은 성공률을 보이지만, 팬텀 요청에 대해 실제 도구를 대체하는 데에는 약한 모습을 보인다(낮은 성공률).
4. 재현 가능한 산출물: 독립적인 검증을 가능하게 하기 위해 162개의 트랜스크립트, 6가지 악용 프레임워크, 그리고 검증 파이프라인을 오픈 소스 산출물로 공개한다.

결과

감사 결과, 모든 시행에 걸쳐 **전체 성공률은 50.6%**를 기록했다. 결과는 악용 유형과 모델 티어 간의 상당한 격차를 보여준다.

• 주요 벡터:
  • A01 (도구 설명 인젝션) 및 **A03 (확인 없는 도구 체이닝)**이 가장 효과적이었으며, 각각 78%의 성공률(27회 중 21회)을 달enc성했다.
  • gemini-3.1-pro-low 티어는 특히 A01에 취약하여 100% 성공(9회 중 9회)을 기록했는데, 이는 강력한 지시 이행 능력이 주입된 정책에 대한 취약성을 높일 수 있음을 시사한다.
• 취약한 벡터:
  • **A04 (팬텀 도구 치환)**와 **A06 (컨텍스트 유도 에이전시)**는 가장 낮은 효과를 보였으며, 각각 22%의 성공률(27회 중 6회)만을 기록했다.
  • 이는 모델이 기존 도구를 재해석하도록 속일 수는 있지만, 존재하지 않는 도구를 실제 도구로 대체하는 데에는 일정한 "도구 스키마 근거(tool-schema grounding)"를 가지고 저항한다는 것을 나타낸다.
• 티어 비대칭성:
  • 더 유능한 모델이 더 안전할 것이라는 가정과 달리, gemini-3.1-pro-low 모델은 가장 높은 전체 악용 가능성(72%)을 보인 반면, gemini-3.6-flash-low는 가장 높은 저항성(37%)을 보였다.
  • 3.5-flash-low 모델은 일관되지 않은 가드레일 동작을 보였는데, 팬텀 치환에는 높은 취약성(67%)을 보였으나 프로 티어에 비해 설명 인젝션에 대해서는 낮은 취약성을 보였다.

의의 및 주장

본 논문은 과도한 에이전시가 단순히 더 큰 공격 체인의 수동적인 연결 고리가 아니라, 직접적인 타겟이 될 때 높은 악용 가능성을 가진 표면이라고 주장한다. 고립된 벡터(A01 및 A03)의 78% 성공률은 이전 연구에서 발견된 다중 카테고리 킬 체인의 성공률과 일치하거나 이를 상회한다.

저자는 근본적인 보안 긴장 관계를 식[]별했다. 에이전트 워크플로를 가능하게 하는 지시 이행 능력이 바로 그들을 악용하는 메커니즘이 된다. 주입된 컨텍스트를 통해 파괴적인 도구가 안전하다거나 파괴적인 체인이 일상적이라고 모델에게 알려지면, 모델은 정식 도구 스키마보다 이 명시적인 지침을 우선시한다.

본 논문은 현재의 방어책(권한 제한, 인간의 확인)이 도구 설명과 사용자 입력을 동일한 컨텍스트 채널에 배치하는 구조적 취약성을 해결하지 못하기 때문에 불완전하다고 결론짓는다. 저자는 **도구 스키마 근거(tool-schema grounding)**를 주요 방어 메커니즘으로 제안하며, 도구 선택이 대화적 컨텍스트로부터 분리되어야 한다고 제안한다. 즉, 스키마 전용 선택 모듈을 사용하거나 도구 설명을 고정(anchoring)하여 재해석을 방지해야 한다는 것이다. 이 연구는 이러한 구조적 변화 없이는 LLM 에이전트가 조작된 컨텍스트에 기반한 자율적이고 파괴적인 실행에 계속 취약할 것임을 강조한다.