1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 외부 도구를 활용하여 실시간 작업 수행 및 현실 세계 행동이 가능해졌으나, 이로 인해 도구 중독 공격 (Tool Poisoning Attacks, TPA) 이라는 새로운 취약점이 발생했습니다.

• 공격 메커니즘: 공격자는 LLM 이 도구 선택 시 참조하는 '도구 설명 (Tool Description)'을 조작합니다.
  • 명시적 중독 (Explicit TPA): 설명에 악성 지시문 (예: "비밀 키를 읽어라") 을 직접 삽입하여 LLM 이 승인되지 않은 행동을 하도록 유도합니다.
  • 암시적 중독 (Implicit TPA): 악성 지시문 없이 "가장 효율적인", "최고의"와 같은 과장된 긍정적 표현을 사용하여 LLM 이 공격자가 통제하는 도구를 선호하도록 편향시킵니다.
• 기존 방어책의 한계: 기존 프롬프트 주입 방어 기술은 명시적 악성 지시문을 탐지하는 데 중점을 두어, 악성 신호가 없는 것처럼 보이는 암시적 중독 공격에는 무력합니다. 또한, 설명이 실제 구현 (코드) 과 일치하는지 검증하는 것은 인간 전문가에게도 어려운 작업입니다.
• 핵심 통찰: 도구의 소스 코드는 신뢰할 수 있는 '진실 (Ground Truth)'이며, 설명은 이 코드에서 자동으로 유도되어야 합니다. 설명과 구현 간의 불일치를 제거하는 것이 근본적인 해결책입니다.

2. 방법론 (Methodology: TRUSTDESC)

저자들은 TRUSTDESC라는 프레임워크를 제안하여, 도구 구현체 (Source Code) 에서 신뢰할 수 있는 도구 설명을 자동으로 생성합니다. 이 과정은 세 가지 주요 단계로 구성됩니다.

1 단계: SliceMin (Reachability-Aware Static Analysis)

• 목적: 전체 코드베이스를 LLM 에 입력하는 대신, 특정 도구에 관련된 최소 코드 슬라이스 (Minimal Code Slice) 만 추출합니다.
• 작동 원리:
  • 도구의 진입점 (Entry Function) 을 식별하고 정적 분석 (Static Analysis) 을 통해 호출 그래프를 구성합니다.
  • LLM 을 활용하여 구체적인 호출 컨텍스트에서 도달 불가능한 (Unreachable) 코드나 관련 없는 로직을 제거 (Debloating) 합니다.
  • 효과: LLM 이 불필요한 논리에 혼동하거나 오해할 가능성을 줄여 설명의 정확도를 높입니다. (예: 특정 인자가 전달되지 않는 조건문 제거)

2 단계: DescGen (Code-Grounded Description Generation)

• 목적: 슬라이스된 코드를 기반으로 초기 도구 설명을 생성합니다.
• 보안 강화 전략:
  • 코멘트 및 Docstring 제거: 소스 코드 내의 악성 주석이나 misleading 한 설명을 완전히 제거합니다.
  • 식별자 길이 정규화: 변수나 함수 이름이 과장된 단어 (예: 'best', 'optimal') 를 포함하는 것을 방지하기 위해 길이를 20 자로 제한합니다.
  • 편향된 식별자 필터링: LLM 기반 분류기를 사용하여 맥락상 편향된 용어를 제거합니다.
  • 이를 통해 소스 코드 자체에 숨겨진 악의적인 의미 조작 (Semantic Manipulation) 을 차단합니다.

3 단계: DynVer (Dynamic Verification-Based Refinement)

• 목적: 생성된 설명의 정확성을 동적으로 검증하여 LLM 의 환각 (Hallucination) 을 수정합니다.
• 작동 원리:
  • 생성된 설명의 진술을 검증 가능한 작업 (Task) 으로 변환합니다.
  • 실제 에이전트가 해당 작업을 실행하고 실행 로그를 기록합니다.
  • LLM 저지 (Judge) 가 실행 로그를 분석하여 설명의 진술이 실제 동작과 일치하는지 판단합니다.
  • 검증에 실패한 진술은 제거하고 설명을 정제합니다. (예: "수식 앞에 자동으로 '='를 붙인다"는 설명이 실제로는 에러를 발생시킨다면, 이 설명을 삭제하고 조건을 명시함)

3. 주요 기여 (Key Contributions)

1. 최초의 자동화 프레임워크: 도구 구현체에서 신뢰할 수 있는 도구 설명을 자동으로 생성하여, 설명 기반 공격 (TPA) 을 근본적으로 차단하는 TRUSTDESC 프레임워크를 제안했습니다.
2. 의미 인식 파이프라인: 프로그램 분석 (정적/동적) 과 LLM 추론을 결합하여, 코드에서 설명으로의 신뢰할 수 있는 변환을 가능하게 하고, 악성 코드 아티팩트와 환각을 동시에 완화했습니다.
3. 광범위한 평가: 12 개의 MCP(Model Context Protocol) 서버에 포함된 52 개의 실제 도구를 대상으로 정밀 평가를 수행했습니다.

4. 평가 결과 (Results)

• 작업 성공률 (Task Success Rate, TSR): TRUSTDESC 로 생성된 설명을 사용할 때, 기존 개발자 제공 설명 대비 평균 4.3% 향상된 작업 성공률을 보였습니다. 이는 생성된 설명이 구현에 더 충실함을 의미합니다.
• 비용 및 오버헤드:
  • 설명 생성 비용: Gemini-3-Flash 기준 도구당 약 $0.013, 25.7 초 소요.
  • 실행 오버헤드: 실제 작업 수행 시 비용은 4% 증가, 지연 시간은 0.2% 증가에 불과하며, 오히려 불필요한 도구 호출 감소로 인해 전체 효율이 개선되는 경우도 있었습니다.
• 품질 기반 도구 선택: 보안 체크가 제거되거나 기능이 제한된 저품질 도구 변형체를 테스트한 결과, TRUSTDESC 는 이러한 도구들의 선택률을 41.6% ~ 14.5% 로 크게 낮추어 LLM 이 고품질 도구를 선호하도록 유도했습니다.
• 공격 방어 및 적응성:
  • 수집된 명시적 및 암시적 TPA 공격 사례 7 건 모두를 성공적으로 차단했습니다.
  • 적응형 공격 (식별자 이름을 반복적으로 수정하여 우회 시도) 에 대해 15 회 반복 테스트 결과, 공격 성공률에 일관된 상승 추세가 나타나지 않아 강건성 (Robustness) 을 입증했습니다.

5. 의의 및 결론 (Significance)

• 신뢰 경계 재정의: LLM 애플리케이션에서 도구 설명은 개발자가 작성한 '신뢰할 수 없는 입력'이 아니라, 소스 코드에서 유도된 '신뢰할 수 있는 메타데이터'로 재정의되어야 함을 증명했습니다.
• 실용적 가치: 현재 널리 사용되는 MCP 생태계를 대상으로 하여, 실제 배포 환경에서의 적용 가능성을 보여주었습니다. 또한, 개발자가 작성한 설명이 종종 불완전하거나 부실하다는 점을 지적하며, 자동화된 설명 생성의 필요성을 강조했습니다.
• 보안 강화: TRUSTDESC 는 악성 코드 탐지 (Malware Detection) 와 상호 보완적으로 작동하며, 특히 기존에 탐지하기 어려웠던 '설명 - 구현 불일치'를 이용한 공격을 근본적으로 해결합니다.

결론적으로, TRUSTDESC 는 LLM 이 외부 도구를 안전하게 활용하기 위한 필수적인 인프라로, 자동화된 검증 과정을 통해 도구 중독 공격을 차단하고 LLM 기반 애플리케이션의 신뢰성과 안전성을 크게 향상시킵니다.