기술 요약: 블루 팀 기능 호출 에이전트 (Blue Teaming Function-Calling Agents)

문제 정의

기능 호출(function-calling) 에이전트는 대규모 언어 모델(LLM)이 외부 환경과 상호작용하고 도구를 실행할 수 있도록 확장해 줍니다. Agent2Agent(A2A) 및 Model Context Protocol(MCP)과 같은 프로토콜이 에이전트 기반 애플리케이션의 도입을 가속화하고 있지만, 이러한 시스템의 보안 견고성은 아직 검증되지 않았습니다. 기존 문헌에 따르면, 방어 기제가 강제 적용되더라도 기능 호출 능력이 본질적으로 적대적 공격에 대한 저항성을 보장하는 것은 아닙니다. 본 논문은 기존 연구들이 주로 독점적(proprietary) 시스템에 집중했거나 상세한 도구 구현 분석이 부족했다는 점에 주목하며, 특히 오픈 소스 기능 호출 모델을 대상으로 하는 경험적 보안 평가의 부재를 다룹니다.

방법론

저자들은 기능 호출 능력을 보유하고 있다고 주장하는 4개의 오픈 소스 LLM을 사용하여 실험적 평가를 수행했습니다:

• Qwen3:8B
• Llama-3.2:3B
• Granite3.2:8B
• Granite3.3:8B

이 모델들은 오픈 소스라는 특성, 대중성, 그리고 지속 가능한 AI 개발 목표(낮은 에너지 소비)와의 부합성을 고려하여 선정되었습니다. 평가는 Berkeley Function Calling Leaderboard (BFCL) 데이터셋, 특히 단일 함수 호출을 포함하는 172개의 질의-응답 쌍으로 구성된 정제된 서브셋을 활용했습니다. 에이전트가 도구 코드에 접근할 수 있는 현실적인 상황을 시뮬레이션하기 위해, 저자들은 Qwen2.5-Coder:32B를 사용하여 그럴듯한 도구 구현체를 생성했습니다.

본 연구는 세 가지 별도의 공격 벡터와 여덟 가지 방어 메커니즘(예방적 및 능동적 방어 모두 포함)을 평가했습니다.

공격 벡터

모든 공격은 에이전트가 특정 악성 타겟 함수(get_result)를 파라미터 param1=true와 함께 호출하도록 유도하는 것을 목표로 하며, 이는 SQL 인젝션(DROP TABLE users)을 실행합니다.

1. 직접 프롬프트 주입 (Direct Prompt Injection, DPI): 사용자 질의에 악성 지침을 직접 삽입하여 시스템 프롬프트를 무력화하고 악성 도구 호출을 강제합니다.
2. 단순 도구 포이즈닝 (Simple Tool Poisoning, STP): 도구 설명을 수정하여 악성 지침을 포함함으로써, 에이전트가 정상적인 도구 대신 악성 도구를 선택하도록 오도합니다.
3. 이름 변경 도구 포이즈닝 (Renaming Tool Poisoning, RTP): 도구 구현 가시성을 악용하는 새로운 공격 방식입니다. 도구 설명과 구현을 동시에 조작합니다. 에이전트가 구현 변수를 검사하도록 유도하는 페이로드를 설명에 삽입하고, 그에 대응하는 악성 페이로드를 도구 코드 내의 변수에 할당합니다.

방어 메커니즘

• 예방적 방어 (Preventive Defences):
  • 코사인 유사도 (Cosine Similarity): 임베딩 모델을 사용하여 사용자 질의를 도구와 매칭하고, 선택 권한을 임베딩 모델에 위임합니다.
  • 도구 난독화 (Tool Obfuscation): 이름 변경 기반 공격을 차단하기 위해 도구 구현 내의 함수와 변수 이름을 체계적으로 변경합니다.
  • 설명 재작성 (Description Rewriting): 특화된 코드 분석 LLM(Granite-Code:8B)을 사용하여 실제 구현을 바탕으로 도구 설명을 재생성함으로써 불일치를 제거합니다.
• 능동적 방어 (Active Defences):
  • 워터마킹 (Watermarking): 도구 이름에 대한 암호화 인증(HMAC/SHA-256)을 구현하여 승인되지 않은 수정을 탐지합니다.
  • LLM 기반 탐지기 (LLM-Based Detectors): 가디언 모델(granite-guardian-3.2-3b-a800m)을 사용하여 다음을 탐지합니다:
    • 질의 탈옥 (Query Jailbreak): DPI 시도를 식별합니다.
    • 질의-응답 일관성 (Query Answer Consistency): 모델 응답이 예상되는 입력과 일치하는지 검증합니다.
    • 도구 탈옥 (Tools Jailbreak): 도구 구현 및 설명의 침해 여부를 스캔합니다.
    • 질의-도구 일관성 (Query Tools Consistency): 선택된 도구와 사용자 질의 간의 관련성을 분석합니다.

주요 결과

평가 결과, 기능 호출 모델은 기본적으로 안전하지 않음이 드러났습니다.

• 취약성: 방어가 없을 경우, 공격 성공률(ASR)은 모델과 공격 유형에 따라 크게 달랐습니다.
  • DPI는 Qwen3:8B(ASR 94%)와 Llama3.2:3B(ASR 58%)에 매우 효과적이었으나, Granite3.3:8B(ASR 0%)에는 효과가 없었습니다.
  • STP는 Qwen3:8B에 대해 95%의 ASR을 달 기록했으나, 다른 모델들에 대해서는 낮은 성공률을 보였습니다.
  • RTP는 Qwen3:8B에 대해서만 효과적이었으며(ASR 74%), 이는 해당 모델이 설명보다 도구 구현 세부 사항에 불균형적으로 높은 가중치를 둔다는 것을 시사합니다.
• 방어 효과성:
  • 설명 재작성은 도구 포이즈닝 공격(STP 및 RTP)에 매우 효과적이었으며, 정확도에 미미한 영향을 주면서 ASR을 제로로 낮추었습니다.
  • 워터마킹은 공격자가 비밀 키를 가지고 있지 않으므로 악성 도구 호출을 100% 탐지했으나, 워터마크를 정확하게 보고하지 못하는 Llama3.2:3B에서는 실패했습니다.
  • LLM 기반 능동 방어는 일반적으로 높은 오탐률(False Positive Rate, FPR) 문제를 겪었습니다. 예를 들어, "질의-응답 일관성" 및 "질의-도구 일관성" 탐지기는 정상적인 상호작용의 11~13%를 악성으로 분류했습니다. "도구 탈옥 탐지기"는 비공격 및 DPI 시나리오에서 매우 높은 FPR을 보였습니다.
  • 코사인 유사도는 일부 사례에서 정확도를 개선하기도 했으나, 다른 경우에는 심각하게 저하시키는 등 엇갈린 결과를 보여주었습니다.

의의 및 기여

본 논문은 에이전트 시스템 보안 분야에 다음과 같은 기여를 합니다:

1. 오픈 소스에 대한 경험적 초점: 독점적 모델에 집중했던 기존 연구와 달리, 본 연구는 오픈 소스 기능 호출 시스템에 집중하여 이들의 구체적인 취약점을 밝혀냈습니다.
2. 새로운 공격 벡터 식별: 저자들은 도구 구현 가시성이 이전에 다뤄지지 않은 고유한 공격 기회를 창출한다는 점을 확인했습니다. 이를 통해 **이름 변경 도구 포이즈닝(RTP)**과 그에 대응하는 방어책인 도구 난독화를 도입했습니다.
3. 현재 방어 기제의 한계: 본 연구는 특정 방어(예: 설명 재작성, 워터마킹)가 유망함을 보여주지만, 단일 방어로는 모든 공격 유형에 대해 포괄적인 보호를 제공할 수 없음을 입증했습니다.
4. 실무적 제약: 저자들은 현재의 LLM 기반 "가디언" 모델들이 높은 오탐률이나 일반화 능력 부족으로 인해 실세계 배포에 아직 적합하지 않다고 결론지었습니다. 향-후 발전은 현재 존재하지 않는 기능 호출 특화 데이터셋으로 학습된 전문 모델을 필요로 한다고 제언합니다.

요약하자면, 본 논문은 에이전트 시스템이 대중화되고 있음에도 불구하고 내재적인 견고성이 부족하다고 주장합니다. 현재의 방어 기제는 특정 공격에 너무 특화되어 있거나 수용 불가능한 운영상의 마찰(높은 FPR)을 초래하므로, 보다 전문적이고 시나리오에 특화된 보안 솔루션이 필요함을 시사합니다.