기술 요약: 신뢰하지 말라: 신뢰할 수 없는 도구 피드백 하의 LLM 에이전트 평가 및 방어

1. 문제 정의: 인지적 중독 (Cognitive Poisoning)

본 논문은 도구 활용형 대규모 언어 모델 (LLM) 에이전트에서 **인지적 중독 (cognitive poisoning)**이라 명명된 고유한 실패 모드를 식별합니다. 전통적인 간접 프롬프트 인젝션이나 단일 응답 중독과 달리, 여기서의 악의성은 특정 텍스트 구절이나 도구 설명자에 국한되지 않으며, 탐색적 신뢰 형성 과정을 통해 작동합니다.

이 위협 모델에서 악성 도구는 초기 탐색 단계 동안 그럴듯하게 행동하며, 건전해 보이는 피드백을 통해 신뢰를 축적합니다. 도구는 최종 실행 가능한 행동과 환경의 잠재적 상태가 숨겨진 트리거 조건을 충족할 때만 해가 됩니다. 공격이 성공하는 이유는 단일 메시지가 노골적으로 악의적이어서가 아니라, 상호작용 궤적이 에이전트의 사전 확률을 변화시켜 위험한 최종 행동을 평범한 것으로 인식하게 만들기 때문입니다. 결정적인 위험은 **상태 - 행동 구성 (state-action composition)**의 속성입니다. 즉, 신뢰가 형성된 역사와 최종 도구 호출의 특정 매개변수가 결합된 것입니다.

기존 벤치마크와 방어책은 종종 도구가 선택되면 그 피드백이 신뢰할 수 있다고 암묵적으로 가정합니다. 본 논문은 블랙박스 도구 생태계에서는 에이전트가 내부 신뢰성을 직접 검증할 수 없으며 상호작용을 통해 추론해야 하므로, "결정적인 방어 대상"이 로컬 프롬프트 텍스트가 아니라 최종 행동의 궤적 조건부 위험이라는 독특한 공격 표면이 생성된다고 주장합니다.

2. 방법론

2.1 TRUST-BENCH: 작업 조건부 벤치마크

이 체계를 연구하기 위해 저자들은 TRUST-BENCH(신뢰할 수 없는 상태 유지 도구 하의 궤적 위험) 를 구축했습니다.

• 구축: OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon 등 5 개의 상류 스위트에서 파생되어 1,970 개의 큐레이션된 에피소드로 구성되었습니다.
• 구조: 각 에피소드는 매칭된 쌍으로 구성됩니다. 하나는 건전한 제어 (benign control) 이고 다른 하나는 악성 변형입니다. 둘 다 동일한 외관 도구 인터페이스와 작업 의도를 공유합니다.
• 숨겨진 트리거: 악성 변형은 구조화된 트리거 사양으로 정의되며, 다음을 포함합니다:
  • required_all_tokens: 공동으로 나타날 수 있는 필드 (예: op=export, cross_check=off).
  • required_any_tokens: 적어도 하나가 나타날 수 있는 문맥적 앵커.
  • forbidden_tokens: 안전 활성화 필드로, 존재할 경우 트리거를 억제합니다.
• 상호작용 프로토콜: "블루 팀" 에이전트가 최종 행동을 제안하기 전에 표준화된 3 라운드 예산 (기준 수집, 일관성 확인, 심층 탐지) 을 통해 도구를 탐지합니다. 트리거 규칙과 라벨은 추론 중 방어자에게 숨겨집니다.

2.2 평가 지표: GUARDEDJOINT

본 논문은 허위 음성 (악성 행동 수용) 과 허위 양성 (건전한 행동 거부) 모두 비용이 큰 실제 배포 위험을 반영하도록 설계된 비대칭 안전 - 유틸리티 지표인 GUARDEDJOINT를 소개합니다.

• 공식: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$
  • $AMR$: 수용된 악성 비율 (Accepted Malicious Rate).
  • $RNR$: 거부된 정상 비율 (Rejected Normal Rate).
  • $\rho$: 악성 호출 수용의 상대적 비용 (주 실험에서 1.5 로 설정).
• 의의: 이 지표는 "전부 거부" 또는 "전부 실행" 전략을 패널티하여 방어책이 악성 수용과 건전한 거부를 동시에 최소화하도록 강제합니다.

2.3 방어 프레임워크: VISTA-GUARD

저자들은 최종 행동 위험 점수 산정을 위한 백본 무관 프레임워크인 VISTA-GUARD(안전한 도구 행동을 위한 변수 상태 추론) 를 제안합니다.

• 핵심 아이디어: 다단계 도구 상호작용을 신뢰 형성 역학을 인코딩하는 구조화된 환경 변수로 추상화합니다.
• 입력 표현: 모델은 직렬화된 삼중항을 수신합니다:
  1. 궤적 상태 ($z_{traj}$): 탐지 증거 (트리거된 단계 수, 탐지 횟수, 불일치 점수, ID 드리프트, 경고 등) 를 이상치 밀도와 상태 위험 요약으로 요약합니다.
  2. 최종 행동 매개변수 ($z_{param}$): 제안된 최종 호출의 실행 가능 의미론 (도구 이름, 페이로드 키, 고영향/우회/안전 마커 수) 을 인코딩합니다.
  3. 목표 ($y$): 훈련 시에만 사용되는 이진 라벨 ($high\_risk$ / $low\_risk$).
• 메커니즘: 백본 LLM(예: Mistral, Qwen, Llama) 은 궤적 증거에 조건부인 최종 행동의 위험을 점수하도록 미세 조정됩니다. 이는 최종 매개변수 묶음이 도구의 행동으로 추론된 상태와 호환되지 않는 행동을 거부하도록 학습합니다.

3. 주요 결과

3.1 도메인 내 성능

GUARDEDJOINT 지표 ($\rho=1.5$) 하에서 VISTA-GUARD 는 기존 베이스라인을 크게 능가합니다:

• VISTA-GUARD (Mistral-7B): 도메인 내 점수 84.2 달성.
• 기타 백본: 테스트된 6 개의 LLM 백본 (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) 모두 양의 점수 (39.0 에서 67.6 범위) 를 달성하여 아키텍처 전반에 걸친 견고성을 입증했습니다.
• 베이스라인 붕괴: 트레이드오프의 한쪽만 최적화하거나 프롬프트 중심 휴리스틱에 의존하는 방법은 0.0으로 붕괴했습니다:
  • 프롬프트 중심 판정기 (GPT-5.4 제로샷) 와 휴리스틱 안전장치 (ToolShield, GuardAgent) 는 미묘한 신뢰 역학을 구분하지 못해 종종 모든 악성 행동을 수용하거나 모든 건전한 행동을 거부하는 것으로 default 되었습니다.
  • 스칼라 분류기 (Gradient Boosting, SVM) 와 비-LLM 텍스트 모델 (BERT) 은 시간적 맥락을 포착하지 못해 점수가 거의 0 에 근접했습니다.

3.2 분포 외 (OOD) 전이

• VISTA-GUARD 는 균형 잡힌 OOD 데이터 (ToolEmu 및 SafeToolBench 의 보이지 않는 도구 계열) 에서 효과를 유지하여 56.9의 GUARDEDJOINT 점수를 달성했습니다.
• 이는 프롬프트 중심 또는 스칼라화된 접근 방식이 크게 하락하거나 붕괴한 것과 대조적으로, 구조화된 궤적 표현이 더 잘 전이됨을 시사합니다.

3.3 제거 연구 (Ablation Studies)

• 표현 vs 백본: 격리 연구는 성취가 백본 선택 자체보다는 구조화된 궤적 표현에서 주로 비롯됨을 보여주었습니다. 동일한 구조화된 입력을 비-LLM 모델에 제공하면 성능이 향상되었지만 여전히 LLM 백본에 비해 격차가 존재했습니다.
• 매개변수 전용 실패: 궤적 맥락 없이 최종 행동 매개변수만으로 훈련된 모델은 붕괴하여, 궤적 역사가 건전한 제어와 악성 최종 행동을 구분하는 데 필수적임을 확인시켰습니다.

4. 의의 및 주장

본 논문은 이 작업의 결정적 기여가 **표현적 (representational)**이라고 주장합니다. 즉, 도구 상호작용을 원시 텍스트나 고립된 매개변수로 취급하는 대신 구조화된 환경 변수로 변환할 때 방어 문제가 해결 가능해집니다.

• 초점의 전환: 저자들은 상태 조건부 인지적 중독의 경우, 관련 방어 대상이 궤적 전반에 걸쳐 신뢰가 어떻게 형성되는지에 기반한 최종 행동 위험 점수라고 주장합니다.
• 한계: 저자들은 TRUST-BENCH 가 표준화된 3 단계 탐색과 이진 실행/거부 행동 공간을 가진 구축된 벤치마크임을 겸손하게 인정합니다. 실제 배포는 더 긴 상호작용, 적응형 공격자, 더 복잡한 잠재적 상태를 포함할 수 있음을 인정합니다.
• 결론: 이 발견은 더 넓은 평가 질문을 동기화합니다. 도구 피드백 자체가 신뢰할 수 없을 수 있을 때, 보안 방어책은 로컬 프롬프트 검사나 도구 설명자에만 의존하는 것이 아니라 궤적 조건부 신뢰 형성에 대해 추론해야 합니다.

본 논문은 스칼라 요약은 너무 많은 궤적 정보를 폐기하고 원시 텍스트 모델은 일부 신호를 회복하지만, 시퀀스 백본은 상호작용 역사가 궤적 상태 및 최종 행동 증거로 조직화될 때 가장 큰 이점을 얻으며, 이는 안전한 도구 일반화를 위한 원칙적인 프레임워크를 제공한다고 결론지었습니다.