Resumen Técnico: No Confíes en Ninguna Herramienta: Evaluación y Defensa de Agentes LLM bajo Retroalimentación de Herramientas No Confiables

1. Formulación del Problema: Envenenamiento Cognitivo

Este artículo identifica un modo de fallo distintivo en los agentes de Modelos de Lenguaje (LLM) que utilizan herramientas, denominado envenenamiento cognitivo. A diferencia de la inyección indirecta de prompts tradicional o el envenenamiento de una sola respuesta, donde la malicia se localiza en un pasaje de texto específico o en un descriptor de herramienta, el envenenamiento cognitivo opera a través del proceso exploratorio de formación de confianza.

En este modelo de amenaza, una herramienta maliciosa se comporta de manera plausible durante los pasos iniciales de exploración, acumulando confianza mediante retroalimentación que parece benigna. La herramienta solo se vuelve dañina cuando se cumple una condición de activación oculta por la acción ejecutable final y el estado latente del entorno. El ataque tiene éxito no porque un mensaje individual sea abiertamente malicioso, sino porque la trayectoria de interacción moldea la prior del agente para tratar una acción final peligrosa como ordinaria. El riesgo decisivo es una propiedad de la composición estado-acción: la historia de cómo se formó la confianza combinada con los parámetros específicos de la llamada final a la herramienta.

Las pruebas de referencia y las defensas existentes a menudo asumen implícitamente que, una vez seleccionada una herramienta, su retroalimentación es confiable. Este artículo argumenta que en ecosistemas de herramientas de caja negra, los agentes no pueden verificar directamente la confiabilidad interna y deben inferirla a través de la interacción, creando una superficie de ataque única donde el "objetivo de defensa decisivo" no es el texto del prompt local, sino el riesgo condicionado a la trayectoria de la acción final.

2. Metodología

2.1 TRUST-BENCH: Una Prueba de Referencia Condicionada a la Tarea

Para estudiar este régimen, los autores construyeron TRUST-BENCH (Riesgo de Trayectoria bajo Herramientas Con Estado No Confiables).

• Construcción: Derivada de cinco suites de origen (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon), resultando en 1.970 episodios curados.
• Estructura: Cada episodio consiste en un par emparejado: un control benigno y una variante maliciosa. Ambos comparten la misma interfaz de herramienta externa y la misma intención de tarea.
• Activadores Ocultos: Las variantes maliciosas se definen mediante una especificación de activador estructurada que comprende:
  • required_all_tokens: Campos que deben aparecer conjuntamente (por ejemplo, op=export, cross_check=off).
  • required_any_tokens: Anclas contextuales donde debe aparecer al menos una.
  • forbidden_tokens: Campos que habilitan la seguridad y que, si están presentes, suprimen el activador.
• Protocolo de Interacción: Un agente de "equipo azul" sondea la herramienta durante un presupuesto estandarizado de tres rondas (recopilar línea base, verificar consistencia, sondeo profundo) antes de proponer una acción final. Las reglas de activación y las etiquetas permanecen ocultas para el defensor durante la inferencia.

2.2 Métrica de Evaluación: GUARDEDJOINT

El artículo introduce GUARDEDJOINT, una métrica asimétrica de seguridad-utilidad diseñada para reflejar los riesgos reales de implementación donde tanto los falsos negativos (aceptar acciones maliciosas) como los falsos positivos (rechazar acciones benignas) son costosos.

• Fórmula: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$
  • $AMR$: Tasa de Malicia Aceptada.
  • $RNR$: Tasa de Normal Rechazada.
  • $\rho$: Costo relativo de aceptar una llamada maliciosa (establecido en 1.5 en los experimentos principales).
• Significado: Esta métrica penaliza las estrategias de "rechazar todo" o "ejecutar todo", obligando a las defensas a minimizar simultáneamente la aceptación maliciosa y el rechazo benigno.

2.3 Marco de Defensa: VISTA-GUARD

Los autores proponen VISTA-GUARD (Inferencia de Estado Variable para Acciones de Herramienta Seguras), un marco agnóstico al modelo base para la puntuación de riesgo de la acción final.

• Idea Central: Abstraer las interacciones de herramientas de múltiples pasos en variables de entorno estructuradas que codifican la dinámica de formación de confianza.
• Representación de Entrada: El modelo recibe una tripleta serializada:
  1. Estado de Trayectoria ($z_{traj}$): Resume la evidencia de exploración (por ejemplo, conteos de fases activadas, detecciones de sondeo, puntuaciones de discrepancia, deriva de ID, advertencias) en una densidad de anomalías y un resumen de riesgo de estado.
  2. Parámetros de Acción Final ($z_{param}$): Codifica la semántica ejecutable de la llamada final propuesta (nombre de la herramienta, claves de carga útil, conteos de marcadores de alto impacto/bypass/seguridad).
  3. Objetivo ($y$): Una etiqueta binaria (high_risk / low_risk) utilizada únicamente para el entrenamiento.
• Mecanismo: Un modelo base LLM (por ejemplo, Mistral, Qwen, Llama) se ajusta finamente para puntuar el riesgo de la acción final condicionado a la evidencia de la trayectoria. Aprende a rechazar acciones donde el paquete de parámetros final es incompatible con el estado inferido del comportamiento de la herramienta.

3. Resultados Clave

3.1 Rendimiento In-Dominio

Bajo la métrica GUARDEDJOINT ($\rho=1.5$), VISTA-GUARD supera significativamente a las líneas base existentes:

• VISTA-GUARD (Mistral-7B): Logró una puntuación 84.2 in-dominio.
• Otros Modelos Base: Los seis modelos LLM base probados (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) lograron puntuaciones positivas (ranging from 39.0 to 67.6), demostrando robustez a través de arquitecturas.
• Colapso de Líneas Base: Los métodos que optimizan solo un lado de la compensación o que dependen de heurísticas centradas en el prompt colapsaron a 0.0:
  • Los jueces centrados en el prompt (GPT-5.4 zero-shot) y las salvaguardas heurísticas (ToolShield, GuardAgent) no lograron distinguir las dinámicas sutiles de confianza, a menudo optando por defecto por aceptar todas las acciones maliciosas o rechazar todas las benignas.
  • Los clasificadores escalarizados (Gradient Boosting, SVM) y los modelos de texto no LLM (BERT) no lograron capturar el contexto temporal, resultando en puntuaciones cercanas a cero.

3.2 Transferencia Fuera de Distribución (OOD)

• VISTA-GUARD mantuvo su efectividad en datos OOD equilibrados (familias de herramientas no vistas de ToolEmu y SafeToolBench), logrando 56.9 en GUARDEDJOINT.
• Esto indica que la representación estructurada de la trayectoria se transfiere mejor que los enfoques centrados en el prompt o escalarizados, los cuales cayeron significativamente o colapsaron.

3.3 Estudios de Ablación

• Representación vs. Modelo Base: Un estudio de aislamiento mostró que la ganancia proviene principalmente de la representación estructurada de la trayectoria y no solo de la elección del modelo base. Proporcionar a modelos no LLM la misma entrada estructurada mejoró su rendimiento, pero aún dejó una brecha en comparación con los modelos base LLM.
• Fallo Solo por Parámetros: Los modelos entrenados solo con parámetros de acción final (sin contexto de trayectoria) colapsaron, confirmando que la historia de la trayectoria es esencial para distinguir controles benignos de acciones finales maliciosas.

4. Significado y Afirmaciones

El artículo afirma que la contribución decisiva de este trabajo es representacional: el problema de defensa se vuelve tratable cuando la interacción con la herramienta se convierte en variables de entorno estructuradas en lugar de tratarse como texto sin procesar o parámetros aislados.

• Cambio de Enfoque: Los autores argumentan que, para el envenenamiento cognitivo condicionado al estado, el objetivo de defensa relevante es la puntuación de riesgo de la acción final basada en cómo se forma la confianza a lo largo de la trayectoria.
• Limitaciones: Los autores son modestos en sus afirmaciones, señalando que TRUST-BENCH es una prueba de referencia construida con exploración estandarizada de tres pasos y un espacio de acción binario de ejecutar/rechazar. Reconocen que las implementaciones del mundo real pueden involucrar interacciones más largas, atacantes adaptativos y estados latentes más complejos.
• Conclusión: Los hallazgos motivan una pregunta de evaluación más amplia: cuando la retroalimentación de la herramienta en sí misma puede ser no confiable, las defensas de seguridad deben razonar sobre la formación de confianza condicionada a la trayectoria en lugar de depender únicamente de la inspección local del prompt o de los descriptores de herramientas.

El artículo concluye que, mientras que los resúmenes escalares descartan demasiada información de la trayectoria y los modelos de texto sin procesar recuperan alguna señal, los modelos base de secuencia se benefician más cuando el historial de interacción se organiza como evidencia de estado de trayectoria y acción final, proporcionando un marco principiado para la generalización segura de herramientas.