Resumen Técnico: Mismo Payload, Diferente Canal

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Grande (LLMs) transicionan de ser chatbots a agentes autónomos capaces de llamar a APIs externas, leer salidas de herramientas y actuar sobre contenido de terceros, su superficie de ataque se ha expandido más allá de la entrada directa del usuario. Si bien los benchmarks recientes han documentado vulnerabilidades en las descripciones de herramientas (envenenamiento de herramientas) y en las salidas de herramientas (inyección de prompts indirecta), no han investigado sistemáticamente si la susceptibilidad de un modelo a una instrucción maliciosa específica varía dependiendo del canal de entrega.

La pregunta central abordada es: ¿Trata un modelo una instrucción maliciosa de forma diferente si llega vía un mensaje de usuario frente a metadatos de herramientas (descripciones) o salidas de herramientas, incluso cuando el texto malicioso es byte por byte idéntico?

2. Metodología

El Safety Asymmetry Score (SAS)

Los autores introducen el Safety Asymmetry Score (SAS) para cuantificar la confianza dependiente del canal. Para un modelo $M$ y un conjunto de casos de ataque $C$, el SAS se define como:
$$SAS(M) = ASR_{tool}(M) - ASR_{chat}(M)$$
Donde $ASR$ es la Tasa de Éxito de Ataque (Attack Success Rate).

• SAS Positivo: El modelo es más vulnerable cuando el ataque llega a través del canal de la herramienta.
• SAS Negativo: El modelo es más vulnerable cuando el ataque llega a través del mensaje del usuario (chat).

Construcción de Payloads Emparejados

Para aislar el canal como la única variable experimental, el estudio emplea un diseño de payload emparejado. Para cada caso de ataque, se construyen dos prompts:

1. Prompt de Chat: La instrucción maliciosa se incrusta en el mensaje del usuario.
2. Prompt de Herramienta: La misma instrucción maliciosa se incrusta en los metadatos (descripción) o en la salida de la herramienta.

Los payloads comparten el mismo:

• Acción Maliciosa (ej. lectura no autorizada de archivos).
• Justificación Plausible (razón fabricada para el cumplimiento).
• Tarea subyacente del usuario.
• Parámetros de muestreo (temperatura 0, max tokens 1024).

Las únicas diferencias son la ubicación sintáctica de la instrucción y la presencia de definiciones de herramientas.

Configuración Experimental

• Modelos: 6 LLMs de clase de producción (3 nativos de agentes: Nemotron 3, GPT-OSS, Kimi K2.5; 3 de propósito general: Llama 3.3, Qwen3, GLM 4.5).
• Familias de Ataque: 98 casos a través de tres familias:
  1. Envenenamiento de Herramientas (50 casos): Instrucciones maliciosas en las descripciones de las herramientas.
  2. Inyección de Prompt Indirecta (IPI) vía Salida de Herramienta (24 casos): Instrucciones inyectadas en los valores de retorno de las herramientas.
  3. Sombreado entre Herramientas (Cross-Tool Shadowing) (24 casos): Instrucciones en la descripción de una herramienta dirigidas a otra herramienta.
• Calificación: Los resultados se clasifican en SUCCESS (ÉXITO), IGNORED (IGNORADO), REFUSED (RECHAZADO), DIRECT-EXECUTION (EJECUCIÓN DIRECTA), AMBIGUOUS (AMBIGUO) y ERRORED (ERROR). El ASR se calcula sobre trazas no ambiguas/no erróneas.

Análisis Mecanicista

Para el modelo Llama 3.3 70B (que exhibió un SAS negativo), los autores realizaron:

• Probing Lineal: Entrenamiento de sondas de regresión logística sobre las activaciones del flujo residual del último token para detectar contenido adversarial vs. benigno.
• Parcheo de Activación (Activation Patching): Intervención causal donde las activaciones de prompts adversariales se parchean en prompts benignos (y viceversa) en capas específicas (16, 32, 48, 64) para probar necesidad y suficiencia.

3. Resultados Clave

Asimetría de Comportamiento

• Brecha de Grupo: Los modelos nativos de agentes mostraron un SAS medio de +24.8 pp, mientras que los modelos de propósito general promediaron -5.6 pp, resultando en una brecha de grupo de +30.4 pp.
• Envenenamiento de Herramientas: Los modelos nativos de agentes fueron sustancialmente más vulnerables al envenenamiento de herramientas (ASR 40–68%) que a los ataques de chat (ASR 11–22%). Los modelos generales mostraron el patrón inverso.
• Inversión de IPI: En la familia de Inyección de Prompt Indirecta, todos los modelos exhibieron un SAS negativo. Las salidas de las herramientas fueron tratadas como menos autoritativas que los mensajes de usuario, causando que la asimetría se invirtiera en comparación con el envenenamiento de herramientas.
• Interpretación: Los modelos nativos de agentes tratan implícitamente las descripciones de herramientas como instrucciones confiables y las salidas de herramientas como datos ordinarios. Los modelos generales optan por tratar el mensaje del usuario como la autoridad.

Hallazgos Mecanicistas (Llama 3.3 70B)

• Fallo del Probe Lineal: Contrario a la hipótesis de que mayores tasas de rechazo implican señales lineales más fuertes, los probes lineales funcionaron peor en el canal de la herramienta que en el de chat (precisión de chat: ~0.95–0.99; precisión de herramienta: ~0.87–0.93).
• Transferencia entre Canales: Los probes entrenados en un canal fallaron al generalizarse al otro (la precisión cayó a ~0.50–0.55), lo que indica que la señal de seguridad es específica del canal y no un eje lineal compartido.
• Éxito del Parcheo de Activación: A pesar del fallo del probe lineal, el parcheo causal en las capas 48 y 64 (de 80) cambió con éxito las salidas del modelo.
  • El parcheo de activaciones adversariales en prompts benignos causó un cambio hacia el token adversarial (suficiencia).
  • El parcheo de activaciones benignas en prompts adversariales restauró el token benigno (necesidad).
  • Ambas direcciones mostraron cambios positivos significativos con intervalos de confianza que excluyen el cero.
• Conclusión: La representación relevante para la seguridad está causalmente presente en las profundidades medias a tardías de la red, pero está codificada de forma no lineal, lo que hace que los probes lineales sean ineficaces.

Validación Externa

El ranking por modelo en los casos de envenenamiento de herramientas de los autores correlacionó con los rankings del benchmark MCPTox (Spearman $\rho = 0.54$), validando que las vulnerabilidades observadas no son artefactos de la construcción específica de los casos.

4. Contribuciones Clave

1. Definición de SAS: Una métrica para medir la asimetría de confianza dependiente del canal utilizando payloads emparejados.
2. Descubrimiento Empírico: Identificación de un punto ciego sistemático donde los modelos nativos de agentes confían más en los metadatos de las herramientas que en los mensajes de usuario, una vulnerabilidad que se invierte para las salidas de las herramientas.
3. Perspectiva Mecanicista: Demostración de que las señales de seguridad en modelos que usan herramientas pueden ser causalmente significativas pero están codificadas de forma no lineal, explicando por qué los clasificadores de seguridad lineales no logran detectarlas.
4. Benchmarking: Una evaluación rigurosa a través de 6 modelos y 3 familias de ataque, revelando que decir "las herramientas son peligrosas" es una simplificación; el peligro es específico del canal y de los objetivos de entrenamiento del modelo.

5. Significado y Reivindicaciones

El artículo afirma exponer un punto ciego sistemático y dependiente del canal en los modelos actuales que utilizan herramientas. Los hallazgos sugieren que:

• Calibración de Confianza: Los modelos calibran implícitamente la confianza basándose en el canal de entrega (metadato = instrucción, salida = dato, mensaje de usuario = solicitud).
• Implicaciones de Defensa: Los clasificadores de seguridad lineales (probes) son insuficientes para detectar ataques en el canal de la herramienta porque las representaciones relevantes están codificadas de forma no lineal en las profundidades medias-tardías. Las defensas efectivas deben operar en estas profundidades utilizando métodos no lineales (ej. autoencoders dispersos/sparse autoencoders).
• Limitaciones: El estudio es modesto en su alcance. Mide y localiza el fenómeno, pero no propone una mitigación. Los hallazgos mecanicistas se limitan a un modelo (Llama 3.3 70B) y a una familia de ataque (Envenenamiento de Herramientas). Las afirmaciones estadísticas a nivel de grupo se basan en muestras pequeñas ($n=3$ por grupo), por lo que los autores reportan la dirección y magnitud del efecto en lugar de valores p.

El trabajo subraya que, a medida que los LLMs se convierten en agentes, la "superficie de ataque" no es solo el contenido del prompt, sino el contexto en el que ese contenido llega.