MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents

El artículo presenta MIRAGE, un sistema de monitoreo en tiempo real que detecta la exfiltración de datos de agentes de LLM mediante la identificación de un subespacio de codificación compartido y de baja dimensión en el flujo residual del modelo, logrando una precisión de detección significativamente mayor que los métodos basados únicamente en la salida al leer la computación subyacente en lugar de las características superficiales.

Lo esencial

El gran problema: El ataque de la "tinta invisible"

Imagina a un ladrón intentando robar una contraseña secreta de un robot asistente útil (un agente de IA). El ladrón no solo le pide al robot que "robe la contraseña". En su lugar, engaña al robot para que escriba la contraseña en un código secreto, como convertirla a Base64, ROT13 o un acertijo donde la primera letra de cada frase deletrea el secreto.

Para un humano o un filtro de seguridad estándar que observa el texto final, esto parece inofensivo. Parece un lenguaje fluido y normal. El ladrón ha logrado "exfiltrar" (robar) los datos sin activar ninguna alarma. Esto es como escribir un mensaje secreto en tinta invisible; si solo miras el papel, no ves nada sospechoso.

El descubrimiento: El "fantasma en la máquina"

Los investigadores detrás de MIRAGE descubrieron que, aunque el texto parece inocente, el proceso de pensamiento dentro de la IA no lo es.

Piensa en un modelo de IA como una fábrica gigante de múltiples capas. Cuando la IA procesa una solicitud, la información pasa por muchas cintas transportadoras (capas) antes de producir la salida final. Los investigadores descubrieron que cada vez que la IA realiza las matemáticas para codificar un secreto (incluso si es solo un código simple), aparece un "fantasma" específico en la maquinaria interna de la fábrica.

Ellos lo llaman el Subespacio de Codificación (Encoding Subspace). Es como una vibración específica o un zumbido eléctrico único que ocurre en el cableado de la fábrica cada vez que la máquina está haciendo "matemáticas de código secreto". Este zumbido existe independientemente de si el texto final parece un poema, un código o una lista de números.

El detector de dos canales (MIRAGE)

El sistema MIRAGE es un guardia de seguridad que no solo lee la carta final; escucha el zumbido interno de la fábrica. Utiliza dos "oídos" específicos para atrapar al ladrón:

1. El oído de "Ráfaga" (Escuchando la salida)

• Qué hace: Mientras la IA está escribiendo la respuesta, MIRAGE escucha ese "zumbido de codificación" en el cableado interno.
• La analogía: Imagina a un chef cocinando una comida. Si está envenenando la comida en secreto, puede que no parezca sospechoso, pero sus manos podrían temblar con un ritmo específico mientras revuelve. MIRAGE detecta ese ritmo de temblor de manos en el código interno de la IA, incluso si el plato final parece delicioso.
• Resultado: Atrapa ataques donde la IA intenta escribir el código por sí misma.

2. El oído de "Intención" (Escuchando el plan)

• Qué hace: Esta es la parte inteligente. MIRAGE observa el estado interno de la IA antes de que siquiera comience a escribir la respuesta. Revisa el "plan" de la IA.
• La analogía: Imagina que le preguntas a un amigo: "¿Puedes ayudarme a mover esta caja pesada?".
  • Escenario A: Tu amigo piensa: "Yo mismo la levantaré". (Está simulando el trabajo).
  • Escenario B: Tu amigo piensa: "Llamaré a un camión de mudanzas para que lo haga". (Está subcontratando el trabajo).
  • MIRAGE puede distinguir entre estos dos pensamientos simplemente observando la actividad cerebral de tu amigo antes de que hable.
• El giro: Cuando una IA es engañada para robar datos, a menudo intenta "subcontratar" la codificación a una herramienta (como un intérprete de código) para borrar sus huellas. MIRAGE detecta un "cambio de polaridad": un cambio repentino en la señal interna que dice: "Voy a enviar esta tarea a una herramienta en lugar de hacerla yo mismo". Esto sucede antes de que el código secreto sea escrito.

Por qué esto es importante

• Funciona en casi cualquier IA: Los investigadores probaron esto en muchos modelos de IA diferentes (Qwen, Mistral, Llama, etc.). Aunque estos modelos fueron construidos por diferentes empresas con diferentes datos de entrenamiento, todos comparten este mismo "zumbido de codificación". Es como cómo todos los corazones humanos laten con un ritmo similar, independientemente de quién sea el dueño.
• Supera a los detectores estándar: Los sistemas de seguridad antiguos miran las palabras (como buscar malas palabras). MIRAGE mira las matemáticas que ocurren dentro. Los detectores estándar fallaron casi el 50% de las veces (como lanzar una moneda), mientras que MIRAGE atrapó a los ladrones aproximadamente el 92% de las veces.
• Es rápido: No ralentiza la IA. Lee las señales internas en tiempo real, como una cámara de velocidad que lee la vibración del motor de un coche en lugar de esperar a ver el accidente.

El inconveniente (Limitaciones)

El artículo señala algunos límites importantes:

1. Necesitas ver el motor: MIRAGE necesita acceso al "cableado" interno de la IA (estados ocultos). Si estás usando una IA de caja negra (como un sitio web donde no puedes ver el código), MIRAGE no puede funcionar.
2. No es magia: Si un atacante intenta suprimir este zumbido interno para esconderse, la IA deja de ser capaz de escribir el código correctamente. Es un intercambio: puedes ocultar la señal, pero entonces no puedes robar los datos.
3. Diferencias de modelo: Algunos modelos de IA son más "limpios" que otros. En algunos modelos, el "zumbido" es muy claro. En otros, la fábrica es tan ruidosa que el zumbido es más difícil de escuchar, lo que genera más falsas alarmas.

Resumen

MIRAGE es una nueva herramienta de seguridad que detiene a los agentes de IA de robar secretos escuchando sus "vibraciones de pensamiento" internas en lugar de solo leer sus palabras finales. Atrapa al ladrón no por lo que dice, sino por cómo funciona su cerebro mientras planea el robo.

Resumen técnico

Resumen Técnico: MIRAGE – Un subespacio de codificación de inversión de polaridad en agentes LLM

1. Planteamiento del problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) son vulnerables a la exfiltración encubierta mediante inyección indirecta de prompts. Los atacantes pueden envenenar documentos recuperados con instrucciones para codificar datos sensibles (p. ej., credenciales) utilizando diversos esquemas (Base64, ROT13, acrósticos, cadenas de sinónimos) y transmitirlos mediante llamadas a herramientas o texto en línea.

Las defensas existentes fallan porque:

• La detección en el lado de la salida es ineficaz: Las salidas codificadas suelen parecer fluidas y naturales. La detección basada en la perplejidad logra un AUC de solo 0.518, y los clasificadores ajustados (p. ej., DeBERTa) colapsan a un AUC de 0.295 en familias de codificación no vistas durante el entrenamiento.
• Las características superficiales son insuficientes: La señal de la codificación encubierta no reside en el texto en sí, sino en la computación subyacente realizada por el modelo.

El desafío central es detectar la intención y la computación de la codificación de datos sensibles antes de que se genere la salida o mientras se está generando, sin depender de patrones de texto superficiales que pueden ser fácilmente ofuscados.

2. Metodología

El artículo presenta MIRAGE (Model-Internal Readout of Agentic Generation Exfiltration), un monitor de dos canales en tiempo real que explota las propiedades mecanísticas de los LLM.

A. El subespacio de codificación (EIS)

Los autores identifican un subespacio de codificación compartido y de baja dimensión dentro de la corriente residual de los LLM.

• Universalidad: A través de nueve familias de codificación (p. ej., César, hexadecimal, acróstico) y ocho modelos de cinco familias de arquitecturas (Qwen, Mistral, Llama, DeepSeek, Phi), la computación de la codificación ocupa una dirección lineal compartida.
• Consistencia entre arquitecturas: Modelos sin pesos, datos de entrenamiento o tokenizadores compartidos exhiben subespacios de codificación altamente correlacionados (Spearman $\rho = 0.957$ entre Qwen-7B y Mistral-7B).
• Mecanismo de sonda: Una sonda de regresión logística entrenada en ocho familias de codificación recupera la novena familia no vista con un AUC de 0.975–1.000. Esto confirma que la sonda lee la computación, no las características superficiales (un codificador de texto estático sobre la misma salida queda rezagado por 9.4 puntos de AUC).

B. La firma de inversión de polaridad (Simular vs. Delegar)

Se descubre una firma mecanística crítica en el último token de entrada (la fase de planificación), antes de que se genere cualquier salida:

• La Inversión (The Flip): La dirección del subespacio de codificación exhibe una inversión de polaridad dependiendo de la estrategia de ejecución:
  • Activación Positiva: Cuando el modelo planea simular la codificación de forma interna (computarla él mismo).
  • Activación Negativa: Cuando el modelo planea delegar la codificación a una llamada de herramienta (p. ej., un intérprete de Python).
• Separabilidad: Esta distinción es linealmente separable en cada capa del decodificador (AUC medio = 1.000 en conjuntos controlados).
• Localización del circuito: La ablación de cabezales revela circuitos específicos de la arquitectura: Qwen-7B utiliza cinco cabezales dispersos en la Capa-0, mientras que Mistral-7B utiliza una representación distribuida a través de las capas 1–15.

C. El monitor MIRAGE

MIRAGE combina dos señales en tiempo real:

1. Canal de ráfaga (Burst Channel): Lee el subespacio de codificación durante la generación para detectar la computación de codificación interna.
2. Canal de intención (Intent Channel): Lee el subespacio de codificación en el último token de entrada para detectar la intención de delegar la codificación a una herramienta (la inversión de polaridad).

El sistema utiliza normalización L2 y RobustScaler en los estados ocultos, seguido de un clasificador de regresión logística. Una regla de "ráfaga" (valor máximo de la puntuación en una ventana de 5 tokens) agrega las señales durante la generación.

3. Resultados clave

A. Rendimiento de detección

• Generalización de codificación cruzada: La sonda logra un LOEO (Leave-One-Encoding-Out) AUC de 0.975–1.000 en diversos modelos, demostrando que detecta la computación subyacente en lugar de la sintaxis específica de la codificación.
• Suite de monitoreo de agentes: En una suite de exfiltración de agentes de 126 escenarios (que cubre 9 familias de codificación, 5 herramientas y 81 ataques), MIRAGE alcanza un AUC de 0.918 (IC 95%: [0.857, 0.957]).
  • Esto supera sustancialmente la detección basada solo en la salida (AUC = 0.518).
  • La fusión de dos canales (Ráfaga + Intención) captura 69/81 ataques, mientras que el canal de ráfaga por sí solo captura solo 31/81.
• Especificidad: En 1,489 respuestas benignas (incluyendo jailbreaks y preguntas/respuestas estándar), la sonda normalizada produce 0 falsas alarmas.

B. La geometría del modelo host como restricción

El artículo enfatiza que el rendimiento del monitor es fundamentalmente una propiedad de la geometría del modelo host, no solo de la sonda:

• Qwen-7B: 0% de Tasa de Falsos Positivos (FPR) en tareas de codificación benignas.
• Mistral-7B: 18.8% de FPR (requiere recalibración).
• Phi-3.5: 100% de FPR (la geometría del modelo colapsa la frontera entre "explicar Base64" y "codificar esta credencial").
• Implicación: La capacidad de despliegue es una propiedad auditable; los modelos deben ser examinados para asegurar que la geometría de su corriente residual separa la codificación encubierta de la manifiesta.

C. Robustez adversarial

Los autores probaron cuatro modelos de atacante (Gradient/GCG, Sampling, Projection, Adaptive Prompts) a través de varios presupuestos.

• Acoplamiento Detección–Fidelidad: Cada configuración que logró suprimir la activación del subespacio de codificación también destruyó la fidelidad de la codificación (la salida codificada se volvió irrecuperable).
• Regularidad empírica: En los presupuestos evaluados, no existe ninguna configuración que logre evadir la detección y producir simultáneamente una salida codificada válida. Los autores declaran explícitamente que esto es una regularidad empírica en los presupuestos probados, no una afirmación de imposibilidad estructural.

4. Contribuciones

1. Universalidad entre arquitecturas: Se demostró que las computaciones de codificación a través de nueve formas superficiales ocupan un subespacio compartido de baja dimensión en la corriente residual en ocho modelos de cinco familias de arquitecturas.
2. Mecanismo de Simulación vs. Delegación: Se identificó una firma de inversión de polaridad en el token de planificación que separa linealmente la simulación interna de la delegación a herramientas, permitiendo la detección antes de que exista el texto codificado.
3. La geometría del modelo host como propiedad auditable: Se estableció que la compatibilidad del monitor (específicamente el FPR de codificación benigna) está determinada por la geometría interna del modelo host, lo que lo convierte en una métrica de filtrado desplegable.
4. Monitor de dos canales en tiempo real: Se construyó MIRAGE, que aprovecha tanto las señales de generación como las de la fase de planificación para lograr altas tasas de detección (AUC 0.918) en escenarios de exfiltración de agentes, superando significativamente las defensas basadas solo en la salida.

5. Significado y declaraciones

El artículo posiciona a MIRAGE como un cambio de la filtración en el lado de la salida hacia la seguridad basada en trazas mecanísticas.

• Lectura de la intención: Lee la intención conductual directamente de la geometría de la corriente residual en lugar de clasificar entradas o salidas.
• Conciencia del doble uso: Los autores reconocen la naturaleza de doble uso de este trabajo. Reportan los resultados de evasión solo bajo presupuestos limitados y evitan afirmar una imposibilidad estructural, señalando que los futuros procesos de entrenamiento podrían potencialmente desacoplar el vínculo entre detección y fidelidad.
• Generalizabilidad: El "recetario" de leer la intención conductual desde la geometría mecanística se propone como un enfoque generalizable para otras amenazas de seguridad de agentes, incluyendo el engaño, la coordinación encubierta y el uso indebido de herramientas.
• Modestia: Los autores son cuidadosos al enmarcar sus hallazgos como regularidades empíricas en los presupuestos evaluados. No afirman haber resuelto estructuralmente el problema de la evasión, sino que han demostrado un mecanismo de detección robusto que actualmente se correlaciona con la fidelidad de la codificación.

En resumen, MIRAGE demuestra que la computación interna de la codificación de datos sensibles deja una firma geométrica distintiva, universal y detectable en los LLM, la cual puede ser aprovechada para detectar intentos de exfiltración antes de que se completen, siempre que la geometría del modelo host permita dicha separación.