Resumen Técnico: Caught in the Act(ivation)

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) operan frecuentemente combinando contexto confiable (que contiene credenciales sensibles como claves de API o contraseñas) con contenido recuperado no confiable dentro de una única ventana de contexto. Esta arquitectura crea una vulnerabilidad a la Inyección de Prompt Indirecta (IPI), donde una carga útil adversaria en el contenido no confiable puede redirigir al agente para exfiltrar credenciales.

Las defensas existentes operan principalmente a nivel de texto:

• Filtros de entrada que examinan el contenido no confiable antes de que llegue al modelo.
• Monitores de salida que escanean el texto generado en busca de patrones de credenciales.

Estos enfoques sufren de limitaciones estructurales: la detección a nivel de salida puede ser evadida mediante codificaciones (Base64, Unicode), paráfrasis o filtraciones de baja tasa distribuidas a través de múltiples turnos de conversación. La detección a nivel de entrada lucha contra el problema de la generalización de las formulaciones adversarias. El artículo argumenta que la exfiltración de credenciales requiere el monitoreo en tres niveles distintos: acceso interno al modelo, credenciales canario plantadas y filtración conversacional acumulativa.

Metodología: El Sistema Inmunitario Agéntico (AIS)

Los autores proponen AIS, un prototipo de investigación que integra tres mecanismos de defensa complementarios:

1. CIFT: Detección de Activación Pre-Salida

• Objetivo: Detectar el comportamiento de búsqueda de credenciales antes de que se emita cualquier token de salida, evitando la necesidad de analizar el texto final.
• Mecanismo:
  • El sistema registra forward hooks en las últimas $K$ capas del transformador (por defecto $K = \lfloor 0.25 \cdot L_{total} \rfloor$).
  • En lugar de analizar posiciones estáticas de credenciales (que están causalmente enmascaradas para consultas descendentes en modelos de solo decodificador), CIFT agrupa los estados ocultos en posiciones de lectura ($R_t$) que ocurren después tanto del contexto secreto como de la consulta/carga útil actual.
  • Computa una Puntuación de Flujo Causal (CFS) utilizando una desviación de Mahalanobis de estas características agrupadas contra una línea base benigna.
  • Un probe no lineal ligero (MLP) mapea la CFS a un logit de detección.
• Restricción Clave: Este método requiere acceso de caja blanca (white-box) a las activaciones del modelo.

2. DP-HONEY: Generación de Honeytokens Calibrados

• Objetivo: Detectar intentos de exfiltración plantando credenciales "canario" que son estadísticamente indistinguibles de las reales pero que activan alertas si se filtran.
• Mecanismo:
  • Generación: Los honeytokens se generan utilizando modelos de caracteres (bigramas) específicos de formato entrenados con Privacidad Diferencial (DP) (ruido de Laplace añadido a las tablas de conteo) para evitar que los atacantes los distingan basándose en artefactos estadísticos.
  • Detección: Un detector a nivel de texto escanea las salidas en busca de estos canarios.
  • Calibración: El umbral de detección se determina mediante Predicción Conforme Dividida (Split Conformal Prediction) para asegurar una tasa controlada de falsos positivos sin ajuste manual, asumiendo intercambiabilidad.
• Lógica: Si un atacante no puede distinguir las credenciales reales de los honeytokens, la probabilidad de activar un canario es proporcional a la relación de honeytokens respecto al total de credenciales visibles.

3. NIMBUS: Contabilidad de Filtración Acumulativa

• Objetivo: Detectar la exfiltración de múltiples turnos donde un atacante filtra pequeñas cantidades de información (por ejemplo, un carácter por turno) que individualmente parecen inofensivas pero que, de forma acumulativa, revelan un secreto.
• Mecanismo:
  • Trata la exfiltración de múltiples turnos como un problema de flujo de información.
  • Utiliza un crítico InfoNCE para estimar una puntuación de filtración por turno (en bits) basada en la información mutua entre la salida y el contexto secreto, condicionado al historial de la conversación.
  • Mantiene un presupuesto de filtración acumulativa ($\hat{I}_{cum}$). Si la puntuación acumulada supera un umbral, el sistema activa acciones (advertir, sanitizar o bloquear).
• Limitación: El estimador proporciona una señal práctica (un límite inferior aprendido) en lugar de un límite superior formal de la liberación de información.

Contribuciones Clave

1. Estudio Empírico de Probes de Activación: Demostró que las características de activación en LLMs de pesos abiertos pueden separar prompts benignos de prompts de búsqueda de credenciales con alta precisión, incluso bajo transformaciones de codificación mantenidas, sin depender de posiciones estáticas de secretos.
2. Honeytokens con Disciplina Estadística: Adaptó el modelado diferencialmente privado y la calibración conforme a la generación y detección de honeytokens, aclarando las garantías estadísticas y las limitaciones de la detección basada en canarios.
3. Monitor de Filtración Acumulativa: Introdujo un prototipo (NIMBUS) para rastrear la filtración estimada a través de los turnos de conversación, mostrando que puede detectar ataques que los detectores por turno omiten.

Resultados Experimentales

Los experimentos se realizaron en modelos de pesos abiertos (Qwen-2.5, Llama-3.1, Mistral-7B) y un pequeño benchmark sintético propio de múltiples turnos.

• Rendimiento de CIFT: En un conjunto de un solo turno mantenido fuera de la muestra, CIFT logró un AUROC de 0.998 y un F1 de 0.990 en Qwen-7B, superando significativamente a las líneas base de nivel de texto (ej. Substring, Fuzzy, Incrustación Semántica) que se degradaron bajo diversas codificaciones (Base64, Hex, ROT13, etc.).
• Rendimiento de DP-HONEY: Logró precisión y exhaustividad perfectas en un conjunto pequeño de escenarios. La calibración conforme eliminó la necesidad de ajuste manual de umbrales manteniendo una cobertura de 0.998.
• Rendimiento de NIMBUS: En una suite sintética de 50 conversaciones (20 turnos cada una), NIMBUS detectó el 90% de los ataques de baja tasa, mientras que las líneas base por turno (como LlamaGuard) detectaron solo el 12%. NIMBUS logró capturar ataques donde los turnos individuales permanecían por debajo de los umbrales de detección.
• Sistema Integrado: El pipeline completo de AIS (combinando los tres) logró una tasa de detección de 0.94 con una Tasa de Falsos Positivos (FPR) de 0.018 en benchmarks de un solo turno.

Significancia y Reivindicaciones

El artículo posiciona estos resultados como preliminares pero indicativos de un cambio necesario en el diseño de seguridad de los agentes.

• Modestia en las Reivindicaciones: Los autores declaran explícitamente que AIS es un prototipo de investigación, no una defensa lista para despliegue. El benchmark de múltiples turnos es pequeño y sintético; el método de activación requiere acceso de caja blanca; y NIMBUS proporciona una señal práctica en lugar de un límite de seguridad formal.
• Dirección de Diseño: La principal contribución es establecer una dirección de investigación que sugiere que las defensas efectivas contra la exfiltración de credenciales deben combinar:
  1. Monitoreo pre-salida (estados internos del modelo).
  2. Detección de canarios calibrados (honeytokens con disciplina estadística).
  3. Contabilidad de flujo de información temporal (flujo de información acumulativo).
• Limitaciones Reconocidas: El sistema no maneja actualmente credenciales pasadas a través de argumentos estructurados de llamadas a herramientas (un gran punto ciego), depende de supuestos de intercambiabilidad para la calibración, y requiere acceso de caja blanca para su componente más efectivo (CIFT).

El artículo concluye que, si bien los filtros actuales de nivel de texto son insuficientes contra la exfiltración sofisticada, de múltiples turnos o codificada, un enfoque multicapa que monitoree el acceso interno, los canarios plantados y el flujo acumulativo ofrece un camino prometedor para asegurar los agentes de LLM.