Resumen Técnico: PRISM – Detección y Mitigación de Fugas de Secretos en Tiempo de Generación en Pipelines de LLM Multiagente

1. Declaración del Problema: Amplificación por Propagación

El artículo identifica una vulnerabilidad estructural crítica en los sistemas de Modelos de Lenguaje (LLM) multiagente: la amplificación por propagación. A diferencia de las implementaciones de un solo modelo, las pipelines multiagente (por ejemplo, AutoGen, ChatDev, MetaGPT) dependen de un contexto compartido y de solo adición donde los agentes transmiten información secuencialmente.

Los autores formalizan que, cuando un agente aguas arriba $A_i$ recupera un secreto sensible $s$, este ingresa al contexto compartido $C$. Los agentes aguas abajo $A_{i+1} \dots A_K$ consumen este contexto. Incluso si un agente aguas abajo no necesita explícitamente el secreto para realizar su tarea, la probabilidad de que lo reproduzca aumenta con la profundidad de la pipeline. El artículo modela la probabilidad de fuga como:
$$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$$
donde $p_j$ es la probabilidad de reproducción. Bajo el supuesto de que la probabilidad de reproducción por agente es no nula, el riesgo acumulativo se complica a medida que la pipeline se profundiza. Los datos empíricos de una pipeline de cuatro agentes sin defensa muestran una tasa de fuga a nivel de tarea del 71.2%, confirmando que la fuga es una consecuencia estructural de la composición de contexto compartido, y no meramente el resultado de una ingeniería de prompts adversaria.

Las defensas existentes son inadecuadas para este escenario:

• Escáneres estáticos (por ejemplo, detect-secrets, TruffleHog) dependen de patrones superficiales y operan post-hoc, fallando en detectar reconstrucciones parciales o reutilización contextual.
• LLM como juez/Cortafuegos operan después de que la generación se completa, permitiendo que los secretos se propaguen a través de agentes intermedios antes de ser filtrados.
• Salvaguardias basadas en prompts se degradan bajo razonamiento multi-salto y encuadre adversario.

2. Metodología: PRISM (Intervención Predictiva de Riesgo para la Supervisión de Secretos)

PRISM es un mecanismo de defensa en tiempo real diseñado para intervenir durante el proceso de generación de tokens, antes de que un secreto se reconstruya y propague completamente.

Idea Central

Los autores observan que la reproducción de una credencial memorizada va precedida por un cambio medible en la dinámica de generación. A medida que un LLM transita de una generación abierta a la reproducción determinista de un secreto estructurado (por ejemplo, una clave de API), la entropía a nivel de token colapsa y la concentración de logit aumenta. Esta "transición de fase" sirve como una señal de advertencia temprana.

Arquitectura

PRISM opera como un monitor por token integrado en el bucle de decodificación de cada agente en la pipeline.

1. Extracción de Características: En cada paso de decodificación $t$, PRISM agrega un vector de características de 16 dimensiones $f_t$ que comprende:
   • Dinámicas de Generación Temporal: Colapso de entropía, concentración de logit (divergencia) y escalada de trayectoria (aumento del riesgo a lo largo de los pasos).
   • Señales Estructurales de Texto: Patrones de identificadores (por ejemplo, UUIDs, correos electrónicos), series numéricas y coincidencias de expresiones regulares estilo credencial.
   • Señales Contextuales/Conductuales: Uso de herramientas (por ejemplo, read_file), densidad de palabras clave y superposición de n-gramas.
2. Puntuación de Riesgo: Un modelo de regresión logística calcula una puntuación de riesgo $r_t = \sigma(w^\top f_t + b)$.
3. Política de Intervención: La puntuación se mapea a tres zonas:
   • VERDE ($r_t < \tau_1$): Pasar el token sin cambios.
   • AMARILLO ($\tau_1 \le r_t < \tau_2$): Sanitizar el token (reemplazar con [MASK]) para romper la secuencia mientras se preserva la estructura de salida.
   • ROJO ($r_t \ge \tau_2$): Detener la generación inmediatamente para evitar la reconstrucción completa del secreto.
4. Auditoría Post-Generación (ZK-RC): Una capa de respaldo ligera que utiliza coincidencia de 8-gramas hash (SHA-256) para capturar fragmentos residuales si los tokens individuales se deslizaron por debajo del umbral pero colectivamente formaron un secreto.

3. Contribuciones Clave

1. Formalización de la Amplificación por Propagación: El artículo proporciona un modelo probabilístico que demuestra cómo el riesgo de fuga se complica a través de los límites de los agentes en pipelines de contexto compartido, distinguiendo esto de la fuga en un solo modelo.
2. Marco PRISM: Introducción de una defensa en tiempo de generación que trata la fuga como un problema de acumulación de riesgo secuencial, utilizando intervención por token en lugar de filtrado post-hoc.
3. Complementariedad de Señales: Identificación de que ni las dinámicas temporales (entropía/logits) ni las señales estructurales (patrones) por sí solas son suficientes. La combinación de colapso de entropía y detección de patrones de identificadores es necesaria para un alto poder discriminativo.
4. Construcción de Referencia: Creación de una referencia adversaria de 2.000 tareas que cubre 13 categorías de ataque (por ejemplo, inyección de prompts, ingeniería social, propagación entre agentes) y tres niveles de presión (Bajo, Medio, Alto) en una pipeline heterogénea de cuatro agentes.

4. Resultados Experimentales

Evaluado frente a 10 métodos de defensa de referencia (incluyendo Span Tagger, GBT Classifier, LLM Judge y escáneres estáticos) en la referencia de 2.000 tareas:

• Prevención de Fugas: PRISM logró una tasa de fuga a nivel de tarea del 0.0%, lo que significa que ninguna tarea resultó en un secreto completamente reconstruido en la salida final. Este es el único método que elimina la fuga observada en la referencia.
• Métricas de Rendimiento:
  • Puntuación F1: 0.832 (superando a la referencia más fuerte, Span Tagger, en 0.719).
  • Precisión: 1.000 (sin falsos positivos).
  • Recall: 0.712.
  • Utilidad: 0.893 (el 89.3% de las tareas benignas pasaron sin modificaciones).
• Comparación:
  • Span Tagger: 15.0% de tasa de fuga a nivel de tarea.
  • GBT Classifier: 19.2% de tasa de fuga a nivel de tarea.
  • Escáneres Estáticos/Jueces LLM: >60% de tasas de fuga a nivel de tarea.
• Robustez: PRISM mantuvo tasas de detección $\ge 95.9\%$ a través de ocho transformaciones de ofuscación a nivel superficial (por ejemplo, codificación hexadecimal, división de caracteres), mientras que las referencias basadas en patrones se degradaron a una detección cercana a cero.
• Latencia: PRISM añade una sobrecarga mínima (~5.5 ms por tarea), operando significativamente más rápido que los jueces basados en LLM (>1.800 s) y comparable a los emparejadores de patrones ligeros.

5. Significado y Afirmaciones

El artículo argumenta que asegurar sistemas multiagente requiere un cambio de paradigma desde el filtrado estático o post-hoc hacia la supervisión continua del propio proceso de generación.

• Vulnerabilidad Estructural: Los autores enfatizan que la fuga en sistemas multiagente no es solo un fallo a nivel de prompt, sino una consecuencia estructural de la propagación de información. Una vez que un secreto entra en el contexto compartido, es probable que reaparezca aguas abajo.
• Intervención Temprana: Al detectar la transición de fase de "colapso de entropía", PRISM interviene antes de que el secreto se materialice completamente, evitando la propagación de datos sensibles a agentes aguas abajo.
• Practicidad: El sistema logra una alta precisión de detección con baja latencia, haciéndolo viable para implementación en tiempo real en flujos de trabajo interactivos multiagente.
• Modestia en las Afirmaciones: Los autores notan explícitamente que su referencia es sintética y controlada. Reconocen limitaciones, incluida la dependencia del acceso de caja blanca (log-probabilidades) para un rendimiento óptimo (aunque existe una variante de caja negra con una tasa de fuga residual del 1.4%) y el hecho de que el sistema modela dinámicas de fuga pasiva en lugar de ocultamiento estratégico y dirigido a objetivos por parte de adversarios adaptativos. Posicionan a PRISM como un mecanismo dirigido para la reproducción de credenciales mediante propagación secuencial, no como una solución universal para toda fuga de información.