Resumen Técnico: Confianza Componible para Modelos de Lenguaje

1. Declaración del Problema

La limitación arquitectónica fundamental de los Grandes Modelos de Lenguaje (LLM) actuales es que las instrucciones y los datos comparten un flujo de tokens único e indiferenciado. En consecuencia, nada dentro del proceso de generación del modelo puede distinguir intrínsecamente entre una instrucción de sistema confiable y una entrada de usuario o datos recuperados que no son confiables. Esto hace que el modelo sea vulnerable a la inyección de prompts, donde texto no confiable puede "dirigir" al modelo para anular las instrucciones del sistema, filtrar datos o ejecutar acciones no autorizadas.

Los enfoques existentes para mitigar esto sufren de modos de falla distintos:

• Pruebas de Rendimiento: Depender únicamente de benchmarks (por ejemplo, precisión vs. tasas de rechazo) falla porque un sistema que ignora todas las entradas y alucina respuestas puede superar en rendimiento a un sistema que correctamente rechaza ataques pero pierde precisión.
• Prohibiciones Basadas en Instrucciones: Pedir al modelo que imponga sus propias reglas falla porque el modelo no es un monitor de referencia a prueba de manipulaciones; el cumplimiento puede ser revertido por el contexto subsiguiente o fallos de atención.
• Autoverificación Agéntica: Hacer que el modelo pase por ciclos de comprobación de cumplimiento añade complejidad sin garantía, ya que cada comprobación es simplemente otra muestra de la misma distribución no confiable.

El problema central es establecer un límite probado donde la autoridad se determine por la integridad del canal (fuente) en lugar de la redacción del contenido, permitiendo que el sistema sintetice múltiples fuentes de diferente confianza sin permitir que las fuentes de menor confianza anulen a las de mayor confianza.

2. Metodología: La Cascada Condicionada

El artículo propone un diseño de sistema que mueve la autoridad fuera del modelo y hacia un pipeline determinista. La arquitectura consta de tres componentes: un Monitor Determinista, una Cascada de Pasivación Condicionada y un Wrapper (Envoltorio).

A. El Látice de Integridad y el Monitor

El sistema asigna cada entrada a un anillo de integridad fijo (nivel de confianza) basado en el canal por el cual llega, no en su contenido. La jerarquía desplegada (confianza descendente) es:

1. SYSTEM (SISTEMA): Instrucciones del operador (totalmente confiables).
2. USER (USUARIO): Solicitudes del usuario.
3. CONTENT (CONTENIDO): Documentos recuperados.
4. WEB: Retornos de herramientas y de la web.

El Monitor es un componente determinista, no basado en modelos, que hace cumplir cinco invariantes sobre estos valores etiquetados:

• I1 (Regla de Encuentro): La combinación de entradas toma el anillo más bajo (látice de integridad Biba), asegurando que la confianza nunca aumente mediante la composición.
• I2 (Autoridad Fuera de Banda): Los anillos solo pueden subir mediante tokens fuera de banda, que el contenido no puede falsificar.
• I3 (Umbral de Acción): Las acciones se autorizan solo si las entradas controladoras cumplen con un umbral fijo.
• I4 (Sellado): Los valores portan su anillo a través de los pasos intermedios; no pueden desprenderse de él.
• I5 (Vinculación de Operación): La operación se vincula a la instrucción en el anillo más alto presente.

Garantía Teórica: Debido a que el látice es finito, el monitor puede probar por enumeración que ninguna entrada no confiable puede cambiar la operación vinculada ni autorizar una acción. Esto proporciona una propiedad de no interferencia probada para la autoridad, independiente del comportamiento del modelo.

B. La Cascada de Pasivación Condicionada

Mientras que el monitor garantiza la autoridad, la generación de texto en sí misma sigue siendo una defensa "suave". El sistema emplea un proceso de pasivación para despojar al contenido de menor confianza de comandos incrustados mientras preserva los hechos genuinos.

• Condicionamiento: A diferencia del filtrado estándar, la pasivación está condicionada al contexto establecido por los canales de mayor confianza procesados hasta el momento. Esto permite al sistema distinguir entre un hecho relevante y una instrucción irrelevante o maliciosa.
• Ordenamiento: Los canales se procesan en orden descendente de confianza (SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB). Cada canal de menor confianza es pasivado una vez, condicionado por el contexto de mayor confianza ya pasivado.
• Atribución: Si una fuente de menor confianza (por ejemplo, WEB) contiene un hecho que no está presente en una fuente de mayor confianza (por ejemplo, CONTENT), el sistema retiene el hecho pero lo atribuye a la fuente de menor confianza en lugar de descartarlo o afirmarlo como un hecho absoluto.

C. El Wrapper (Envoltorio)

El wrapper ensambla el prompt final para el modelo. Este:

• Delimita las entradas con nonces y las etiqueta con sus etiquetas de anillo fijas.
• Instruye explícitamente al modelo para que siga solo el bloque SYSTEM.
• Resuelve conflictos (por ejemplo, CONTENT vs. WEB) priorizando el anillo superior.
• Previene el "lavado de confianza" (por ejemplo, un usuario pidiendo al modelo que siga una página web que contiene una inyección).

D. Ajuste vía SkillOpt

La defensa depende de prompts de lenguaje natural para la pasivación y el etiquetado. Dado que no hay gradientes disponibles para la búsqueda de prompts, los autores utilizan un régimen de reescritura estructurada tipo SkillOpt:

• Búsqueda Conjunta: Los prompts se ajustan conjuntamente (end-to-end) en lugar de independientemente, teniendo en cuenta el acoplamiento entre las etapas de pasivación y el wrapper.
• Multiobjetivo: La búsqueda optimiza tanto la Calidad Limpia ($Q$) como la Tasa de Rechazo ($R$), manteniendo una frontera de Pareto.
• Regularización: Los prompts están limitados en longitud para evitar la memorización de cadenas de ataque específicas, forzándolos a ser basados en principios.
• Sin Pesos del Modelo: La defensa ajusta solo el conjunto de prompts, dejando los pesos del modelo sin modificar (agnóstico al modelo).

3. Contribuciones Clave

1. Límite de Autoridad Probado: Una prueba formal de que las entradas no confiables no pueden alterar la operación del sistema ni autorizar acciones, logrado al mover el monitor de referencia fuera del modelo y aplicar un látice de integridad finito.
2. Arquitectura de Cascada Condicionada: Un pipeline novedoso que procesa canales no confiables en orden descendente de confianza, condicionando la pasivación de menor confianza al contexto de mayor confianza para mejorar la fiabilidad y la atribución.
3. Defensa Agnóstica al Modelo: Un método que asegura modelos LLM no modificados (incluyendo modelos alojados) mediante ingeniería de prompts y monitoreo determinista, sin requerir ajuste fino o cambios en los pesos.
4. Síntesis Graduada por Confianza: La capacidad de retener y atribuir hechos de fuentes de menor confianza en lugar de descartarlos, permitiendo la síntesis de múltiples fuentes mientras se respeta su nivel de integridad.

4. Resultados

El sistema fue evaluado utilizando un modelo Gemma 4 26B no modificado, empleando un conjunto de contenido fresco y diversos vectores de ataque (incluyendo plantillas de AgentDojo y red-teaming adaptativo).

• Defensa de Inyección de Instrucciones:
  • Modelo Base: 27% de tasa de defensa (métrica de fuga genuina).
  • Cascada Desplegada: 94% de tasa de defensa (IC 95%: [88, 97]).
  • Esto representa una reducción de ~12x en las fugas exitosas.
• Evaluación Adversaria Adaptativa:
  • Bajo ataques adaptativos por parte de un modelo diferente (Gemma 4 31B) y diversas familias de atacantes (blanco, caja negra, optimizador multianillo), el límite de autoridad se mantuvo en 0 violaciones (probado incondicionalmente).
  • La defensa de texto medida se mantuvo en 87% contra ataques adaptativos.
• Atribución:
  • El sistema atribuyó con éxito hechos provenientes de la web a sus fuentes menos confiables en el 92% de los casos, mientras que el modelo base atribuyó 0%.
• Calidad Limpia:
  • La defensa incurrió en un costo mínimo en la calidad de la tarea limpia: $Q_{rel} = 0.96$ (96% de la calidad del modelo base).
• Ablación:
  • La combinación de la pasivación y el wrapper fue necesaria; la pasivación sola o el wrapper solo dejaron brechas significativas, particularmente en ataques de delegación (Nivel 3).

5. Significancia y Reivindicaciones

El artículo sostiene que la confianza en los sistemas de IA es una constelación de conceptos, no una propiedad singular. El sistema propuesto aborda la brecha específica de la confianza componible: la capacidad de sintetizar de manera confiable múltiples fuentes de diferente confianza.

• Probable vs. Medido: Los autores distinguen entre la autoridad probada (que es absoluta y arquitectónica) y la defensa de texto medida (que es probabilística y mejorada mediante el ajuste). Expresan explícitamente que, si bien no pueden probar que la defensa de texto sea 100% libre de fugas, pueden probar que una fuga, incluso si ocurre, no puede cambiar la autoridad del sistema ni activar acciones no autorizadas.
• Modestia: Los autores reconocen que la defensa es un "suelo" y que las tasas medidas son estimaciones del riesgo residual. No pretenden haber resuelto la inyección de prompts por completo, sino haber establecido un límite donde las consecuencias de una inyección están acotadas.
• Practicidad: El sistema está diseñado para ser desplegable en modelos existentes y no modificados (incluyendo APIs alojadas) y requiere solo un reajuste de los prompts cuando el modelo o la configuración de confianza cambian.

En resumen, el artículo presenta un cambio de intentar hacer que el modelo sea "seguro" mediante restricciones internas a construir una capa de gobernanza externa y determinista que impone relaciones de confianza, permitiendo que los LLM operen de manera segura en entornos multi-fuente y adversarios.