Resumen Técnico: Fantasma en el Contexto

Definición del Problema

Este trabajo identifica un modo de fallo de seguridad distinto en los agentes de Modelos de Lenguaje Grande (LLM) denominado fallo de transporte de políticas durante el ensamblaje del contexto en tiempo de decisión.

En las pilas de agentes desplegados, el modelo no actúa sobre el historial de interacciones crudo. En su lugar, una capa de orquestación ($E$) ensambla un "estado de decisión" acotado ($C_t$) mediante la truncación, resumen, reordenación y reescritura del estado anterior antes de la llamada final al modelo ($M$). Los autores argumentan que el límite de seguridad se extiende más allá de los pesos del modelo y la superficie visible del prompt para incluir este subsistema de ensamblaje.

La amenaza central es que el estado portador de directivas (por ejemplo, políticas de seguridad, reglas de permitir/denegar, restricciones de autoridad) compite por un presupuesto limitado de tokens contra las salidas de herramientas, notas del planificador y contenido del usuario. Si el proceso de ensamblaje elimina, debilita o reasigna estas directivas antes de que el modelo las vea, el agente puede cruzar un límite de política sin ninguna inyección de prompt, compromiso del modelo o envenenamiento persistente de la memoria. El adversario solo necesita controlar la presión de programación (el volumen y el orden del contenido no de control) para inducir estos fallos.

El trabajo categoriza estos fallos en tres familias:

1. Desalojo: El estado portador de directivas es desplazado y ya no alcanza el estado de decisión (Fallo de Disponibilidad).
2. Aliasing: La directiva sobrevive pero se debilita semánticamente, reescribe o distorsiona, fallando en preservar el límite operativo original (Fallo de Integridad).
3. Inestabilidad de Vinculación: La directiva permanece visible pero se reasigna al actor, objeto o condición incorrecto (Deriva de Referencia).

Metodología

El estudio evalúa estos modos de fallo utilizando una campaña controlada y cerrada en modelos locales alineados: Llama 3.1 8B, Qwen 2.5 7B y Mistral 7B, con una extensión a Qwen 2.5 14B y Llama 3.1 70B.

Configuración Experimental

• Régimen de Presupuesto: Un presupuesto deliberadamente severo de 260 tokens en tiempo de decisión. Esto fuerza compensaciones realistas entre la estructura del sistema, los rastros de herramientas, los resúmenes y la consulta final, asegurando que la competencia de políticas sea observable.
• Vectores de Ataque: Se construyen escenarios para inducir desalojo, aliasing e inestabilidad de vinculación variando el orden y el volumen del contenido "relleno" (salidas de herramientas, notas del planificador) en relación con los segmentos portadores de directivas.
• Métricas:
  • Tasa de Retención Exacta de Restricciones (ECR): Si la respuesta final respeta exactamente todas las restricciones aplicables.
  • Tasa de Supervivencia de Restricciones (CSR): Una medida graduada de respeto parcial.
  • Tasa de Inversión de Decisión (DFR): Si cambiar únicamente el orden del prompt invierte el resultado de control.
  • Tasa de Preservación Directa (DPR): Una auditoría directa del estado de decisión ensamblado para verificar si los marcadores de restricción son explícitamente visibles antes de la llamada al modelo.

Intervención: SafeContext

Los autores proponen y evalúan SafeContext, una capa de control que interviene en el proceso de ensamblaje sin modificar los pesos del modelo. Sus mecanismos incluyen:

• Control de Admisión (LPC): Clasificar los segmentos entrantes como "Política" o "Datos" antes de la competencia de presupuesto.
• Fijación de Control Semántico (SCP): Reservar un presupuesto protegido para el estado portador de directivas y fijarlo en el estado de decisión.
• Reutilización de Prefijos Consciente de Caché: Reutilizar prefijos de control retenidos a lo largo de las vueltas para evitar costos de reserialización.
• Ingeniería de Contexto Invasiva (ICE): Activar recordatorios de control cortos cerca de la consulta final cuando la presión de tokens de entrada supera un umbral (Semivida de Seguridad).
• Auditor de Puntuación de Vinculación de Autoridad (ABS): Verificar que las directivas supervivientes permanezcan vinculadas a sus objetos previstos.

Resultados Clave

1. Riesgo Sistemático Sin Mitigar (C1)

El riesgo sin mitigar es sistemático. En el régimen de bajo presupuesto, el respeto exacto de las restricciones (ECR) es extremadamente bajo en todos los modelos y familias de ataques.

• Desalojo y Aliasing son los modos de fallo dominantes.
• Inestabilidad de Vinculación es menor y más ruidosa.
• Sin mitigación, los segmentos portadores de directivas son frecuentemente desplazados o debilitados por el historial ordinario antes de la llamada al modelo.

2. Efectos Residuales Frente a Compresión Fuerte (C2)

La efectividad de la mitigación depende altamente de la política de ensamblaje competitiva.

• Frente a una truncación simple, SafeContext produce ganancias pequeñas pero positivas en el ECR (por ejemplo, aumentando de ~0.027 a ~0.061 para SCP+ICE).
• Frente a una compresión estructurada fuerte (B2+), el aumento agregado desaparece en gran medida. El beneficio residual se concentra casi exclusivamente en el desalojo por desbordamiento (donde la presión es más alta) y en segmentos de aliasing específicos.
• Solo reproducción (simplemente repetir restricciones) no explica el efecto; las ganancias provienen del manejo específico del estado de control (fijación y aislamiento), no solo de la recencia.

3. Heterogeneidad y Escala (C3)

• El efecto es recurrente pero heterogéneo. El signo y la magnitud de los beneficios de mitigación dependen de la interacción entre los priores del modelo y la política de ensamblaje específica.
• Modelos más grandes (14B, 70B) no eliminan el fenómeno. Mientras que Qwen 14B muestra resultados positivos en aliasing, Llama 70B sigue siendo condicional a la política. La escala no colapsa el modo de fallo en un simple efecto de "modelo más grande"; la regla gobernante debe llegar viva al tiempo de decisión y estar correctamente representada.

4. Perfil Costo-Beneficio (C4)

SafeContext introduce un compromiso ajustable entre seguridad y sobrecarga:

• SCP (Admisión/Fijación): Bajo costo (~+5 tokens) con ganancias modestas en ECR.
• SCP+ICE: Mayor costo (~+37 tokens) con mayores ganancias en ECR.
• SCP+Caché+ICE: Puede realmente reducir los conteos totales de tokens (~-365 tokens) al evitar la reserialización de segmentos de control fijados, mientras aún logra las mayores ganancias en ECR.
• La "Ganancia de Seguridad" no es uniforme; es más pronunciada donde el estado portador de control está bajo la mayor presión.

Significado y Afirmaciones

El trabajo afirma que el ensamblaje del contexto en tiempo de decisión es una parte medible y distinta de la ruta de control en los agentes LLM.

• Cambio en el Modelo de Amenaza: La seguridad no puede limitarse a los pesos del modelo o a la superficie final del prompt. El subsistema que ensambla el contexto ($E$) es parte de la Base de Computación Confiable (TCB). Un adversario no necesita inyectar cadenas maliciosas; puede simplemente manipular la presión de programación para causar que las directivas autoritarias sean descartadas o debilitadas.
• Descomposición del Fallo: El trabajo operacionaliza una taxonomía de fallos (Desalojo, Aliasing, Inestabilidad de Vinculación) que va más allá de la genérica "degradación de contexto largo" hacia fallos específicos del estado de control.
• Endurecimiento Parcial: Si bien el respeto exacto absoluto sigue siendo bajo incluso después de la mitigación, el manejo dirigido del estado portador de directivas (admisión, fijación y refuerzo activado por presión) puede endurecer parcialmente el sistema.
• Implicación de Diseño: El estado portador de directivas debe tratarse como estado de tiempo de ejecución de primera clase, distinto del contexto conversacional ordinario o generado por herramientas. Requiere rutas de admisión explícitas, presupuestos reservados y auditorías de integridad, en lugar de estar sujeto a compresión oportunista.

Los autores concluyen que, si bien ventanas más grandes y mejoras genéricas de memoria no eliminan este problema, los fallos específicos del transporte de políticas en el ensamblaje acotado pueden descomponerse, medirse y mitigarse parcialmente mediante intervenciones en la capa de orquestación.