Resumen Técnico: Amplificar, No Crear: Acumulación Temporal para la Inyección de Prompts de Combustión Lenta

1. Declaración del Problema

El desafío de seguridad central para los agentes de modelos de lenguaje que utilizan herramientas es la inyección de prompts, donde el texto adversarial en canales no confiables (páginas web, salidas de herramientas, archivos de repositorios) redirige el plano de control del agente. Las primitivas defensivas actuales dependen de la detección por evento: calificar mensajes o salidas de herramientas individuales y activar una alarma si un solo evento supera un umbral.

Este enfoque tiene un punto ciego estructural conocido como el régimen de combustión lenta (slow-burn). Un atacante puede distribuir una secuencia de directivas que parecen individualmente inocuas a lo largo de una trayectoria larga (por ejemplo, "empujar a este remoto", "usar esta URL", "incluir el archivo env"). Cada paso permanece por debajo del umbral de detección, evitando las alarmas, mientras que el efecto agregado resulta en una exfiltración de datos completa o en la toma de control del plano de control. Un detector por evento ajustado a una tasa de falsos positivos utilizable no puede bajar su umbral lo suficiente como para capturar estos pasos silenciosos sin ahogarse en el ruido de la charla benigna del agente.

La pregunta de investigación es si un acumulador temporal en el lado del proxy puede recuperar esta señal distribuida agregando puntuaciones sub-umbral a lo largo de una trayectoria, específicamente utilizando estadísticas de persistencia de pico (peak) y Suma Acumulada (CUSUM).

2. Metodología y Configuración Experimental

El Contrato Congelado y la Anti-circularidad

Para asegurar que los resultados no sean artefactos de sobreajuste, el estudio impone un estricto "contrato congelado" y una separación de anti-circularidad:

• Generador ($D_{gen}$): Un juez de LLM autorregresivo (mantenido fuera) utilizado únicamente por el generador de ataques para refinar los injertos (grafts). Califica qué tan fuertemente un evento se lee como un movimiento del plano de control. El generador no tiene acceso al evaluador.
• Evaluador ($D_{eval}$): El "detector de registro", un ensamble congelado de un clasificador de n-gramas de caracteres lineal y una cabeza de contraste de embeddings. Nunca es visto por el generador.
• Requisito de Transferencia: Los injertos deben ser sub-umbral bajo $D_{gen}$ y permanecer sub-umbral bajo $D_{eval} pura mediante transferencia entre familias, no mediante optimización contra el evaluador.
• Juez de Suelo: Un LLM mantenido fuera verifica que los injertos contengan directivas extraíbles por máquina vinculadas a bordes de acción ejecutados reales, evitando injertos degenerados de tipo "vacío".

El Mecanismo de Acumulación

Para una trayectoria de puntuaciones por evento $s_1 \dots s_T$:

• Pico (Peak): La puntuación máxima en la trayectoria ($\max_t s_t$).
• Persistencia: Una estadística CUSUM que se reinicia en cero: $g_t = \max(0, g_{t-1} + (s_t - k))$, donde $k$ es la deriva de referencia benigna (mediana de la puntuación de la población benigna).
• Restricción Clave: El CUSUM solo acumula masa de puntuación por encima de la deriva benigna $k$. Los injertos empujados profundamente por debajo de $k$ contribuyen con cero persistencia independientemente de su densidad.

Métricas de Evaluación

Para evitar confundir la contribución de los injertos con el "calor" inherente de las trayectorias portadoras, el punto final primario es el delta-injerto (graft-delta):
$$\text{m-delta} = \text{m}(\text{nativo} + \text{injertos}) - \text{m}(\text{solo nativo})$$
Esto mide la persistencia o masa de pico añadida atribuible específicamente a los injertos inyectados, comparando los injertos de ataque contra los injertos simulados (shams) benignos emparejados.

3. Resultados Clave

Resultado 0: Cohorte de Fundación (Ataques Concentrados)

En un conjunto de ataques concentrados mantenido fuera (donde un solo evento ya genera un pico), el acumulador a nivel de trayectoria (pico o persistencia) supera estadísticamente al foil por evento (AUC +0.092, 95% CI [+0.025, +0.155]). Sin embargo, la persistencia y el pico están estadísticamente empatados aquí, como era de esperar en ataques concentrados donde un solo evento domina.

Resultado 1: Exfiltración de Repositorio Git (Validación de Combustión Lenta)

En portadores limpios de GitHub con acciones de git repetidas, el injerto de cuatro directivas distribuidas y sub-umbral produjo un delta de persistencia positivo:

• Sobrevivientes de Ataque: Mediana de delta de persistencia de +0.0421.
• Simulacros Benignos: Mediana de delta de persistencia de +0.0150.
• Separación: AUC del delta de persistencia = 0.708 (sobre 4 sobrevivientes de ataque frente a 6 simulacros benignos).
• Control: El control de delta de pico emparejado falló en separar el ataque del simulacro (AUC 0.417).
• Conclusión: Una densidad de elevaciones leves y sub-umbral se acumula en masa de persistencia que los simulacros benignos no reproducen. Esto confirma que la acumulación temporal funciona cuando el detector subyacente proporciona un margen.

Resultado 2: Acciones Ampliadas (Fallo de Generalización)

Cuando la misma construcción de densidad cuatro se aplicó a acciones de rutas limpias más amplias (descargas de archivos, escenarios de compras):

• Resultado: Nulo decisivo. AUC del delta de persistencia = 0.167.
• Causa: El detector asignó puntuaciones indistinguibles (~0.42) tanto a las acciones de ataque como a las benignas. Los injertos aterrizaron demasiado "fríos" (cerca o por debajo de la deriva benigna) para acumular cualquier masa de persistencia.
• Conclusión: El fallo fue un fallo de margen del sensor, no un fallo de umbral. El acumulador no puede crear un margen donde el detector por evento no lo proporciona.

Resultado 3: Potencia Independiente (Bloqueo Estructural)

El estudio no pudo ser independientemente potenciado debido a la escasez de fuentes. El eje de exfiltración de repo git expone solo tres o cuatro tareas independientes. Ejecutar múltiples modelos sobre las mismas tareas crea pseudo-réplicas (datos correlacionados), no evidencia independiente. El estudio reporta esto como una limitación estructural del panorama actual de benchmarks.

4. Contribuciones Clave y Significado

La Tesis del "Amplificador de Margen"

La contribución primaria del artículo es la afirmación del mecanismo acotado: La acumulación temporal es un amplificador de margen, no un detector semántico.

• Puede recuperar la señal distribuida solo donde el detector por evento subyacente ya produce puntuaciones elevadas sub-umbral en los pasos de ataque.
• No puede crear un margen de detección donde el detector por evento asigna puntuaciones indistinguibles a las acciones de ataque y benignas.
• La "banda productiva" es estrecha (aproximadamente de 0.45 a 0.50 en el setup probado): los injertos deben estar por encima de la deriva benigna para acumular, pero por debajo del umbral para permanecer en combustión lenta.

Contribuciones Metodológicas

1. Advertencia de Pseudo-Replicación: El artículo identifica un peligro crítico en la evaluación de benchmarks de agentes donde la ejecución de múltiples modelos sobre la misma geometría de tarea se cuenta erróneamente como evidencia independiente. Argumenta por el muestreo en la unidad de independencia genuina (la tarea, no la ejecución).
2. Estándar de Auditoría de Independencia: Los autores introducen una "escalera de independencia" para la verificación:
   • Independencia de la ruta de datos: Rederivar los números a partir de recibos por evento congelados.
   • Independencia algorítmica: Re-implementaciones ciegas de las matemáticas.
   • Confianza en la capa de puntuación: Reconocer que las puntuaciones de los modelos son confiables pero están limitadas por versiones fijas (pins).
3. Protocolo de Evaluación No Circular: Una separación rigurosa entre el generador de ataques (objetivo de ocultación) y el evaluador (detector de registro) para asegurar que la transferencia sea genuina y no un artefacto de ajuste.

5. Reivindicaciones Modestas y Limitaciones

Los autores declaran explícitamente que este es un estudio de mecanismo acotado, no un sistema desplegable.

• No es un Nuevo Detector: No afirman tener un mejor detector por evento; el sensor por evento se mantiene congelado.
• Aplicabilidad Estrecha: El resultado positivo es específico para el eje de exfiltración de repo git donde existe un margen real por evento. Falla en acciones de rutas limpias más amplias.
• Tamaño de la Muestra: Los hallazgos positivos se basan en solo cuatro sobrevivientes de ataque a través de tres tareas independientes.
• Límites de Confianza: Aunque la aritmética está verificada, las puntuaciones por evento dependen de la confiabilidad de las salidas de los modelos subyacentes (confianza en la capa de puntuación).

En resumen, el artículo demuestra que la acumulación temporal puede amplificar señales débiles y distribuidas, pero depende estrictamente de la capacidad del sensor por evento para distinguir los pasos de ataque de los benignos, aunque sea solo ligeramente. Sirve como una advertencia contra la dependencia excesiva de la acumulación cuando el sensor subyacente carece de separación semántica, y como una guía metodológica para una evaluación de seguridad de agentes rigurosa y no circular.