Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Resumen Técnico: SCOUT – Razonamiento Pre-hoc para la Asignación Adaptativa de Detectores

Planteamiento del Problema
Los detectores de inyección de prompts son inherentemente heterogéneos; cada detector destaca en segmentos específicos de categorías de ataque (por ejemplo, reglas léxicas, sondas de atención, clasificadores ligeros) mientras falla en otros. Los sistemas de defensa existentes suelen depender de pipelines fijos, como un único detector o una cascada estática, lo que obliga a cada solicitud a pasar por los puntos ciegos de un detector específico. Además, la defensa más precisa, un juez basado en LLM (por ejemplo, GPT-4o), incurre en una latencia prohibitiva (aproximadamente 1.5 segundos por solicitud) en comparación con los detectores ligeros (sub-milisegundos a decenas de milisegundos). El desafío central es equilibrar la seguridad (detectar ataques) frente a la utilidad (minimizar la latencia y mantener las tasas de paso de mensajes benignos) sin comprometerse con las limitaciones de un solo detector o el alto costo de tener un juez LLM siempre activo.

Metodología: Marco de Trabajo SCOUT
Los autores proponen SCOUT (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage), un marco que redefine la defensa como un problema de asignación de detectores por cada entrada. En lugar de una cascada fija, SCOUT decide dinámicamente qué detectores ejecutar para cada solicitud específica y si debe escalar a un juez LLM.

El sistema opera a través de tres componentes principales:

1. Huellas Digitales de Detectores y Recuperación:

   • SCOUT mantiene un conjunto fijo de entradas "ancla" (Anchor-400) que representan diversas estructuras de inyección.
   • Para cada detector en el grupo, se construye una huella digital (fingerprint) registrando su comportamiento (veredicto, corrección y latencia) en estos anclajes.
   • En la inferencia, para una nueva solicitud $x$, el sistema recupera los $K$ anclajes más similares basados en la estructura de la inyección (categoría, estrategia de ocultación, portador, mecanismo) en lugar del contenido temático. Esta recuperación es agnóstica al detector.

2. Predictor de Resultados (Razonamiento Pre-hoc):

   • Un modelo de lenguaje pequeño (Qwen3-4B) actúa como predictor. Toma los registros de las huellas digitales recuperadas y la muestra objetivo como entrada.
   • Utilizando un proceso de entrenamiento de dos etapas (Ajuste Fino Supervisado con racionales destilados a posteriori seguido de Optimización de Política Relativa de Grupo), el predictor estima dos valores para cada detector $D$ sobre la entrada $x$:
     • Corrección Predictiva ($pred\_corr$): Si $D$ clasificará correctamente $x$.
     • Latencia Predictiva ($pred\_lat$): Cuánto tiempo tardará en ejecutarse $D$.
   • El predictor está entrenado para emitir una cadena de razonamiento (Cadena de Pensamiento o Chain-of-Thought) antes de la predicción estructurada, lo que mejora la calibración.

3. Triaje Consciente de la Incertidumbre (Enrutamiento):

   • Selección de Subconjuntos: El enrutador filtra el "grupo ligero" de detectores, manteniendo solo aquellos donde $pred\_corr = 1$.
   • Votación con Peso de Confianza: Los detectores seleccionados se ejecutan en paralelo. Sus votos se agregan utilizando un peso de confianza que mezcla la evidencia local (precisión en los anclajes recuperados) y los priors globales (precisión general).
   • Puerta de Escalamiento: Si el voto ponderado es incierto (acuerdo $< \tau$), el sistema considera escalar al juez LLM. Crucialmente, el escalamiento ocurre solo si el predictor también estima que el juez es confiable para esa entrada específica.
   • Control de Latencia: Debido a que el predictor estima la latencia, el sistema puede predecir el tiempo total de ejecución (wall-clock time) para cualquier umbral $\tau$ antes de ejecutar la solicitud. Los operadores pueden establecer $\tau$ para cumplir con un presupuesto de latencia específico.

Contribuciones Clave

• Redefinición de la Defensa: El artículo cambia el paradigma de los pipelines de detección fijos a la asignación de detectores por entrada, permitiendo que el sistema iguale el detector con la categoría de ataque específica de la entrada.
• El Marco SCOUT: Una arquitectura novedosa que combina huellas digitales de comportamiento, un predictor de resultados pequeño y una regla de enrutamiento controlable. Permite que nuevos detectores se unan al grupo sin necesidad de reentrenamiento (solo requiere una pasada sobre los anclajes para generar su huella digital).
• Benchmark SCOUT-450: Un nuevo benchmark de evaluación enriquecido con inyecciones estructuralmente complejas orientadas a agentes (específicamente la categoría hidden_tricky) que los benchmarks anteriores subrepresentan. Incluye 255 muestras de ataque y 195 benignas.
• Controlabilidad: El sistema expone un único umbral de operador ($\tau$) que intercambia seguridad por latencia, con la capacidad de predecir el costo total de tiempo de ejecución por adelantado.

Resultados
Evaluado en SCOUT-450 y tres benchmarks externos (BIPIA, IPI, IHEval), SCOUT demuestra mejoras significativas sobre las líneas base:

• Frontera de Seguridad-Utilidad: En SCOX-450, en el punto operativo principal ($\tau=0.875$), SCOUT reduce la Tasa de Éxito de Ataque (ASR) en un 46% y la latencia total de tiempo de ejecución en un 40% en comparación con un juez GPT-4o siempre activo.
• Precisión: SCOUT logra una precisión de 0.933, superando al mejor detector individual (PIGuard, 0.669) y al juez siempre activo (GPT-4o, 0.924).
• Utilidad Benigna: Aunque SCOUT incurre en una caída de 5.1 puntos en la utilidad benigna comparado con el juez siempre activo (0.928 vs. 0.979), mantiene un alto rendimiento mientras reduce significativamente la latencia.
• Generalización: El sistema se transfiere a benchmarks externos (BIPIA, IPI, IHEval) sin reentrenamiento, adaptándose a diferentes distribuciones de ataque mediante la reasignación de detectores. Por ejemplo, en BIPIA, reduce la latencia 3.7 veces en comparación con el juez GPT-5.1 manteniendo una alta precisión.
• Ablaciones: El estudio confirma que la ganancia proviene de la capacidad del predictor para calibrar las estimaciones de fiabilidad (superando a predictores no basados en LLM como KNN/MLP) y de la estrategia de asignación por entrada (superando a las cascadas de confianza uniforme).

Significancia y Reivindicaciones
El artículo afirma que SCOUT ofrece una solución escalable y controlable para la defensa contra inyección de prompts.

• Escalabilidad: Añadir un nuevo detector requiere únicamente generar su huella digital sobre el conjunto de anclajes; no es necesario reentrenar el recuperador, el predictor ni el enrutador.
• Controlabilidad: Los operadores pueden ajustar el sistema a un presupuesto de latencia o un objetivo de seguridad específico usando el único umbral $\tau$, con la capacidad de predecir el costo por adelantado.
• Conciencia de Heterogeneidad: Al reconocer que ningún detector es universalmente fuerte, SCOUT aprovecha las diversas fortalezas de un grupo heterogéneo, enrutando los casos difíciles al juez LLM solo cuando es necesario y cuando se predice que el juez será confiable.

Los autores reconocen las limitaciones, señalando que SCOUT no puede superar la capacidad colectiva del grupo de detectores disponibles y que su efectividad depende de que el conjunto de anclajes cubra los ejes estructurales de la distribución de prueba. También señalan que el marco no defiende actualmente contra atacantes adaptativos que apuntan al enrutador mismo.