How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

A continuación se presenta un resumen técnico detallado del artículo "Cómo los Modelos de Lenguaje Procesan Entradas Fuera de Distribución: Un Marco de Dos Vías" de Hamidreza Saghir.

1. Planteamiento del Problema

El artículo aborda una falla crítica en los métodos recientes de detección Fuera de Distribución (OOD) de caja blanca para Modelos de Lenguaje Grandes (LLM). Métodos como las puntuaciones de confianza de CED, RAUQ y WildGuard, que dependen de mecanismos de atención y distancias de incrustación, han reportado un rendimiento sólido en benchmarks de seguridad. Sin embargo, el autor demuestra que estos resultados están estructuralmente confundidos por la longitud de la secuencia de entrada ($|r| \ge 0.61$).

• La Confusión: Las métricas basadas en atención (por ejemplo, entropía de atención, CED, RAUQ) operan sobre un simplex cuyo tamaño crece con la longitud de entrada $T$. En consecuencia, estas métricas heredan una dependencia estructural de $\Theta(\log T)$.
• La Consecuencia: Cuando se evalúan bajo condiciones emparejadas por longitud (donde las muestras dentro y fuera de distribución tienen conteos de tokens idénticos), estos métodos colapsan a un rendimiento cercano al azar (AUROC $\approx 0.50$). El artículo argumenta que los éxitos anteriores probablemente detectaban diferencias de longitud en lugar de señales OOD genuinas.

2. Metodología: El Marco de Dos Vías

Para identificar señales OOD genuinas tras desconfundir, el autor propone un Marco de Dos Vías organizado a lo largo de un Espectro de Transparencia del Vocabulario. Este marco distingue entre qué trata el texto y cómo lo procesa el modelo.

Vía A: La Vía de Incrustación ($X \to Z$)

• Mecanismo: Utiliza representaciones estáticas (incrustaciones) para capturar el contenido semántico del texto.
• Fortalezas: Efectiva para OOD distintivo de vocabulario (por ejemplo, Spam, Discurso de Odio) donde el texto OOD utiliza palabras raramente vistas en la distribución de entrenamiento.
• Limitaciones: Falla en OOD de intención encubierta (por ejemplo, Jailbreaks) donde el vocabulario es idéntico al texto normal pero la estructura o la intención son adversarias. El artículo muestra que los modelos de incrustación de oraciones independientes (MiniLM, BGE, etc.) fallan completamente en estas tareas independientemente de la capacidad del modelo.

Vía B: La Vía de la Trayectoria de Procesamiento ($\{h_l\}_{l=0}^L$)

• Mecanismo: Analiza la secuencia de estados ocultos a través de las capas para capturar la dinámica del procesamiento.
• Características: El autor extrae 9 características en cuatro categorías:
  1. Dinámica de estados ocultos: Similitud coseno entre capas consecutivas (suavidad de la transición).
  2. Geometría de representación: Cambios en la dispersión/variabilidad de las representaciones de tokens a través de las capas.
  3. Descomposición de componentes: El equilibrio entre las contribuciones de Atención y MLP en cada capa.
  4. Sondas específicas de capa: Señales de perturbación en capas tempranas.
• Garantía Teórica: A diferencia de los pesos de atención, los estados ocultos $h_l \in \mathbb{R}^d$ tienen una dimensionalidad fija $d$ independientemente de la longitud de la secuencia $T$. Por lo tanto, las características de trayectoria (específicamente las Categorías A y G) son estructuralmente independientes de la longitud.

3. Contribuciones Clave

1. Identificación de la Confusión por Longitud: El artículo demuestra formalmente y valida empíricamente que las puntuaciones OOD derivadas de la atención dependen estructuralmente de la longitud de la secuencia. Bajo evaluación emparejada por longitud, colapsan a niveles de azar.
2. El Marco de Dos Vías: Propone una teoría unificada que explica por qué diferentes tipos de OOD requieren estrategias de detección distintas:
   • El OOD distintivo de vocabulario se detecta mejor mediante Vías de Incrustación.
   • El OOD estructuralmente adversario (por ejemplo, Jailbreaks) se detecta mejor mediante Vías de Trayectoria de Procesamiento.
3. Independencia Formal de la Longitud: Proporciona pruebas matemáticas (Proposiciones A.2, A.4) que muestran que las características de trayectoria basadas en estados ocultos evitan la dependencia $\Theta(\log T)$ inherente a las estadísticas de atención.
4. Evidencia Mecanística: Utiliza el parcheo causal de activaciones y el análisis de circuitos para demostrar que las tareas adversarias (Jailbreaks) involucran circuitos de atención significativamente más que las tareas semánticas, mientras que las tareas de desplazamiento de contenido involucran circuitos MLP.

4. Resultados Experimentales

El marco fue evaluado en Qwen3-0.6B (principal) y validado en 6 modelos (360M–7B) y 6 tareas (ToxicChat, Jailbreak, Discurso de Odio, Spam, AGNews, Clasificación de Jailbreak).

• Rendimiento bajo Control de Longitud:
  • Métodos basados en atención (CED, RAUQ, Entropía): Colapsaron a un AUROC de 0.491 – 0.527 (cerca del azar).
  • Características de Trayectoria (Maha-Traj): Mantuvieron una señal fuerte con un AUROC promedio de 0.721.
    • Jailbreak: 0.850
    • Spam: 0.848
    • Discurso de Odio: 0.605
    • ToxicChat: 0.580
• El Efecto de Cruce:
  • k-NN (Señal de Contenido/Incrustación): Superó a las características de trayectoria en tareas diferenciables por contenido (Spam, ToxicChat, AGNews).
  • Trayectoria (Señal de Procesamiento): Superó a k-NN en tareas estructuralmente adversarias (Jailbreak, Clasificación de Jailbreak).
  • Fusión: Una fusión de peso fijo de ambas vías logró un AUROC promedio de 0.730, demostrando complementariedad.
• Hallazgos Mecanísticos:
  • Jailbreaks: Mostraron Dominio de Atención (p < 0.001). El parcheo causal reveló circuitos dispersos donde cabezas de atención específicas desplazan el enfoque de "tú/tu" a tokens directivos/meta-lingüísticos ("ignora", "prompt").
  • Discurso de Odio: Mostró Dominio de MLP (p = 0.002), dependiendo de la activación neuronal distribuida en lugar de cabezas de atención específicas.
  • Construcción de Señal: El análisis de la Capa 0 vs. la Última Capa mostró que para Jailbreaks, la señal de incrustación en la Capa 0 es cercana al azar (0.389), pero el procesamiento construye una señal fuerte (0.684) para la capa final.

5. Significado e Implicaciones

• Reevaluación de Benchmarks de Seguridad: El artículo sugiere que muchos resultados publicados de detección de seguridad basados en puntuaciones de atención son probablemente falsos positivos impulsados por diferencias de longitud de secuencia entre prompts benignos y adversarios.
• Nuevo Estándar para la Evaluación: Los autores abogan por la evaluación emparejada por longitud como un control obligatorio para cualquier método de detección OOD.
• Insight Arquitectónico: El trabajo proporciona una comprensión mecanística de cómo los LLM procesan diferentes tipos de anomalías. Sugiere que detectar "jailbreaks" requiere monitorear el proceso (trayectoria/dinámica de atención), mientras que detectar "spam" o "discurso de odio" puede basarse en el contenido (incrustaciones).
• Aplicación Práctica: El método propuesto basado en trayectorias (Maha-Traj) ofrece una alternativa robusta, no supervisada e invariante a la longitud para detectar entradas adversarias sin requerir reentrenamiento o clasificadores externos.

En resumen, este artículo cambia fundamentalmente el paradigma de la detección OOD en LLM al exponer un sesgo de longitud pervasivo en los métodos basados en atención e introducir un marco de dos vías fundamentado teóricamente que desentraña con éxito las anomalías basadas en contenido de los ataques adversarios estructurales.