Resumen Técnico: Autoatención como Transporte: Límites de las Diagnósticos Espectrales Simétricos

Enunciado del Problema

Los modelos de lenguaje grandes (LLM) alucinan a través de patologías de enrutamiento distintas: fallos de cuello de botella, donde la atención se concentra excesivamente en un conjunto estrecho de posiciones, y fallos difusos, donde la atención se dispersa tan finamente que la relevancia se diluye. Aunque estos modos parecen cuantitativamente similares bajo lentes espectrales estándar, son mecánicamente opuestos. Los diagnósticos espectrales existentes (por ejemplo, LLM-Check, EigenTrack, LapEigvals) a menudo fallan al distinguirlos o confunden fallos de capacidad con fallos direccionales. Además, muchas características espectrales heredan dependencias de confusión con la longitud de la secuencia, oscureciendo la señal estructural real del enrutamiento de la atención. Este artículo busca caracterizar los límites estructurales de lo que los diagnósticos basados en atención pueden y no pueden medir, abordando específicamente las limitaciones de los métodos espectrales simétricos para detectar la dirección del flujo de información.

Metodología

Los autores formalizan las cabezas de atención como operadores de transporte bipartitos normalizados por grado ($M$) entre consultas y claves. Esta representación produce un operador invariante a la escala cuyas propiedades espectrales codifican la calidad del enrutamiento. La metodología se basa en tres pilares:

1. Descomposición Ortogonal: El operador de transporte $M$ se descompone bajo el producto interno de Hilbert–Schmidt en un componente simétrico ($M_{sym}$) que gobierna la capacidad de transporte y un componente antisimétrico ($M_{asym}$) que gobierna la dirección del transporte.
2. Diagnósticos Espectrales:
   • Conductancia ($\phi$): Derivada del componente simétrico a través de la desigualdad de Cheeger, $\phi$ mide la eficiencia del transporte de información. Un $\phi$ bajo indica cuellos de botella; un $\phi$ alto indica mezcla difusa.
   • Coeficiente de Asimetría ($G$): Definido como la distancia de Frobenius normalizada de $M$ al subespacio simétrico ($G = \|M_{asym}\|_F / (\|M\|_F + \epsilon)$), $G$ sirve como el complemento mínimo requerido para recuperar la información direccional perdida por los resúmenes simétricos.
   • Brecha Espectral ($1-\sigma_2$): El segundo valor singular de $M$ actúa como un proxy para la conductancia.
3. Evaluación Controlada por Longitud: Para abordar la confusión, los autores introducen un protocolo de AUROC Controlado por Longitud (LC-AUROC). Esto implica estratificar las muestras por longitud de respuesta en bins, residualizar las puntuaciones contra la longitud dentro de los bins y agregarlas mediante un AUROC ponderado por pares. Esto aísla las señales de enrutamiento estructural de los artefactos dependientes de la longitud.
4. Puntos de Referencia Teóricos: El artículo deriva paisajes de conductancia de forma cerrada para arquitecturas causales canónicas (atención causal uniforme, atención de ventana) para establecer "pisos" arquitectónicos y formas esperadas de modos de fallo.

Contribuciones Clave

1. Límites Estructurales de los Diagnósticos Simétricos (Ceguera de Orientación)

El artículo demuestra el Teorema 4 (Ceguera de Orientación): Cualquier diagnóstico espectral que dependa únicamente de los valores singulares o del componente simétrico del operador de atención es invariante a la transposición. En consecuencia, tales diagnósticos son estructuralmente "ciegos a la orientación" y no pueden distinguir un operador de su transpuesta, volviéndolos incapaces de detectar la dirección del flujo de información. Una recíproca cuantitativa (Proposición 6) establece que cualquier diagnóstico Lipschitz sensible a la dirección debe depender del componente antisimétrico, con una sensibilidad acotada por $\|M_{asym}\|_F$.

2. Teoría de Conductancia Bidireccional

A diferencia de las métricas que detectan solo un modo de fallo, el marco de conductancia proporciona un diagnóstico bidireccional:

• Cuellos de botella: Una conductancia baja ($\phi$) certifica un enrutamiento sobreconcentrado.
• Mezcla difusa: Una conductancia anormalmente alta (relativa a las líneas base arquitectónicas) certifica un enrutamiento subconcentrado.
  Los autores derivan un paisaje bipartito-Cheeger de forma cerrada para la atención causal uniforme, demostrando un piso independiente de $n$ de $\phi \ge 1/5$ con un corte en el peor caso en $t^*/n \approx 0.32$. Se muestra que la atención de ventana perfora este piso como $O(w/n)$.

3. Suficiencia del Grado y Estructura de Acoplamiento

El Teorema 2 (Suficiencia del Grado) formaliza cuándo la estructura de acoplamiento contribuye a las propiedades espectrales más allá de la heterogeneidad del grado. Establece que para una atención casi regular ($\kappa \approx 1$), la brecha espectral se explica completamente por las distribuciones de grado. Solo cuando la heterogeneidad del grado se desvía significativamente, la estructura de acoplamiento proporciona una señal independiente.

4. Predicción Empírica de Polaridad

El marco produce una predicción falsable: los puntos de referencia dominados por cuellos de botella y los dominados por difusión deberían exhibir polaridades opuestas en las puntuaciones de conductancia.

• HaluEval: Las alucinaciones se agrupan en el régimen de baja conductancia (cuello de botella).
• MedHallu: Las alucinaciones se agrupan en el régimen de alta conductancia (difuso).
  Esta inversión de polaridad se observa empíricamente bajo evaluación controlada por longitud, validando la teoría bidireccional.

Resultados Empíricos

• Rendimiento Diagnóstico: Bajo LC-AUROC, las características de transporte retienen una señal interpretable (0.62–0.84) en modelos de hasta 8B parámetros.
  • Conductancia ($\phi$): Captura fallos de capacidad. La señal dominante cambia con la escala del modelo: a 70M parámetros, las estadísticas de ubicación (media) dominan (depresión uniforme); a 1.4B, las estadísticas de dispersión (desviación estándar) dominan (heterogeneidad de enrutamiento).
  • Asimetría ($G$): Generalmente dispersa (rendimiento cercano al azar) en modelos solo de decodificador, reflejando que el enrutamiento direccional dependiente del contenido no es el modo de fallo principal. Las excepciones incluyen Flan-T5 (donde $G$ detecta fallos de anclaje de atención cruzada) y Pythia (donde $G$ detecta desviaciones del decaimiento posicional inducido por RoPE).
• Comparación con Líneas Base:
  • Sondas de estado oculto (LLM-Check): Logran una detección general fuerte (0.62–0.72 LC-AUROC) pero son estructuralmente ajenas a los modos de fallo y muestran confusión moderada por longitud.
  • Clasificadores Espectrales Supervisados (EigenTrack): Muestran una señal marginal y una generalización pobre entre conjuntos de datos, probablemente debido al sobreajuste a firmas espectrales específicas del conjunto de datos y a una dependencia de longitud irreducible a través de las relaciones de aspecto.
• Escalado: Los diagnósticos de transporte persisten a través de las escalas de Pythia (de 70M a 1.4B) y LLaMA 3.1 8B, aunque el método de agregación requerido para capturar la señal cambia de basado en la media a basado en la varianza a medida que aumenta la capacidad del modelo.

Significado y Afirmaciones

El artículo afirma establecer un límite estructural para los diagnósticos de atención en lugar de proponer un único "mejor" detector de alucinaciones. Su significado principal radica en:

1. Descomposición: La partición de los fallos de enrutamiento en ejes ortogonales (capacidad vs. dirección) con garantías formales (desigualdad de Cheeger, teorema de ceguera de orientación).
2. Interpretabilidad: Proporcionar una explicación mecánica de por qué diferentes conjuntos de datos exhiben diferentes modos de fallo (cuello de botella vs. difuso) basándose en la forma del paisaje de conductancia.
3. Rigor Metodológico: Demostrar que la confusión por longitud puede inflar el AUROC crudo hasta en 0.28 puntos y establecer un protocolo (LC-AUROC) para aislar señales estructurales.
4. Perspectiva Arquitectónica: Mostrar que la "dispersión" de las señales direccionales ($G$) en modelos solo de decodificador es una propiedad arquitectónica (dominio de la estructura posicional sobre la dirección dependiente del contenido) y no un fallo del diagnóstico.

Los autores enfatizan que, aunque el marco caracteriza cómo falla el enrutamiento de la atención, no afirma resolver la detección de alucinaciones en todos los casos (por ejemplo, las brechas de conocimiento sin patología de enrutamiento pueden permanecer indetectables). La contribución es un marco principiado para comprender los límites estructurales del análisis espectral de la atención.