Resumen Técnico: Selección de Capas Guiada por Atención para la Decodificación Contrastiva en Modelos de Lenguaje Grande

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) son propensos a las alucinaciones, generando contenido que parece plausible pero que es fácticamente incorrecto. Aunque los métodos de decodificación contrastiva como DoLa (Decodificación por Contraste de Capas) han mejorado la veracidad al contrastar las distribuciones de salida de las capas "maduras" (finales) y "prematuras" (tempranas) dentro de un mismo modelo, estos dependen exclusivamente de las divergencias en las distribuciones del vocabulario de salida (logits). Este enfoque ignora la información estructural embebida en los mecanismos de autoatención de los modelos, la cual puede proporcionar señales más sensibles para identificar las capas donde emerge el conocimiento fáctico.

Metodología

Los autores proponen tres estrategias guiadas por atención para seleccionar la capa prematura en el marco de trabajo de DoLa. En lugar de comparar logits de salida, estos métodos utilizan las distribuciones de autoatención ($A_l$) de las capas intermedias para determinar qué capa contrastar con la capa final ($L$).

Para una posición de token dada $t$, los métodos computan una fila de atención promediada por cabezales $a^l_t$ que representa la distribución de atención de la capa $l$ sobre los tokens pasados. Las tres estrategias son:

1. Attention-JSD: Selecciona la capa $l^*$ que maximiza la Divergencia de Jensen-Shannon (JSD) entre su distribución de atención y la distribución de la capa final.
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max: Selecciona la capa con la máxima entropía de atención, bajo la hipótesis de que una atención ampliamente distribuida sirve como señal para la selección de la capa.
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min: Selecciona la capa con la mínima entropía de atención, bajo la hipótesis de que una atención concentrada refleja una fuerte dependencia de tokens de evidencia específicos.
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

Estas estrategias preservan el marco de DoLa, incluyendo la restricción de plausibilidad (restringiendo los candidatos a tokens de alta probabilidad bajo la capa final) y el proceso de selección dinámica en cada token.

Contribuciones Clave

• Nuevas Señales de Selección: El artículo introduce el primer uso sistemático de la información estructural de los mecanismos de autoatención (divergencia y entropía) como señales dinámicas para la selección de capas a nivel de token en la decodificación contrastiva, yendo más allá de la dependencia de las distribuciones del vocabulario de salida.
• Validación Empírica: Experimentos extensos en los bancos de pruebas TruthfulQA y FACTOR a través de seis modelos (LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B) demuestran que las estrategias guiadas por atención superan consistentemente a DoLa original, particularmente en métricas que evalúan múltiples respuestas correctas (MC2 y MC3).
• Perspectivas Mecanísticas: A través del análisis por cabezales, los autores identifican que cabezales de atención específicos portan señales distintas conducentes a la discriminación de la veracidad. Demuestran que las mejoras en la veracidad no son uniformes en todos los cabezales; por ejemplo, el Cabezal 6 en LLaMA-7B produjo puntuaciones MC3 significativamente más altas que el promedio de todos los cabezales.

Resultados Experimentales

• TruthfulQA: Los métodos propuestos superaron consistentemente a la línea base y a DoLa. Attention-Entropy-Min alcanzó las puntuaciones más altas de MC2 (62.8%) y MC3 (36.5%) para LLaMA-7B, superando significativamente a DoLa. Attention-JSD produjo los mejores resultados para LLaMA-13B. Mientras que DoLa mantuvo la puntuación MC1 (respuesta única correcta) más alta para modelos más grandes (33B/65B), los métodos basados en atención superaron a DoLa en MC2 y MC3, lo que sugiere que las distribuciones de atención son más sensibles para resolver el conocimiento fáctico en escenarios de múltiples respuestas.
• FACTOR: En cuanto a la veracidad de texto de formato largo, los métodos mostraron un rendimiento comparable o superior a DoLa. Por ejemplo, Attention-Entropy-Max alcanzó un 62.6% de precisión en el subconjunto Wiki de LLaMA-7B (frente al 62.1% de DoLa), y Attention-JSD alcanzó un 64.1% en el subconjunto Wiki de Gemma-7B (frente al 63.3% de DoLa).
• Patrones de Selección de Capas: El análisis reveló que mientras DoLa y Attention-JSD tienden a seleccionar las capas más superficiales disponibles, Attention-Entropy-Min selecciona de forma adaptativa capas a través de un rango más amplio y profundo (por ejemplo, capas 22–30 en LLaMA-7B), lo que sugiere que responde de manera más dinámica al contexto de entrada.
• Distribución de Puntuación: DoLa tiende a producir distribuciones "afiladas" con alta confianza en una sola respuesta correcta (beneficioso para MC1), mientras que los métodos basados en atención producen distribuciones más "planas" que distribuyen las puntuaciones entre múltiples opciones correctas (beneficioso para MC2/MC3).

Significado y Reivindicaciones

El artículo sostiene que las distribuciones de atención interna proporcionan una señal más sensible para resolver el conocimiento fáctico que las distribuciones del vocabulario de salida, particularmente para tareas que requieren la identificación de múltiples respuestas válidas. Al aprovechar la información estructural de la autoatención, los métodos propuestos mejoran la veracidad sin requerir entrenamiento adicional o modelos externos.

Los autores enfatizan que su enfoque es un complemento práctico para el tiempo de inferencia que mantiene la sobrecarga computacional dentro de un rango razonable. Concluyen que, si bien los métodos actuales requieren validación previa para seleccionar los cubos de capas candidatas, el descubrimiento de que cabezales de atención específicos (en lugar de solo el promedio) impulsan la veracidad sugiere un camino para la optimización futura mediante la selección de cabezales dependiente del contexto.

Limitaciones

Los autores reconocen que su evaluación está actualmente limitada a bancos de pruebas de opción múltiple, y la aplicabilidad a la generación de texto libre aún debe ser verificada. Además, la selección de los cubos de capas prematuras candidatas todavía requiere validación, y la base teórica de por qué ciertos cabezales de atención sobresalen en la recuperación fáctica aún no se ha dilucidado completamente.