A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs

Resumen Técnico: Un Estudio Controlado de Métodos de Veracidad en el Tiempo de Decodificación para LLMs Ajustados por Instrucciones

Planteamiento del Problema
Los métodos de veracidad en el tiempo de decodificación (por ejemplo, decodificación de contraste de capa, intervención en el tiempo de inferencia, adaptadores de logits aprendidos) han demostrado previamente ganancias significativas (10–30 puntos porcentuales) en el benchmark TruthfulQA cuando se aplican a modelos de lenguaje base con una precisión inicial baja (por ejemplo, LLaMA-7B con ~25%). Sin embargo, los modelos de lenguaje extensos (LLMs) modernos ajustados por instrucciones ya alcanzan baselines sustancialmente más altos (61–76% en TruthfulQA), acercándose o incluso superando los techos reportados por métodos previos. Esto plantea una pregunta crítica: ¿siguen siendo efectivos estos métodos de decodificación en modelos fuertes y alineados, y pueden sus efectos medirse de manera fiable? Los autores argumentan que las evaluaciones previas pueden haber confundido mejoras genuinas con artefactos de medición, tales como la contaminación de datos, el sesgo del juez y el ruido estadístico.

Metodología
Los autores diseñan y aplican un riguroso marco de evaluación de seis controles para desentrañar las mejoras metodológicas genuinas de los artefactos de evaluación. Este marco se aplica a 5 modelos (que oscilan entre 1B y 70B de parámetros, incluyendo las familias Llama-3 y Qwen2.5), 3 benchmarks (TruthfulQA, HaluEval QA, TriviaQA) y 15 métodos de decodificación en el tiempo.

Los seis controles abordan modos de fallo específicos:

1. Entrenamiento Fuera de la Distribución (OOD): Los métodos aprendidos se entrenan en HaluEval QA (0% de solapamiento con TruthfulQA) para prevenir la contaminación de datos, lo cual los autores demuestran que puede inflar las ganancias hasta 6 veces.
2. Validación de Multi-Juez: Las evaluaciones utilizan múltiples jueces de LLM (Llama-3.3-70B, Qwen-235B) con variaciones en la formulación de los prompts para detectar el sesgo del juez y la preferencia por la verbosidad o estilos específicos.
3. Baselines de Decodificación Simples: Todos los métodos aprendidos se comparan contra barridos de parámetros simples y sin coste (temperatura y top-p) para asegurar que las ganancias no sean simplemente el resultado del ajuste de parámetros libres.
4. Controles de Confundidos: Las respuestas se analizan en subconjuntos de longitud igualada y de no-rechazo para asegurar que las ganancias no se atribuyan erróneamente a cambios en la longitud de la respuesta o en las tasas de rechazo en lugar de a la exactitud fáctica.
5. Intervalos de Confianza de Bootstrap: Se calculan IC del 95% mediante 10,000 remuestreos para distinguir la señal del ruido estadístico.
6. Varianza de la Semilla: Se utilizan múltiples semillas de evaluación para establecer el umbral de ruido de la medición.

Resultados Clave
Bajo controles estrictos, las ganancias reportadas anteriormente para los métodos de decodificación a nivel de token se reducen sustancialmente o desaparecen por completo:

• Métodos a Nivel de Token: En el benchmark completo de TruthfulQA (N=817), ningún método a nivel de token (incluyendo DoLA, ITI, decodificación contrastiva y adaptadores aprendidos como TRACE-LD) logra una mejora estadísticamente significativa sobre un baseline de búsqueda codiciosa (greedy). El adaptador aprendido con mejor desempeño (TRACE-LD) en realidad obtiene −2.0 puntos por debajo de greedy (p=.23).
• Sensibilidades de la Evaluación: El estudio identifica cinco sensibilidades que alteran individual o conjuntamente las conclusiones:
  • Contaminación: Entrenar con datos de TruthfulQA (27% de solapamiento) produce un +7.5pp, mientras que el entrenamiento OOD produce un +1.0pp; un mayor solapamiento puede incluso degradar el desempeño.
  • Elección del Juez: Diferentes jueces pueden revertir el signo de las mejoras (por ejemplo, TRACE-LD es +1.0pp con un juez y −21pp con otro).
  • Baselines Faltantes: El ajuste simple de temperatura (T=0.3) a menudo iguala o supera a los adaptadores aprendidos.
  • Efectos de Confundidos: Las ganancias suelen reflejar un aumento en la verbosidad o en el rechazo en lugar de la exactitud fáctica.
  • Ruido Estadístico: La varianza de la semilla (±1.3%) iguala la magnitud de las mayores mejoras observadas a nivel de token.
• Validación Cruzada de Benchmarks: La falta de efectividad universal se extiende a HaluEval QA y TriviaQA. La efectividad depende altamente de la combinación específica de modelo-benchmark en lugar de la sofisticación del método.
• Métodos Deliberativos: En contraste con las intervenciones a nivel de token, los métodos de prompting deliberativo muestran ganancias robustas. La Cadena de Pensamiento (CoT) logra entre +5.6 y +19 puntos porcentuales a través de los benchmarks como un método de un solo paso y libre de entrenamiento. La autocrítica también muestra ganancias significativas, aunque requiere una segunda pasada de generación.

Análisis Mecanicista
Los autores investigan por qué los métodos a nivel de token fallan en los modelos ajustados por instrucciones:

• Perturbación Difusa: Los adaptadores aprendidos (por ejemplo, TRACE-LD) modifican la selección de tokens de forma difusa a través de palabras funcionales y de contenido, sin una corrección fáctica dirigida.
• Insensibilidad a Hiperparámetros: Estudios de ablación extensos (43 configuraciones) muestran que la veracidad descendente permanece dentro de una banda estrecha independientemente de la pérdida de entrenamiento o la variación de hiperparámetros, lo que sugiere que la limitación es inherente al régimen de operación, no un fallo de ajuste.
• Compromisos (Trade-offs): La decodificación contrastiva aumenta la veracidad pero reduce drásticamente la capacidad informativa, lo que conduce a una disminución neta en la puntuación combinada de "Veraz e Informativo".
• Techo de Alineación: Los autores hipotetizan que el entrenamiento de alineación (RLHF/Ajuste por Instrucciones) ya ha capturado las ganancias accesibles mediante la manipulación de la distribución de salida, dejando errores que requieren razonamiento en lugar de perturbación de logits.

Significancia y Contribuciones
El artículo reclama cuatro contribuciones primarias:

1. Un Marco de Evaluación de Seis Controles: Un enfoque sistemático para la investigación de la veracidad que aborda la contaminación, el sesgo del juez, los baselines faltantes, los confundidos y el ruido estadístico.
2. Identificación de Cinco Sensibilidades de Evaluación: Evidencia cuantitativa de cómo elecciones específicas de evaluación pueden cambiar el signo o la magnitud de las mejoras reportadas.
3. Comparación Empírica Exhaustiva: Más de 120 experimentos controlados que proporcionan la comparación más extensa de métodos de decodificación en el tiempo sobre LLMs ajustados por instrucciones hasta la fecha.
4. Una Lista de Verificación de Evaluación de Siete Puntos: Requisitos prácticos para trabajos futuros, que incluyen reportar el solapamiento de entrenamiento/evaluación, usar acuerdo de multi-juez, comparar contra baselines simples y proporcionar intervalos de confianza de bootstrap.

Conclusión
Los autores concluyen que, en los LLMs modernos ajustados por instrucciones, la metodología de evaluación es tan crítica como el diseño del método. Si bien los métodos de decodificación a nivel de token mostraron un valor genuino en modelos base, su efectividad en modelos alineados es limitada y a menudo indistinguible del ruido bajo controles estrictos. En el régimen actual, el prompting orientado al razonamiento (específicamente CoT) parece ser más robusto que la perturbación a nivel de salida. El artículo aboga por un cambio hacia una evaluación más rigurosa y controlada para evitar que el campo persiga artefactos de medición.