Resumen Técnico: ¿Cuándo son correctas las respuestas probables? Sobre la probabilidad de secuencia y la corrección en los LLM

Planteamiento del problema

Los modelos de lenguaje extensos (LLM) son sistemas autorregresivos que asignan probabilidades a secuencias de tokens. Los métodos de decodificación (por ejemplo, búsqueda de haz [beam search], muestreo top-k, Best-of-N) suelen estar diseñados para desplazar la masa de probabilidad hacia salidas que sean más probables bajo el modelo, ya sea localmente a nivel de token o globalmente a nivel de secuencia. Un supuesto fundamental que impulsa estos métodos es que una mayor probabilidad de secuencia se correlaciona con la corrección. Sin embargo, las observaciones empíricas sugieren que esta relación no es universal; por ejemplo, la búsqueda de haz, que aproxima la secuencia más probable, a menudo degrada el rendimiento en comparación con los métodos de muestreo.

Este artículo aborda la pregunta central: ¿Cuándo se alinea realmente la probabilidad de la secuencia (la probabilidad condicional de una continuación dada una instrucción/prompt) con la corrección? Los autores pretenden cuantificar esta relación a través de diferentes métodos de decodificación, modelos y evaluaciones para determinar cuándo maximizar la probabilidad conduce a mejores respuestas y cuándo no lo hace.

Metodología

Los autores llevan a cabo un estudio empírico a gran escala que cuantifica la correlación entre la log-probabilidad de la secuencia y la corrección en cuatro niveles distintos de granularidad:

1. Correlación entre métodos (Across-Method Correlation): Comparar diferentes métodos de decodificación (y sus hiperparámetros óptimos) en un modelo y conjunto de datos fijos.
2. Correlación dentro de un método (Within-Method Correlation): Analizar cómo el cambio de los hiperparámetros dentro de un único método de decodificación afecta tanto a la probabilidad como a la corrección.
3. Correlación dentro de un conjunto de datos (Within-Dataset Correlation): Examinar la relación entre la log-probabilidad y la corrección a través de todos los pares de instrucción-respuesta dentro de un conjunto de datos, modelo y método específicos.
4. Correlación dentro de una muestra (Within-Sample Correlation): Investigar la correlación entre múltiples respuestas generadas para la misma instrucción.

Configuración experimental:

• Modelos: 14 modelos de las familias Qwen2.5, Qwen3 y Olmo3 (que oscilan entre 0.6B y 8B de parámetros), incluyendo variantes base y post-entrenadas.
• Conjuntos de datos: 6 conjuntos de datos de evaluación que cubren razonamiento matemático (MATH500), generación de código (HumanEval), seguimiento de instrucciones (IFEval) y conocimiento general/razonamiento médico (GPQA, MedQA, MMLU).
• Métodos de decodificación: Se evaluaron 8 métodos:
  • Métodos locales: Muestreo de baja temperatura (LTS), Top-k, Top-p, $\epsilon$-sampling.
  • Métodos globales: Búsqueda de haz (beam search), Best-of-N (BoN), Muestreo de Potencia Escalable (SPS) y Power-SMC.
• Métricas: El estudio utiliza coeficientes de correlación de Pearson (sobre datos agrupados/binned) y coeficientes de correlación de rango de Spearman para medir la relación entre la log-probabilidad y las etiquetas de corrección binaria.

Contribuciones clave y hallazgos

1. Enmarcar la decodificación como maximización de la probabilidad

El artículo enmarca formalmente los métodos de decodificación como enfoques para maximizar la probabilidad de la secuencia. Distingue entre métodos locales (que modifican la distribución del siguiente token en cada paso, fallando a menudo en la maximización de la probabilidad global de la secuencia debido a las constantes de normalización locales) y métodos globales (que apuntan al modo o a la distribución de potencia de la secuencia completa). Los autores proporcionan un objetivo variacional que muestra cómo la distribución de potencia actúa como un maximizador suave de la probabilidad de la secuencia, realizando un intercambio entre la esperanza de la log-probabilidad y la entropía.

2. Correlación dependiente de la granularidad

El hallazgo central es que la relación entre la probabilidad y la corrección no es uniforme; depende fuertemente del nivel de análisis:

• Dentro del conjunto de datos (Hallazgo 1): Existe una correlación consistente, a menudo positiva, entre la log-probabilidad y la corrección dentro de un conjunto de datos, modelo y método fijos. Esta correlación está determinada en gran medida por el conjunto de datos y la variante del modelo más que por el método de decodificación. Por ejemplo, MATH500 muestra una correlación positiva casi perfecta, mientras que IFEval a menudo muestra una correlación negativa para los modelos base. Los modelos post-entrenados generalmente muestran correlaciones positivas, mientras que los modelos base son más diversos.
• Dentro del método (Hallazgo 2): Ajustar los hiperparámetros de un método de decodificación específico para aumentar la probabilidad de la secuencia no mejora la corrección de manera fiable. Aunque el cambio de hiperparámetros (por ejemplo, temperatura, ancho de haz) a menudo produce secuencias con una log-probabilidad más alta, estas secuencias son frecuentemente menos correctas. No existe una forma consistente de ajustar un método para maximizar simultáneamente tanto la probabilidad como la exactitud a través de los conjuntos de datos.
• Entre métodos (Hallazgo 3): Ningún método de decodificación único supera consistentemente a otros en términos de corrección, incluso al elegir los hiperparámetros óptimos. Aunque muchos métodos producen secuencias que son más probables y más correctas que una línea base de baja temperatura (LTS), esto no es una regla fiable. Específicamente, aumentar la probabilidad de la secuencia mediante el cambio de método (por ejemplo, al usar Power Sampling) no garantiza una mayor exactitud.
• Dentro de la muestra (Hallazgo 5): Para una única instrucción, la correlación entre la log-probabilidad y la corrección entre muestras repetidas es generalmente débil y se distribuye simétricamente alrededor de cero. Sin embargo, las instrucciones donde el modelo genera una mayor fracción de respuestas correctas tienden a exhibir correlaciones positivas dentro de la muestra más fuertes.

3. Implicaciones para la auto-mejora y la auto-consistencia

El artículo conecta estos hallazgos con la auto-mejora sin verificador y la auto-consistencia (SC):

• Auto-consistencia (Hallazgo 6): Para el muestreo de baja temperatura, el voto por mayoría (ponderación uniforme) suele superar a la votación ponderada por probabilidad. Esto se atribuye a las correlaciones dentro de la muestra débiles o simétricas, lo que significa que una alta probabilidad no indica de forma fiable la respuesta correcta para una instrucción específica.
• Auto-mejora (Hallazgo 4): Los bucles de auto-mejora recursivos basados en la probabilidad pueden requerir una exactitud base suficiente para ser efectivos. La correlación entre la probabilidad y la corrección escala con la exactitud general del modelo; si el modelo no es ya preciso, reforzar las muestras de alta probabilidad puede reforzar las respuestas incorrectas.

Significado y afirmaciones

El artículo afirma aclarar las condiciones bajo las cuales se puede esperar que la decodificación mejore la corrección. Su principal contribución es una comprensión matizada de que la probabilidad de la secuencia es una señal útil para distinguir respuestas correctas de incorrectas a través de un conjunto de datos, pero es una señal deficiente para seleccionar hiperparámetros o métodos de decodificación para mejorar el rendimiento en una tarea específica.

Los autores enfatizan que la intuición "mayor probabilidad equivale a mayor corrección" se mantiene a nivel de conjunto de datos (permitiendo a los modelos distinguir respuestas buenas de malas en agregado) pero falla a nivel de toma de decisiones (seleccionar la mejor respuesta para una instrucción específica o ajustar un método). En consecuencia, el artículo aconseja no confiar únicamente en la probabilidad de la secuencia para:

1. Seleccionar el método de decodificación o los hiperparámetros óptimos sin validación empírica.
2. La agregación ponderada por probabilidad en la auto-consistencia (a menos que el modelo tenga una exactitud muy alta).
3. Bucles de auto-mejora sin verificador sin asegurar un nivel suficiente de exactitud de la tarea.

El trabajo sugiere que las futuras estrategias de decodificación deberían centrarse en la granularidad de la correlación: aprovechando las señales de probabilidad para el filtrado a nivel de conjunto de datos, reconociendo al mismo tiempo sus limitaciones para la selección a nivel de instancia.