Resumen Técnico: Irracionalidad sobre la Desalineación de Valores en el Razonamiento de LLM

Declaración del Problema

A pesar del progreso significativo en el alineamiento de los Grandes Modelos de Lenguaje (LLM) con funciones de valor objetivo mediante métodos como el Ajuste Fino Supervisado (SFT), el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencias Directas (DPO), persiste una brecha crítica. Incluso cuando un LLM está bien alineado durante el entrenamiento, puede fallar al maximizar el valor alineado durante la inferencia. Este artículo argumenta que la desalineación de valores (donde la función de valor aprendida es incorrecta) no es la única fuente de fallo; más bien, la irracionalidad en el razonamiento persiste. Esta irracionalidad se define como la incapacidad del modelo para seleccionar la mejor respuesta disponible de sus candidatos muestreados, incluso cuando existen candidatos de alta utilidad dentro de la distribución de salida del modelo.

Metodología

Formalización del Riesgo de Valor Racional

Los autores formalizan matemáticamente este fenómeno como Riesgo de Valor Racional (RVR).

• Razonamiento Racional: Definido como la estrategia que maximiza la utilidad esperada en la dirección más pronunciada bajo una función de valor dada.
• Riesgo de Valor Racional ($R$): La discrepancia de utilidad entre la estrategia de razonamiento desplegada de un modelo ($d_\theta$) y su contraparte racional ($d^\circ_\theta$).
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  Donde $y^\circ$ es la respuesta racional e $y$ es la respuesta generada por la estrategia desplegada.

Estimación Limitada por Cómputo

Dado que el razonamiento perfectamente racional es incomputable debido a recursos finitos, el artículo introduce un marco de razonamiento racional limitado por cómputo.

1. Conjunto de Candidatos: Para un prompt dado, se extraen $K$ muestras independientes del modelo.
2. Utilidad Empírica: La utilidad de cada candidato se estima mediante $L$ llamadas a un verificador (o comprobaciones deterministas).
3. Estimador: El Riesgo de Valor Racional Empírico ($\hat{R}_{M,K,L}$) se calcula como la diferencia entre la utilidad empírica máxima encontrada en los $K$ candidatos (que representa el mejor despliegue posible) y la utilidad empírica promedio de la estrategia desplegada.

Descomposición del Error

El error de estimación del RVR se descompone en tres componentes distintos:

1. Error de Aproximación de Candidatos: El riesgo de que el conjunto finito de $K$ muestras no contenga una respuesta de alta utilidad.
2. Error de Muestreo de Prompts: Error estadístico derivado de la evaluación sobre un número finito de prompts ($M$).
3. Error de Verificación: Error introducido por verificadores estocásticos o imperfectos ($L$).

El artículo proporciona límites teóricos (Teorema 1) que muestran que el error total está acotado por el error de aproximación de candidatos más un término dependiente del número de prompts y la confianza del verificador.

Configuración Experimental

El estudio evalúa una amplia gama de modelos (de 7B a 72B de parámetros y APIs propietarias) a través de diversos benchmarks:

• Tareas Conversacionales: UltraFeedback, AlpacaEval (usando verificadores estocásticos).
• Razonamiento Verificable: GSM8K, MATH, HumanEval y MathArena (usando verificadores deterministas o casi deterministas).
• Modelos: Familias Llama-3.1, Qwen-2.5, Tülu-3 y modelos propietarios (GPT-5.2, GPT-5.5, DeepSeek-V4).
• Variables: Los experimentos varían la temperatura de muestreo, los presupuestos de votación de consistencia propia (self-consistency voting) y las longitudes de razonamiento (presupuestos de tokens).

Resultados Clave

Los experimentos validan cuatro hipótesis primarias:

1. H1: El Riesgo de Valor Racional es Generalizado.
   En todos los modelos y benchmarks, el RVR es consistentemente positivo. Los modelos frecuentemente generan candidatos de alta utilidad (Alta Utilidad Esperada Racional, REU) pero fallan en desplegarlos consistentemente (Menor Utilidad Esperada Real, AEU). Por ejemplo, en el benchmark MathArena, incluso modelos fuertes como GPT-5.2 exhiben un RVR de 0.360, lo que representa el 70.6% de la discrepancia total de utilidad.

2. H2: El Alineamiento de Valores Reduce, pero No Elimina, el RVR.
   Las etapas de alineamiento post-entrenamiento (SFT $\to$ DPO $\to$ RLVR) generalmente mejoran el AEU y reducen el RVR. Sin embargo, persiste un riesgo significativo incluso después de RLVR. En algunos casos (por ejemplo, Tülu-3-70B en MathArena), el alineamiento mejora la capacidad del modelo para muestrear respuestas de alta utilidad (aumentando la REU), pero el RVR en realidad aumenta como proporción del error total, indicando que la estrategia desplegada aún falla al seleccionar los mejores candidatos.

3. H3: El RVR es Altamente Sensible a la Estrategia de Inferencia.

   • Temperatura: Aumentar la temperatura de muestreo a menudo mejora la REU (al encontrar mejores candidatos) pero aumenta el RVR porque el modelo no logra seleccionar el mejor de manera consistente.
   • Consistencia Propia (Self-Consistency): Aumentar el presupuesto de votación (self-consistency) reduce significativamente el RVR al mejorar el AEU mientras la REU permanece estable.

4. H4: Un Razonamiento Más Largo Mejora la Racionalidad con Rendimientos Decrecientes.
   Extender la longitud del razonamiento (presupuesto de tokens) puede reducir el RVR, pero los beneficios son no monotónicos y disminuyen después de cierto umbral (por ejemplo, $T \ge 256$ o $1024$). En benchmarks de despliegue difíciles como MathArena, un razonamiento más largo mejora ligeramente la REU pero no logra mejorar el AEU, dejando el RVR alto.

Significancia y Reivindicaciones

El artículo afirma ser el primero en definir formalmente y medir empíricamente el Riesgo de Valor Racional en el razonamiento de LLM, separando explícitamente la irracionalidad en el tiempo de inferencia de la desalineación de valores.

• Dimensión de Evaluación Distinta: Los autores postulan que la racionalidad es una dimensión distinta y complementaria al alineamiento de valores. Un modelo puede estar perfectamente alineado (conocer qué es valioso) y, sin embargo, ser irracional (fallar al actuar sobre ese conocimiento durante la inferencia).
• Herramienta de Diagnóstico: El marco sirve como una herramienta de diagnóstico para identificar si las brechas de rendimiento se deben a la incapacidad de generar respuestas de alta calidad (fallo de muestreo) o a la incapacidad de seleccionarlas (fallo de despliegue).
• Limitaciones: El trabajo se centra en la utilidad definida sobre las respuestas finales, no sobre las trayectorias de razonamiento. No propone nuevos algoritmos para solucionar el RVR, sino que proporciona la base teórica y empírica para futuros algoritmos de tiempo de inferencia (por ejemplo, búsqueda guiada por verificador) para minimizar la utilidad no realizada.

En conclusión, el artículo demuestra que la "irracionalidad sobre la desalineación de valores" es un problema omnipresente en los LLM actuales, sugiriendo que las mejoras futuras en el rendimiento del razonamiento deben abordar no solo qué aprende el modelo, sino cómo razona y selecciona respuestas durante la inferencia.