Resumen Técnico: Aprendizaje por Refuerzo Variacional Acoplado para el Razonamiento General de Modelos de Lenguaje

Enunciado del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado un éxito significativo en la mejora del razonamiento de los Modelos de Lenguaje de Gran Escala (LLM), particularmente en dominios matemáticos donde programas basados en reglas pueden verificar las respuestas finales. Sin embargo, este paradigma está limitado por el requisito de recompensas verificables, restringiendo su aplicabilidad a tareas de razonamiento general (por ejemplo, química, preguntas abiertas) donde la verificación formal es difícil o imposible.

Los enfoques recientes "sin verificador" intentan eludir esto utilizando la propia probabilidad del LLM de generar una respuesta de referencia correcta como señal de recompensa. Aunque efectivos, estos métodos suelen depender de la generación solo con la pregunta, donde el modelo muestrea trazas de razonamiento condicionadas únicamente a la pregunta de entrada. Los autores identifican dos limitaciones fundamentales en este diseño:

1. Baja Eficiencia de Muestreo: Sin guía, el modelo lucha por generar trazas de razonamiento útiles para preguntas difíciles, lo que conduce a una exploración ineficiente del espacio de razonamiento.
2. Incoherencia Trazas-Respuesta: El muestreo sin acceso a la respuesta objetivo puede resultar en trazas de razonamiento que son lógicamente sólidas pero que no logran alinearse con el formato o representación específicos de la verdad fundamental, provocando que un razonamiento correcto reciba recompensas bajas.

Metodología: Aprendizaje por Refuerzo Variacional Acoplado (CoVRL)

El artículo propone CoVRL, un marco que une la inferencia variacional y el aprendizaje por refuerzo para abordar las limitaciones del entrenamiento solo con la pregunta. La innovación central es el acoplamiento de las distribuciones priori y posterior a través de una estrategia de muestreo híbrida.

1. Formulación Variacional

El proceso de razonamiento se enmarca como un problema de variable latente donde las trazas de razonamiento ($z$) median entre la pregunta ($x$) y la respuesta ($y$). El objetivo es optimizar la verosimilitud marginal $p(y|x) = \int p(y|z, x)p(z|x) dz$.

• Distribución Priori ($p_\phi(z|x)$): Representa la generación solo con la pregunta, reflejando las condiciones reales de inferencia donde la respuesta es desconocida.
• Distribución Posterior ($q_\psi(z|x, y)$): Representa la generación guiada por la respuesta, muestreando trazas condicionadas tanto a la pregunta como a la respuesta correcta para asegurar la coherencia.

Los enfoques estándar optimizan ya sea la priori (ineficiente) o la posterior (causando una discrepancia entre entrenamiento e inferencia). CoVRL introduce una Distribución Compuesta $p'(z|x, y)$ que acopla estas dos:
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
Esta distribución compuesta permite que el modelo aprenda de señales guiadas por la respuesta mientras mantiene la alineación con las condiciones en tiempo de inferencia.

2. Estrategia de Muestreo Híbrido

Muestrear directamente de la distribución compuesta a nivel de token es computacionalmente complejo. En su lugar, CoVRL emplea una estrategia de muestreo híbrido fuera de política:

• Para cada ejemplo de entrenamiento, el modelo muestrea aleatoriamente de la priori con probabilidad $\alpha$ o de la posterior con probabilidad $1-\alpha$.
• Ponderación por Importancia: Para optimizar la distribución compuesta objetivo utilizando muestras de la distribución híbrida, el método aplica ponderación por importancia a las actualizaciones del gradiente de la política.
• Ingeniería de Prompts: La priori y la posterior se implementan utilizando un único LLM con diferentes plantillas de prompts:
  • Priori: Pregunta $\to$ Razonamiento $\to$ Respuesta.
  • Posterior: Pregunta $\to$ Respuesta $\to$ Razonamiento (proporcionando la respuesta como contexto para la generación del razonamiento).

3. Objetivo de Optimización

El objetivo de entrenamiento maximiza el Límite Inferior de Evidencia (ELBO), compuesto por:

• Término de Reconstrucción: Fomenta la generación de trazas que conduzcan a la respuesta correcta. Esto se optimiza utilizando la Optimización de Política Relativa por Grupos (GRPO) con recompensas derivadas de la propia probabilidad de predicción de respuesta del modelo (eliminando verificadores externos).
• Término de Regularización: Un término de divergencia KL $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ restringe la distribución compuesta para que permanezca cerca de la priori. Esto asegura que los patrones de razonamiento aprendidos durante el entrenamiento (que pueden usar guía de respuesta) se transfieran efectivamente a la inferencia (donde no hay respuesta disponible).
• Estimación de KL: El artículo deriva estimadores de KL de baja varianza y no negativos utilizando controladores de variación basados en la divergencia de Bregman, manejando la discrepancia de distribución entre el muestreo híbrido y la distribución compuesta objetivo.

Contribuciones Clave

1. Formulación Variacional del Razonamiento: Los autores formulan la optimización del razonamiento como un problema de inferencia variacional, unificando teóricamente los modos de generación priori (solo pregunta) y posterior (guiado por respuesta) dentro de un marco tratable.
2. Estrategia de Muestreo Híbrido: Proponen un mecanismo que equilibra el aprendizaje guiado por respuesta (para eficiencia y coherencia) con la transferibilidad en tiempo de inferencia (a través de la priori), abordando la compensación entre la eficiencia de muestreo y la alineación traza-respuesta.
3. Optimización de Distribución Compuesta: Al construir y optimizar una distribución compuesta, CoVRL permite una exploración eficiente mientras preserva una fuerte coherencia pensamiento-respuesta, evitando los problemas de cobertura del entrenamiento solo con posterior.

Resultados Experimentales

Los autores evaluaron CoVRL en una suite comprehensiva de puntos de referencia, incluido el razonamiento general (MMLU-Pro, GPQA, TheoremQA) y el razonamiento matemático (AIME'24, MATH-500, etc.), utilizando los modelos Qwen2.5-7B-Base y Qwen3.

• Mejoras de Rendimiento: CoVRL logró una mejora del 12.4% sobre el modelo base y una mejora del 2.3% sobre las líneas base de RL sin verificador más fuertes (como VeriFree, RLPR y LaTRO) en promedio.
• Generalización: A pesar de haber sido entrenado principalmente en preguntas no matemáticas, el modelo mostró ganancias sustanciales en puntos de referencia matemáticos, lo que indica que las capacidades de razonamiento aprendidas son generalizables entre dominios.
• Dinámicas de Entrenamiento: Los experimentos mostraron que la distribución posterior proporciona una guía efectiva para la mejora de recompensas, mientras que la distribución priori mejora de manera constante, confirmando que la guía se transfiere a la inferencia.
• Estudios de Ablación:
  • Ratio de Muestreo ($\alpha$): Un ratio de muestreo equilibrado ($\alpha=0.5$) superó a configuraciones extremas, confirmando la necesidad de acoplar ambas distribuciones.
  • Robustez: El método demostró mejoras consistentes a través de diferentes tamaños de modelo (de 7B a 14B) y arquitecturas.
  • Calidad del Razonamiento: Las evaluaciones humanas y mediante LLM como juez indicaron mejoras en la factualidad, validez, coherencia y utilidad de las trazas de razonamiento intermedias.

Significado y Afirmaciones

El artículo afirma que CoVRL proporciona un marco principiado para mejorar las capacidades de razonamiento general de los modelos de lenguaje sin depender de verificadores externos. Al acoplar explícitamente las distribuciones priori y posterior, el método supera la ineficiencia del muestreo solo con la pregunta y la discrepancia de inferencia del entrenamiento guiado por respuesta.

Los autores enfatizan que su enfoque democratiza el acceso al razonamiento avanzado de IA al eliminar la dependencia de motores de verificación robustos y específicos del dominio. Aunque reconocen el potencial de mal uso (por ejemplo, generar desinformación sofisticada), el trabajo se posiciona como un paso hacia un razonamiento más robusto y generalizable en los LLM, particularmente en dominios donde la verificación formal es actualmente inviable. Los resultados sugieren que desarrollar patrones de razonamiento fundamentales a través de este enfoque variacional acoplado es más efectivo que optimizar para soluciones específicas del dominio.