🤖 machine learning

Maximum Likelihood Reinforcement Learning

Este artículo introduce el Aprendizaje por Refuerzo de Máxima Verosimilitud (MaxRL), un marco novedoso que cierra la brecha entre el RL de recompensa esperada y la máxima verosimilitud al ofrecer un objetivo indexado por cómputo que domina en sentido de Pareto a los métodos existentes y mejora significamente la eficiencia del escalado en tiempo de prueba.

Autores originales: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Publicado 2026-08-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existen dos formas dominantes de enseñar a una computadora cómo pensar. La primera es como un maestro estricto que proporciona la respuesta correcta para cada pregunta, permitiendo al estudiante comparar su trabajo con una clave y ajustar su comprensión en consecuencia. Este método, conocido como aprendizaje supervisado, ha impulsado los reconocedores de imágenes y las herramientas de lenguaje más impresionantes que utilizamos hoy en día. El segundo enfoque es más parecido a un niño aprendiendo a caminar: no hay una clave de respuestas, solo el entorno mismo. El aprendiz intenta un paso, se cae, lo intenta de nuevo y, eventualmente, aprende a mantener el equilibrio sintiendo las consecuencias de sus acciones. Esto es el aprendizaje por refuerzo, un método diseñado para situaciones donde el camino hacia una solución no es una línea recta de datos, sino una serie de elecciones que conducen a un resultado final. Durante años, cuando los sistemas de IA se enfrentaban a problemas donde la única retroalimentación era un simple "sí" o "no" al final —como resolver un problema matemático o navegar por un laberinto—, los investigadores confiaron en este segundo método. Trataron el problema como un juego de maximización de recompensas, asumiendo que si la IA podía obtener suficientes señales de "sí", aprendería a tener éxito.

Un nuevo estudio desafía esta suposición largamente sostenida, sugiriendo que la forma estándar de enseñar estos sistemas es en realidad una aproximación tosca de un principio mucho más poderoso, pero previamente inaccesible. Los investigadores, trabajando en diversas universidades, descubrieron que cuando un modelo de IA genera una respuesta correcta, está creando implícitamente una probabilidad de éxito. En un mundo perfecto, la mejor manera de entrenar al modelo sería maximizar esta probabilidad directamente, un concepto conocido como máxima verosimilitud. Sin embargo, debido a que el proceso de generar una respuesta a menudo implica pasos impredecibles que no pueden medirse fácilmente por la matemática interna de una computadora, los científicos se han visto obligados a utilizar el enfoque de "juego" del aprendizaje por refuerzo. El nuevo trabajo demuestra que este enfoque estándar es solo un primer orden de aproximación al objetivo real. Pierde la información sutil y crítica oculta en los momentos raros en que el modelo tiene dificultades pero finalmente tiene éxito. Al desarrollar un nuevo marco de entrenamiento llamado Aprendizaje por Refuerzo de Máxima Verosimilitud, o MaxRL, el equipo ha encontrado una manera de cerrar esta brecha, permitiendo que el sistema aprenda de sus éxitos con una precisión que antes era imposible.

El núcleo del descubrimiento reside en cómo la computadora pondera sus errores y sus victorias. En el método tradicional, cada vez que el modelo produce una respuesta correcta, recibe una recompensa, y el sistema ajusta sus configuraciones internas para hacer que ese resultado sea más probable. Sin embargo, este método trata una respuesta correcta de la misma manera, independientemente de cuán difícil haya sido el problema. Si el modelo resuelve un rompecabezas simple y uno complejo con la misma facilidad, el sistema tradicional les otorga el mismo crédito. La nueva investigación muestra que esto es ineficiente. El verdadero objetivo es maximizar la verosimilitud de ser correcto, lo que matemáticamente exige que el sistema preste mucha más atención a los problemas difíciles donde el éxito es poco común. El método estándar falla en esto porque solo observa la tasa de éxito promedio. El nuevo marco, MaxRL, cambia el cálculo al observar el historial completo de intentos. Pregunta: "Si intentáramos este problema muchas veces, ¿con qué frecuencia lo lograríamos?". Al analizar la frecuencia de éxito a través de muchos intentos, el sistema puede inferir la verdadera dificultad del problema y ajustar su aprendizaje en consecuencia.

Para probar esta idea, los investigadores construyeron un sistema que pudiera simular este proceso de aprendizaje más sofisticado. Crearon una familia de objetivos que podían ajustarse como un dial. En un extremo del dial, el sistema se comporta exactamente como los métodos de aprendizaje por refuerzo estándar utilizados hoy en día. En el otro extremo, se comporta como el entrenador de máxima verosimilitud ideal, que es teóricamente perfecto pero usualmente imposible de ejecutar. En el medio, el dial permite que el sistema utilice más potencia de cómputo para obtener una aproximación mejor y más precisa de ese ideal. El equipo encontró que, a medida que aumentaban la potencia de cómputo dedicada a generar múltiples intentos para cada problema, el rendimiento del sistema mejoraba drásticamente. No era solo que el sistema se volviera más estable; la naturaleza misma de lo que estaba aprendiendo cambiaba. Comenzó a enfocarse intensamente en los problemas difíciles que los métodos antiguos ignoraban, lo que llevó a una comprensión mucho más profunda de la tarea.

Los resultados de este enfoque fueron sorprendentes en una variedad de pruebas. En un entorno controlado donde los investigadores podían comparar directamente el nuevo método contra el ideal teórico, el nuevo sistema se acercó estrechamente al rendimiento del entrenador perfecto a medida que añadían potencia de cómputo. En contraste, los métodos estándar chocaron contra un muro, fallando en realizar avances significativos incluso cuando se les dotaba de cantidades masivas de datos. Cuando el equipo pasó a escenarios más complejos y del mundo real, como navegar por laberintos y resolver problemas matemáticos, la ventaja fue aún más clara. En tareas que involucraban razonamiento matemático, el nuevo método logró ganancias de rendimiento que fueron hasta veinte veces más eficientes que los métodos de vanguardia actuales. Esto significa que, para alcanzar el mismo nivel de habilidad, el nuevo sistema requirió muchos menos intentos y menos tiempo de computación. Quizás lo más importante es que el nuevo método no sufrió el problema del "sobreajuste" (overfitting) que suele afectar a estos sistemas, donde un modelo aprende a memorizar tan bien los datos de entrenamiento que falla al generalizar ante problemas nuevos y no vistos. Mientras que otros métodos vieron cómo su capacidad para generar soluciones correctas y diversas se degradaba con el tiempo, el nuevo marco mantuvo una variedad saludable de respuestas correctas, lo que sugiere que realmente estaba aprendiendo la lógica subyacente en lugar de solo memorizar patrones.

Las implicaciones de este trabajo se extienden más allá de simplemente hacer la IA más inteligente; cambia la forma en que pensamos sobre los límites del aprendizaje automático. Durante mucho tiempo, la dificultad para entrenar estos sistemas en tareas de razonamiento complejo se atribuyó a los algoritmos mismos o a la falta de datos. Este estudio sugiere que el cuello de botella era en realidad la función objetivo: el objetivo matemático que el sistema intentaba alcanzar. Al cambiar el objetivo de simplemente maximizar la recompensa promedio a maximizar la verosimilitud de la corrección, los investigadores desbloquearon un nuevo nivel de eficiencia. El sistema ya no solo está adivinando la respuesta correcta; está aprendiendo a comprender la probabilidad de éxito de una manera que refleja cómo los humanos aprenden de las victorias raras y difíciles de conseguir. Los investigadores señalan que este enfoque funciona mejor cuando existe una forma clara de verificar si una respuesta es correcta, como en matemáticas o programación, pero los principios podrían aplicarse potencialmente a otras áreas donde el resultado es binario. A medida que la inteligencia artificial continúe abordando problemas más complejos y abstractos, la capacidad de aprender eficientemente a partir de una retroalimentación dispersa será crucial. Este nuevo marco proporciona un camino a seguir, demostrando que, al refinar la forma en que definimos el éxito, podemos enseñar a las máquinas no solo a aprender más rápido, sino mejor.

Resumen Técnico: Aprendizaje por Refuerzo de Máxima Verosimilitud (MaxRL)

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) es el paradigma estándar para entrenar modelos en entornos donde la función objetivo no es diferenciable y solo puede evaluarse mediante muestreo, como en tareas con resultados binarios de éxito/fracaso (por ejemplo, síntesis de programas, razonamiento matemático, navegación). En estos escenarios, el modelo induce una verosimilitud implícita de corrección, $p_\theta(y^*(x) | x)$ , para un dato de entrada $x$ dado. Si bien la Máxima Verosimilitud (ML) es el objetivo fundamentado para optimizar tales probabilidades en entornos diferenciables, es tradicionalmente intratable aquí debido al proceso estocástico no diferenciable de generación. En consecuencia, los profesionales recurren al RL estándar, que optimiza la recompensa esperada (la tasa de éxito esperada, $E[p_\theta]$ ), en lugar del logaritmo de la verosimilitud ( $E[\log p_\theta]$ ).

Los autores observan que el ML estándar y el ML inducen comportamientos de optimización fundamentalmente diferentes. Específicamente, el gradiente del objetivo de ML implica un reponderado por la inversa de la probabilidad ( $1/p_\theta$ ), lo que pone un énfasis significativamente mayor en los datos "difíciles" con bajas probabilidades de éxito. En contraste, los gradientes del RL estándar ( $\nabla p_\theta$ ) tratan todos los datos de forma lineal, subestimando a menudo los casos difíciles. Este desajuste sugiere que el RL es simplemente un recurso provisional para la no diferenciabilidad, más que el objetivo óptimo para tareas basadas en la corrección.

Metodología: Aprendizaje por Refuerzo de Máxima Verosimilitud (MaxRL)

El artículo introduce el Aprendizaje por Refuerzo de Máxima Verosimilitud (MaxRL), un marco que cierra la brecha entre el RL de recompensa esperada estándar y la Máxima Verosimilitud exacta mediante el aprovechamiento de un mayor cómputo de muestreo.

Fundamento Teórico

Los autores derivan una expansión a nivel de población del objetivo de Máxima Verosimilitud utilizando una serie de Maclaurin en términos de eventos de fallo. Para una tasa de éxito $p$ , el logaritmo de la verosimilitud es:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
La diferenciación de esto produce el gradiente de ML como una mezcla armónica infinita de gradientes de pass@k:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
El RL estándar corresponde a la aproximación de primer orden ( $k=1$ ), optimizando únicamente $\nabla_\theta \text{pass@}1$ . MaxRL propone truncar esta serie en un orden finito $T$ , creando una familia de objetivos $J_{MaxRL}^{(T)}$ que interpolan entre RL ( $T=1$ ) y la ML exacta ( $T \to \infty$ ).

Estimación del Gradiente

Para estimar estos objetivos truncados sin un muestreo adaptativo (que es computacionalmente costoso para tasas de éxito bajas), los autores proponen un estimador on-policy simple.

Muestreo: Para un dato de entrada dado, se muestrean $N$ trayectorias $z_1, \dots, z_N$ de la política $m_\theta$ .
Condicionamiento de Éxito: Se identifican las trayectorias exitosas donde $f(z_i) = y^*(x)$ . Sea $K$ el recuento de éxitos.
Estimador: El estimador de gradiente promedia las funciones de puntuación ( $\nabla_\theta \log m_\theta(z_i|x)$ ) solo sobre las trayectorias exitosas, normalizadas por $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{si } K \ge 1)$
donde $r_i$ es la recompensa binaria y $S_i$ es la puntuación.
Reducción de Varianza: Se resta una covariante de control (la puntuación promedio incondicional) para reducir la varianza, resultando en el estimador final utilizado en el Algoritmo 1.

Idea Clave: El Teorema 2 establece que este estimador es un estimador insesgado para el objetivo de ML truncado de orden $T=N$ (o $T=N-1$ con sustracción de la línea base). Crucialmente, aumentar el número de ejecuciones (rollouts) $N$ no solo reduce la varianza de un objetivo fijo; sino que aumenta el orden de aproximación del propio objetivo, acercando el objetivo de optimización a la verdadera Máxima Verosimilitud.

Implementación

MaxRL requiere solo una modificación de una sola línea en las implementaciones de RL on-policy estándar (como RLOO o GRPO). En lugar de normalizar la ventaja por el número total de muestras o la desviación estándar, la ventaja se normaliza por la recompensa media (o el recuento de muestras exitosas), reponderando efectivamente la señal del gradiente para que coincida con el objetivo de ML.

Principales Contribuciones

Formalización: El artículo formaliza el RL basado en la corrección como un problema de Máxima Verosimilitud de generación latente, demostrando que el RL estándar solo optimiza la aproximación de primer orden del objetivo de ML.
Objetivos Indexados por Cómputo: Introduce una familia de objetivos que interpolan entre la recompensa esperada y la ML exacta mediante una expansión de Maclaurin en eventos de pass@k, controlada por el presupuesto de cómputo de muestreo.
Equivalencia Estimador-Objetivo: Proporciona un estimador on-policy simple e insesgado donde el aumento del número de ejecuciones $N$ mejora directamente la fidelidad del objetivo de verosimilitud aproximado, en lugar de meramente reducir la varianza.
Validación Empírica: Experimentos extensos demuestran que MaxRL domina de forma pareto-eficiente a los métodos existentes (RLOO, GRPO) a través de diversas escalas y regímenes de datos.

Resultados Experimentales

Los autores evalúan MaxRL en cuatro regímenes distintos:

Entorno Diferenciable Controlado (ImageNet): Cuando la ML exacta (Entropía Cruzada) está disponible, MaxRL converge a ella a medida que aumenta el número de ejecuciones. En contraste, el REINFORCE estándar falla en progresar desde tasas de éxito iniciales bajas incluso con presupuestos de muestreo masivos.
Régimen de Datos Infinitos (Navegación de Laberintos): En un entorno rico en datos con 1M de laberintos únicos, MaxRL escala significativamente mejor en cómputo que GRPO y RLOO. Mientras que otros métodos se estancan, MaxRL continúa mejorando, mostrando una brecha sustancial entre pass@1 y pass@k, lo que indica una diversidad retenida y potencial de aprendizaje.
Régimen de Escasez de Datos (GSM8K): En un conjunto de datos fijo (GSM8K) entrenado durante muchos épocas, MaxRL demuestra una resistencia superior al sobreajuste. Mientras que RLOO y GRPO sufren de "degradación de pass@k" (pérdida de diversidad) y se estancan prematuramente, MaxRL mantiene la mejora a lo largo de muchas épocas, logrando un rendimiento máximo más alto mientras mantiene la diversidad de la salida.
Razonamiento a Gran Escala (Modelos Qwen3): Entrenando modelos de 1.7B y 4B de parámetros en tareas de razonamiento matemático, MaxRL domina a GRPO en el sentido de Pareto. Logra puntuaciones pass@1 más altas mientras mejora simultáneamente el pass@k (cobertura). Notablemente, MaxRL produce ganancias de eficiencia de escalado en tiempo de prueba de hasta 20 veces respecto a GRPO cuando se utiliza un verificador perfecto, ya que requiere menos muestras para alcanzar la misma cobertura.

Significado y Reivindicaciones

El artículo afirma que MaxRL ofrece una alternativa fundamentada al RL estándar para tareas de recompensa binaria. Su principal significancia radica en replantear las limitaciones del RL de los modelos fundacionales no como algo inherente al proceso de optimización o muestreo, sino como una consecuencia de la elección del objetivo.

Dinámicas de Optimización: MaxRL concentra las señales de aprendizaje en los prompts más difíciles (bajas tasas de éxito), a diferencia de GRPO y RLOO que pueden llevar las distribuciones a extremos (0 o 1).
Escalabilidad: MaxRL escala de manera más favorable tanto con la adición de datos como de cómputo. En entornos de escasez de datos, evita el colapso de la diversidad que se observa frecuentemente en el entrenamiento prolongado de RL.
Eficiencia: Al alinear el objetivo de entrenamiento con el objetivo de tiempo de ejecución (maximizar la probabilidad de encontrar cualquier solución correcta entre $k$ muestras), MaxRL mejora drásticamente la eficiencia de la inferencia.

Los autores concluyen que MaxRL es una dirección prometedora para escalar el RL en dominios basados en la corrección, ofreciendo un camino para recuperar los beneficios del entrenamiento de Máxima Verosimilitud en entornos no diferenciables mediante el aumento del cómputo de muestreo.