💬 NLP

Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning

Este artículo propone un marco de aprendizaje por refuerzo impulsado por búsqueda que optimiza iterativamente las especificaciones de la función de recompensa mediante generación automatizada, validación y filtrado basado en GRPO, demostrando que un bucle de retroalimentación clasificada mejora significativamente el rendimiento en razonamiento matemático en GSM8K en comparación con conjuntos de recompensas estáticos o aleatorios.

Autores originales: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Publicado 2026-05-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante muy inteligente (un Modelo de Lenguaje Grande) que es excelente hablando pero a veces tiene dificultades con las matemáticas. Quieres enseñarle a resolver problemas matemáticos mejor. Por lo general, contratarías a un profesor para calificar sus tareas. Pero en este artículo, los autores plantean una pregunta diferente: "¿Y si no sabemos exactamente cómo calificar las tareas perfectamente? ¿Y si dejamos que una IA nos ayude a inventar las mejores reglas de calificación?"

Aquí está la historia de cómo lo hicieron, explicada de forma sencilla.

1. El Problema: El Misterio de la "Pauta de Calificación"

En el mundo de la IA, para enseñar a un modelo a pensar mejor, utilizas un sistema llamado Aprendizaje por Refuerzo. Piensa en esto como entrenar a un perro.

El Perro: El modelo de IA.
La Galleta: Una "recompensa" (una puntuación positiva).
El Truco: Resolver correctamente un problema matemático.

El problema es que diseñar la "galleta" (la función de recompensa) es difícil. Si le dices a la IA: "Buen trabajo si obtienes la respuesta correcta", podría hacer trampa adivinando o copiando patrones sin pensar realmente. Si intentas recompensar los pasos que da, tienes que escribir reglas complejas, y es fácil cometer un error en esas reglas.

2. La Solución: La "Fábrica de Reglas de Calificación"

Los autores construyeron un sistema que trata las reglas de calificación en sí mismas como algo que debe optimizarse. No escribieron las reglas a mano; establecieron una fábrica donde una IA (un modelo de vanguardia llamado Kimi K2) actúa como un Inventor de Reglas.

Así es como funciona la fábrica, paso a paso:

Ronda 1: Se le dan al IA Inventor de Reglas 20 problemas matemáticos y se le pide que escriba 10 nuevas formas de calificarlos. Escribe estas reglas como código informático simple (como una receta).
La Verificación de Seguridad: Antes de que se usen estas reglas, pasan por un "escáner de seguridad" para asegurarse de que no sean peligrosas o estén rotas.
La Prueba de Manejo: Los investigadores toman a un pequeño estudiante de matemáticas (un modelo de IA de 3 mil millones de parámetros) y le permiten practicar resolviendo problemas usando una de estas nuevas reglas durante un corto tiempo (500 pasos).
La Tarjeta de Puntuación: Ven qué tan bien le fue al estudiante en un examen. Si la nueva regla ayudó al estudiante a obtener mejores puntuaciones, la regla recibe una clasificación alta. Si la regla confundió al estudiante, recibe una clasificación baja.
El Bucle de Retroalimentación: Las reglas de mejor rendimiento se resumen y se devuelven al IA Inventor de Reglas. Se le dice a la IA: "Oye, las reglas que contaban el número de pasos de pensamiento funcionaron bien. Las reglas que solo miraban la respuesta final no funcionaron tan bien. Intenta inventar nuevas reglas basadas en eso".

Repetieron este ciclo 5 veces, generando 50 reglas candidatas diferentes.

3. Los Resultados: Encontrando las "Reglas de Oro"

Después de 5 rondas, encontraron algunos ganadores.

La Mejor Regla Individual: Una regla, llamada thinking_steps_count, fue campeona. Otorgaba puntos extra si la IA escribía su proceso de pensamiento en al menos tres líneas distintas. No verificaba si la respuesta era correcta (eso lo hacía el sistema base); simplemente alentaba a la IA a mostrar su trabajo.
El Poder del Trabajo en Equipo (Ensembles): Se dieron cuenta de que una sola regla no es suficiente. Así que tomaron las 5 mejores reglas y las combinaron en un "equipo de super-calificación".
- El Resultado: Este equipo de reglas ayudó a la IA a saltar de una tasa de éxito del 60% (usando solo reglas básicas) a una tasa de éxito del 79.5%.
- La Verificación "Mágica": Para probar que no fue solo suerte o la mera cantidad de reglas, probaron un "equipo aleatorio" de 5 reglas seleccionadas de la pila. Ese equipo aleatorio colapsó, con la IA fallando casi todo. Esto demostró que el bucle de retroalimentación (aprender qué reglas funcionaron y alimentar eso de vuelta al inventor) fue el ingrediente secreto, no solo tener más reglas.

4. ¿Hizo Trampa la IA? (La Auditoría de "Hackeo de Recompensas")

Un miedo común es que si le dices a una IA "dame más líneas de pensamiento", simplemente llenará la página con tonterías para obtener puntos.

La Auditoría: Los autores revisaron las respuestas de la IA. Descubrieron que cuando la IA obtuvo la respuesta correcta, en realidad escribió más líneas y usó más símbolos matemáticos que cuando la obtuvo incorrectamente.
La Conclusión: La IA no estaba haciendo trampa rellenando espacio vacío; estaba pensando genuinamente más porque las reglas la alentaban a hacerlo.

5. Por Qué Esto Importa

Es Accesible: No necesitas un superordenador. Ejecutaron todo este experimento en una sola tarjeta gráfica de consumo de gama alta (como las que usan los jugadores) en aproximadamente 40 horas.
Está Automatizado: En lugar de que un experto humano pase semanas adivinando cómo se ve la pauta de calificación perfecta, este sistema automatiza el descubrimiento de esas reglas.
Es Transparente: Las reglas no son una caja negra; son código Python simple que los humanos pueden leer, entender y ajustar.

En resumen: El artículo muestra que si dejas que una IA te ayude a diseñar el sistema de calificación para otra IA, y sigues refinando esas reglas basándote en qué tan bien se desempeña el estudiante, puedes enseñarle al estudiante a pensar mucho mejor que si simplemente le dieras un conjunto estático de reglas escritas por humanos.

Resumen Técnico: Mejora del Razonamiento de LLM mediante la Optimización de Funciones de Recompensa con Aprendizaje por Refuerzo Impulsado por Búsqueda

Declaración del Problema

El razonamiento matemático sirve como un punto de referencia crítico para los Modelos de Lenguaje Grandes (LLM), requiriendo no solo una generación de texto fluida, sino también consistencia intermedia, manejo de cantidades y respuestas finales precisas. Si bien el Aprendizaje por Refuerzo (RL) ha surgido como un mecanismo estándar de post-entrenamiento para alinear a los LLM con comportamientos deseados, su eficacia es altamente sensible al diseño de la función de recompensa. Los enfoques actuales a menudo dependen de una especificación manual de recompensas impulsada por expertos, lo cual es propenso a errores, requiere un esfuerzo significativo de prueba y error, y puede inducir inadvertidamente "hackeo de recompensas" o comportamientos frágiles. Además, la literatura existente trata en gran medida la función de recompensa como infraestructura fija (por ejemplo, reglas diseñadas a mano o modelos de recompensa entrenados) en lugar de un objeto de optimización en sí mismo. Este artículo aborda la pregunta de si la especificación de recompensa utilizada durante el post-entrenamiento con RL puede ser buscada y mejorada sistemáticamente, particularmente en un escenario donde el modelo base se mantiene fijo y la función de recompensa es la variable de diseño principal.

Metodología

Los autores proponen un marco impulsado por búsqueda que trata la especificación de la función de recompensa como un problema de optimización iterativa. El pipeline opera en cinco rondas, generando y evaluando funciones de recompensa candidatas utilizando un modelo base fijo y un LLM de vanguardia como generador.

Componentes Principales

Modelo Base y Configuración de Entrenamiento:
- Modelo: Llama-3.2-3B-Instruct de Meta, ajustado finamente utilizando Adaptación de Bajo Rango (LoRA) con un rango de 32.
- Algoritmo: Optimización de Política Relativa por Grupos (GRPO), que reemplaza la red crítica separada en PPO con una normalización relativa a grupos de salidas muestreadas, reduciendo la sobrecarga de memoria y mejorando el razonamiento matemático.
- Conjunto de Datos: GSM8K (7,473 ejemplos de entrenamiento, 1,319 ejemplos de prueba).
- Formato de Salida: Salida estructurada con etiquetas <thinking> y <solution> para separar el razonamiento de la respuesta final.
Recompensas Base Fijas:
Tres recompensas base protegidas se incluyen en cada ejecución de entrenamiento y no pueden ser anuladas por los candidatos generados:
- match_format_exactly: Recompensa el emparejamiento correcto de las etiquetas <thinking> y <solution>.
- match_format_approximately: Proporciona señales graduadas para la presencia/ausencia de etiquetas.
- check_answer: Evalúa la respuesta numérica extraída contra la verdad fundamental con puntuación por niveles (coincidencia exacta, normalización, comprobaciones de proporción).
Bucle de Generación Impulsado por Búsqueda:
- Generador: Un LLM de vanguardia (Kimi K2) genera 10 funciones de recompensa candidatas por ronda (50 en total durante 5 rondas).
- Prompting: El generador recibe 20 ejemplos aleatorios de GSM8K, una especificación de firma y un resumen clasificado del rendimiento de rondas anteriores para guiar la generación y evitar la duplicación semántica.
- Validación: Los candidatos pasan por una validación en entorno controlado de cuatro etapas (comprobación de importación AST, ejecución bloqueada, espacio de nombres restringido y llamada de prueba) para garantizar la seguridad y la ejecutabilidad.
- Filtrado: Los candidatos válidos se entrenan durante 500 pasos de GRPO en la división de entrenamiento de GSM8K junto con las tres recompensas base.
- Clasificación: Los modelos se evalúan en el conjunto de prueba de GSM8K utilizando la puntuación F1 (media armónica de precisión y recuperación) como métrica principal de clasificación. El resumen clasificado se retroalimenta a la siguiente ronda de generación.
Construcción de Ensembles:
Después de la búsqueda, las recompensas de mejor rendimiento se combinan en ensembles. Se probaron siete configuraciones, variando en tamaño (de 3 a 10 recompensas descubiertas) y estrategia de selección (las mejor clasificadas frente a la diversidad basada en rondas). La recompensa del ensemble es la suma elemento a elemento de las tres recompensas base y las recompensas descubiertas seleccionadas.

Contribuciones Clave

Formulación de la Búsqueda de Recompensas: El artículo formula la especificación de recompensa para el razonamiento de LLM como un bucle iterativo generar-validar-entrenar-clasificar sobre código Python ejecutable, tratando la propia recompensa como un objeto de búsqueda.
Integración de GRPO: El marco aplica este bucle de búsqueda específicamente bajo GRPO, un optimizador de políticas computacionalmente eficiente y relevante para el razonamiento, demostrando que el descubrimiento de recompensas es factible dentro de las restricciones de ajuste fino eficiente en parámetros.
Análisis de Ensembles: El estudio examina si combinar múltiples recompensas descubiertas produce señales más fuertes que las recompensas individuales, encontrando que los ensembles de 5 o más recompensas superan significativamente a las recompensas individuales o a las configuraciones solo base.
Rigor Empírico: El artículo proporciona un análisis exhaustivo que incluye intervalos de confianza bootstrap, pruebas de McNemar por pares con corrección de Bonferroni, y auditorías específicas para hackeo de recompensas (por ejemplo, relleno de líneas) y cumplimiento de formato.

Resultados

Trayectoria de Búsqueda: Durante cinco rondas, la puntuación F1 media de las recompensas generadas aumentó de 0.596 (Ronda 1) a 0.632 (Ronda 5). La recompensa individual superior (thinking_steps_count) logró una F1 de 0.787.
Rendimiento del Ensemble: La mejor configuración de ensemble (ens_diverse_rounds, combinando 3 recompensas base + 5 recompensas descubiertas diversas) logró una F1 de 0.795 y una precisión de 0.660 (IC 95% [0.635, 0.686]).
Significancia Estadística: Las pruebas de McNemar por pares con corrección de Bonferroni ( $\alpha \approx 0.0024$ ) mostraron que todos los ensembles con 5 o más recompensas descubiertas eran estadísticamente indistinguibles entre sí, pero significativamente mejores que la línea base solo base (F1 = 0.609) y los ensembles más pequeños.
Experimentos de Control:
- Línea Base Aleatoria: Un ensemble de 5 recompensas extraído aleatoriamente colapsó a una F1 de 0.047, demostrando que la ganancia es impulsada por el bucle de retroalimentación clasificada, no meramente por la señal aditiva de tener más recompensas.
- Robustez de Semilla: El reentrenamiento del mejor ensemble con tres semillas diferentes produjo puntuaciones F1 de $0.785 \pm 0.013$ , confirmando que el ordenamiento cualitativo de los resultados es robusto frente a la varianza del entrenamiento.
Auditoría de Hackeo de Recompensas: El análisis de la recompensa estructural superior (thinking_steps_count) mostró que las respuestas correctas contenían naturalmente más líneas de razonamiento y mayor densidad aritmética que las incorrectas, lo que sugiere que el modelo no explotó la recompensa mediante relleno de líneas vacías.
Comparación con Línea Base: El modelo Llama-3.2-3B entrenado con GRPO superó a cinco modelos comerciales en el rango de 2B–4B parámetros (incluyendo variantes de Qwen y Phi) tanto en precisión estricta como en F1.

Significado y Afirmaciones

El artículo afirma que la especificación de recompensa en el post-entrenamiento con RL puede tratarse como un objeto buscable de manera fiable, automatizando un proceso que típicamente depende de la intuición humana.

Accesibilidad: Todo el pipeline se ejecuta en una sola GPU de nivel de consumidor (NVIDIA RTX 5090) en aproximadamente 40 horas, haciendo que el descubrimiento automatizado de recompensas sea accesible para presupuestos académicos y de pequeñas industrias.
Auditabilidad: A diferencia de los modelos de recompensa de caja negra, las recompensas descubiertas son código Python legible que los profesionales pueden auditar, modificar y combinar.
Generalizabilidad: Aunque evaluado en GSM8K, los autores postulan que la "receta" se transfiere a otros dominios de razonamiento (por ejemplo, generación de código, resolución de problemas científicos) y ofrece una alternativa práctica al costoso entrenamiento de modelos de recompensa.
Modestia: Los autores declaran explícitamente que la contribución es metodológica en lugar de una afirmación de un nuevo estado del arte en GSM8K en sí mismo. La evidencia principal es interna al pipeline: la mejora iterativa de las recompensas, el colapso de los controles aleatorios y la robustez del ordenamiento del ensemble a través de semillas. El artículo no afirma que las recompensas descubiertas sean universalmente óptimas, sino que el proceso de búsqueda identifica eficazmente señales estructurales de alto rendimiento para un modelo base fijo.