🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

El artículo propone Optimización Impulsada por Exploración (EDO), un marco novedoso que integra objetivos de exploración que promueven la diversidad en métodos iterativos de post-entrenamiento como iDPO y GRPO para resolver la tensión entre la diversidad de muestreo en tiempo de inferencia y el afilamiento de la distribución inducido por el aprendizaje por refuerzo, mejorando así el rendimiento y la estabilidad del razonamiento de los LLM tanto en tareas dentro de la distribución como fuera de ella.

Autores originales: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante brillante (un Modelo de Lenguaje Grande) que está aprendiendo a resolver acertijos matemáticos complejos. Quieres que se convierta en un maestro en la resolución de problemas.

Por lo general, cuando entrenamos a estos estudiantes, utilizamos un método llamado Aprendizaje por Refuerzo. Piensa en esto como un entrenador estricto que solo recompensa al estudiante por encontrar la única mejor respuesta. Con el tiempo, el estudiante se vuelve muy bueno en encontrar ese camino específico. Pero aquí está el problema: dejan de explorar. Se quedan "atascados" en un carril, conociendo solo una forma de resolver un problema. Si esa única forma falla, no tienen un plan de respaldo.

Esto crea un conflicto. Para resolver acertijos realmente difíciles, a menudo utilizamos una técnica en el momento de la prueba llamada "Autoconsistencia". Esto es como pedirle al estudiante que resuelva el mismo problema 10 veces diferentes y luego elegir la respuesta que aparece con más frecuencia. Esto funciona muy bien si el estudiante está generando 10 enfoques diferentes. Pero si el estudiante ha sido entrenado para conocer solo un enfoque, pedirle que lo intente 10 veces solo te dará 10 copias de la misma respuesta (potencialmente incorrecta).

El artículo introduce un nuevo método de entrenamiento llamado EDO (Optimización Impulsada por la Exploración) para solucionar esto.

La Idea Central: El "Explorador Curioso" vs. El "Especialista Seguro"

Los autores se dieron cuenta de que para que el truco de la "Autoconsistencia" funcione, el modelo necesita ser un Explorador Curioso durante el entrenamiento, no solo un Especialista Seguro.

La Vieja Forma (El Especialista): El entrenador dice: "Si obtienes la respuesta correcta, ¡genial! Si te equivocas, intenta ser más como la última vez que lo hiciste bien". El estudiante aprende a repetir el mismo patrón exitoso una y otra vez. El resultado es una forma de pensar muy estrecha y "aguda".
La Nueva Forma (EDO - El Explorador): El entrenador dice: "Obtén la respuesta correcta, pero también, no solo repitas lo que hiciste la última vez. Intenta un camino ligeramente diferente. Si sigues haciendo exactamente lo mismo, te daré un suave empujón para que pruebes algo nuevo".

La Analogía Creativa: El Laberinto y la Linterna

Imagina que el estudiante está en un laberinto gigante y oscuro (el espacio de problemas) tratando de encontrar la salida (la respuesta correcta).

Entrenamiento Estándar: El estudiante encuentra un camino hacia la salida. Recibe una recompensa. La próxima vez, se le entrena para seguir ese mismo camino exacto con enfoque láser. Deja de mirar las paredes u otros pasillos. Si ese único camino queda bloqueado más tarde, se queda atascado.
Entrenamiento EDO: El estudiante encuentra un camino hacia la salida y recibe una recompensa. Pero el entrenador añade una regla: "También debes deambular por algunos pasillos laterales que no hayas intentado antes". El estudiante aprende a mantener su "linterna" (distribución de probabilidad) amplia, iluminando muchos caminos diferentes, no solo el que sabe que funciona.

Cómo Funciona en la Práctica

El artículo toma dos métodos de entrenamiento existentes (llamados iDPO y GRPO) y les añade esta regla de "curiosidad". Llaman a las nuevas versiones ED-iDPO y ED-GRPO.

El Mecanismo: Matemáticamente, añaden una "penalización" si el modelo se vuelve demasiado cómodo con sus respuestas anteriores. Esto obliga al modelo a mantenerse ligeramente "incómodo" y diverso, manteniendo sus opciones abiertas.
El Resultado: Cuando prueban estos nuevos modelos, no obtienen una buena respuesta; generan una amplia variedad de soluciones diferentes.

Por Qué Esto Importa (La Magia del "Momento de la Prueba")

Como el modelo ahora está generando soluciones diversas, el truco de la "Autoconsistencia" (pedir 10 respuestas y votar) de repente funciona mucho mejor.

Antes: Pedir 10 respuestas $\rightarrow$ Obtener 10 respuestas incorrectas idénticas $\rightarrow$ Votar $\rightarrow$ Todavía incorrecto.
Con EDO: Pedir 10 respuestas $\rightarrow$ Obtener 10 enfoques diferentes (algunos correctos, otros incorrectos) $\rightarrow$ Votar $\rightarrow$ La respuesta correcta gana porque apareció múltiples veces en diferentes formas.

Los Resultados

Los autores probaron esto en competiciones matemáticas difíciles (como los conjuntos de datos AIME y MATH).

Precisión: Los nuevos métodos (ED-iDPO y ED-GRPO) resolvieron más problemas correctamente que los métodos anteriores más destacados.
Diversidad: Los modelos produjeron respuestas mucho más variadas (medido por qué tan diferentes eran las palabras y los pasos).
Estabilidad: A diferencia de otros métodos que a veces hacen que el modelo "colapse" (olvide todo y se vuelva repetitivo), EDO mantuvo al modelo estable y creativo durante todo el proceso de entrenamiento.

Resumen

En términos simples, EDO enseña a los modelos de IA a estar menos obsesionados con ser "perfectamente consistentes" y más dispuestos a ser "creativamente diversos". Al obligar al modelo a explorar diferentes caminos durante el entrenamiento, se vuelve mucho mejor resolviendo problemas difíciles cuando se le pide generar múltiples soluciones en el momento de la prueba. Es la diferencia entre un estudiante que memoriza una solución y un estudiante que entiende el paisaje del problema lo suficientemente bien como para encontrar la respuesta desde muchos ángulos diferentes.

Resumen Técnico: Optimización Impulsada por Exploración para el Razonamiento de Modelos de Lenguaje Grandes en Tiempo de Prueba

1. Declaración del Problema

Los avances recientes en Modelos de Lenguaje Grandes (LLM) han demostrado que combinar técnicas de post-entrenamiento (específicamente Aprendizaje por Refuerzo, RL) con la escalabilidad en tiempo de inferencia mejora significativamente las capacidades de razonamiento. Sin embargo, existe una tensión fundamental entre estos dos paradigmas:

Escalabilidad en Tiempo de Inferencia: Técnicas como Autoconsistencia, Muestreo Mejor de N (BoN) y Búsqueda en Árbol de Monte Carlo dependen de una muestra diversa de una distribución de probabilidad relativamente aplanada para descubrir soluciones óptimas.
Post-entrenamiento con RL: El post-entrenamiento convencional basado en RL (por ejemplo, PPO, DPO, GRPO) afila inherentemente las distribuciones de salida. Al ajustar fino el modelo hacia soluciones de alta confianza y alta recompensa, estos métodos a menudo conducen a un "colapso de modos", reduciendo la diversidad de las trayectorias generadas.

Este colapso distribucional limita la efectividad de la escalabilidad en tiempo de prueba, ya que el modelo falla al generar las soluciones candidatas diversas necesarias para que los métodos de agregación identifiquen la respuesta correcta. Los enfoques existentes a menudo tratan la escalabilidad en tiempo de inferencia como un procedimiento post-hoc, fallando en alinear el objetivo de entrenamiento con los requisitos de una exploración diversa.

2. Metodología: Optimización Impulsada por Exploración (EDO)

Los autores proponen la Optimización Impulsada por Exploración (EDO), un marco diseñado para promover la diversidad durante la fase de post-entrenamiento manteniendo la alineación con los objetivos de la tarea. EDO extiende los objetivos de exploración con sesgo de recompensa de trabajos anteriores (por ejemplo, VPO, XPO) a entornos de post-entrenamiento iterativo.

Mecanismo Central

EDO introduce un término de regularización que fomenta explícitamente que la política actual ( $\pi_\theta$ ) se desvíe de la iteración de política anterior ( $\pi_{t-1}$ ), en lugar de anclarse únicamente a una política de referencia estática ( $\pi_{ref}$ ).

Formulación de Sesgo de Recompensa:
El método reinterpreta el cálculo en tiempo de prueba como una función Q implícita. Para fomentar la exploración, EDO maximiza un objetivo que incluye un término que promueve la divergencia de la política anterior.
- El objetivo de optimización se reformula para maximizar $J^*(r^{(t)})$ , lo que, bajo restricciones específicas (esperanza cero bajo la política anterior), se traduce en minimizar la divergencia Kullback-Leibler (KL) inversa: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ .
- Este término actúa como una fuerza "repulsiva", evitando que la política colapse en los modos dominantes de la iteración anterior, mientras que el término KL forward estándar ( $D_{KL}(\pi_\theta \parallel \pi_{ref}$ ) mantiene la estabilidad y previene el olvido catastrófico.
Integración con Algoritmos Existentes:
EDO se integra sin problemas en dos paradigmas populares de RL iterativo:
- ED-iDPO (Optimización Iterativa Directa de Preferencias Impulsada por Exploración): Modifica la pérdida iDPO añadiendo el término de exploración. El objetivo se convierte en:
  $L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
  donde $\alpha$ controla la fuerza del sesgo de exploración.
- ED-GRPO (Optimización de Política Relativa por Grupos Impulsada por Exploración): Adapta el objetivo GRPO para incluir la divergencia KL inversa a nivel de token entre las políticas actual y anterior, suavizando la distribución de probabilidad de salida sin requerir un modelo crítico separado.
Pipeline de Entrenamiento Iterativo:
El marco opera en un bucle iterativo:
- Generar $N$ soluciones candidatas desde la política actual.
- Construir pares de preferencia (para iDPO) o recompensas por grupo (para GRPO) basados en la corrección.
- Actualizar la política utilizando el objetivo aumentado con EDO.
- Repetir, utilizando la política actualizada como referencia para el término de exploración de la siguiente iteración.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Marco Principiado: Introducción de EDO, un marco que promueve una distribución de salida aplanada para equilibrar exploración y explotación, facilitando específicamente una escalabilidad en tiempo de inferencia más efectiva.
Integración Sin Coste: Demostración de que EDO puede integrarse en pipelines estándar de post-entrenamiento (iDPO y GRPO) para producir variantes mejoradas (ED-iDPO y ED-GRPO) que mejoran significativamente la diversidad de soluciones y el rendimiento de razonamiento.
Validación Empírica: Evaluación exhaustiva que muestra mejoras consistentes en diversos modelos base (Qwen, LLaMA) y conjuntos de datos, destacando la robustez de EDO para prevenir el colapso por sobre-optimización.

4. Resultados Experimentales

Rendimiento Intra-Distribución

Se realizaron experimentos en tres benchmarks de razonamiento: GSM8K (matemáticas de escuela primaria), Math (competencia de escuela secundaria) y s1K (preguntas desafiantes a nivel de competencia).

Ganancias en Precisión: Tanto ED-iDPO como ED-GRPO superaron a bases fuertes (ETO, GRPO, DAPO).
- En s1K, ED-GRPO alcanzó una precisión del 38.6% (greedy) y del 48.4% (Autoconsistencia), superando a la mejor base (ETO+SC) en un 1.1% y un 1.3% respectivamente.
- En Math y GSM8K, las variantes de EDO mejoraron consistentemente la precisión sobre las bases estándar de CoT y Autoconsistencia.
Sinergia con la Escalabilidad en Tiempo de Prueba: Las ganancias de rendimiento fueron más pronunciadas cuando se combinaron con Autoconsistencia, lo que indica que las soluciones diversas generadas por EDO son agregadas efectivamente por los métodos de tiempo de inferencia.

Generalización Fuera de Distribución (OOD)

Los modelos entrenados en s1K se evaluaron en cinco conjuntos de datos OOD (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench).

Capacidad Plug-and-Play: Los modelos entrenados con EDO mostraron una fuerte generalización entre conjuntos de datos sin reentrenamiento.
Mejoras: ED-GRPO entregó una ganancia promedio del 2.4% sobre la base GRPO en todas las tareas OOD, demostrando que la exploración mejorada mejora la transferibilidad a distribuciones de datos heterogéneas.

Ablación y Análisis

Estabilidad del Entrenamiento: A diferencia de GRPO o ETO estándar, que mostraron degradación del rendimiento o estancamiento después de pocas épocas (señales de sobre-optimización), las variantes de EDO mantuvieron ganancias de rendimiento estables a través de múltiples iteraciones de entrenamiento.
Preservación de la Entropía: La Figura 4 del artículo muestra que, mientras que los métodos estándar conducen rápidamente la entropía de la política a niveles bajos, ED-GRPO mantiene una entropía significativamente más alta durante todo el entrenamiento, previniendo el colapso de modos.
Métricas de Diversidad: Las variantes de EDO produjeron salidas sustancialmente más diversas (medidas por Distinct-4). Por ejemplo, en s1K, ED-GRPO mejoró Distinct-4 en un 47.0% en comparación con la base.
Estudio de Caso: Un análisis cualitativo en un problema de geometría reveló que los modelos estándar produjeron trayectorias de razonamiento homogéneas e incorrectas, mientras que ED-iDPO generó estrategias diversas (geometría analítica, descomposición de regiones, argumentos de simetría), permitiendo que la votación en tiempo de prueba seleccionara la respuesta correcta.

5. Significado y Afirmaciones

El artículo posiciona a EDO como un marco práctico para resolver la tensión entre la alineación basada en RL y los requisitos de diversidad de la escalabilidad en tiempo de prueba.

Prevención del Colapso: Los autores afirman que EDO previene efectivamente el "colapso por sobre-optimización", un modo de fallo común en RLHF donde los modelos pierden la capacidad de explorar soluciones alternativas.
Compatibilidad: El método se destaca como compatible con diversos algoritmos de optimización de políticas y técnicas de inferencia en tiempo de prueba (Autoconsistencia, BoN, Búsqueda en Árbol).
Escalabilidad: Al permitir que los modelos aprovechen vías de inferencia diversas, EDO permite una utilización más efectiva de la computación en tiempo de prueba, un factor crítico para escalar las capacidades de razonamiento sin aumentar los parámetros del modelo.

Los autores concluyen que EDO ofrece un enfoque principiado para equilibrar exploración y explotación, estableciendo una nueva base para el razonamiento de LLM que es particularmente efectiva en entornos que dependen de la escalabilidad en tiempo de prueba.