💻 computer science

Beyond the Best Guess: Improving LLM Solution Coverage with Evolution Strategies

Este artículo demuestra que las Estrategias de Evolución (ES) superan al Aprendizaje por Refuerzo (RL) en el post-entrenamiento de Grandes Modelos de Lenguaje para dominios de descubrimiento al mantener una cobertura de soluciones más amplia y puntuaciones pass@k más altas, evitando así el colapso de la distribución de salida que limita la efectividad del RL al generar soluciones candidatas diversas.

Autores originales: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar un tesoro oculto en una vasta isla cubierta de niebla. En el mundo de la Inteligencia Artificial, los Modelos de Lenguaje Extensos (LLM) son como exploradores increíblemente inteligentes que pueden leer mapas y adivinar dónde podría estar el tesoro. Durante mucho tiempo, la mejor manera de entrenar a estos exploradores era mostrarles un problema, dejar que adivinaran y luego recompensarlos solo si su mejor suposición era perfecta. Este método, conocido como Aprendizaje por Refuerzo (RL), es como un entrenador estricto que grita "¡Error!" ante cada respuesta incorrecta y "¡Perfecto!" ante la única respuesta correcta. El problema es que este entrenador se obsesiona tanto con encontrar esa única respuesta perfecta que el explorador deja de buscar en cualquier otro lugar. Deja de explorar los bordes brumosos de la isla donde podrían estar escondidos otros tesoros, centrándose únicamente en el lugar que cree que es el correcto.

Pero, ¿qué pasa si el tesoro no es una sola cosa? ¿Qué pasa si hay muchas formas diferentes de resolver un problema matemático o de descubrir un nuevo hecho científico? En estos dominios de "descubrimiento", no basta con tener una suposición perfecta; se necesita una red amplia para capturar cualquier solución correcta. Aquí es donde entra una nueva idea llamada "escalado en tiempo de inferencia" (test-time scaling). En lugar de simplemente pedirle al modelo una respuesta, le pedimos que genere docenas o incluso cientos de intentos diferentes y veamos si alguno de ellos es correcto. El artículo que estás a punto de leer investiga si nuestro estricto entrenador (RL) o un método de entrenamiento diferente es mejor para ayudar al explorador a lanzar una red amplia. Los investigadores descubrieron que, mientras que el estricto entrenador hace que el explorador sea muy seguro de sí mismo en un solo punto, un método diferente llamado Estrategias de Evolución (ES) mantiene al explorador curioso y errante, asegurando que, si una solución existe en cualquier parte de la niebla, el explorador tenga muchas más probabilidades de encontrarla.

El artículo: Más allá de la mejor suposición

Este artículo aborda un problema complicado en el entrenamiento de la IA: ¿cómo nos aseguramos de que un modelo de IA no solo se vuelva muy bueno adivinando la única respuesta correcta, sino que realmente mantenga sus opciones abiertas para encontrar cualquier respuesta correcta? Los autores, investigadores de Cognizant AI Lab y la Universidad de Texas en Austin, compararon dos métodos de entrenamiento: el Aprendizaje por Refuerzo (RL) estándar y un enfoque más nuevo llamado Estrategias de Evolución (ES).

Piensa en el Aprendizaje por Refuerzo como un estudiante que estudia intensamente para un examen memorizando la clave de respuestas exacta. Si el estudiante acierta una pregunta, recibe un premio; si falla, no recibe nada. Con el tiempo, el estudiante se convierte en un maestro de esa pregunta específica pero deja de comprender los conceptos subyacentes. En el mundo de la IA, esto causa algo llamado "colapso de la distribución". El modelo se vuelve tan enfocado en su "mejor suposición" que deja de generar respuestas diversas. Es como un músico que solo toca una nota porque es la única que recibe aplausos, olvidando cómo tocar una canción completa.

Las Estrategias de Evolución (ES), por otro lado, funcionan más como un ecosistema natural. En lugar de entrenar un único modelo, ES crea toda una "población" de versiones ligeramente diferentes del modelo. Modifican sus "cerebros" (pesos) de forma aleatoria, como la mutación de los genes en la naturaleza, y ven qué versiones funcionan mejor. Crucialmente, no solo eligen al único ganador y descartan al resto; aprenden de todo el grupo. Esto mantiene el "cerebro" de la IA flexible y diverso, permitiéndole explorar muchos caminos diferentes hacia una solución.

Los investigadores probaron estos métodos en problemas matemáticos, que van desde aritmética simple hasta desafíos complejos de nivel de Olimpiada, utilizando modelos de diferentes tamaños (desde 1.500 millones hasta 32.000 millones de parámetros). Midieron el éxito utilizando una métrica llamada pass@k. Imagina pedirle a la IA que genere 100 respuestas diferentes a un problema. Pass@1 pregunta: "¿Es la primera respuesta la correcta?". Pass@k pregunta: "¿Es al menos una de las 100 respuestas correcta?".

Esto es lo que encontraron:

1. La trampa de la "mejor suposición"
Cuando los investigadores observaron el pass@1 (la suposición única más acertada), los modelos entrenados con RL eran a menudo muy buenos. Eran agudos y seguros. Sin embargo, a medida que los investigadores aumentaban el número de intentos (k) a 2, 8, 16 o incluso 128, los modelos de RL chocaban contra un muro. Su rendimiento dejaba de mejorar. De hecho, para algunos problemas difíciles, los modelos de RL se volvieron peores que el modelo original, no entrenado, cuando se les daban muchas oportunidades para adivinar. El modelo de RL se había vuelto tan estrecho en su pensamiento que dejó de encontrar respuestas correctas que fueran ligeramente diferentes de su "favorita".

2. El poder de la diversidad
En contraste, los modelos entrenados con ES mostraron un patrón diferente. Aunque también eran buenos acertando la primera suposición, su verdadero superpoder apareció a medida que aumentaba el número de intentos. A medida que los investigadores pedían más y más muestras (hasta 128), los modelos de ES seguían encontrando nuevas soluciones correctas. El artículo muestra que ES alcanzó consistentemente puntuaciones de pass@k más altas que RL en todos los tamaños de modelo y en todas las pruebas matemáticas que probaron.

3. Por qué sucede esto
Los autores investigaron el porqué de esto. Descubrieron que el entrenamiento de RL tiende a "podar" el conocimiento de la IA. Elimina los caminos que conducen a respuestas correctas pero menos comunes, haciendo que algunos problemas sean imposibles de resolver incluso si la IA lo intenta 100 veces. El método ES, sin embargo, preserva la "amplitud" del conocimiento de la IA. No solo aprende la respuesta correcta; aprende a mantener muchas puertas abiertas. Cuando los investigadores observaron la "entropía" de la IA (una medida de qué tan diversas son sus respuestas), vieron que cuando los modelos de RL fallaban, eran erróneamente seguros de sí mismos (baja diversidad). Cuando los modelos de ES fallaban, seguían siendo diversos e inciertos, lo que significa que todavía estaban explorando y tenían una mejor oportunidad de encontrar la respuesta correcta si se les daba más tiempo o capacidad de cómputo.

4. El impacto en el mundo real
El artículo sugiere que para problemas donde necesitamos descubrir cosas nuevas —como resolver una demostración matemática difícil, escribir código o encontrar un nuevo hecho científico—, tener un modelo que pueda generar una amplia variedad de soluciones correctas es más valioso que tener un modelo que sea simplemente muy bueno en una suposición específica. Al usar ES, podemos obtener mejores resultados en estos dominios de descubrimiento porque es menos probable que el modelo se quede atrapado en un "atrapamiento local" y sea más probable que encuentre la solución global.

En resumen, el artículo argumenta que si quieres que una IA sea un gran explorador en lo desconocido, no debes entrenarla solo para ser el mejor adivinador del día. Debes entrenarla para que mantenga sus opciones abiertas, deambule un poco y esté lista para encontrar el tesoro sin importar dónde esté escondido. Las Estrategias de Evolución, resulta ser, son el mejor entrenador para ese tipo de aventura.

Resumen Técnico: Más allá de la mejor conjetura: Mejora de la cobertura de soluciones de los LLM mediante Estrategias de Evolución

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están desplegando cada vez más en dominios de descubrimiento como las matemáticas y la ciencia, donde el objetivo no es simplemente proporcionar una única "mejor conjetura", sino explorar un espacio de soluciones para encontrar respuestas correctas entre muchos candidatos. El paradigma estándar para mejorar el razonamiento de los LLM implica el post-entrenamiento con Aprendizaje por Refuerzo (RL), específicamente el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Si bien el RLVR maximiza eficazmente la precisión de una sola muestra (pass@1), este artículo identifica una limitación crítica: la colapso de la distribución.

Las actualizaciones de RL, típicamente mediante métodos de gradiente de política como PPO o GRPO, agudizan la distribución de salida del modelo para concentrar la masa de probabilidad en salidas de alta recompensa. Este proceso estrecha el soporte de la distribución, podando efectivamente soluciones que tienen baja probabilidad pero que son correctas. En consecuencia, a medida que aumenta el número de muestras ( $k$ ) durante el escalado en tiempo de prueba (TTS), la cobertura de soluciones (pass@k) de los modelos entrenados con RL a menudo se estanca o incluso se degrada, cayendo a veces por debajo del rendimiento del modelo base sin entrenar. Este fenómeno limita la eficacia de las estrategias de TTS como el muestreo de múltiples candidatos, que dependen de una distribución amplia de soluciones viables.

Metodología

El artículo propone las Estrategias de Evolución (ES) como una alternativa libre de gradientes y basada en poblaciones al RL para el post-entrenamiento de LLMs. A diferencia del RL, que opera en el espacio de acciones actualizando los parámetros de un único modelo basándose en gradientes a nivel de token, las ES operan directamente en el espacio de pesos.

El enfoque de ES:

Generación de Población: Se genera una población de modelos aplicando perturbaciones gaussianas aleatorias ( $\epsilon$ ) a los pesos del modelo base ( $\theta$ ).
Evaluación: Cada modelo perturbado es evaluado en una tarea, y se le asigna una recompensa basada en su rendimiento (por ejemplo, la corrección de la respuesta).
Actualización de Pesos: Los pesos se actualizan agregando las perturbaciones ponderadas por sus recompensas normalizadas, moviendo efectivamente los parámetros hacia regiones del espacio de pesos que son robustas a las perturbaciones y abarcan un conjunto más amplio de soluciones.

Configuración Experimental:
El estudio compara empíricamente las ES frente al RL de vanguardia (específicamente GRPO y OatZero) a través de múltiples familias de modelos y escalas (de 1.5B a 32B de parámetros).

Conjuntos de Datos: El entrenamiento y la evaluación se llevaron a cabo en GSM8K, MATH (niveles 3-5), MATH500, Olympiad Bench y Minerva.
Métricas: La métrica principal es pass@k, definida como la probabilidad de que exista al menos una solución correcta dentro de $k$ muestras. El estudio también analiza las distribuciones de precisión, las progresiones/regresiones del modelo y la entropía de las respuestas.
Escalado en Tiempo de Prueba (TTS): El artículo evalúa el rendimiento a medida que $k$ aumenta (hasta 128 o 256 muestras) y aplica la Autoconsistencia (votación) como un método de TTS descendente.

Contribuciones Clave

Evaluación Exhaustiva: El artículo proporciona la evaluación más extensa de las ES como técnica de post-entrenamiento de LLM hasta la fecha, abarcando tamaños de modelo desde 1.5B hasta 32B y múltiples familias de modelos (Qwen2.5, Qwen3).
Superioridad en Diversidad de Soluciones: Establece que las ES mejoran consistentemente el pass@k sobre los modelos entrenados con RL en todas las escalas y evaluaciones. A diferencia del RL, las ES no sufren de colapso de la distribución.
Análisis Mecanicista: A través de un análisis sistemático, el artículo identifica los orígenes del éxito de las ES:
- Progresiones vs. Regresiones: Las ES añaden nuevas soluciones correctas (progresiones) mientras preservan el conocimiento existente (minimizando las regresiones), mientras que el RL a menudo sobrescribe el conocimiento del modelo base para maximizar la recompensa.
- Preservación de la Entropía: En los modos de fallo, las ES mantienen una mayor entropía de respuesta (incertidumbre), mientras que el RL colapsa hacia respuestas incorrectas de baja entropía y alta confianza.
Validación Descendente: El artículo demuestra que las distribuciones de alta calidad generadas por las ES conducen a un rendimiento superior en la votación de Autoconsistencia, un método de TTS no verificable.

Resultados

Rendimiento Pass@k: En todos los benchmarks (GSM8K, MATH500, Olympiad Bench, Minerva) y tamaños de modelo, los modelos de ES superan consistentemente a los modelos de RL a medida que $k$ aumenta. Mientras que las curvas de RL a menudo se estancan temprano, las curvas de ES continúan ascendiendo. Notablemente, para un $k$ suficientemente grande, el modelo base a menudo supera al modelo refinado con RL, pero el modelo refinado con ES supera consistentemente al modelo base.
Análisis de Distribución:
- Bins de Precisión: El RL aumenta la frecuencia de prompts donde no se encuentra ninguna solución (bin 0.0) en relación con el modelo base, lo que indica una pérdida de capacidad de resolución. Las ES reducen esta frecuencia.
- Regresiones: El RL exhibe tasas significativamente más altas de "regresiones" (problemas que el modelo base resolvía pero que el modelo refinado no logra resolver) en comparación con las ES. Por ejemplo, en Olympiad Bench, el RL tuvo 49 regresiones frente a 15 para las ES.
- Entropía: Cuando los modelos fallan, el RL falla con baja entropía (incorrecto con confianza), mientras que las ES fallan con mayor entropía (preservando la diversidad), lo que hace que los fallos de las ES sean más susceptibles de ser corregidos mediante un aumento del muestreo.
Autoconsistencia: En escenarios de votación, las distribuciones generadas por las ES producen una mayor precisión tanto que las de RL como las del modelo base a medida que aumenta el número de muestras.

Significado y Reivindicaciones

El artículo argumenta que las Estrategias de Evolución proporcionan una mejor base para el post-entrenamiento en problemas de descubrimiento donde la cobertura de soluciones diversas es crítica. Si bien el RL es eficaz para maximizar la precisión de un solo disparo (pass@1), entra en conflicto fundamental con los requisitos del escalado en tiempo de prueba (TTS) al colapsar el espacio de soluciones.

Los autores afirman que las ES resuelven esta tensión al optimizar para una distribución de soluciones robusta en lugar de un único modo de alta recompensa. Al preservar el soporte amplio de la distribución de salida del modelo base mientras mejoran simultáneamente el pass@1, las ES permiten que los LLM aprovechen eficazmente el aumento del cómputo en el tiempo de prueba. El artículo concluye que las ES son el enfoque de vanguardia para el post-entrenamiento en dominios como la ciencia, las matemáticas y la programación, particularmente donde la capacidad de explorar soluciones alternativas viables es esencial para el rendimiento.