🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

Este artículo demuestra que la incorporación de un bono de diversidad simple, basado en representaciones derivadas de estados ocultos preentrenados, tanto en el muestreo durante la inferencia como en el aprendizaje por refuerzo post-entrenamiento, mejora significamente el rendimiento y la eficiencia de muestreo de los modelos de lenguaje al promover el descubrimiento de comportamientos novedosos en lugar de simplemente refinar los existentes.

Autores originales: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Publicado 2026-07-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo siguen instrucciones, sino que realmente aprenden a pensar por sí mismas, resolviendo acertijos y escribiendo código mediante el ensayo, el error y el reintento. Este es el reino del Aprendizaje por Refuerzo (RL), una rama de la inteligencia artificial donde un agente aprende interactuando con su entorno para maximizar recompensas. Piensa en ello como entrenar a un perro: si se sienta, recibe un premio; si salta, no recibe nada. Con el tiempo, el perro aprende los mejores comportamientos para obtener la mayor cantidad de premios.

En el mundo de los modelos de lenguaje extensos (los chatbots de IA superinteligentes que usamos hoy en día), este proceso se llama "post-entrenamiento". Los científicos le presentan al modelo un problema matemático o una tarea de programación, dejan que genere una respuesta y comprueban si es correcta. Si lo es, el modelo recibe una "recompensa" y aprende a hacer esa cosa específica mejor la próxima vez. Sin embargo, hay un inconveniente. Los métodos actuales suelen actuar como un estudiante que simplemente memoriza las respuestas del libro de texto. Se vuelven muy buenos en los trucos específicos que ya conocen, pero rara vez descubren nuevas formas de resolver problemas. Solo se vuelven más agudos en lo que ya hacen. La gran pregunta que se hacen los científicos es: ¿Podemos enseñar a estos modelos de IA a ser exploradores curiosos en lugar de simples memorizadores? ¿Podemos alentarlos a probar enfoques extraños, novedosos y diversos para encontrar soluciones que su entrenamiento base nunca les mostró?

Este artículo, titulado "Representation-Based Exploration for Language Models" (Exploración basada en representaciones para modelos de lenguaje), profundiza precisamente en esa pregunta. Los investigadores, Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy y Jordan T. Ash, proponen una nueva y astuta forma de hacer que la IA explore. En lugar de dejar que el modelo adivine al azar o simplemente repita lo que sabe, le otorgan un "bono de diversidad". Imagina que estás buscando un tesoro escondido en un bosque gigante. Un caminante aleatorio podría simplemente deambular sin rumbo, mientras que un caminante inteligente podría intentar visitar cada tipo distinto de árbol para asegurarse de no perderse ninguna pista. Este artículo sugiere utilizar los propios "pensamientos" internos de la IA (sus estados ocultos) para medir qué tan diferente es una nueva idea de las que ya ha intentado. Si una idea se siente "fresca" o "novedosa" en comparación con sus intentos anteriores, recibe un bono de recompensa, lo que incentiva al modelo a seguir explorando ese nuevo camino.

El equipo probó esta idea de dos maneras principales. Primero, analizaron la exploración en el "tiempo de inferencia", que es como una prueba única. Generaron miles de respuestas para un solo problema matemático y utilizaron su "bono de diversidad" para seleccionar las más interesantes para su comprobación. Descubrieron que este método era increíblemente eficiente. Por ejemplo, en un difícil conjunto de datos matemáticos llamado MATH, el uso de su método con un modelo llamado Qwen-2.5-14b-Instruct mejoró la eficiencia para encontrar una respuesta correcta en más de un 50% en comparación con la simple elección de respuestas al azar. De hecho, para algunas tareas, necesitaron entre 3 y 13 veces menos intentos para encontrar una solución correcta al usar esta estrategia de exploración.

Segundo, integraron esta estrategia de exploración en el proceso de entrenamiento real (post-entrenamiento). Querían ver si esto podía ayudar al modelo a aprender nuevos comportamientos en lugar de simplemente perfeccionar los antiguos. Los resultados fueron prometedores. Cuando entrenaron al modelo con este bono de exploración, este no solo mejoró en los mismos trucos de siempre; también comenzó a generar respuestas que parecían mucho más novedosas y creativas. En un difícil conjunto de datos de competencias matemáticas llamado AIME 2024, su modelo mejorado por la exploración funcionó tan bien como un método de entrenamiento estándar que utilizó cuatro veces más muestras. Esto sugiere que, al fomentar deliberadamente la diversidad, pueden ayudar a los modelos de IA a descubrir nuevas capacidades sin necesidad de cantidades masivas de datos adicionales o potencia de cómputo.

Sin embargo, los autores advierten cuidadosamente que esto no es una solución mágica que lo resuelve todo. Encontraron que el método funciona mejor con modelos más fuertes y capaces; los modelos más débiles a veces no se beneficiaron o incluso empeoraron. También demostraron que, si bien este enfoque ayuda al modelo a encontrar nuevas soluciones, no significa necesariamente que el modelo sea "más inteligente" en un sentido general, sino que es mejor navegando por el vasto espacio de posibles respuestas para encontrar la correcta. El artículo sugiere que esta "exploración deliberada" es un camino práctico hacia adelante, ofreciendo una forma de ir más allá de simplemente perfeccionar las habilidades existentes y avanzar hacia el descubrimiento de comportamientos genuinamente nuevos en los modelos de lenguaje.

Resumen Técnico: Exploración Basada en Representaciones para Modelos de Lenguaje

Declaración del Problema

El aprendizaje por refuerzo (RL) ha mostrado potencial para mejorar los modelos de lenguaje (LM) en tareas con recompensas verificables, como el razonamiento matemático y la generación de código. Sin embargo, una limitación crítica de las técnicas actuales de post-entrenamiento mediante RL es la incertidumbre sobre si realmente descubren comportamientos novedosos o si simplemente "afilan" (amplifican) capacidades ya presentes en el modelo base con una probabilidad modesta. La evidencia existente sugiere que las recetas estándar de RL a menudo fallan al intentar desbloquear capacidades ausentes en el modelo pre-entrenado, convergiendo en su lugar en soluciones conocidas. Además, la curación de datos y las intervenciones algorítmicas para mitigar esto se están convirtiendo en cuellos de botella, particularmente en dominios complejos y de naturaleza abierta.

El artículo postula que la exploración deliberada —incentivar explícitamente al modelo para que descubra comportamientos verdaderamente novedosos y diversos— es esencial para alcanzar el pleno potencial del RL para el razonamiento de modelos de lenguaje. El desafío central es cuantificar la novedad y la diversidad dentro del espacio combinatoriamente grande del lenguaje de una manera escalable, mientras se aprovecha el conocimiento previo embebido en los modelos pre-entrenados para guiar esta búsqueda de manera eficiente.

Metodología

Los autores proponen una estrategia de exploración basada en representaciones, utilizando bonificaciones elípticas derivadas de los estados ocultos del modelo de lenguaje pre-entrenado. La metodología se evalúa mediante un enfoque de dos vertientes:

1. Selección en Tiempo de Inferencia

Para aislar el papel de la diversidad de la optimización y la generalización, los autores definen primero un problema de selección en tiempo de inferencia. Dado un prompt $x$ y un gran conjunto de $N$ respuestas candidatas generadas por un modelo fijo $\pi$ , el objetivo es seleccionar un subconjunto de $k$ respuestas que sea máximamente diverso y tenga una alta probabilidad de contener una respuesta correcta.

Mecanismo (RepExp): El algoritmo selecciona iterativamente respuestas para maximizar una bonificación elíptica. Para una respuesta $y$ , se construye el vector de características $\bar{h}_\theta(x, y)$ promediando los estados ocultos de la última capa del modelo sobre los tokens de la respuesta.
Métrica de Diversidad: La novedad de una candidata $y$ dado un conjunto de respuestas previamente seleccionadas se define como $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ , donde $\Sigma$ es la matriz de covarianza de las características seleccionadas. La inversa de la covarianza se actualiza eficientemente utilizando la identidad de Woodbury.
Objetivo: Este enfoque selecciona un "coreset" de respuestas diversas para consultar a un verificador, con el fin de mejorar la eficiencia del verificador (reduciendo el número de muestras necesarias para encontrar una respuesta correcta).

2. Post-entrenamiento mediante RL

Los autores integran esta estrategia de exploración en el flujo de trabajo de post-entrenamiento de GRPO (Optimización de Política Relativa de Grupo).

Aumento de Recompensa: En lugar de seleccionar un subconjunto, la bonificación elíptica se añade directamente a la recompensa extrínseca. Para un rollout $y_i$ , la recompensa se convierte en $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ .
Implementación: La matriz de covarianza $\Sigma$ se reinicializa para cada lote de rollouts de entrenamiento para medir la novedad relativa al lote actual. Los vectores de características se proyectan a una dimensión inferior (por ejemplo, 512) mediante una proyección aleatoria dispersa para asegurar la escalabilidad.

3. Extensión a Nivel de Token (Preliminar)

Como prueba de concepto, los autores también exploran la modificación del propio proceso de generación autorregresiva. Al perturbar los logits a nivel de token con una bonificación elíptica en cada paso de generación, buscan guiar la diversidad durante el proceso de generación en lugar de una selección post-hoc.

Contribuciones Clave y Hallazgos

1. Mejora de la Eficiencia del Verificador (Inferencia)

El artículo demuestra que la exploración basada en representaciones mejora significativamente la eficiencia del verificador en una amplia gama de modelos (Phi, Llama, Qwen) y tareas (MATH, GSM8K, MBPP+, Game of 24).

Resultado: Para modelos como Qwen-2.5-14b-Instruct, el método logra una mejora de más del 50% en el número de muestras requeridas para encontrar una respuesta correcta en comparación con el muestreo aleatorio.
Correlación con la Fuerza del Modelo: Los beneficios de la exploración escalan con la fuerza del modelo; los modelos más fuertes (ej. Qwen-32B) se benefician significativamente, mientras que los modelos más débiles pueden no mostrar mejoras o incluso presentar degradación.
Sensibilidad a la Dificultad: El método proporciona las mayores ganancias de eficiencia en las preguntas más difíciles (ej. el 20% más difícil en MATH).

2. Mejora del Rendimiento y la Diversidad en el Post-entrenamiento

La integración de la exploración basada en representaciones en el post-entrenamiento de RL produce un rendimiento superior comparado con el GRPO estándar y las líneas base de "Unlikeliness" (falta de verosimilitud).

Mejora de Pass@k: El método mantiene o mejora las tasas de pass@k para valores grandes de $k$ , mientras que el GRPO estándar suele degradar el rendimiento respecto al modelo base para valores grandes de $k$ (un fenómeno conocido como "colapso de la diversidad").
Eficiencia de Muestreo: En el benchmark AIME 2024, el modelo post-entrenado Qwen-2.5-7b-Instruct usando RepExp logra un pass@80 que iguala al pass@256 del GRPO estándar, lo que representa una mejora de 3x en la eficiencia de muestreo en tiempo de prueba.
Anti-afilamiento (Anti-Sharpening): El análisis de las log-verosimilitudes bajo el modelo base revela que RepExp genera respuestas que son significativamente más novedosas (menor verosimilitud) que aquellas de un GRPO estándar, el cual tiende a afilar la distribución del modelo base. Esto sugiere que el método logra escapar del "régimen de afilamiento".

3. Aplicación a la Verificación de Alto Costo

En un experimento preliminar sobre generación de secuencias de proteínas (donde la verificación mediante experimentación de laboratorio es costosa), el método mejoró la eficiencia del verificador hasta en 56.9x en comparación con el muestreo aleatorio, demostrando un potencial de utilidad en dominios donde la verificación es costosa.

Significancia y Reivindicaciones

El artículo sostiene que la exploración deliberada, guiada por una noción de diversidad basada en representaciones y con principios sólidos, es un camino práctico hacia el descubrimiento de nuevos comportamientos en los modelos de lenguaje más allá del mero afilamiento.

Novedad del Enfoque: A diferencia de trabajos previos que dependen de redes auxiliares (ej. Destilación de Redes Aleatorias) o una compleja curación de datos, este método aprovecha los propios estados ocultos del modelo pre-entrenado, sin requerir maquinaria de aprendizaje adicional.
Estrategia de Validación: Los autores enfatizan el valor de su evaluación en dos etapas (selección en tiempo de inferencia seguida de post-entrenamiento) como una forma de desentrañar los beneficios de la diversidad de otros mecanismos de RL.
Alcance Modesto: Los autores reconocen que su implementación actual es un esquema "simple y principista". No pretenden haber resuelto todos los desafíos de la exploración, sino sugieren que este enfoque proporciona una base sólida y un marco para comprender las compensaciones de estrategias más sofisticadas. Señalan que, aunque la exploración a nivel de token es prometedora, actualmente incurre en costos computacionales más altos que requieren optimización.

En resumen, el artículo argumenta que al incentivar explícitamente el descubrimiento de comportamientos diversos mediante bonificaciones basadas en representaciones, se puede guiar a los modelos de lenguaje para encontrar soluciones novedosas que el RL de post-entrenamiento estándar omite, expandiendo así sus capacidades de razonamiento de manera más efectiva.