🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

El artículo presenta TEMPO, un marco de entrenamiento en tiempo de prueba que supera las limitaciones de los métodos existentes para modelos de razonamiento a gran escala al intercalar el refinamiento de la política con una recalibración periódica del crítico, logrando mejoras significativas y sostenidas en tareas matemáticas sin sacrificar la diversidad.

Autores originales: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

Publicado 2026-04-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un genio matemático (un modelo de Inteligencia Artificial) que ya estudió mucho en la escuela, pero ahora se enfrenta a exámenes nuevos y muy difíciles en la vida real.

El problema es que, una vez que el examen empieza, el genio no puede consultar a su profesor ni abrir sus libros. Sin embargo, el modelo TEMPO le da una superhabilidad: aprender mientras resuelve el examen.

Aquí te explico cómo funciona este "genio" usando analogías sencillas:

1. El Problema: El Genio que se Cree Demasiado Seguro

Imagina que este genio está resolviendo problemas de matemáticas. Al principio, intenta muchas formas diferentes de resolverlos. Pero, si no tiene un profesor que le diga "correcto" o "incorrecto", empieza a inventar sus propias reglas.

El error de los métodos anteriores: Los métodos antiguos (como TTRL o EMPO) funcionaban así: el genio resolvía un problema, se miraba al espejo y decía: "¡Uy, esta respuesta se ve muy segura! Debe ser la correcta".
La trampa: Con el tiempo, el genio se vuelve tan seguro de sus propias ideas que empieza a repetir siempre la misma solución, aunque sea incorrecta. Es como si un estudiante se convenciera de que $2+2=5$ porque lo repitió tantas veces que ya no duda. Deja de intentar cosas nuevas (pierde la "diversidad") y su nota se estanca.

2. La Solución: TEMPO (El Entrenador y el Alumno)

TEMPO es como un sistema de entrenamiento inteligente que tiene dos personajes principales trabajando en equipo:

El Alumno (La Política): Es el genio que resuelve los problemas nuevos (los exámenes sin respuestas).
El Entrenador (El Crítico): Es un profesor experto que tiene las respuestas correctas en su mano.

3. Cómo Funciona el Entrenamiento (El Bucle Mágico)

TEMPO hace que el Alumno y el Entrenador trabajen en un ciclo de dos pasos, como un partido de baloncesto con un entrenador en la banca:

Paso A: El Entrenador se Actualiza (El Paso E)

Antes de que el Alumno intente resolver problemas nuevos, el Entrenador va a su oficina (un conjunto de datos con respuestas correctas) y repasa sus notas.

La analogía: Es como si el entrenador repasara el libro de texto para asegurarse de que no se ha vuelto loco y sigue sabiendo qué es la verdad. Esto es crucial porque, si el entrenador se basa solo en lo que el alumno dice, terminará aprendiendo las mentiras del alumno.

Paso B: El Alumno Practica (El Paso M)

Ahora, el Alumno intenta resolver problemas nuevos y difíciles.

La analogía: El Alumno lanza su solución. El Entrenador (que acaba de repasar el libro) le dice: "Esa respuesta tiene un 80% de probabilidad de ser correcta, pero esa otra es un 20%".
Gracias a esta evaluación externa y honesta, el Alumno aprende de verdad y mejora, en lugar de solo repetirse a sí mismo.

4. ¿Por qué es tan genial?

La mayoría de los sistemas anteriores solo hacían el Paso B (el alumno se autoevalúa). Por eso, cuando el alumno se equivocaba, el sistema se equivocaba también y se estancaba.

TEMPO hace algo diferente: alterna entre actualizar al Entrenador y entrenar al Alumno.

Resultado: El genio no solo mejora su nota, sino que sigue siendo creativo. No se queda atascado en una sola forma de pensar. Sigue intentando diferentes caminos para resolver el problema porque el Entrenador le da feedback honesto, no solo "lo que el alumno quiere oír".

En Resumen

Imagina que estás aprendiendo a conducir:

Métodos viejos: Conduces solo, te miras al espejo y piensas: "¡Voy muy bien!". Al final, chocas porque nunca te corrigieron.
TEMPO: Tienes un instructor en el asiento del copiloto. De vez en cuando, el instructor va a la sala de profesores a repasar las reglas de tránsito (Paso E) para asegurarse de que sigue siendo un buen juez. Luego, te corrige mientras conduces (Paso M).

Conclusión: TEMPO permite que la Inteligencia Artificial siga aprendiendo y mejorando incluso cuando no tiene respuestas correctas a mano, siempre y cuando tenga un "instructor" que se actualice periódicamente para no perder la noción de la verdad. ¡Es como darle al modelo un sistema de auto-corrección que nunca se cansa de aprender!

Resumen Técnico: TEMPO - Escalando el Entrenamiento en Tiempo de Prueba para Modelos de Razonamiento Grande

1. El Problema

Los Modelos de Razonamiento Grande (LRMs) han demostrado capacidades excepcionales en tareas complejas (matemáticas, lógica), pero sus parámetros permanecen estáticos después del entrenamiento inicial. El Entrenamiento en Tiempo de Prueba (TTT) busca superar esta limitación permitiendo que el modelo actualice sus parámetros durante la inferencia utilizando datos de prueba no etiquetados.

Sin embargo, los métodos TTT existentes (como TTRL, EMPO, Theta-Evolve) presentan dos limitaciones fundamentales:

Estancamiento del Rendimiento: Utilizan señales de recompensa heurísticas (entropía, consistencia propia) que están intrínsecamente limitadas por las capacidades iniciales del modelo. A medida que el modelo se auto-refuerza, la señal de recompensa se satura, impidiendo mejoras adicionales.
Colapso de la Diversidad: En la búsqueda de un rendimiento promedio más alto, estos métodos tienden a colapsar la distribución de salida, convergiendo en un conjunto estrecho de patrones de razonamiento. Esto degrada la calidad del razonamiento a largo plazo y reduce la capacidad de explorar soluciones alternativas válidas.

La causa raíz es la falta de etiquetas de verdad fundamental (ground-truth) en tiempo de prueba, lo que provoca que la señal de recompensa derivada del propio modelo se desvíe (drift) y se vuelva auto-referencial y sesgada.

2. Metodología: TEMPO

Los autores proponen TEMPO (Test-time Expectation-Maximization Policy Optimization), un marco de TTT que desacopla la generación de recompensas de la optimización de la política mediante un diseño actor-crítico alterno, formalizado a través del algoritmo Expectation-Maximization (EM).

El proceso se divide en dos etapas que se alternan iterativamente:

Paso E (Expectation): Recalibración del Crítico
- Objetivo: Estimar la distribución posterior de respuestas correctas.
- Mecanismo: Un modelo crítico ( $V_\phi$ ) se entrena o recalibra periódicamente utilizando un conjunto de datos etiquetados ( $D_L$ ) con recompensas verificables.
- Función: El crítico aprende a predecir la corrección de una respuesta (valor binario o continuo) basándose en datos externos, actuando como una fuente de supervisión estable que evita la deriva de la señal de recompensa.
Paso M (Maximization): Refinamiento de la Política
- Objetivo: Optimizar los parámetros del modelo actor ( $\pi_\theta$ ) en datos de prueba no etiquetados ( $D_u$ ).
- Mecanismo: El actor genera trayectorias de razonamiento en preguntas no etiquetadas. Utiliza las puntuaciones del crítico (actualizado en el Paso E) como recompensas para optimizar la política mediante un algoritmo de gradiente de política (RL).
- Ventaja: Al usar un crítico recalibrado externamente, la política se guía por una señal de calidad objetiva en lugar de sesgos internos.

Fundamento Teórico:
El artículo demuestra que maximizar la probabilidad de respuestas correctas sin etiquetas es equivalente a maximizar una cota inferior de verosimilitud (ELBO). Los métodos anteriores se interpretan como variantes incompletas del EM que omiten el Paso E (la recalibración), lo que provoca que la estimación de la posterior se desvíe. TEMPO restaura el Paso E, estrechando la ELBO y permitiendo una mejora sostenida.

3. Contribuciones Clave

Marco TEMPO: Un nuevo enfoque de TTT que logra ganancias de rendimiento sostenidas mediante la optimización actor-crítico alterna, evitando el estancamiento y el colapso de la diversidad.
Análisis Unificado EM: Una interpretación teórica que caracteriza a los métodos TTT existentes (TTRL, EMPO) como procedimientos EM degenerados que omiten la recalibración posterior. Identifica la falta del Paso E como la causa fundamental de los fallos de escalabilidad.
Validación Empírica Exhaustiva: Experimentos extensos en múltiples familias de modelos (Qwen3, OLMO3), escalas (7B, 8B, 14B) y cinco benchmarks de razonamiento (matemáticas, lógica, STEM), demostrando superioridad en precisión y diversidad.

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks de matemáticas (AIME 2024/2025/2026, OlymMath) y razonamiento general (BigBenchHard, AGI Eval, ZebraLogic, GPQA-Diamond).

Mejoras de Precisión:
- En OLMO3-7B en AIME 2024, TEMPO aumentó la precisión de 33.0% a 51.1%.
- En Qwen3-14B en AIME 2024, la precisión saltó de 42.3% a 65.8% (una ganancia absoluta de +23.5 puntos).
- TEMPO superó consistentemente a las líneas base RLVR y métodos de auto-recompensa (TTRL, EMPO) en todas las escalas y benchmarks.
Preservación de la Diversidad:
- Mientras que las líneas base (TTRL, EMPO) sufrieron un colapso de diversidad (disminución de pass@k a medida que aumentaba el avg@16), TEMPO mantuvo puntuaciones pass@k altas.
- Esto demuestra que TEMPO no solo mejora el rendimiento promedio, sino que preserva la capacidad del modelo para explorar múltiples soluciones válidas.
Escalabilidad:
- A diferencia de los métodos que se estancan rápidamente, TEMPO mostró una trayectoria de mejora continua a lo largo de cientos de iteraciones de entrenamiento en tiempo de prueba, superando los límites de rendimiento de los modelos pre-entrenados.
Generalización:
- El método funcionó eficazmente en dominios no matemáticos (lógica, puzzles, ciencias), confirmando que el diseño alternado no es específico de un dominio.

5. Significado e Impacto

Superación del "Techo" de RLVR: TEMPO demuestra que es posible trascender las limitaciones de rendimiento de los modelos de razonamiento actuales utilizando cómputo adicional en tiempo de prueba, siempre que se mantenga una señal de recompensa bien calibrada.
Solución al Colapso de Diversidad: Proporciona un mecanismo robusto para evitar que los modelos de IA converjan en modos de razonamiento estrechos y sesgados durante el auto-entrenamiento, un problema crítico en el aprendizaje por refuerzo sin supervisión externa.
Nueva Perspectiva Teórica: Al enmarcar el TTT como un algoritmo EM, el trabajo ofrece una base teórica sólida para entender por qué fallan los métodos anteriores y cómo corregirlos, estableciendo un nuevo estándar para el desarrollo de sistemas de razonamiento adaptativos.
Viabilidad Práctica: Aunque requiere mantener un modelo crítico adicional (mayor costo de memoria), la ganancia sustancial en capacidades de razonamiento en problemas abiertos y complejos justifica el costo, abriendo la puerta a sistemas de IA que pueden "aprender" y adaptarse dinámicamente durante su despliegue.

En resumen, TEMPO representa un avance significativo al demostrar que el entrenamiento en tiempo de prueba puede ser escalable y sostenible si se integra una supervisión externa periódica para corregir los sesgos del modelo, transformando el TTT de una técnica heurística a un procedimiento de optimización principista.