🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

El artículo presenta la Política de Pensamiento (PoT), un marco que mejora el razonamiento de los LLM al tratar la ejecución en tiempo de prueba como un proceso de optimización en línea donde un adaptador LoRA transitorio se actualiza dinámicamente mediante la Optimización de Política Relativa de Grupo para internalizar la retroalimentación y evolucionar la estrategia de razonamiento del modelo, permitiendo que un modelo de 4B supere significativamente a modelos de vanguardia mucho más grandes en complejos benchmarks de codificación.

Autores originales: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas increíblemente difícil, como un desafío de programación complejo o un problema matemático que requiere una larga cadena de pensamiento. Tienes un asistente superinteligente (un Modelo de Lenguaje Grande) que conoce muchos datos pero a veces se queda atrapado en un bucle, repitiendo los mismos errores una y otra vez. En el mundo de la inteligencia artificial, este asistente suele trabajar con un cerebro "congelado": una vez que comienza a pensar, no puede cambiar su estrategia fundamental a mitad del proceso. Si toma un camino equivocado, simplemente sigue caminando por ese camino erróneo, esperando tropezar con la respuesta correcta por pura suerte o probando muchos caminos diferentes a la vez. Esto es como intentar encontrar la salida de un laberinto corriendo ciegamente por cada pasillo hasta chocar con una pared, en lugar de aprender de las paredes con las que ya ha tropezado.

Durante mucho tiempo, la mejor manera de resolver estos problemas difíciles era simplemente darle a la computadora más tiempo y potencia de cálculo para probar millones de diferentes conjeturas. Pero este artículo sugiere una forma más inteligente: en lugar de solo esforzarse más, la computadora debería aprender mientras lo intenta. Piensa en esto como un personaje de un videojuego que no solo reaparece e intenta de nuevo, sino que realmente aprende de la trampa específica que acaba de matarlo, ajustando su estrategia instantáneamente para el siguiente intento. Los investigadores detrás de este estudio se preguntan: ¿qué pasaría si nuestra IA pudiera "pensar sobre la marcha", actualizando sus propias reglas de razonamiento en tiempo real basándose en si sus intentos anteriores fallaron o tuvieron éxito? Esta es la diferencia entre un robot que solo sigue un guion y uno que se adapta y evoluciona su propio cerebro para cada nuevo desafío que enfrenta.

La "Política de Pensamientos": Enseñando a la IA a Aprender Mientras Juega

Conoce a PoT (Policy of Thoughts), un nuevo marco de trabajo que trata la resolución de un problema no como una conjetura de un solo intento, sino como una conversación viva y evolutiva entre la IA y el problema mismo. Los autores, un equipo de investigadores de universidades como la Universidad de Zhejiang y la LMU de Múnich, argumentan que la vieja forma de hacer las cosas —donde la estrategia de la IA permanece congelada mientras busca respuestas— nos está frenando. Proponen un sistema donde la IA tiene una "segunda oportunidad" para aprender de sus propios errores durante la prueba, entrenándose a sí misma sobre la marcha.

El Acertijo Popperiano: Conjeturar, Probar y Evolucionar

La idea central se inspira en un famoso filósofo llamado Karl Popper, quien creía que la ciencia avanza a través de "conjeturas y refutaciones". En lenguaje sencillo, esto significa que haces una conjetura, la pruebas contra la realidad y, si falla, aprendes exactamente por qué falló para poder hacer una mejor conjetura la próxima vez.

PoT da vida a esta filosofía para la IA. Así es como funciona el ciclo:

La Conjetura (La Conjetura): La IA observa un problema y genera algunas soluciones posibles diferentes (como esbozar tres rutas distintas en un mapa).
La Refutación (La Verificación de la Realidad): El sistema ejecuta estas soluciones en un entorno real (como un compilador de código). Si el código falla o da la respuesta incorrecta, eso es una "refutación".
La Evolución (El Aprendizaje): Esta es la parte mágica. En lugar de simplemente desechar la conjetura fallida, PoT utiliza el fallo para actualizar la "política" interna de la IA (su estrategia de pensamiento). Realiza ajustes diminutos e instantáneos en cómo piensa la IA, específicamente para este problema.
El Repetir: La IA lo intenta de nuevo con su cerebro recién actualizado, ahora mejor equipado para evitar el error específico que acaba de cometer.

El Truco del "Cerebro Temporal"

Podrías preguntarte: "Si la IA aprende de cada problema, ¿no se confundirá o olvidará lo que sabía antes?". Los autores tienen una solución ingeniosa. Utilizan una técnica llamada LoRA (Low-Rank Adaptation), que es como darle a la IA un "gorro de pensar" temporal y desprendible.

Imagina que la IA tiene una biblioteca de conocimiento masiva y permanente (su modelo base). Cuando se enfrenta a un problema difícil, se pone un "gorro de pensar" especial y ligero (el adaptador LoRA). Este gorro permite que la IA aprenda y se adapte rápidamente su estrategia para este rompecabezas específico. Una vez que se resuelve el rompecabezas (o se agota el tiempo), el gorro se quita y se desecha. La biblioteca permanente permanece intacta y sin confusión. Esto significa que la IA puede ser una maestra de la adaptación para cada nuevo problema sin arruinar su conocimiento general.

Los Resultados: Cerebro Pequeño, Grandes Victorias

Los investigadores probaron esta idea en desafíos de programación, que son notoriamente difíciles porque requieren una lógica precisa y paso a paso. Utilizaron un modelo de IA relativamente pequeño (solo 4 mil millones de parámetros) y le dieron el marco de trabajo PoT.

Los resultados fueron sorprendentes. Este diminuto modelo, usando PoT, logró resolver el 49.71% de los problemas en un benchmark exigente llamado LiveCodeBench V6. Para ponerlo en perspectiva:

Superó a GPT-4o, un modelo comercial masivo, que obtuvo un 29.71% en ese mismo benchmark específico.
Superó significativamente el rendimiento base de otros modelos grandes en esta prueba específica, demostrando que un modelo con aprendizaje dinámico puede superar el razonamiento estático de sistemas mucho más grandes.
Aunque modelos como Gemini-2.5-Flash (60.91% general) y Claude-Opus-4 (55.22% general) lograron puntuaciones más altas en benchmarks más amplios y mixtos, el 49.71% del modelo potenciado por PoT en el riguroso LiveCodeBench V6 representa un salto masivo para un modelo más de 50 veces más pequeño, demostrando que el razonamiento adaptativo puede cerrar la brecha con los gigantes en tareas específicas y complejas.

Lo más impresionante es que el modelo potenciado por PoT es más de 50 veces más pequeño que algunos de los modelos gigantes con los que compite. No ganó por tener un cerebro más grande; ganó por tener una forma más inteligente de usar el cerebro que tenía.

Por Qué Esto Importa

El artículo sugiere que el futuro del razonamiento de la IA no se trata solo de construir modelos cada vez más grandes. Se trata de dar a los modelos la capacidad de "pensar sobre la marcha". Al convertir el proceso de tiempo de prueba en una sesión de entrenamiento, la IA deja de desperdiciar energía en caminos fallidos y comienza a usar esa energía para mejorar su estrategia instantáneamente.

Los autores descubrieron que este método funciona mejor cuando hay una retroalimentación clara (como un código que se ejecuta o falla). Cuando la retroalimentación es difusa, las ganancias son menores, pero siguen siendo positivas. También demostraron que este enfoque funciona en diferentes tipos de modelos, no solo en el que empezaron.

En resumen, PoT sugiere que la mejor manera de resolver un problema difícil no es solo esforzarse más; es aprender más rápido. Al permitir que la IA evolucione su propia estrategia de razonamiento para cada desafío, podemos obtener resultados superinteligentes de computadoras mucho más pequeñas y eficientes. Es un cambio de "buscar la respuesta correcta" a "aprender cómo encontrar la respuesta correcta".

Resumen Técnico: Política de Pensamientos (PoT)

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) enfrentan una inestabilidad significativa al abordar tareas de razonamiento complejas y de largo alcance. Los enfoques actuales de vanguardia dependen de una suposición de política congelada, donde los parámetros del modelo permanecen estáticos durante la inferencia. Si bien métodos como la Cadena de Pensamiento (CoT) y el escalado en tiempo de prueba (por ejemplo, Best-of-N, Tree of Thoughts) aumentan el cómputo de inferencia para explorar espacios de soluciones, tratan la retroalimentación de ejecución meramente como una señal externa para filtrar o reescribir trayectorias. No internalizan los fallos para mejorar la estrategia de razonamiento en sí misma. En consecuencia, los modelos a menudo desperdician recursos computacionales en "trayectorias engañosas" donde un solo error temprano descarrila irreversiblemente la cadena de razonamiento, careciendo de un mecanismo para corregir su rumbo en tiempo real.

Los métodos existentes de Entrenamiento en Tiempo de Prueba (TTT) han explorado actualizaciones basadas en gradientes, pero típicamente se dirigen a la adaptación trans-instancia o al descubrimiento científico de largo alcance, en lugar del entorno de razonamiento por instancia requerido para resolver problemas específicos y complejos.

2. Metodología: Política de Pensamientos (PoT)

Los autores proponen la Política de Pensamientos (PoT), un marco que redefine el razonamiento en tiempo de prueba como un proceso de optimización en línea dentro de la instancia. Inspirado en el principio epistemológico de Karl Popper de "conjeturas y refutaciones", PoT permite al modelo evolucionar iterativamente su política de razonamiento a través de un ciclo cerrado de exploración y adaptación.

Arquitectura Central

PoT opera sobre un modelo base congelado aumentado con un adaptador LoRA (Low-Rank Adaptation) transitorio. El proceso de razonamiento sigue un ciclo de $P1 \to TT \to EE \to P2$ :

Conjetura Exploratoria ($TT$): El modelo realiza una exploración estructurada utilizando Búsqueda de Árbol Monte Carlo (MCTS). Genera un conjunto diverso de trayectorias candidatas (pensamientos) expandiendo nodos basados en el objetivo PUCT (Predictor Upper Confidence Bound).
Ejecución y Refutación ($EE$): Las soluciones candidatas se ejecutan en un entorno (por ejemplo, un ejecutor de código). La retroalimentación se obtiene mediante los resultados de las pruebas unitarias, sirviendo como una medida objetiva de refutación.
Internalización de la Política ( $P2$ ): En lugar de descartar los intentos fallidos, PoT utiliza la Optimización de Política Relativa de Grupo (GRPO) para actualizar el adaptador LoRA transitorio.
- Se muestrea un grupo de trayectorias y se computan sus recompensas relativas para estimar las señales de ventaja.
- Se minimiza la pérdida GRPO para actualizar los parámetros del adaptador, "entrenando" efectivamente al modelo en la instancia específica utilizando la retroalimentación de ejecución.
- Esto actualiza la política previa para los pasos de búsqueda subsiguientes, estrechando la búsqueda hacia regiones de alta calidad.
Reinicio: Una vez resuelto el problema o agotado el presupuesto, el adaptador transitorio se descarta, dejando el modelo base intacto. Esto evita el olvido catastrófico y la interferencia entre instancias.

Componentes Técnicos Clave

Espacio de Estados: Definido como la descripción del problema más el historial de pensamientos generados y la retroalimentación de ejecución.
Función de Recompensa: Derivada de la ejecución de pruebas unitarias (1.0 para todos los aciertos, crédito parcial para aciertos parciales, 0 de lo contrario).
Mecanismo de Adaptación: Utiliza LoRA ( $\Delta W = BA$ ) para actualizar eficientemente los pesos durante la inferencia sin modificar el esqueleto pre-entrenado.
Optimización: Se emplea GRPO para normalizar las recompensas dentro de un grupo, permitiendo que el modelo aprenda de las diferencias de rendimiento relativo entre candidatos sin requerir una red de valor separada.

3. Contribuciones Clave

Entrenamiento en Tiempo de Prueba como Evolución de la Política: El artículo formaliza el razonamiento en tiempo de prueba como un proceso de optimización en línea, cambiando el paradigma de la selección estática de trayectorias a la adaptación dinámica de la política. Esto permite a los LLMs internalizar la retroalimentación de ejecución y remodelar las estrategias de razonamiento en tiempo real.
El Marco PoT: Un sistema unificado que combina la exploración estructurada (MCTS) con la internalización de parámetros eficientes (GRPO + LoRA transitorio). El diseño del adaptador por instancia asegura que el modelo se adapte a la lógica específica del problema actual sin interferir con tareas futuras.
Desempeño Empírico Superior: Experimentos extensos demuestran que PoT supera significativamente a las líneas base existentes, incluyendo métodos basados en búsqueda, técnicas de refinamiento iterativo y modelos comerciales grandes, a pesar de utilizar un número de parámetros mucho menor.

4. Resultados Experimentales

Los autores evaluaron PoT en cinco bancos de pruebas de razonamiento de código: HumanEval, MBPP, LiveCodeBench (v5 y v6) e ICPC.

Desempeño en Modelos Pequeños: Un modelo de 4B de parámetros (Qwen3-4B-Instruct) potenciado con PoT alcanzó una precisión general del 64.02%.
- Esto supera a GPT-4o (49.35%), Claude-Opus-4 (55.22%) y Gemini-2.5-Flash (60.91%).
- Supera a las bases de escalado en tiempo de prueba más fuertes (por ejemplo, RethinkMCTS con 57.08%, TTT-Discover con 58.79%) por márgenes significativos.
- En LiveCodeBench V6, el modelo de 4B logró un 49.71%, superando a 12 líneas base de escalado en tiempo de prueba y modelos comerciales a pesar de ser más de 50 veces más pequeño en número de parámetros.
Generalización: PoT mostró ganancias consistentes en diferentes familias de modelos (Phi-4, Qwen) y escalas (1.7B a 30B). También complementó a los modelos de "pensamiento", elevando a Qwen3-4B-Thinking de 55.20% a 63.70% en LiveCodeBench V6.
Estudios de Ablación:
- La Adaptación es Crítica: Eliminar la actualización de LoRA (búsqueda MCTS pura) redujo el desempeño de 49.71% a 37.14%, resaltando que la evolución de la política es el motor principal del éxito.
- Factor de Ramificación: Un factor de ramificación de $k=3$ ofreció el equilibrio óptimo entre la diversidad de exploración y la eficiencia computacional.
- Transitorio vs. Persistente: Descartar el adaptador después de cada instancia (reinicio por instancia) superó la retención del mismo entre instancias por 5.41 puntos, confirmando que las estrategias específicas de la instancia no son transferibles de manera confiable.

5. Significado y Reivindicaciones

El artículo argumenta que aprender en el tiempo de prueba es una estrategia superior al solo buscar para problemas de razonamiento difíciles. Al convertir el cómputo adicional en una mejora directa de la política en lugar de una exploración desperdiciada, PoT permite que modelos pequeños superen a modelos masivos y estáticos.

Los autores afirman que PoT representa un cambio fundamental de la "suposición de política congelada", demostrando que la adaptación transitoria por instancia es el régimen correcto para las tareas de razonamiento. El marco transforma efectivamente el ciclo de "conjeturas y refutaciones" en un proceso computacional donde los fallos no solo se filtran, sino que se utilizan para refinar las prioridades internas de razonamiento del modelo durante la duración de la tarea.

Limitaciones: Los autores reconocen que la dependencia de modelos de recompensa aprendidos (en dominios no ejecutables) introduce subjetividad, y que la efectividad de las señales basadas en modelos frente a la retroalimentación ambiental determinista sigue siendo un área de investigación abierta. Sin embargo, en dominios con retroalimentación nativa (como el código), el método logra resultados robustos y de vanguardia.