SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

Los modelos de lenguaje extensos son herramientas poderosas que pueden resolver problemas complejos, escribir código y navegar por entornos digitales, pero a menudo tienen dificultades cuando una tarea requiere una larga cadena de razonamiento. Imagine pedirle a un estudiante que resuelva un problema matemático difícil o que planifique un viaje de compras de varios pasos. Si el estudiante obtiene la respuesta final incorrecta, recibe una simple señal de "incorrecto". Esta retroalimentación le dice que el resultado fue malo, pero no explica qué paso específico en su larga cadena de pensamiento causó el error. ¿Fue un error de cálculo en medio? ¿Un supuesto erróneo al principio? Sin saber dónde ocurrió la falla, el modelo no puede aprender fácilmente a hacerlo mejor la próxima vez. Esto se conoce como el problema de la asignación de crédito, un obstáculo importante para enseñar a la inteligencia artificial a manejar tareas largas y complejas.

Los investigadores han intentado resolver esto haciendo que los modelos reflexionen sobre sus propios errores, de forma muy similar a un humano que revisa un examen para entender qué salió mal. Sin embargo, los intentos previos de utilizar esta autorreflexión durante el entrenamiento solían ser ineficientes o inestables. A veces hacían que el modelo se confundiera con sus propios pensamientos acumulados o no lograban convertir la vaga sensación de "lo hice mal" en una lección concreta para cada palabra que generaba. Un nuevo enfoque llamado Optimización de Política Autorreflexiva, o SRPO (por sus siglas en inglés), ofrece un camino diferente. En lugar de esperar a una calificación final, este método enseña al modelo a actuar como su propio maestro analizando sus intentos completados, identificando exactamente dónde se desvió y utilizando ese conocimiento para guar su siguiente intento.

Los investigadores detrás de SRPO, liderados por Jialong Liu y sus colegas, diseñaron un sistema donde un modelo de lenguaje aprende mirando hacia atrás su propio trabajo. El proceso ocurre en dos fases distintas. Primero, el modelo intenta una tarea, como resolver un problema matemático o navegar por una tienda virtual. Una vez finalizado el intento, el modelo hace una pausa para reflexionar. Revisa toda la secuencia de sus acciones y el resultado final, luego escribe una nota breve y concisa resumiendo qué salió mal o qué decisiones clave se tomaron correctamente. Esta nota, que los autores llaman "parche de reflexión", no es un ensayo largo, sino un conjunto ajustado de consejos accionables, usualmente de solo unos pocos puntos clave.

En la segunda fase, el modelo intenta la misma tarea, pero esta vez comienza con la pregunta original más la nota de reflexión que acaba de escribir. Esta nueva combinación actúa como una guía, dándole al modelo efectivamente una segunda oportunidad con el beneficio de la retrospectiva. El modelo genera un nuevo intento de mayor calidad basado en este contexto enriquecido. Crucialmente, los investigadores no utilizan este segundo intento, mejorado, como la respuesta final. En su lugar, lo utilizan como una señal de enseñanza. Comparan los nuevos pensamientos mejorados del modelo contra sus pensamientos originales no guiados. Al analizar la diferencia entre ambos, el sistema crea un flujo denso de señales de aprendizaje. Cada palabra en el intento original del modelo es calificada: si una palabra se alinea con la sabiduría de la reflexión, se le premia; si se desvía, se le corrige. Esto transforma una única calificación de "correcto" o "incorrecto" al final de una tarea en miles de lecciones diminutas y específicas para cada palabra que el modelo escribió.

Este método demostró ser notablemente efectivo. El equipo probó SRPO en una variedad de pruebas de rendimiento desafiantes, incluyendo competencias matemáticas avanzadas y tareas de agentes complejos que requieren navegar por entornos digitales. En un examen matemático difícil llamado AIME'24, un modelo que utilizaba SRPO logró una puntuación promedio del 73.3 por ciento (con una desviación estándar de ±1.4 en cinco ejecuciones independientes). Esto supuso una mejora significativa respecto a otros métodos líderes y se logró utilizando solo el 8 por ciento de los FLOPs de entrenamiento típicamente requeridos para entrenamientos similares. El sistema también destacó en tareas de largo alcance, como WebShop, donde completó con éxito el 64.7 por ciento de las misiones de compra, y ALFWorld, donde resolvió el 76.8 por ciento de las tareas de simulación doméstica. Estos resultados sugieren que, al interiorizar la capacidad de reflexionar, el modelo aprendió a corregir su propio camino de razonamiento sin necesidad de un maestro externo más grande que lo guiara.

El estudio también abordó un temor común en la investigación de la inteligencia artificial: que enseñar una nueva habilidad a un modelo pueda causar que olvide lo que ya sabía. Cuando los investigadores entrenaron al modelo en tareas de programación después de haber aprendido matemáticas, el método SRPO ayudó al modelo a retener el 95.2 por ciento de sus habilidades matemáticas originales. En contraste, otros métodos vieron caídas mucho mayores en el rendimiento. Esto sugiere que, debido a que el modelo aprende de su propia distribución de pensamientos en lugar de imitar a un experto externo, mantiene una comprensión más estable de sus propias capacidades.

Los investigadores fueron cuidadosos al verificar que el éxito provenía del contenido de las reflexiones, no solo del texto adicional que añadieron. Probaron el sistema alimentándolo con reflexiones generadas para problemas completamente diferentes. Cuando la reflexión no coincidía con la tarea, el rendimiento del modelo caía de nuevo a los niveles base, demostrando que el consejo específico y relevante era lo que impulsaba la mejora. También descubrieron que las reflexiones debían ser concisas; las notas excesivamente largas o verbosas en realidad perjudicaban el rendimiento, probablemente porque introducían ruido y confusión.

En última instancia, el SRPO demuestra que un modelo de lenguaje puede volverse más capaz aprendiendo a criticarse y guiarse a sí mismo. Al convertir resultados finales dispersos en una guía densa, palabra por palabra, el método permite que los modelos aprendan patrones de razonamiento complejos con muchos menos ejemplos y menos potencia de cómputo de lo que se pensaba posible. El trabajo sugiere un futuro donde los sistemas de inteligencia artificial puedan mejorar continuamente sus propios procesos de razonamiento, volviéndose más confiables y eficientes para resolver los problemas largos e intrincados que definen los desafíos del mundo real.