SR-OPSD: Self-Referenced On-Policy Self-Distillation

Imagina que le estás enseñando a un robot a escribir una historia o a resolver un problema matemático. No solo quieres que el robot obtenga la respuesta final correcta; quieres que aprenda cómo pensar paso a paso. En el mundo de la Inteligencia Artificial, esto se suele hacer dejando que el robot lo intente, falle y luego reciba una pequeña "recompensa" o "castigo" al final. Pero esto es como un estudiante que toma un examen y solo descubre que obtuvo una "B" después de haber terminado, sin tener idea de qué frase o cálculo específico causó su error. Para solucionar esto, los investigadores utilizan un truco llamado "autodestilación". Piensa en esto como si el robot jugara dos roles a la vez: un "Estudiante" que intenta resolver el problema y un "Profesor" (que en realidad es el mismo robot, pero con un poco de ayuda adicional o una "solución verificada") que observa el trabajo del Estudiante y le da retroalimentación sobre cada palabra. El Estudiante entonces intenta copiar las elecciones del Profesor.

El problema es que este Profesor no es un guía estático y perfecto. A medida que el Estudiante mejora, el Profesor también cambia, porque ambos son parte del mismo cerebro en evolución. Es como intentar darle a un objetivo móvil mientras el viento también está cambiando de dirección. Si el Estudiante intenta copiar al Profesor de manera demasiado rígida, podrían quedarse atrapados en un bucle, repitiendo los mismos errores o volviéndose demasiado estrechos en su pensamiento. Este artículo presenta una nueva forma de manejar este baile, llamada SR-OPSD. Es un método que ayuda al Estudiante a aprender del Profesor sin confundirse por el objetivo móvil, utilizando una "brújula" matemática especial para mantener el aprendizaje estable y efectivo.

El Problema del Objetivo Móvil

En muchos métodos de entrenamiento de IA, el objetivo es hacer que la IA sea más inteligente haciendo que aprenda de sus propios éxitos. El artículo comienza analizando un método llamado "Destilación de Política On-Policy" (OPSD). Imagina a un estudiante tomando un examen. En OPSD, el estudiante escribe una respuesta y luego un "auto-profesor" (que es el mismo estudiante, pero mirando la respuesta con una pista de la solución correcta) dice: "Oye, hiciste bien esta parte, pero esa palabra estuvo un poco errada". El estudiante intenta entonces ajustar sus respuestas futuras para coincidir con el profesor.

Sin embargo, hay un inconveniente. El profesor no es un libro fijo; es una versión del estudiante que está cambiando constantemente. A medida que el estudiante aprende, el profesor también cambia. Si intentas copiar a un profesor que está cambiando de posición constantemente, podrías terminar tambaleándote, sin lograr establecerte en una buena respuesta. El artículo sugiere que simplemente intentar igualar a este profesor móvil con herramientas matemáticas estándar a menudo conduce a la inestabilidad. El estudiante podría enfocarse demasiado en una sola forma de pensar (perdiendo la creatividad) o confundirse por los cambios constantes.

La Nueva Solución: Un Ancla Fija y una Brújula Flexible

Los autores proponen un nuevo método llamado SR-OPSD (Autodestilación On-Policy de Referencia Propia). Se dieron cuenta de que para detener el tambaleo, se necesitan dos cosas: un punto fijo al cual aferrarse y una forma flexible de moverse hacia la meta.

1. El Ancla Fija (Política de Referencia): En lugar de solo mirar al Profesor móvil, el estudiante también mantiene la vista en una "Referencia". Piensa en esto como el yo original del estudiante, pre-entrenado; la versión antes de que comenzara este entrenamiento específico. Esta Referencia actúa como un faro. Incluso si el Profesor (el objetivo móvil) se desplaza, el estudiante sabe que no debe alejarse demasiado de su fundamento original y sólido. El nuevo método mezcla el consejo del Profesor con esta Referencia, creando un "objetivo" que es estable pero que sigue siendo útil.
2. La Brújula Flexible (Divergencia de Rényi): Una vez establecido el objetivo, el estudiante necesita una forma de moverse hacia él. El artículo utiliza una herramienta matemática llamada divergencia de Rényi. Puedes pensar en esto como un tipo especial de "imán" o "brújula" que controla qué tan fuerte es atraído el estudiante hacia el objetivo.
   • Si el imán es demasiado fuerte, el estudiante podría pegarse al objetivo demasiado rápido y perder su propia voz.
   • Si es demasiado débil, no aprenderá nada.
   • La belleza de la herramienta de Rényi es que tiene una "perilla" (llamada orden $\rho$) que permite a los investigadores ajustar exactamente cómo reacciona el estudiante a las diferencias entre su respuesta actual y el objetivo. Permite que el estudiante sea sensible a los detalles pequeños o que los ignore, dependiendo de lo que la tarea necesite.

Lo Que Encontraron

Los investigadores probaron este nuevo método en tres tipos de tareas muy diferentes:

• Preguntas de Ciencias: Responder preguntas complicadas sobre química, física y biología.
• Razonamiento Matemático: Resolver problemas matemáticos difíciles donde los pasos importan tanto como la respuesta.
• Programación (Coding): Escribir programas de computadora que realmente funcionen.

Compararon su nuevo método (SR-OPSD) contra métodos más antiguos como la "KL Inversa" estándar (que es como un profesor muy estricto) y la "Divergencia de Jensen-Shannon" (un profesor más equilibrado pero a veces inestable).

Los Resultados:

• Estabilidad: En las pruebas de ciencia y matemáticas, los métodos más antiguos a menudo comenzaban con fuerza pero luego empeoraban con el tiempo, como un corredor que corre demasiado rápido al principio y luego colapsa. SR-OPSD, sin embargo, siguió mejorando de manera constante. Por ejemplo, en un benchmark de física, el nuevo método alcanzó una precisión de 81.1 (usando una métrica específica llamada Avg@16), mientras que los métodos anteriores rondaban el 79.4 o menos.
• Maestría Matemática: En competencias matemáticas difíciles (como AIME y HMMT), el nuevo método ayudó a la IA a resolver más problemas correctamente. Por ejemplo, en la prueba AIME 2025, el nuevo método mejoró la tasa de "Paso" (obtener la respuesta correcta) en 6.7 puntos porcentuales en comparación con un método base popular llamado GRPO.
• Programación: Al enseñar a la IA a escribir código, el nuevo método funcionó mejor a medida que los modelos de IA se hacían más grandes. Para el modelo más grande probado (Qwen3-8B), el nuevo método logró una puntuación de 50.1, superando el mejor resultado anterior de 48.8.

Por Qué Importa

El artículo sugiere que el secreto para hacer que la IA aprenda de sus propios errores no es solo tener un mejor profesor; es cómo conectas al estudiante con ese profesor. Al anclar el proceso de aprendizaje a una "Referencia" estable y utilizar una "Brújula" ajustable (la divergencia de Rényi), la IA puede aprender habilidades complejas sin confundirse ni perder el camino.

Los autores descubrieron que simplemente añadir un punto de referencia no era suficiente por sí solo; de hecho, empeoraba las cosas si se combinaba con las herramientas matemáticas incorrectas. Pero cuando combinaron la referencia con su nueva brújula flexible, los resultados fueron consistentemente mejores en ciencia, matemáticas y programación. Esto sugiere que para que la IA domine verdaderamente el razonamiento complejo, necesita un método de entrenamiento que equilibre la emoción de la nueva retroalimentación con la estabilidad de su conocimiento original.