🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

Este artículo presenta $\beta$ -OPSD, un marco fundamentado que generaliza la autodestilación on-policy al tratar el peso de la penalización KL $\beta$ como un parámetro ajustable, permitiendo un entrenamiento eficiente mediante la mezcla de logits para aproximar la interpolación de política óptima entre un modelo de referencia y un profesor, mientras mejora significativamente la estabilidad y el rendimiento de razonamiento sobre el OPSD convencional.

Autores originales: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Publicado 2026-07-31

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a resolver un problema matemático difícil. Tienes dos formas de ayudarlo a aprender. La primera es dejar que el robot lo intente, falle y luego mostrarle la solución perfecta, pidiéndole que memorice cada paso. Esto es como un estudiante copiando la tarea de un profesor. La segunda es dejar que el robot lo intente y luego usar a un "superprofesor" que puede ver la clave de respuestas para darle retroalimentación instantánea sobre cada palabra que el robot escribe. Esto se llama "autodestilación on-policy". Es poderoso porque el profesor reacciona a los errores específicos del robot en tiempo real. Pero aquí está el truco: este método suele ser frágil. Si presionas demasiado al robot para que copie al superprofesor, podría confundirse, olvidar lo que ya sabe y empezar a hacer conjeturas descabelladas. Es como un estudiante que intenta imitar a un genio tan perfectamente que pierde su propia voz y deja de pensar por sí mismo. Los científicos quieren saber: ¿cómo obtenemos los beneficios del superprofesor sin romper la confianza del estudiante?

Un nuevo artículo introduce una solución ingeniosa llamada β-OPSD. Los investigadores se dieron cuenta de que la forma estándar de usar al superprofesor es en realidad un ajuste extremo de un conjunto mucho más amplio de métodos. Descubrieron un "dial" (llamado β) que controla cuánto debe escuchar el robot al superprofesor frente a cuánto debe apegarse a su propio estilo actual. En lugar de forzar al robot a saltar directamente al nivel del profesor, encontraron una manera de crear un camino suave entre el yo actual del robot y el superprofesor. Este método es poderoso porque el profesor reacciona a los errores específicos del robot en tiempo real. Pero aquí está el truco: este método suele ser frágil. Si presionas demasiado al robot para que copie al superprofesor, podría confundirse, olvidar lo que ya sabe y empezar a hacer conjeturas descabelladas. Es como un estudiante que intenta imitar a un genio tan perfectamente que pierde su propia voz y deja de pensar por sí mismo. Los científicos quieren saber: ¿cómo obtenemos los beneficios del superprofesor sin romper la confianza del estudiante?

El Problema: El Profesor "Demasiado Difícil"

En el mundo de la IA, hacer que un modelo sea más inteligente a menudo implica un proceso llamado autodestilación on-policy. Imagina a un estudiante (el modelo de IA) escribiendo una historia o resolviendo un problema matemático. Mientras escribe, un "profesor privilegiado" (una versión más inteligente del modelo o uno con acceso a la clave de respuestas) observa y dice: "No, esta palabra debería ser esta otra". El estudiante entonces intenta copiar las elecciones del profesor.

El problema es que este profesor es demasiado bueno. Si el estudiante intenta copiar las respuestas perfectas del profesor de inmediato, puede ser como intentar correr un maratón antes de saber caminar. El estudiante se abruma, el aprendizaje se vuelve inestable y el robot podría empezar a cometer errores extraños y aleatorios. Los investigadores descubrieron que el método estándar era esencialmente forzar al estudiante a coincidir perfectamente con el profesor desde el principio, lo cual es una forma de aprendizaje muy frágil.

La Solución: Una Curva de Aprendizaje Suave

Los autores del artículo, Jiawei Xu, Minghui Liu y su equipo de la Universidad de Maryland, propusieron una nueva forma de pensar sobre esto. Se dieron cuenta de que el método estándar es solo un ajuste específico de una familia más amplia de estrategias de aprendizaje. Introdujeron una variable llamada β (beta) que actúa como un control de volumen para la guía del profesor.

Cuando β es bajo (o 1): El estudiante intenta copiar al profesor exactamente. Esta es la antigua y frágil forma.
Cuando β es alto: El estudiante tiene permitido permanecer más cerca de su propio estilo actual, derivando solo lentamente hacia el estilo del profesor.

El artículo muestra que la forma perfecta de aprender no es saltar directamente al profesor. En su lugar, el mejor camino es una interpolación geométrica. Piensa en una ruta de GPS. El método antiguo intentaba teletransportar al estudiante directamente a la ubicación del profesor. El nuevo método, β-OPSD, dibuja un camino suave entre la ubicación actual del estudiante y la ubicación del profesor.

A medida que el entrenamiento progresa, los investigadores "programan" el valor de β. Comienzan con un objetivo que está muy cerca del estudiante (seguro y fácil) y cambian gradualmente el objetivo para que sea más parecido al del profesor (desafiante e inteligente). Esto es como un videojuego que comienza en modo "Fácil" y aumenta gradualmente hacia el modo "Difícil", en lugar de lanzar al jugador al nivel más difícil desde el primer día.

El Ingrediente Secreto: Mirar hacia Adelante

Había una pieza más del rompecabezas. En los métodos antiguos, cuando el estudiante cometía un error en la primera palabra de una oración, el sistema solo culpaba a esa palabra específica. Pero en el lenguaje, la primera palabra cambia el contexto de todas las palabras que la siguen. Si comienzas una oración con "El gato", la siguiente palabra probablemente sea "sentó" o "corrió", no "pizza".

Los investigadores se dieron cuenta de que el método antiguo era "miope" (corto de vista). No se daba cuenta de que un error temprano podía arruinar toda la oración. Para solucionar esto, añadieron una asignación de crédito de retorno al progreso (return-to-go credit assignment).

Imagina que estás jugando al ajedrez. Si haces un mal movimiento en el turno 3, podrías no perder la partida hasta el turno 20. El método antiguo solo culparía al turno 20. El nuevo método mira hacia atrás y dice: "Oye, el turno 3 fue el verdadero problema porque esto llevó a este desastre". Al dar crédito (o culpa) a los tokens tempranos basándose en cómo afectaron el resultado final, el modelo aprende a ser más cuidadoso desde la primera palabra.

Lo Que Encontraron

El equipo probó este nuevo método β-OPSD en evaluaciones de razonamiento matemático, que son como las Olimpiadas de los problemas matemáticos para la IA. Utilizaron modelos que van desde pequeños (1.7 mil millones de parámetros) hasta grandes (8 mil millones de parámetros).

Los resultados fueron prometedores. En el modelo Qwen3-1.7B, el nuevo método mejoró la puntuación promedio en 9.16 puntos porcentuales en la competencia de matemáticas AIME 2024, en comparación con el método antiguo. También vio mejoras en otras pruebas difíciles como AIME 2025 y HMMT 2025. Incluso en los modelos más grandes, el nuevo método superó consistentemente la forma antigua, demostrando que el camino de aprendizaje suave y el sistema de crédito de "mirar hacia adelante" funcionan bien independientemente del tamaño del modelo.

Los investigadores sugieren que este enfoque proporciona una "ruta fundamentada" desde la copia simple hasta la optimización compleja. No requiere trucos de aprendizaje por refuerzo costosos y lentos; en su lugar, utiliza la matemática inteligente de la optimización de políticas para crear una forma mejor, más barata y más estable de enseñar a los modelos de IA cómo razonar. Al convertir un proceso rígido y frágil en un viaje guiado y suave, hicieron del robot un mejor estudiante.

Resumen Técnico: $\beta$ -OPSD

1. Planteamiento del Problema

La autodestilación on-policy (OPSD) ha emergido como una técnica prometedora para mejorar las capacidades de razonamiento de los modelos de lenguaje de gran tamaño (LLMs). En la OPSD estándar, un modelo estudiante aprende de sus propias trayectorias muestreadas mientras recibe supervisión de un "profesor privilegiado" (el mismo modelo arquitectónico con acceso a soluciones de verdad fundamental o trazas verificadas) disponible únicamente durante el entrenamiento.

Sin embargo, los autores identifican que la OPSD vanilla suele ser frágil en la práctica, requiriendo un esfuerzo de ingeniería sustancial para funcionar de manera fiable. El problema central es que la OPSD estándar trata al profesor como el objetivo de optimización único, fijando implícitamente la fuerza de regularización que ancla al estudiante a su política inicial o de referencia. Esta formulación rígida carece de un mecanismo para controlar qué tan agresivamente el estudiante se aleja de su política de referencia hacia el profesor, lo que a menudo conduce a la inestabilidad o a una convergencia subóptima.

2. Metodología

El artículo propone $\beta$ -OPSD, un marco que redefine la autodestilación on-policy como una familia más amplia de problemas de optimización de políticas regularizados por KL. La metodología procede en tres etapas: derivar el objetivo teórico, convertirlo en un objetivo de destilación práctico y refinar la asignación de crédito.

2.1. Derivación Teórica: $\beta$ -OPSD como Optimización de Políticas

Los autores demuestran que la OPSD vanilla es precisamente el miembro con $\beta = 1$ de una familia de optimización de políticas regularizada por KL. Definen la función objetivo $J_\beta(\theta)$ como:
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
Donde:

$\pi_\theta$ : La política del estudiante.
$p_T$ : La política del profesor privilegiado (condicionada al problema $x$ e información privilegiada $c$ ).
$\pi_{\text{ref}}$ : Una política de referencia (por ejemplo, el estudiante inicial).
$\beta$ : Un parámetro de regularización controlable.

Perspectiva Clave: Cuando $\beta=1$ , los términos de referencia se cancelan, recuperando la minimización de la KL inversa estándar hacia el profesor. Para $\beta > 1$ , el objetivo se vuelve más conservador, penalizando más fuertemente las desviaciones de la política de referencia.

2.2. Política Óptima e Interpolación Geométrica

Los autores derivan la política óptima de forma cerrada $\pi^\star_\beta$ para este objetivo:
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
Esta solución representa una interpolación geométrica entre la política de referencia y el profesor privilegiado. El parámetro $\beta$ (específicamente su inverso $1/\beta$ ) actúa como un peso que determina la posición a lo largo de este camino.

$\beta = 1 \implies$ El objetivo es el profesor.
$\beta \to \infty \implies$ El objetivo se aproxima a la política de referencia.

2.3. Entrenamiento Práctico: Interpolación de Logits Programada

La optimización directa del objetivo de RL es computacionalmente costosa debido al normalizador intratable $Z_\beta$ y los gradientes de alta varianza. En su lugar, $\beta$ -OPSD convierte la solución teórica en un objetivo de destilación eficiente.

Aproximación Local: Dado que el normalizador a nivel de secuencia es intratable, el método aproxima la política óptima en cada prefijo de decodificación $h_t$ mediante la interpolación lineal de los logits de la referencia y del profesor:
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
Programación de Currículo (Curriculum Scheduling): En lugar de fijar $\beta$ , el método emplea un esquema donde el peso del profesor $w_k = 1/\beta_k$ aumenta linealmente de $w_{\text{start}}$ a $w_{\text{end}}$ a lo largo de los pasos de entrenamiento. Esto crea un currículo suave, comenzando con objetivos más cercanos al estudiante e incorporando gradualmente una guía más fuerte del profesor.

2.4. Asignación de Crédito de Retorno-al-Ir (Return-to-Go)

Las actualizaciones estándar de OPSD a nivel de token son "míopes", tratando el loss de cada token de forma independiente. Esto ignora cómo la elección de un token temprano afecta los prefijos futuros y el desajuste subsiguiente con el objetivo.
Para abordar esto, $\beta$ -OPSD introduce la asignación de crédito de retorno-al-ir (RTG). El loss para un token $t$ se pondera por el desajuste acumulado futuro (retorno descontado) a lo largo de la trayectoria:
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
donde $\rho_s$ es el desajuste del log-ratio en el paso $s$ . Esto asegura que los tokens tempranos reciban crédito (o culpa) por el desajuste de la distribución que inducen más adelante en la secuencia, alineando las actualizaciones a nivel de token con el objetivo a nivel de secuencia.

3. Contribuciones Clave

Unificación Teórica: El artículo establece que la OPSD vanilla es el caso $\beta=1$ de una familia más amplia de optimización de políticas regularizada por KL, haciendo que la elección de la regularización implícita sea explícita y controlable.
Marco $\beta$ -OPSD: Introduce un objetivo generalizado donde la política óptima es una interpolación geométrica entre la referencia y el profesor, realizada prácticamente mediante la interpolación programada de logits.
Algoritmo de Entrenamiento Eficiente: Los autores proponen un método para aproximar la costosa solución derivada de RL utilizando una destilación de bajo costo a nivel de token, evitando la necesidad de maquinaria compleja de RL como la estimación de ventaja.
Alineación a Nivel de Secuencia: La integración de la asignación de crédito de retorno-al-ir corrige la naturaleza miope de las actualizaciones de token-KL estándar, proporcionando un estimador insesgado para el objetivo a nivel de secuencia.

4. Resultados Experimentales

El método fue evaluado en benchmarks de razonamiento matemático (AIME 2024, AIME 2025, HMMT 2025) utilizando modelos Qwen3 que van desde 1.7B hasta 8B de parámetros.

Ganancias de Rendimiento: $\beta$ $β$ -OPSD superó consistentemente a la OPSD vanilla, SFT y a las líneas base de GRPO.
- En Qwen3-1.7B, $\beta$ -OPSD mejoró el rendimiento promedio (avg@12) en 5.74 puntos porcentuales sobre la OPSD vanilla, con ganancias específicas de 9.16 puntos en AIME 2024.
- En modelos más grandes (4B y 8B), mantuvo un rendimiento competitivo o superior, mejorando el promedio general en 1.76 y 1.66 puntos respectivamente.
Estudios de Ablación:
- Distribución Objetivo: Reemplazar el objetivo fijo del profesor con el objetivo interpolado de logits programado produjo ganancias significativas (por ejemplo, +6.03 puntos en AIME 2024), confirmando el beneficio de una transición suave.
- Asignación de Crédito: El uso de pesos de retorno-al-ir en lugar de gradientes locales de token mejoró el rendimiento (por ejemplo, +5.55 puntos en AIME 2025), validando la importancia de las actualizaciones conscientes del futuro.
- Construcción de Referencia: El mejor rendimiento se logró utilizando un estudiante dinámico (modelo actual) y un profesor fijo (profesor privilegiado), lo que sugiere que rastrear la evolución de la distribución del estudiante mientras se mantiene un ancla de supervisión estable es óptimo.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una "ruta principista desde la autodestilación hacia la optimización de políticas y viceversa". Su principal significancia radica en:

Estabilidad: Al tratar a $\beta$ como un parámetro controlable, el método aborda la fragilidad de la OPSD vanilla, permitiendo una optimización más suave que intercambia la proximidad a la política de referencia por la guía del profesor.
Eficiencia: Logra los beneficios de la optimización de políticas (objetivos a nivel de secuencia, regularización KL) sin el costo computacional de un RL completo, reteniendo la eficiencia de la destilación estándar.
Generalizabilidad: El enfoque ofrece un mecanismo para reducir la brecha de distribución entre el estudiante y el profesor, lo cual es particularmente beneficioso para modelos más pequeños donde esta brecha es mayor.

Los autores concluyen que las rutas de objetivos suaves y la asignación de crédito a nivel de trayectoria son principios efectivos para la destilación on-policy, ofreciendo una alternativa robusta a la imitación directa del profesor.