🤖 machine learning

Latent On-Policy Self-Distillation

Este artículo presenta la Destilación Auto-Supervisada Latente en Tiempo Real (LOPD, por sus siglas en inglés), un marco novedoso que reemplaza los artefactos privilegiados diseñados a mano con tokens latentes aprendibles derivados de experiencias recuperadas para permitir que los agentes alcancen un rendimiento y una eficiencia de datos superiores en tareas de autoevolución como el uso de herramientas y la generación de código.

Autores originales: Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Publicado 2026-08-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

=== RESUMEN ===
Imagina que estás enseñando a un robot a jugar un videojuego complejo. En los viejos tiempos, tendrías que sentarte allí y escribir manualmente una "guía" perfecta para cada nivel, diciéndole al robot exactamente qué botones presionar. Pero, ¿qué pasaría si el robot pudiera aprender jugando al juego por sí mismo, observando sus propias repeticiones y descubriendo qué funcionó? Este es el corazón de un campo llamado Autodestilación On-Policy. Piensa en ello como si el robot actuara como su propio maestro. Juega una ronda (el "estudiante") y luego una versión más inteligente de sí mismo (el "maestro") observa la repetición y dice: "Oye, dudaste aquí; intenta esto en su lugar". La magia ocurre cuando el maestro ofrece una retroalimentación súper detallada sobre cada uno de los movimientos que hizo el estudiante, no solo si ganó o perdió al final.

Sin embargo, hay un inconveniente. Para ser un buen maestro, el robot necesita una guía "privilegiada"—algo como una solución perfecta o una estrategia secreta—que el estudiante aún no posee. Normalmente, los humanos tienen que diseñar estos guías manualmente, escribiéndolos en texto plano o reglas específicas. Pero, ¿qué pasaría si el robot pudiera aprender a crear sus propios guías automáticamente, extrayendo las partes más útiles de sus aventuras pasadas y convirtiéndolas en un lenguaje secreto que solo el maestro entiende? Esa es la gran pregunta que aborda este artículo: ¿Podemos dejar de hacer que los humanos escriban las reglas y permitir que la IA aprenda cómo resumir su propia experiencia en una guía perfecta e invisible?

El Artículo: Autodestilación On-Policy Latente (LOPD)

Este artículo presenta un nuevo método llamado Autodestilación On-Policy Latente (LOPD). En lugar de pedir a un diseñador humano que escriba un "guía" específico (como una respuesta de texto o una descripción de habilidad específica) para que el maestro del robot lo lea, LOPD enseña al robot a aprender su propio guía.

Así es como funciona, usando una analogía lúdica:

Imagina a un robot estudiante intentando resolver un laberinto. Choca contra una pared, da la vuelta y finalmente encuentra la salida.

La forma antigua: Un humano miraría el laberinto y escribiría una nota que diga: "Gira a la izquierda en la puerta roja". El robot maestro leería esta nota y le diría al estudiante: "Deberías haber girado a la izquierda". Pero esta nota es rígida. Si el laberinto cambia ligeramente, la nota podría ser inútil.
La forma LOPD: El robot no utiliza una nota escrita. En su lugar, tiene un "Compilador de Memoria" (Memory Composer). Este compilador observa las ejecuciones exitosas pasadas del robot a través de laberintos similares. Toma los momentos más importantes y los comprime en un diminuto "código secreto" invisible (llamado tokens latentes). Este código es como un susurro comprimido y de alta tecnología que solo el robot maestro puede oír.

El robot maestro escucha este susurro secreto mientras observa al robot estudiante jugar. Debido a que el maestro tiene este código secreto, sabe exactamente lo que el estudiante debería haber hecho en cada paso. Luego le enseña al estudiante: "No te limites a adivinar; aquí tienes el camino denso y detallado que deberías haber tomado".

¿La parte más genial? El robot aprende a escribir este código secreto mientras aprende a jugar el juego. Descubre qué partes de sus aventuras pasadas son realmente útiles y cuáles son solo ruido. Es como si el robot aprendiera a tomar sus propios apuntes en un lenguaje que él mismo inventó, en lugar de verse obligado a leer un libro de texto escrito por un humano.

Lo Que Encontraron

Los investigadores probaron esto en dos tipos de tareas muy diferentes:

Uso de Herramientas Agénticas: Darle al robot un conjunto de herramientas (como una calculadora, un motor de búsqueda o una base de datos) y pedirle que resuelva problemas de múltiples pasos, como reservar un vuelo o gestionar una agenda.
Generación de Código: Pedirle al robot que escriba programas informáticos que funcionen.

Compararon LOPD con otros métodos donde los humanos tenían que diseñar los "guías" (como darle al maestro una respuesta de texto perfecta o un resumen de habilidad específico).

Los Resultados:

Mejor Rendimiento: LOPD superó consistentemente a los otros métodos. En las pruebas de uso de herramientas, mejoró las puntuaciones significativamente. Por ejemplo, en una prueba llamada EnvScaler, elevó la puntuación de 61.8 a 63.7 con un modelo más pequeño, y de 60.2 a 66.4 con uno más grande. En las pruebas de codificación, también quedó en la cima, superando a los mejores métodos diseñados por humanos.
Súper Eficiencia: El robot aprendió más rápido. El artículo señala que LOPD logró estos resultados utilizando menos del 30% del "presupuesto de rollout" (el número de juegos de práctica) requerido por otros métodos principales como GRPO y Skill-SD. Es como sacar un sobresaliente en matemáticas tras estudiar solo tres horas, mientras tus amigos estudiaron diez.
La "Receta Secreta" es Aprendible: El artículo demostró que el código secreto (el contexto latente) debe ser aprendido. Cuando intentaron usar una versión congelada e inalterable del código, el robot no aprendió tan bien. Pero cuando dejaron que el robot ajustara el código por sí mismo, funcionó perfectamente.

Lo Que Descartaron

El artículo argumenta explícitamente contra la idea de que necesitamos seguir inventando guías cada vez más complejas escritas por humanos (como trazas de razonamiento específicas, respuestas perfectas o descripciones de habilidades rígidas) para hacer a los robots más inteligentes. Demostraron que estas notas diseñadas a mano suelen fallar porque son demasiado rígidas; una nota que ayuda en una situación puede confundir al robot en otra. LOPD sugiere que el mejor camino a seguir es dejar que el robot descubra qué recordar y cómo comprimirlo, en lugar de obligarlo a leer un manual preescrito.

Qué Tan Seguros Están

Los autores están bastante seguros de estos hallazgos porque los probaron en tres modelos de robot diferentes (Qwen3-4B, Qwen3-8B y Olmo3-7B) y siete benchmarks diferentes. Los resultados no fueron una casualidad; se mantuvieron consistentes. También realizaron experimentos específicos para demostrar que la parte de "aprendizaje" del código secreto era la verdadera razón del éxito, no solo la potencia de cómputo adicional. Aunque no afirman haber resuelto todo el misterio de la evolución de la IA, los datos sugieren fuertemente que dejar que la IA aprenda su propio "contexto privilegiado" es un paso masivo hacia adelante para crear agentes que puedan mejorarse continuamente a sí mismos.

Resumen Técnico: Destilación de Políticas On-Policy Latente (LOPD)

1. Planteamiento del Problema

El artículo aborda el desafío de permitir que los agentes de IA aprendan de la experiencia e interioricen esta en su política para su autoevolución. Si bien la Destilación de Políticas On-Policy (OPSD) ofrece una vía prometedora al utilizar un auto-maestro "privilegiado" para proporcionar supervisión densa sobre las propias trayectorias del estudiante, los métodos existentes sufren una limitación fundamental: dependen en gran medida de artefactos privilegiados diseñados por humanos (por ejemplo, respuestas fijas, trazas de razonamiento, habilidades o trayectorias recuperadas).

Estos contextos diseñados manualmente constriñen al sistema a un formato de información específico elegido por el diseñador. No permiten que el maestro aprenda qué aspectos de la experiencia previa son realmente útiles para supervisar la trayectoria actual del estudiante, ni adaptan la representación de esa experiencia al caso o estado de aprendizaje específico. El artículo postula que, para que la autoevolución de la IA sea escalable, ni el contenido útil de la experiencia ni su representación deben estar fijados por heurísticas humanas.

Pregunta de Investigación: ¿Puede el contexto privilegiado aprenderse de forma end-to-end a partir de la experiencia, permitiendo que el auto-maestro determine qué conocimiento experiencial retener y cómo codificarlo para una supervisión on-policy densa?

2. Metodología: Destilación de Políticas On-Policy Latente (LOPD)

LOPD redefine el contexto privilegiado no como un artefacto textual predefinido, sino como un sustrato latente aprendible. El marco opera a través de los siguientes componentes:

A. Contexto Privilegiado Latente Aprendible

En lugar de alimentar al maestro con un artefacto de texto fijo, LOPD construye un contexto continuo y diferenciable a partir de experiencias recuperadas:

Recuperación de Experiencia: Un banco de experiencias offline almacena ejecuciones exitosas (descripción de la tarea + traza compacta de acción-resultado). Para una tarea actual, un recuperador denso extrae las $J$ trayectorias más relevantes.
Compresor Latente: Un módulo aprendible ( $\Phi_\phi$ $Φ_{ϕ}$ ) transforma estas trayectorias recuperadas en un conjunto compacto de tokens latentes continuos.
- Codificador: Un backbone congelado aumentado con parámetros LoRA entrenables codifica el par tarea-experiencia en estados ocultos.
- Compresor: Un módulo de tipo QFormer con consultas (queries) aprendidas comprime estos estados de longitud variable en un número fijo ( $K$ ) de tokens latentes continuos por experiencia.
- Formación de Contexto: Estos tokens se concatenan para formar el contexto privilegiado $c_\phi$ , el cual se inyecta en la ventana de entrada del maestro como tokens especiales.

B. Proceso de Destilación On-Policy

El bucle de entrenamiento sigue el estándar de OPSD pero con el contexto latente aprendible:

Ejecución del Estudiante (Rollout): La política del estudiante ( $\pi_S$ ) genera una trayectoria basándose únicamente en la tarea y el historial de interacción (sin contexto privilegiado).
Evaluación del Maestro: Un modelo maestro congelado ( $\pi_T$ ), inicializado desde el mismo backbone, reevalúa los mismos prefijos visitados de la trayectoria del estudiante. Crucialmente, el maestro está condicionado por el contexto latente aprendido $c_\phi$ derivado de las experiencias recuperadas.
Objetivo de Destilación: El estudiante se optimiza para coincidir con las distribuciones de tokens del maestro utilizando la divergencia KL inversa sobre los top- $M$ logits más un cubo de cola (tail bucket). Esto fomenta que el estudiante se concentre en comportamientos respaldados por el contexto enriquecido del maestro.

C. Restricción de Margen Privilegiado

Para evitar el "colapso" donde el maestro simplemente imita al estudiante (haciendo que el contexto latente carezca de información), LOPD introduce un objetivo de margen privilegiado:

Alineación de Resultados: El sistema vincula la ventaja de los tokens del maestro al resultado verificado de la trayectoria.
Restricción: Una variable dual $\beta$ impone un margen $m$ tal que la ventaja de la probabilidad logarítmica del maestro sobre el estudiante en trayectorias exitosas debe exceder un umbral.
Efecto: Esto asegura que el contexto aprendido siga siendo informativo y proporcione una ventaja verificable, dirigiendo al compresor hacia evidencia que respalde el comportamiento exitoso en lugar de soluciones triviales.

D. Inferencia

Tras el entrenamiento, solo se retiene la política del estudiante. El banco de experiencias, el recuperador, el compresor y el contexto latente se descartan. El estudiante ha interiorizado la guía, requiriendo ningún tipo de base de datos externa o entrada privilegiada durante el despliegue.

3. Contribuciones Clave

Reformulación del Contexto: El artículo cambia el paradigma de los contextos privilegiados de artefactos textuales predefinidos y diseñados por humanos a un sustrato latente aprendible de extremo a extremo (end-to-end). Esto permite al maestro extraer automáticamente señales de supervisión relevantes para la tarea a partir de trayectorias puras.
Solución Propuesta (LOPD): Un marco que optimiza conjuntamente el contexto privilegiado (a través del compresor) y la política del estudiante. Incluye una restricción de margen privilegiado para asegurar que el contexto aprendido sea informativo y prevenir que el maestro colapse hacia el estudiante.
Validación Experimental: LOPD demuestra un rendimiento y eficiencia superiores en comparación con los métodos existentes.

4. Resultados Experimentales

Los autores evaluaron LOPD a través de tres backbones de modelos (Qwen3-4B, Qwen3-8B, Olmo3-7B) y siete benchmarks que cubren el uso de herramientas agénticas (EnvScaler, BFCL-v3, ACEBench) y generación de código (LiveCodeBench, EvalPlus).

Rendimiento: LOPD logró los mejores resultados agregados en las diez comparaciones de backbone-benchmark.
- En EnvScaler con Qwen3-8B, LOPD alcanzó 66.4, superando al baseline más fuerte (Skill-SD con 60.2).
- En ACEBench, LOPD alcanzó 62.7, superando significativamente a OPSD (52.7) y SDPO (52.0).
- En generación de código, LOPD mejoró las puntuaciones pass@1 en LiveCodeBench y EvalPlus, superando consistentemente a baselines como GRPO y Skill-SD.
Eficiencia de Muestreo: LOPD superó a GRPO y Skill-SD con menos del 30% de su presupuesto de ejecución (rollout), alcanzando un rendimiento sólido tempranamente en el entrenamiento (por ejemplo, excediendo 0.61 de recompensa media tras 320 generaciones frente a la mejora gradual de los baselines).
Estudios de Ablación:
- Optimización Conjunta: Aprender el contexto de forma conjunta es necesario; usar un compresor congelado o eliminar la restricción de margen resultó en caídas de rendimiento, confirmando que las ganancias provienen de aprender la representación, no solo de añadir parámetros.
- Aprendible vs. Fijo: Los métodos de contexto fijo (como SDPO o OPSD) a veces degradaron el rendimiento en comparación con los modelos vanilla, mientras que LOPD mejoró consistentemente respecto al baseline vanilla, demostando que las representaciones aprendibles se adaptan mejor a diversas tareas y estados de aprendizaje.
- Interiorización del Comportamiento: El análisis mostró que los estudiantes de LOPD adoptaron comportamientos de planificación secuencial más avanzados (menos llamadas a herramientas por paso, respuestas de primer paso más cortas) incluso sin acceso al contexto latente, probando que la guía fue interiorizada.

5. Significado y Reivindicaciones

El artículo afirma que LOPD representa un paso hacia un paradigma de evolución de agentes más escalable y autodirigido.

Principio de Diseño: La afirmación central es que las representaciones de la experiencia deben ser optimizadas de extremo a extremo para las políticas que pretenden mejorar, en lugar de depender de una sucesión de formatos de experiencia cada vez más elaborados y de autoría humana.
Escalabilidad: Al hacer que el "contexto privilegiado" sea aprendible, el sistema evita el cuello de botella de diseñar manualmente artefactos para cada nuevo dominio o tipo de tarea.
Interiorización: El método convierte con éxito las trayectorias puras en un sustrato de supervisión aprendible, permitiendo que el agente descubra qué evidencia preservar y cómo codificarla, haciendo que el aprendizaje de la experiencia sea verdaderamente de extremo a extremo.

Los autores enfatizan que, si bien la recuperación por sí sola es insuficiente y la optimización sin restricciones puede conducir al colapso, la combinación de composición latente y la restricción de margen privilegiado permite una supervisión productiva que persiste después de que el contexto es eliminado.