🤖 machine learning

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

Este artículo presenta la Destilación On-Policy Multitarea mediante Contexto Privilegiado de Soft-Prompt, un método que emplea modelos de base congelados con soft prompts aprendibles específicos para cada tarea como maestros para permitir que un único modelo estudiante absorba eficientemente el conocimiento de múltiples tareas en paralelo sin sufrir olvido catastrófico ni requerir el ajuste fino completo de los pesos.

Autores originales: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un estudiante brillante pero un poco torpe a resolver acertijos complejos. En el mundo de la inteligencia artificial, este estudiante es un "Modelo de Lenguaje Grande" (LLM, por sus siglas en inglés)—un programa informático que ha leído casi todo lo que hay en internet y puede escribir historias, responder preguntas y resolver problemas matemáticos. Pero, a veces, incluso estos modelos súper inteligentes se quedan atascados o cometen errores tontos. Para arreglarlos, los científicos utilizan una técnica llamada "destilación". Piensa en esto como un chef maestro (el profesor) guiando a un cocinero novato (el estudiante) a través de una receta. El estudiante no solo copia el plato final; observa cada corte, cada movimiento de la cuchara y cada cata, aprendiendo el proceso de cocinar, no solo el resultado.

Durante mucho tiempo, la mejor manera de enseñar a estos estudiantes de IA era hacer que el profesor escribiera la respuesta perfecta y se la mostrara al estudiante. Pero esto tenía una trampa oculta: el profesor a veces simplemente adivinaba la respuesta primero y luego inventaba una historia para justificarla, en lugar de resolverla paso a paso. El estudiante también aprendería este mal hábito. Otro método consistía en cambiar todo el cerebro del profesor (sus pesos internos) para hacerlo más inteligente, pero esto a menudo causaba que el profesor olvidara cómo hacer otras cosas, como escribir poesía o charlar, mientras se concentraba en la nueva tarea. La gran pregunta que los científicos se han estado haciendo es: ¿Cómo creamos un profesor que sea lo suficientemente inteligente como para mostrar el camino correcto, pero lo suficientemente estable como para no olvidar sus viejas habilidades o hacer trampa mirando la clave de respuestas?

Este artículo presenta una nueva y astuta solución llamada PROMPTSD (Destilación Suave Basada en Prompts On-Policy). Los autores, un equipo de universidades de EE. UU. y Singapur, proponen una forma de construir un profesor que es casi idéntico al estudiante, excepto por una pequeña e invisible "nota mágica" adherida al frente de sus instrucciones.

Así es como funciona, usando una analogía simple: Imagina que el estudiante y el profesor son gemelos que comparten el mismo cerebro y personalidad. Normalmente, para enseñarle al estudiante una nueva habilidad, podrías darle al profesor un par de gafas completamente nuevas (cambiando su cerebro) o una hoja de trucos con las respuestas escritas (dándole la clave de respuestas). Ambos métodos tienen problemas: las nuevas gafas hacen que el profesor olvide cómo ver otras cosas, y la hoja de trucos hace que el profesor se vuelva perezoso, justificando la respuesta en lugar de resolverla.

PROMPTSD hace algo diferente. Le da al profesor un prompt suave (soft prompt). Piensa en esto como una pequeña nota adhesiva invisible que dice: "Recuerda, para este problema matemático específico, piensa primero en las fracciones". Esta nota está hecha de números, no de palabras, y es lo único que cambia entre el profesor y el estudiante. El cerebro del profesor permanece congelado y exactamente igual al del estudiante. Debido a que el profesor no está mirando la clave de respuestas, tiene que realmente pensar el problema para generar el camino correcto. Como su cerebro no ha sido reescrito, no olvida cómo hacer otras cosas.

Los investigadores probaron esta idea en un modelo llamado Qwen3-1.7B-Base y en otro llamado Phi-4-mini-instruct. Enseñaron a estos modelos cuatro habilidades diferentes: Ciencia, uso de herramientas (como una calculadora o un motor de búsqueda), Biología y Matemáticas. Descubrieron que su profesor de "nota mágica" fue increíblemente efectivo. En tareas individuales, el estudiante aprendió tan bien como si el profesor hubiera sido reentrenado por completo, pero el estudiante aprendió mucho más rápido porque solo tuvo que ajustar una fracción minúscula de sus parámetros (aproximadamente el 0.05% de su cerebro total, comparado con el 100% para un reentrenamiento completo).

Aún más impresionante, intentaron enseñar al estudiante cuatro habilidades diferentes al mismo tiempo. Normalmente, cuando intentas aprender demasiadas cosas a la vez, terminas olvidando las anteriores (un problema llamado "olvido catastrófico"). Pero debido a que el profesor de PROMPTSD solo utilizó estas notas diminutas y específicas para cada tarea, el estudiante pudo absorber el conocimiento de los cuatro profesores simultáneamente sin confundirse ni olvidar su inteligencia general. De hecho, en el modelo Qwen3-1.7B-Base, este enfoque multitarea logró una puntuación promedio de 56.2, superando a todos los demás métodos.

El artículo descarta explícitamente algunas ideas comunes. Muestra que simplemente darle la respuesta al profesor (como un profesor con "Respuesta de Oro") en realidad perjudica al estudiante porque el profesor solo racionaliza la respuesta en lugar de derivarla. También sugiere que hacer al profesor mucho más grande (como un modelo de 4B o 8B de parámetros) no siempre ayuda; a veces, un profesor del mismo tamaño que el estudiante pero que utiliza el "patrón de pensamiento" correcto es mejor. Además, descubrieron que el Aprendizaje por Refuerzo (un método donde el profesor aprende mediante ensayo y error) es bueno para pulir las habilidades que el estudiante ya posee, pero no es muy bueno para enseñar conocimientos nuevos desde cero.

Los autores están bastante seguros de estos resultados porque realizaron los experimentos varias veces y revisaron los números cuidadosamente. Midieron exactamente cuánto se solapaba el pensamiento del estudiante con el del profesor y descubrieron que su método creaba el nivel perfecto de solapamiento: suficiente para aprender, pero no tanto como para que no quedara nada nuevo por descubrir. También demostraron que su método evita el "atrapamiento SFT", donde el reentrenamiento de un modelo hace que olvide sus capacidades generales.

Al final, PROMPD sugiere que el secreto para enseñar a la IA no es necesariamente hacer al profesor más grande o darle las respuestas. En cambio, es darle al profesor un pequeño y flexible empujón —un prompt suave— que guíe su pensamiento sin cambiar quién es. Esto permite que un solo estudiante aprenda de muchos profesores a la vez, convirtiéndose en un maestro de muchas habilidades sin perder su propia identidad. Es un poco como tener un tutor personal que te susurra la estrategia correcta al oído para cada asignatura, sin llegar a reescribir tu cerebro ni dejarte echar un vistazo a las respuestas del examen.

Resumen Técnico: PROMPTSD

Planteamiento del Problema

La auto-distilación on-policy (OPSD) tiene como objetivo enseñar nuevas habilidades a los grandes modelos de lenguaje (LLMs) utilizando un modelo profesor que comparte la misma arquitectura (backbone) que el estudiante y supervisa sus propios rollouts. Sin embargo, los métodos existentes de construcción de profesores sufren de limitaciones estructurales significativas:

Profesores basados en observación (por ejemplo, aquellos que inyectan respuestas de oro o demostraciones como contexto de entrada) inducen una racionalización post-hoc. Al condicionarse a la respuesta de oro ( $y_{gold}$ ), el profesor justifica un resultado predeterminado en lugar de derivar un rastro de razonamiento, un modo de fallo que el estudiante hereda durante la inferencia cuando la respuesta no está disponible.
Profesores de modificación de pesos (por ejemplo, Full Fine-Tuning (FFT) o LoRA) acumulan deriva de distribución y "dimensiones intrusas". Aunque pueden inyectar nuevo conocimiento, perturban la geometría representacional del modelo, lo que conduce al olvido catastrófico de capacidades generales cuando se aplican secuencialmente a través de tareas.
Profesores ajustados mediante RL a menudo fallan en la inyección de nuevas capacidades, en su lugar amplifican comportamientos latentes existentes, y requieren verificadores específicos de la tarea que no están universalmente disponibles.

El desafío central es identificar una construcción de profesor que satisfaga simultáneamente tres desiderata: (D1) Consistencia del patrón de pensamiento (compartir los pesos del estudiante para asegurar que la señal de aprendizaje sea absorbible), (D2) Absorción de la brecha de capacidad (codificar nuevo conocimiento de la tarea) y (D3) Sin racionalización post-hoc (no condicionarse a la respuesta de oro).

Metodología: PROMPTSD

Los autores proponen PROMPTSD (Prompt-based On-policy Distillation), un marco que construye profesores mediante el ajuste de soft-prompt en lugar de la modificación de pesos o la inyección de contexto en el lado de la entrada.

1. Construcción del Profesor mediante Soft-Prompt

Para cada tarea $k$ , un conjunto de embeddings continuos aprendibles $P_k$ (un soft prompt) se adjunta a la capa de embedding de entrada de un backbone de estudiante congelado $\pi_\theta$ .

Entrenamiento: El prompt $P_k$ se optimiza mediante el ajuste fino supervisado (SFT) estándar en pares $(x, y_{gold})$ para minimizar la entropía cruzada del siguiente token.
Resultado: Esto produce un profesor específico de la tarea $\pi_{\theta+P_k}$ que comparte todos los pesos del transformer con el estudiante pero difiere solo en el condicionamiento del lado de la entrada. El prompt actúa como una forma paramétrica de observación, codificando el conocimiento de la tarea sin alterar la geometría interna del modelo ( $\Delta W = 0$ ).

2. Distilación On-Policy

El estudiante $\pi_\theta$ se actualiza mediante la minimización de la divergencia KL inversa on-policy:

El estudiante genera rollouts $Y_s$ dado el prompt $x$ .
El profesor $\pi_{\theta+P_k}$ (con el prompt congelado $P_k$ ) proporciona distribuciones de supervisión por token en los mismos estados visitados por el estudiante.
Crucialmente, el profesor no ve la respuesta de oro durante la destilación; solo ve el soft prompt $P_k$ y la entrada $x$ . Esto elimina la racionalización post-hoc.

3. Extensión Multi-Tarea en Paralelo

PROMPTSD se extiende a entornos multi-tarea combinando conjuntos de datos de $K$ tareas en un solo corpus.

Enrutamiento: Cada ejemplo en el corpus combinado retiene una etiqueta de tarea $k$ . Durante el entrenamiento, el ejemplo es enrutado a su correspondiente profesor de soft-prompt $\pi_{\theta+P_k}$ .
Paralelismo: Todos los $K$ soft prompts son entrenados y están disponibles simultáneamente. El estudiante aprende de todos los profesores en paralelo, evitando el olvido secuencial asociado con el aprendizaje continuo.
Inferencia: Todos los soft prompts se descartan. El modelo desplegado es únicamente el backbone base $\pi_\theta$ , lo que no incurre en sobrecarga de parámetros o de latencia.

Contribuciones Clave

Arquitectura de Profesor Novedosa: El artículo introduce el primer profesor de destilación on-policy construido mediante el ajuste de prompts. Este diseño satisface de manera única los tres desiderata para una OPD efectiva: mantiene la consistencia del patrón de pensamiento (pesos compartidos), permite la absorción de capacidad (prompt aprendible) y evita la racionalización post-hoc (sin respuesta de oro en el contexto).
Destilación Multi-Tarea en Paralelo: El marco demuestra cómo enrutar un único estudiante a múltiples profesores de soft-prompt específicos de la tarea simultáneamente, logrando un rendimiento multi-tarea superior sin olvido catastrófico.
Validación Empírica de Principios: A través de experimentos extensos, los autores establecen dos principios de diseño para la OPD:
- La familia de profesores debe coincidir con el tipo de tarea (profesores basados en SFT para inyección de capacidad; basados en RL para elicitación).
- La escala del profesor es menos crítica que si el profesor porta nuevo conocimiento.

Resultados Experimentales

Los experimentos se realizaron en Qwen3-1.7B-Base y Phi-4-mini-instruct a través de cuatro tareas: Ciencia, Uso de Herramientas (Tool Use), Biología y Matemáticas.

Rendimiento de Tarea Única: La variante de tarea única (OPD con un profesor de PT) iguala o supera a las líneas base de Full Fine-Tuning (FFT) y LoRA entrenando órdenes de magnitud menos parámetros. Notablemente, en la tarea de Biología, el estudiante alcanzó un 62.0% de precisión, superando a su propio profesor (58.0%) y superando significativamente a los estudiantes basados en LoRA.
Rendimiento Multi-Tarea: El PROMPTSD multi-tarea logró la mejor precisión promedio general (56.2% en Qwen3-1.7B-Base), superando a la línea base más fuerte de tarea única por +2.3 puntos y a las líneas base de destilación de diferente tamaño por +7.7 puntos.
Retención de Capacidad General: A diferencia del SFT secuencial, que degrada los benchmarks generales (MMLU-Pro, HellaSwag, TruthfulQA) debido al olvido catastrófico, PROMPTSD preservó las capacidades generales mientras mejoraba la precisión específica de la tarea.
Estudios de Ablación:
- Longitud del Prompt: Los prompts más largos (por ejemplo, $L=400$ ) generalmente mejoraron el rendimiento en tareas complejas como Matemáticas y Uso de Herramientas, aunque se observaron rendimientos decrecientes.
- Divergencia: Se encontró que la KL inversa (búsqueda de modo/mode-seeking) era superior para el razonamiento matemático, mientras que otras divergencias funcionaron de manera similar en tareas con mayor carga de conocimiento.
- Contribución del Profesor: El análisis de dejar un profesor fuera reveló que, para Matemáticas, la ganancia provino principalmente de la exposición cruzada entre tareas (elicitación) en lugar del profesor específico de Matemáticas, mientras que para Ciencia y Biología, los profesores dedicados fueron esenciales para la inyección de capacidad.

Significado y Reivindicaciones

El artículo afirma que PROMPTSD resuelve los compromisos inherentes a los diseños de profesores existentes. Al utilizar un soft prompt como un "contexto privilegiado paramétrico", permite que el estudiante absorba nuevo conocimiento de la tarea sin la deriva fuera de la variedad (off-manifold drift) causada por las actualizaciones de pesos (FFT/LoRA) o los atajos de razonamiento causados por el condicionamiento de la respuesta de oro (basados en observación).

Los autores posicionan a PROMPTSD como una solución al "atrapamiento del SFT" en el aprendizaje continuo, demostrando que un único estudiante puede absorber conocimiento de múltiples profesores especializados en paralelo mientras retiene sus capacidades generales. El trabajo sugiere que, para tareas de inyección de capacidad, un profesor ajustado mediante prompt es una fuente de destilación más efectiva que un profesor con ajuste fino completo, ya que evita el olvido catastrófico asociado con la modificación de los pesos del modelo base.

El artículo mantiene la modestia respecto a su alcance, reconociendo que los experimentos se limitaron a modelos de hasta 1.7 mil millones de parámetros y no cubrieron generación abierta, multilingüe o entornos de agentes. Señala que las definiciones operativas de los tres desiderata son validadas empíricamente en lugar de ser probadas formalmente.