🤖 machine learning

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

Este artigo apresenta o Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context, um método que utiliza modelos de base congelados com soft prompts aprendíveis específicos para cada tarefa como professores para permitir que um único modelo aluno absorva eficientemente o conhecimento de múltiplas tarefas em paralelo sem sofrer de esquecimento catastrófico ou exigir o ajuste fino total dos pesos.

Autores originais: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Publicado 2026-07-22

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno brilhante, mas um pouco desastrado, a resolver quebra-cabeças complexos. No mundo da inteligência artificial, esse aluno é um "Large Language Model" (LLM) — um programa de computador que leu quase tudo na internet e pode escrever histórias, responder perguntas e resolver problemas matemáticos. Mas, às vezes, mesmo esses modelos superinteligentes ficam travados ou cometem erros bobos. Para corrigi-los, os cientistas usam uma técnica chamada "destilação". Pense nisso como um mestre chef (o professor) guiando um cozinheiro júnior (o aluno) através de uma receita. O aluno não apenas copia o prato final; ele observa cada corte, cada mexida e cada degustação, aprendendo o processo de cozinhar, não apenas o resultado.

Por muito tempo, a melhor maneira de ensinar esses alunos de IA era fazer com que o professor escrevesse a resposta perfeita e a mostrasse ao aluno. Mas isso tinha uma armadilha oculta: o professor às vezes apenas adivinhava a resposta primeiro e depois inventava uma história para justificá-la, em vez de realmente resolvê-la passo a passo. O aluno aprenderia esse mau hábito também. Outro método envolvia mudar todo o cérebro do professor (seus pesos internos) para torná-lo mais inteligente, mas isso muitas vezes fazia com que o professor esquecesse como fazer outras coisas, como escrever poesia ou conversar, enquanto focava na nova tarefa. A grande questão que os cientistas têm feito é: Como criar um professor que seja inteligente o suficiente para mostrar o caminho certo, mas estável o suficiente para não esquecer suas habilidades antigas ou trapacear olhando para o gabarito?

Este artigo apresenta uma solução inteligente chamada PROMPTSD (Prompt-based On-Policy Soft-Distillation). Os autores, uma equipe de universidades dos EUA e de Singapura, propõem uma maneira de construir um professor que é quase idêntico ao aluno, exceto por uma pequena e invisível "nota mágica" anexada à frente de suas instruções.

Veja como funciona, usando uma analogia simples: Imagine que o aluno e o professor são gêmeos que compartilham o mesmo cérebro e personalidade. Normalmente, para ensinar uma nova habilidade ao aluno, você poderia dar ao professor um par de óculos inteiramente novo (mudando seu cérebro) ou uma folha de cola com as respostas escritas (dando-lhe o gabarito). Ambos os métodos têm problemas: os novos óculos fazem o professor esquecer como ver outras coisas, e a folha de cola torna o professor preguiçoso, justificando a resposta em vez de resolvê-la.

O PROMPTSD faz algo diferente. Ele dá ao professor um soft prompt. Pense nisso como um pequeno post-it invisível que diz: "Lembre-se, para este problema de matemática específico, pense em frações primeiro". Esta nota é feita de números, não de palavras, e é a única coisa que muda entre o professor e o aluno. O cérebro do professor permanece congelado e exatamente igual ao do aluno. Como o professor não está olhando para o gabarito, ele tem que realmente pensar no problema para gerar o caminho correto. Como seu cérebro não foi reescrito, ele não esquece como fazer outras coisas.

Os pesquisadores testaram essa ideia em um modelo chamado Qwen3-1.7B-Base e outro chamado Phi-4-mini-instruct. Eles ensinaram esses modelos quatro habilidades diferentes: Ciência, uso de ferramentas (como calculadora ou mecanismo de busca), Biologia e Matemática. Eles descobriram que seu professor de "nota mágica" foi incrivelmente eficaz. Em tarefas únicas, o aluno aprendeu tão bem quanto se o professor tivesse sido totalmente retreinado, mas o aluno aprendeu muito mais rápido porque só precisou ajustar uma fração minúscula de seus parâmetros (cerca de 0,05% do cérebro total, comparado a 100% para o retreinamento total).

Ainda mais impressionante, eles tentaram ensinar quatro habilidades diferentes ao aluno ao mesmo tempo. Normalmente, quando você tenta aprender muitas coisas ao mesmo tempo, acaba esquecendo as antigas (um problema chamado "esquecimento catastrófico"). Mas, como o professor do PROMPTSD usava apenas essas pequenas notas específicas para cada tarefa, o aluno pôde absorver o conhecimento de todos os quatro professores simultaneamente sem ficar confuso ou esquecer sua inteligência geral. De fato, no modelo Qwen3-1.7B-Base, essa abordagem multitarefa alcançou uma pontuação média de 56,2, superando todos os outros métodos.

O artigo descarta explicitamente algumas ideias comuns. Ele mostra que simplesmente dar a resposta ao professor (como um professor de "Resposta de Ouro") na verdade prejudica o aluno porque o professor apenas racionaliza a resposta em vez de derivá-la. Também sugere que tornar o professor muito maior (como usar um modelo de 4B ou 8B parâmetros) nem sempre ajuda; às vezes, um professor do mesmo tamanho do aluno, mas que utiliza o "padrão de pensamento" correto, é melhor. Além disso, descobriram que o Aprendizado por Reforço (um método onde o professor aprende por tentativa e erro) é bom para refinar habilidades que o aluno já possui, mas não é bom para ensinar conhecimentos totalmente novos do zero.

Os autores estão bastante seguros desses resultados porque realizaram os experimentos várias vezes e verificaram os números cuidadosamente. Eles mediram exatamente o quanto o pensamento do aluno se sobrepunha ao do professor e descobriram que seu método criava a quantidade perfeita de sobreposição: o suficiente para aprender, mas não tanto a ponto de não haver nada novo a descobrir. Eles também provaram que seu método evita o "erro do SFT", onde o retreinamento de um modelo faz com que ele esqueça suas habilidades gerais.

No fim, o PROMPTSD sugere que o segredo para ensinar a IA não é necessariamente tornar o professor maior ou dar a ele as respostas. Em vez disso, é dar ao professor um empurrãozinho pequeno e flexível — um soft prompt — que guia seu pensamento sem mudar quem ele é. Isso permite que um único aluno aprenda com muitos professores diferentes ao mesmo tempo, tornando-se um mestre de muitas habilidades sem perder sua própria identidade. É um pouco como ter um tutor pessoal que sussurra a estratégia certa no seu ouvido para cada disciplina, sem nunca reescrever seu cérebro ou deixar você espiar as respostas da prova.

Resumo Técnico: PROMPTSD

Definição do Problema

A autodestilação on-policy (OPSD) visa ensinar novas habilidades a grandes modelos de linguagem (LLMs) utilizando um modelo professor que compartilha o mesmo backbone do aluno e supervisiona seus próprios rollouts. No entanto, os métodos existentes de construção de professores sofrem de limitações estruturais significativas:

Professores baseados em observação (ex: aqueles que injetam respostas de ouro ou demonstrações como contexto de entrada) induzem a racionalização post-hoc. Ao condicionar na resposta de ouro ( $y_{gold}$ ), o professor justifica um resultado predeterminado em vez de derivar um traço de raciocínio, um modo de falha que o aluno herda durante a inferência quando a resposta não está disponível.
Professores de modificação de pesos (ex: Full Fine-Tuning (FFT) ou LoRA) acumulam deriva de distribuição e "dimensões intrusas". Embora possam injetar novos conhecimentos, eles perturbam a geometria representacional do modelo, levando ao esquecimento catastrófico de capacidades gerais quando aplicados sequencialmente entre tarefas.
Professores ajustados por RL frequentemente falham em injetar novas capacidades, em vez de amplificar comportamentos latentes existentes, e requerem verificadores específicos para a tarefa que não estão universalmente disponíveis.

O desafio central é identificar uma construção de professor que satisfaça simultaneamente três desideratos: (D1) Consistência do padrão de pensamento (compartilhando os pesos do aluno para garantir que o sinal de aprendizado seja absorvível), (D2) Absorção do gap de capacidade (codificando novo conhecimento da tarefa) e (D3) Sem racionalização post-hoc (não condicionando na resposta de ouro).

Metodologia: PROMPTSD

Os autores propõem o PROMPTSD (Prompt-based On-policy Distillation), um framework que constrói professores via ajuste de soft-prompt em vez de modificação de pesos ou injeção de contexto no lado da entrada.

1. Construção do Professor de Soft-Prompt

Para cada tarefa $k$ , um conjunto de embeddings contínuos treináveis $P_k$ (um soft prompt) é anexado à camada de embedding de entrada de um backbone de aluno congelado $\pi_\theta$ .

Treinamento: O prompt $P_k$ é otimizado via ajuste fino supervisionado (SFT) padrão em pares $(x, y_{gold})$ para minimizar a entropia cruzada do próximo token.
Resultado: Isso gera um professor específico para a tarefa $\pi_{\theta+P_k}$ que compartilha todos os pesos do transformer com o aluno, mas difere apenas no condicionamento do lado da entrada. O prompt atua como uma forma paramétrica de observação, codificando o conhecimento da tarefa sem alterar a geometria interna do modelo ( $\Delta W = 0$ ).

2. Destilação On-Policy

O aluno $\pi_\theta$ é atualizado via minimização de divergência KL reversa on-policy:

O aluno gera rollouts $Y_s$ dado o prompt $x$ .
O professor $\pi_{\theta+P_k}$ (com o prompt $P_k$ congelado) fornece distribuições de supervisão por token nos mesmos estados visitados pelo aluno.
Crucialmente, o professor não vê a resposta de ouro durante a destilação; ele vê apenas o soft prompt $P_k$ e a entrada $x$ . Isso elimina a racionalização post-hoc.

3. Extensão Multi-Tarefa Paralela

O PROMPTSD estende-se para configurações multi-tarefa ao fundir datasets de $K$ tarefas em um único corpus.

Roteamento: Cada exemplo no corpus fundido retém uma tag de tarefa $k$ . Durante o treinamento, o exemplo é roteado para seu respectivo professor de soft-prompt $\pi_{\theta+P_k}$ .
Paralelismo: Todos os $K$ soft prompts são treinados e estão disponíveis simultaneamente. O aluno aprende com todos os professores em paralelo, evitando o esquecimento sequencial associado ao aprendizado contínuo.
Inferência: Todos os soft prompts são descartados. O modelo implantado é apenas o backbone base $\pi_\theta$ , não incorrendo em overhead de parâmetros ou latência.

Principais Contribuições

Arquitetura de Professor Inovadora: O artigo introduz o primeiro professor de destilação on-policy construído via prompt tuning. Este design satisfaz de forma única os três desideratos para uma OPD eficaz: mantém a consistência do padrão de pensamento (pesos compartilhados), permite a absorção de capacidade (prompt treinável) e evita a racionalização post-hoc (sem resposta de ouro no contexto).
Destilação Multi-Tarefa Paralela: O framework demonstra como rotear um único aluno para múltiplos professores de soft-prompt específicos de tarefas simultaneamente, alcançando desempenho multi-tarefa superior sem esquecimento catastrófico.
Validação Empírica de Princípios: Através de experimentos extensos, os autores estabelecem dois princípios de design para OPD:
- A família de professores deve corresponder ao tipo de tarefa (professores baseados em SFT para injeção de capacidade; baseados em RL para elicitação).
- A escala do professor é menos crítica do que se o professor carrega novo conhecimento.

Resultados Experimentais

Experimentos foram conduzidos no Qwen3-1.7B-Base e Phi-4-mini-instruct através de quatro tarefas: Ciência, Uso de Ferramentas (Tool Use), Biologia e Matemática.

Desempenho de Tarefa Única: A variante de tarefa única (OPD com um professor de PT) iguala ou excede os baselines de ajuste fino total (FFT) e LoRA, treinando ordens de magnitude menos parâmetros. Notavelmente, na tarefa de Biologia, o aluno alcançou 62,0% de acurácia, superando seu próprio professor (58,0%) e superando significativamente os alunos baseados em LoRA.
Desempenho Multi-Tarefa: O PROMPTSD multi-tarefa alcançou a melhor acurácia média geral (56,2% no Qwen3-1.7B-Base), superando o baseline de tarefa única mais forte em +2,3 pontos e os baselines de destilação de diferentes tamanhos em +7,7 pontos.
Retenção de Capacidade Geral: Ao contrário do SFT sequencial, que degrada benchmarks gerais (MMLU-Pro, HellaSwag, TruthfulQA) devido ao esquecimento catastrófico, o PROMPTSD preservou as capacidades gerais enquanto melhorou a acurácia específica da tarefa.
Estudos de Ablação:
- Comprimento do Prompt: Prompts mais longos (ex: $L=400$ ) geralmente melhoraram o desempenho em tarefas complexas como Matemática e Uso de Ferramentas, embora tenham sido observados retornos decrescentes.
- Divergência: A KL reversa (busca de modo/mode-seeking) mostrou-se superior para o raciocínio matemático, enquanto outras divergências tiveram desempenho semelhante em tarefas densas em conhecimento.
- Contribuição do Professor: A análise de "deixar um professor de fora" revelou que, para Matemática, o ganho veio principalmente da exposição cruzada entre tarefas (elicitação) e não do professor específico de Matemática, enquanto para Ciência e Biologia, os professores dedicados foram essenciais para a injeção de capacidade.

Significância e Alegações

O artigo alega que o PROMPTSD resolve os compromissos inerentes aos designs de professores existentes. Ao usar um soft prompt como um "contexto privilegiado paramétrico", ele permite que o aluno absorva novo conhecimento da tarefa sem a deriva off-manifold causada por atualizações de pesos (FFT/LoRA) ou os atalhos de raciocínio causados pelo condicionamento da resposta de ouro (baseado em observação).

Os autores posicionam o PROMPTSD como uma solução para a "armadilha do SFT" no aprendizado contínuo, demonstrando que um único aluno pode absorver conhecimento de múltiplos professores especializados em paralelo enquanto retém suas capacidades gerais. O trabalho sugere que, para tarefas de injeção de capacidade, um professor ajustado via prompt é uma fonte de destilação mais eficaz do que um professor com ajuste fino total, pois evita o esquecimento catastrófico associado à modificação dos pesos do modelo base.

O artigo mantém-se modesto quanto ao seu escopo, reconhecendo que os experimentos foram limitados a modelos de até 1.7B de parâmetros e não cobriram configurações de geração aberta, multilíngues ou agentes. Nota-se que as definições operacionais dos três desideratos são validadas empiricamente, em vez de provadas formalmente.