Resumo Técnico: Destilação Progressiva Guiada por Aprendizado de Currículo (CLPD)

Declaração do Problema

A destilação de conhecimento (KD) é uma estratégia primária para transferir capacidades de grandes modelos de linguagem (LLMs) para modelos estudantes menores e mais eficientes. No entanto, as abordagens de destilação existentes frequentemente ignoram dois fatores críticos: a ordem de aprendizado dos dados de treinamento e o descompasso de capacidade entre os modelos professor e estudante.

Essa negligência leva a um fenômeno contra-intuitivo, onde professores mais fortes não necessariamente produzem estudantes melhores. Quando um professor é significativamente mais capaz que o estudante, seus sinais de supervisão (por exemplo, distribuições de alta entropia ou cadeias complexas de raciocínio multi-etapa) podem exceder a capacidade do estudante de absorvê-los, levando a dinâmicas subótimas. Por outro lado, professores mais fracos podem carecer da competência para guiar o estudante em exemplos difíceis. Os métodos atuais tratam tipicamente os exemplos de treinamento como independentes e identicamente distribuídos (i.i.d.) e fixam o professor durante todo o treinamento, falhando em acoplar a dificuldade dos dados com a capacidade do professor.

Metodologia: Destilação Progressiva Guiada por Aprendizado de Currículo (CLPD)

Os autores propõem o CLPD, um framework unificado, plug-and-play, que alinha explicitamente a dificuldade dos dados com a força do professor. O framework opera em dois eixos acoplados: (1) a ordem em que os exemplos são apresentados (ordem de aprendizado) e (2) a capacidade do professor que fornece a supervisão.

1. Construção do Currículo (Explícito)

O CLPD organiza os exemplos de treinamento do fácil ao difícil para controlar o ritmo com que a complexidade do raciocínio é introduzida.

• Estimativa de Dificuldade:
  • Baseada em CoT: Se soluções demonstradas de Cadeia de Pensamento (Chain-of-Thought, CoT) estiverem disponíveis, a dificuldade é aproximada pelo número de etapas de raciocínio e pelo comprimento total do CoT.
  • Baseada em Perda do Estudante: Se o CoT não estiver disponível, o modelo estudante (inicializado com warm-start ou inicial) gera soluções para o conjunto de dados, e a perda é usada para classificar a dificuldade (perda menor = mais fácil).
• Ordenação: O conjunto de dados é classificado em uma sequência contígua $D_{curr}$ tal que a dificuldade aumenta monotonicamente.

2. Agendamento do Professor (Implícito)

O CLPD agenda múltiplos professores ao longo do currículo, de modo que professores mais fracos supervisionem segmentos mais fáceis, e professores mais fortes supervisionem segmentos mais difíceis.

• Seleção do Professor: Um conjunto de professores candidatos é filtrado com base em um limiar de desempenho $\tau$ em um subconjunto de validação.
• Alinhamento: Os professores viáveis são ordenados do mais fraco ao mais forte. O conjunto de dados ordenado pelo currículo é particionado em segmentos contíguos correspondentes ao número de professores.
• Processo de Treinamento: O estudante é treinado no primeiro segmento (mais fácil) usando o professor mais fraco, depois transita para o próximo segmento com o próximo professor mais forte, e assim por diante. Isso garante que a supervisão permaneça dentro da faixa de aprendizado efetiva do estudante, evitando sobrecarga nas fases iniciais e sub-supervisão nas fases tardias.

Visão Geral do Algoritmo

1. Calcular pontuações de dificuldade para todos os exemplos.
2. Classificar o conjunto de dados em um currículo do fácil ao difícil.
3. Selecionar e ordenar os professores por capacidade.
4. Particionar o currículo em segmentos correspondentes ao número de professores.
5. Treinar o estudante sequencialmente em cada segmento usando o professor correspondente.

Contribuições Principais

1. Framework Unificado: O CLPD é o primeiro framework a acoplar explicitamente a ordenação de dados com o agendamento de professores, abordando o descompasso de supervisão que surge quando qualquer um dos fatores é controlado isoladamente.
2. Modularidade: O método é projetado para ser integrado em algoritmos padrão de destilação (especificamente Destilação de Conhecimento ao Nível de Sequência) com sobrecarga mínima e sem alterações arquitetônicas.
3. Validação Empírica: Os autores demonstram que os ganhos provêm do acoplamento entre currículo e destilação progressiva, e não de qualquer componente isolado.

Resultados Experimentais

Os autores avaliaram o CLPD em tarefas de raciocínio matemático (GSM8K, MATH) e raciocínio de senso comum (StrategyQA, ARC-Challenge) usando várias configurações estudante-professor (famílias Qwen e Llama).

• Desempenho: O CLPD superou consistentemente:
  • Destilação padrão de professor único (Vanilla).
  • Apenas aprendizado de currículo (ordenamento de dados com professor fixo).
  • Apenas destilação progressiva (agendamento de professores com dados i.i.d.).
• Ganhos Específicos: No GSM8K, o CLPD melhorou o estudante Qwen-0.5B de 0,449 (destilação padrão) para 0,485. No MATH, melhorou a pontuação de 0,550 para 0,566. Ganhos consistentes semelhantes foram observados em estudantes Llama e benchmarks de senso comum.
• Robustez: O método provou ser robusto a partições de dados não uniformes. O principal motor de melhoria foi o alinhamento da capacidade do professor com a dificuldade dos dados, e não o ponto exato de troca entre professores.
• Estudos de Ablação: Reverter o alinhamento (por exemplo, usar professores fortes em dados fáceis ou professores fracos em dados difíceis) degradou o desempenho, confirmando que o acoplamento específico é essencial.
• On-Policy vs. Off-Policy: O artigo observa que o CLPD é mais eficaz na destilação offline (off-policy). Em configurações on-policy, onde o estudante gera seus próprios dados, o descompasso de distribuição já é mitigado, e adicionar agendamento de professores não gerou benefícios adicionais e poderia até degradar o desempenho.

Significado e Alegações

O artigo alega que a destilação eficaz de LLMs requer alinhar o que o estudante aprende (dificuldade dos dados) com quem o ensina (capacidade do professor). Os autores argumentam que muitas falhas de destilação atribuídas à qualidade do professor na verdade decorrem de um desalinhamento entre a força da supervisão e o estágio de aprendizado do estudante.

Ao imitar processos de aprendizado humanos — onde os estudantes dominam fundamentos sob instrução mais simples antes de avançar para material mais difícil — o CLPD reduz o descompasso de supervisão. As descobertas sugerem que simplesmente usar um professor mais forte é insuficiente; em vez disso, um cronograma progressivo que escala a força do professor com a complexidade dos dados é necessário para transferir com sucesso habilidades de raciocínio para modelos de linguagem pequenos. O framework oferece uma alternativa estável e eficiente à destilação on-policy para configurações offline, capturando benefícios-chave sem o custo computacional da geração de dados online.