Resumo Técnico: ReAD - Destilação de Capacidades Guiada por Reforço para Grandes Modelos de Linguagem

1. Declaração do Problema

O artigo aborda o desafio da destilação de capacidades para Grandes Modelos de Linguagem (LLMs), uma forma especializada de destilação de conhecimento (KD) onde um pequeno modelo estudante é treinado para imitar o desempenho de um grande modelo professor em capacidades específicas (por exemplo, raciocínio, codificação, matemática) a fim de reduzir custos de serviço.

Os métodos existentes geralmente tratam as capacidades como objetivos de treinamento independentes, assumindo que otimizar uma capacidade não impacta negativamente as outras. No entanto, os autores identificam uma lacuna crítica: sob um orçamento fixo de tokens, melhorar uma única capacidade frequentemente desencadeia transferência cruzada sistemática e dependente do orçamento entre capacidades, onde os ganhos na capacidade-alvo ocorrem às custas de outras habilidades úteis. Isso leva a duas ineficiências específicas:

1. Retornos Decrescentes: Tokens adicionais alocados a um único alvo produzem ganhos marginais progressivamente menores.
2. Transbordamento Prejudicial: Atualizações destinadas a uma capacidade degradam o desempenho em capacidades não-alvo necessárias para o sucesso de tarefas subsequentes.

O problema central é formulado como Problema 2.3: Como alocar um orçamento de destilação fixo $B$ através de um conjunto de capacidades interdependentes $C$ para maximizar a utilidade da tarefa a jusante $U_\tau$, minimizando ao mesmo tempo efeitos colaterais negativos (transbordamento) em outras capacidades.

2. Metodologia: Framework ReAD

Os autores propõem o ReAD (Destilação de Capacidades Guiada por Reforço), um framework que modela explicitamente a interdependência de capacidades e aloca o orçamento de tokens de forma adaptativa. O ReAD opera através de três etapas principais:

2.1 Identificação de Capacidades Essenciais para a Tarefa

O ReAD primeiro constrói um vetor de requisitos de tarefa $r_\tau \in \Delta^{|C|}$ para uma dada tarefa a jusante $\tau$.

• Mecanismo: Um identificador leve $g_\phi$ (um codificador Transformer seguido por um MLP) mapeia um cartão de descrição de tarefa para $r_\tau$.
• Treinamento: O identificador é pré-treinado offline usando "sinais de supervisão local". Ao realizar pequenas intervenções esparsas em um modelo estudante e medir as mudanças resultantes nos perfis de capacidade ($\Delta s$) e na utilidade da tarefa ($\Delta U$), o modelo aprende a prever quais capacidades são benéficas para uma tarefa específica.
• Função: $r_\tau$ serve como um prior para alocação, priorizando capacidades que melhoram a utilidade da tarefa e tratando quedas nessas dimensões específicas como "transbordamento prejudicial".

2.2 Geração de Dados Direcionados a Capacidades em Tempo Real

Em vez de usar um conjunto de dados estático, o ReAD gera dados de supervisão dinamicamente durante o processo de destilação.

• Modelos: Para cada capacidade $c$, uma biblioteca de modelos define andaimes de instrução, slots e restrições de saída.
• Controle de Dificuldade: Uma pontuação de dificuldade determinística $d_c(x)$ é computada com base em fatores como saltos de raciocínio ou complexidade de código. O sistema emprega um currículo que muda de exemplos fáceis para difíceis à medida que o treinamento progride.
• Amostragem: Em cada passo de decisão, um rótulo de capacidade é amostrado com base na política de alocação atual, um prompt é instanciado e o modelo professor fornece uma conclusão para destilação.

2.3 Bandit Contextual Consciente de Incerteza para Alocação

O ReAD enquadra a alocação de orçamento como um problema de decisão sequencial resolvido via um bandit contextual.

• Contexto ($x_t$): Inclui o vetor de requisitos de tarefa $r_\tau$, o perfil de capacidade atual do estudante $s_{probe}(S_t)$, o orçamento restante $b_t$ e o histórico recente de alocação.
• Espaço de Ação: Um conjunto finito de vetores de alocação $A(\tau)$, incluindo perturbações da alocação anterior e ações esparsas focadas nas top-$k$ capacidades.
• Recompensa Proxy ($\hat{R}_t$): Após um passo de destilação, o sistema calcula:
  $$\hat{R}_t = r_\tau^\top \Delta s_{probe} - \beta \cdot \text{Spill}_t - \lambda \cdot \text{cost}_t$$
  Onde $\text{Spill}_t$ penaliza regressões em capacidades essenciais para a tarefa.
• Atualização da Política: Um conjunto de regressores de recompensa (MLPs) estima a recompensa esperada e a incerteza ($\sigma$) para cada ação candidata. A próxima alocação é selecionada usando uma regra de Limite Superior de Confiança (UCB):
  $$w_{t+1} = \arg \max_{w} \left( \mu(x_{t+1}, w) + \kappa \sigma(x_{t+1}, w) \right)$$
  Isso permite que o ReAD equilibre exploração (escolhendo alocações de alta recompensa) com exploração (reduzindo incerteza), desviando o orçamento de capacidades saturadas ou de alto transbordamento à medida que o treinamento progride.

3. Contribuições Principais

1. Estudo Empírico de Interações Cruzadas entre Capacidades: Os autores fornecem um estudo controlado demonstrando que destilar para uma única capacidade induz uma redistribuição sistemática e dependente do orçamento do desempenho através de outras capacidades, frequentemente causando transferência negativa que piora à medida que o orçamento aumenta.
2. Formulação de Destilação de Capacidades com Orçamento: Eles formalizam o problema como a alocação de um orçamento fixo através de capacidades interdependentes para maximizar a utilidade enquanto controlam efeitos colaterais, indo além da suposição de capacidades independentes.
3. Análise Teórica: O artigo fornece uma conta teórica local mostrando que a transferência cruzada entre capacidades surge de direções de atualização não ortogonais em representações compartilhadas e que os retornos decrescentes tornam a alocação contínua a uma única capacidade desperdiçada.
4. Framework ReAD: A proposta de um framework guiado por reforço que infere requisitos de tarefa, gera dados direcionados em tempo real e usa um bandit consciente de incerteza para alocar recursos de forma adaptativa.

4. Resultados Experimentais

Os experimentos foram conduzidos destilando Llama-3.3-70B em Llama-3.1-8B e Qwen2.5-72B em Qwen2.5-14B sob orçamentos de tokens de 20M e 150M.

• Ganhos de Utilidade (RQ1): O ReAD superou consistentemente seis bases fortes (combinando objetivos SFT/KD com sinais Resp/CoT/Logit) em todas as oito capacidades avaliadas (Geral, Controlabilidade, Raciocínio, Matemática, Código, Uso de Ferramentas, LCU, Multilíngue). Ele alcançou o perfil de capacidade médio mais forte, com melhorias significativas em capacidades de gargalo como Controlabilidade e Matemática.
• Eficiência de Orçamento (RQ2): O ReAD demonstrou trade-offs superiores entre ganho e transbordamento. Enquanto a KD de capacidade única alcançou altos ganhos no alvo, causou degradação significativa fora do alvo. O ReAD manteve ganhos fortes no alvo enquanto reduziu substancialmente a transferência negativa.
• Agendamento Adaptativo (RQ3): Comparações contra misturas estáticas, heurísticas gananciosas e alocações pesquisadas em grade mostraram que o agendamento adaptativo de bandit do ReAD superou todas as alternativas, particularmente em orçamentos maiores (150M) onde saturação e transbordamento são mais pronunciados.
• Generalização: O ReAD mostrou transferência positiva para tarefas a jusante mantidas de fora (XSTest) sem exigir novos cabeçalhos de capacidade, melhorando tanto as métricas de recusa segura quanto de recusa insegura em comparação com as bases.

5. Significado e Alegações

O artigo alega que o ReAD representa uma mudança de tratar a destilação de capacidades como uma coleção de tarefas independentes para um problema de otimização conjunta que leva em conta a interdependência intrínseca das capacidades dos LLMs.

• Eficiência: Ao modelar explicitamente retornos decrescentes e interferência cruzada entre capacidades, o ReAD reduz o "desperdício de orçamento", garantindo que tokens de treinamento limitados sejam gastos em atualizações que fornecem utilidade genuinamente relevante para a tarefa, em vez de causar efeitos colaterais prejudiciais.
• Robustez: O framework mostrou-se robusto através de diferentes pares professor-estudante (famílias Llama e Qwen) e não depende de uma arquitetura de modelo específica.
• Praticidade: O método usa sondas leves e um identificador de requisitos reutilizável, tornando-o computacionalmente viável para implantação em ambientes MLaaS com recursos limitados.

Os autores concluem que a destilação eficaz de capacidades sob orçamentos fixos requer raciocínio sobre capacidades relevantes para a tarefa, interações cruzadas entre capacidades e alocação dinâmica de orçamento simultaneamente, uma lacuna que o ReAD preenche.