Resumo Técnico: Destilação de Racionalidade Estrutural via Compressão do Espaço de Raciocínio (D-RPC)

Declaração do Problema

A destilação de conhecimento visa treinar Modelos de Linguagem Pequenos (SLMs) para raciocinar imitando Modelos de Linguagem Grandes (LLMs) professores. No entanto, existe um gargalo crítico: os professores frequentemente geram racionalizações para problemas semelhantes com estruturas e estratégias que variam drasticamente. Essa inconsistência atua como supervisão ruidosa, dificultando que os alunos internalizem padrões de raciocínio reutilizáveis. Além disso, cobrir todos os caminhos de solução válidos exige gerações excessivas por parte do professor, inflando custos, e supervisão altamente variável pode amplificar alucinações durante o ajuste fino. Tentativas existentes de mitigar isso por meio de raciocínio estruturado (por exemplo, templates hierárquicos) frequentemente impõem cargas de contexto pesadas que os SLMs lutam para utilizar devido à capacidade limitada e janelas de contexto restritas. O desafio central é comprimir o espaço de raciocínio do professor em uma estrutura compacta e que preserve a consistência antes da destilação, sem depender de templates verbosos.

Metodologia: Destilação via Compressão de Caminhos de Raciocínio (D-RPC)

Os autores propõem o D-RPC, um framework que restringe o professor a seguir um banco compacto e dinamicamente mantido de caminhos de raciocínio de alto nível reutilizáveis. O processo opera em três etapas:

1. Inicialização do Banco de Raciocínio:

   • Um conjunto de sementes de perguntas (5% dos dados de treinamento) é resolvido pelo professor.
   • O professor atribui rótulos de categoria e intenção a cada pergunta.
   • Caminhos de raciocínio de alto nível (sequências abstratas de etapas) são extraídos do conjunto de sementes.
   • Intenções são incorporadas e agrupadas (usando DBSCAN) para formar "intenções canônicas".
   • Um banco de caminhos de raciocínio é construído, mapeando cada par (categoria, intenção canônica) para um conjunto de caminhos de raciocínio observados.

2. Supervisão Guiada pelo Banco:

   • Para cada nova pergunta de treinamento, o professor prevê a categoria e a intenção.
   • O sistema recupera os $K$ caminhos candidatos principais do banco que melhor correspondem à intenção da pergunta (usando incorporações de perguntas em vez de strings de intenção superficiais para lidar com ruído).
   • O professor é condicionado a esses caminhos recuperados para gerar uma racionalização detalhada. Se um caminho novo e correto for descoberto, ele é armazenado em buffer e periodicamente mesclado de volta ao banco via reagrupamento, permitindo que o banco cresça dinamicamente.
   • As tuplas de supervisão resultantes (Pergunta, Caminho, Racionalização, Resposta) são coletadas.

3. Ajuste Fino do Aluno:

   • O SLM aluno é ajustado fino usando LoRA (Adaptação de Baixo Rango) nas tuplas de supervisão coletadas.
   • Como perguntas relacionadas compartilham caminhos de raciocínio, o sinal de supervisão exibe menor variância, facilitando a internalização de estratégias reutilizáveis.

Análise Teórica

O artigo fornece um limite de generalização PAC-Bayes para formalizar o trade-off entre o tamanho do banco ($K_{banco}$) e a cobertura.

• O Trade-off: Um banco menor reduz a entropia da supervisão (melhorando a consistência), mas arrisca lacunas de cobertura (aumentando o viés de aproximação). Um banco maior melhora a cobertura, mas aumenta a entropia da supervisão e reduz o compartilhamento de parâmetros.
• O Limite: A lacuna de generalização escala com $\sqrt{M \cdot N}$, onde $M$ contém um termo $\log K_{banco}$. A análise prevê um tamanho de banco intermediário ótimo que minimiza o termo de desvio.
• Especificidades do LoRA: A análise aproveita a parametrização LoRA para mostrar que o banco pode reduzir a perda do modelo congelado ($\hat{b}_{LS}(0)$), estreitando assim o termo de complexidade do limite.

Contribuições Principais

1. Framework D-RPC: Um método inovador que comprime o espaço de raciocínio do professor em um banco dinâmico de caminhos canônicos, roteando perguntas semelhantes para estratégias compartilhadas para reduzir a divergência de racionalizações.
2. Formalização Teórica: Um limite PAC-Bayes que liga explicitamente o tamanho do banco ao desempenho de generalização, identificando um tamanho de banco intermediário ótimo que equilibra reutilização e cobertura.
3. Superioridade Empírica: Demonstrou melhorias consistentes sobre Chain-of-Thought (CoT), geração livre, destilação direta e baselines de supervisão estruturada em cinco benchmarks (GSM8K, AQUA, StrategyQA, AI2ARC, MATH) e dois modelos alunos (Llama 3.1 8B, Qwen 3 1.7B).
4. Eficiência: Alcança maior precisão usando menos tokens do que alternativas pesadas em templates como SuperCorrect.

Resultados Experimentais

• Desempenho: O D-RPC alcançou a maior precisão em todos os cinco benchmarks para ambos os modelos alunos. Notavelmente, no desafiador benchmark MATH, o D-RPC superou o próximo melhor método em +3,53 pontos (Llama) e +10,51 pontos (Qwen) sobre o CoT padrão.
• Estudos de Ablação:
  • Tamanho do Banco: O desempenho atingiu o pico em um tamanho de banco intermediário (75 caminhos para GSM8K), confirmando o trade-off teórico. Muito poucos caminhos causaram lacunas de cobertura; muitos demais diluíram a reutilização.
  • Inicialização: Inicialização heterogênea (conjunto de sementes diverso) forneceu benefícios em volumes baixos de dados, mas a lacuna desapareceu com dados de treinamento suficientes.
  • Mecanismo: Desativar o banco (voltando à geração livre) degradou consistentemente o desempenho, confirmando que a supervisão guiada por caminhos fornece um sinal de menor variância.
• Validação Teórica: Medições empíricas dos componentes do limite confirmaram que o banco reduz o NLL do modelo congelado e a lacuna de generalização, alinhando-se com as previsões teóricas.

Significado e Alegações

O artigo afirma que o D-RPC aborda a variância a montante nas racionalizações do professor, fornecendo um sinal mais limpo e consistente para o treinamento do aluno. Diferentemente de trabalhos anteriores que reestruturam racionalizações no lado do aluno ou usam templates verbosos que sobrecarregam os SLMs, o D-RPC comprime o espaço de raciocínio antes da geração. Os autores afirmam que a destilação eficaz depende de comprimir e reutilizar o espaço de raciocínio, em vez de gerar racionalizações mais longas ou verbosas. Os resultados sugerem que estruturar a distribuição de supervisão antes do treinamento é uma estratégia leve e eficaz para melhorar as capacidades de raciocínio dos SLMs, particularmente em domínios com alta heterogeneidade de soluções. O trabalho permanece modesto quanto ao seu escopo, notando que os experimentos foram limitados a pares específicos de professor/aluno e domínios de raciocínio (matemática e senso comum), e os limites teóricos são atualmente específicos para ajuste fino baseado em LoRA.