Resumo Técnico: Repensando o Papel da Temperatura na Destilação de Grandes Modelos de Linguagem

Declaração do Problema

A destilação de conhecimento (KD) é um paradigma padrão para comprimir grandes modelos de linguagem (LLMs) ao transferir conhecimento de um professor para um aluno menor. Um componente crítico da KD clássica é o parâmetro de temperatura ($\tau$), que suaviza a distribuição de probabilidade do professor para revelar o "conhecimento obscuro" (sinais informativos além da previsão principal). No entanto, na literatura recente de destilação de LLMs, a temperatura é frequentemente omitida ou fixada em $\tau=1$.

Essa convenção levou a uma conclusão empírica predominante de que a Divergência de Kullback–Leibler Reversa (RKL) é intrinsecamente superior à KL Direta (FKL) para a destilação de LLMs. Os autores argumentam que essa conclusão é provavelmente um artefato de avaliar esses objetivos sob distribuições de professor insuficientemente suavizadas ($\tau=1$). Em $\tau=1$, os alvos suaves do professor são agudos, suprimindo a massa de probabilidade não-alvo da qual a FKL depende, o que pode fazer com que a FKL pareça inferior não devido a limitações inerentes, mas devido ao cenário de avaliação. O artigo busca determinar se a FKL foi sistematicamente subestimada e como a temperatura altera fundamentalmente a comparação entre FKL e RKL.

Metodologia

Os autores empregam uma combinação de análise teórica e avaliação empírica para investigar a interação entre a temperatura de KD e os objetivos baseados em KL.

Análise Teórica

O artigo analisa os gradientes da FKL ($L_{FKL} = D_{KL}(p_\tau \| q_\tau)$) e da RKL ($L_{RKL} = D_{KL}(q_\tau \| p_\tau)$) em relação aos logits do aluno.

• Regime de Alta Temperatura: Os autores provam que, conforme $\tau \to \infty$, os gradientes de FKL e RKL convergem para o mesmo comportamento de correspondência de logits ($\nabla L \propto \frac{1}{V\tau^2}(z_s - z_t)$), tornando os objetivos equivalentes.
• Regime de Baixa Temperatura ($\tau \approx 1$): Os objetivos divergem significativamente.
  • FKL: O gradiente depende diretamente da diferença entre a distribuição suavizada do professor ($p_\tau$) e a distribuição do aluno ($q_\tau$). Aumentar $\tau$ altera o próprio alvo de supervisão, redistribuindo a massa de probabilidade para tokens não dominantes e enriquecendo o sinal para a FKL.
  • RKL: O gradiente é impulsionado pelas lacunas de logit professor-aluno ponderadas pela distribuição do aluno ($q_\tau$). Aqui, a temperatura atua principalmente para reescalar o gradiente e suavizar os pesos do lado do aluno, em vez de alterar fundamentalmente a distribuição do alvo da mesma forma que a FKL.

Avaliação Empírica

Experimentos foram conduzidos em benchmarks de seguimento de instruções (Dolly Eval, Self-Instruct, Vicuna Eval, Super-NI, UnNI) usando famílias de modelos GPT-2 e OPT (ex: GPT-2 XL $\to$ GPT-2 Base, OPT 6.7B $\to$ OPT 1.3B).

• Configuração: Destilação off-policy onde alunos são treinados em respostas fixas geradas pelo professor.
• Variáveis: O estudo compara objetivos padrão (FKL, RKL, Sym-KL, JS, SFKL, SRKL, AKL, AB, DRKL) em $\tau=1$ versus variantes com temperatura ajustada (busca em grade sobre $\tau \in \{1.5, \dots, 4.0\}$).
• Métricas: Pontuações ROUGE-L médias sobre cinco sementes aleatórias.

Principais Contribuições

1. Efeito Assimétrico da Temperatura

O artigo estabelece que a temperatura afeta a FKL e a RKL de forma assimétrica.

• FKL: A temperatura enriquece substancialmente o sinal de aprendizado ao expor informações de tokens não dominantes do professor. Ela muda o que a FKL aprende.
• RKL: A temperatura principalmente reescala os gradientes e suaviza os pesos sem fornecer acesso direto à distribuição suavizada do professor como um alvo de probabilidade. Ela muda como a RKL aprende.

2. Reversão de Rankings de Desempenho

Os autores demonstram que a superioridade da RKL sobre a FKL é altamente dependente da temperatura.

• Em $\tau=1$, a RKL supera consistentemente a FKL, alinhando-se com a literatura anterior.
• Em temperaturas mais altas (tipicamente $\tau \in [2.5, 3.5]$), a FKL supera consistentemente a RKL em todos os modelos e benchmarks. Por exemplo, no GPT-2 Base, a FKL melhorou de 19.41 para 20.97 ROUGE-L em $\tau=3.0$, enquanto a RKL permaneceu quase estável.

3. Melhoria Abrangente de Objetivos Baseados em KL

A temperatura não é meramente uma correção para a FKL, mas um fator geral que melhora uma ampla família de objetivos baseados em KL (incluindo Sym-KL, JS, SFKL e AKL).

• Métodos simples baseados em KL com ajuste apropriado de temperatura alcançam desempenho competitivo com métodos recentes de estado da arte (SOTA) como AB-KD e DRKL.
• Por exemplo, no GPT-2 Base, $JS+\tau$ alcançou um ROUGE-L médio de 25.63, superando AB (23.91) e DRKL (25.16).

Resultados

• Ganhos de Desempenho: O ajuste de temperatura rendeu ganhos significativos para objetivos baseados em FKL (ex: +5.83 para FKL no GPT-2 Base, +6.62 para AKL). Ganhos para objetivos baseados em RKL foram modestos (ex: +0.49 para RKL).
• Melhorias Qualitativas: Estudos de caso no benchmark Unnatural Instructions mostraram que modelos com temperatura ajustada seguiram melhor as instruções em relação ao formato de saída e extração de entidades comparados com seus equivalentes de $\tau=1$, reduzindo alucinações e omissões.
• Mudança de Ranking: A introdução da temperatura alterou o ranking relativo dos objetivos de destilação, sugerindo que comparações anteriores conduzidas em $\tau=1$ podem não refletir o verdadeiro potencial dos métodos baseados em FKL.

Significância e Alegações

O artigo afirma que a temperatura de KD não é um detalhe de implementação menor, mas um fator central e dependente do objetivo que deve ser considerado para uma comparação justa na destilação de LLM.

• Reavaliando a FKL: Os autores argumentam que a FKL tem sido sistematicamente subestimada na comunidade de destilação de LLM devido à omissão da temperatura. Quando devidamente suavizada, a FKL pode superar a RKL.
• Simplicidade vs. Complexidade: As descobertas sugerem que objetivos simples baseados em KL, quando pareados com o escalonamento de temperatura apropriado, podem competir com frameworks de destilação complexos de SOTA, potencialmente simplificando o espaço de design para pesquisas futuras.
• Benchmarking Justo: O artigo afirma que as comparações futuras de objetivos de destilação devem incluir o ajuste de temperatura para evitar conclusões enviesadas sobre a superioridade intrínseca de objetivos específicos como a RKL.

Os autores reconhecem limitações, observando que os experimentos foram restritos a modelos professores de até 7 bilhões de parâmetros e excluíram amostragem on-policy ou inicialização de aluno mais forte, deixando estas como caminhos para trabalhos futuros.