Consistently Informative Soft-Label Temperature for Knowledge Distillation

Resumo Técnico: Temperatura de Rótulo Suave Consistentemente Informativa para Distilação de Conhecimento

Declaração do Problema
A Distilação de Conhecimento (KD) transfere "conhecimento escuro" de um modelo professor de alta capacidade para um estudante compacto, alinhando suas distribuições preditivas, tipicamente utilizando um hiperparâmetro de temperatura ($\tau$) para suavizar os logits antes da operação de softmax. Os autores identificam duas limitações críticas na KD padrão:

1. Inconsistência de Entropia: A KD padrão emprega uma única temperatura global e fixa para todas as amostras. No entanto, como as escalas de logits do professor variam significativamente entre as amostras (devido à complexidade, confiança ou viés do modelo), um $\tau$ fixo produz rótulos suaves com entropia altamente inconsistente. Algumas previsões permanecem excessivamente nítidas (baixa entropia), oferecendo pouca informação interclasse, enquanto outras tornam-se excessivamente suavizadas (alta entropia), assemelhando-se a ruído aleatório e perdendo sinais discriminativos de classe.
2. Alinhamento Rígido de Escala de Logits: A KD padrão frequentemente compartilha a mesma temperatura entre o professor e o estudante. Isso força implicitamente um alinhamento rígido das escalas de logits, apesar da discrepância de capacidade entre os dois modelos, potencialmente subotimizando as atualizações de gradiente.

Metodologia: CIST
Os autores propõem o CIST (Temperatura de Rótulo Suave Consistentemente Informativa), um framework de KD baseado em logits projetado para estabilizar a entropia dos rótulos do professor e relaxar o alinhamento rígido. O CIST compreende três componentes principais:

1. Temperatura Adaptativa por Amostra para o Professor:
   Motivado por uma proposição teórica que mostra que a entropia dos rótulos do professor é governada pela razão entre o logit dominante e a temperatura, o CIST atribui uma temperatura única $\tau^t_i$ a cada amostra $i$. Isso é calculado normalizando o logit dominante do professor ($v_{i,m}$) para uma constante $\rho$:
   $$\tau^t_i = \frac{v_{i,m}}{\rho}$$
   Isso garante que previsões de alta confiança (logits grandes) recebam maior suavização, enquanto previsões de baixa confiança recebam menor suavização, resultando em rótulos suaves consistentemente informativos em todo o conjunto de dados.

2. Temperaturas Professor–Estudante Independentes:
   Diferentemente da KD padrão, o CIST atribui temperaturas adaptativas separadas ao professor ($\tau^t_i$) e ao estudante ($\tau^s_i$). A temperatura do estudante é derivada da magnitude máxima dos logits do estudante ($z_{i,m'}$):
   $$\tau^s_i = \frac{z_{i,m'}}{\rho}$$
   Isso desacopla as escalas de logits, permitindo que o estudante corresponda à estrutura relacional interclasse do professor sem ser forçado a reproduzir as magnitudes absolutas dos logits do professor.

3. Regularização de Currículo Consciente de Confiança:
   Para manter um equilíbrio estável entre a perda de divergência KL e a perda de entropia cruzada de rótulo duro, o CIST repondera o objetivo de distilação para cada amostra. O termo KL é escalado pelo produto das temperaturas do professor e do estudante:
   $$L_{KL} = \tau^t_i \tau^s_i \cdot KL(p^{\tau^t_i}_i \parallel q^{\tau^s_i}_i)$$
   Isso atua como um mecanismo de currículo: amostras onde o professor é confiante e o estudante responde com confiança recebem pesos mais altos, enquanto amostras incertas ou difíceis são subponderadas.

Principais Contribuições

• Insight Teórico: Os autores demonstram que a KD de temperatura fixa induz entropia inconsistente de rótulos do professor, levando a supervisão suave não informativa. Eles fornecem uma base principial para suavização adaptativa baseada na razão entre logits dominantes e temperatura.
• Design do Framework: O CIST introduz um framework inovador combinando adaptação de temperatura por amostra, temperaturas professor-estudante independentes e reponderação de perda consciente de confiança.
• Validação Empírica: O método é validado em tarefas de distilação tanto de visão (CIFAR-100, ImageNet) quanto de linguagem (seguimento de instruções em Dolly, Vicuna, etc.).

Resultados Experimentais

• Tarefas de Visão: No CIFAR-100, o CIST (combinado com MLKD) supera consistentemente a KD padrão e bases fortes (incluindo DKD, CTKD e métodos baseados em características como ReviewKD) em pares professor-estudante homogêneos e heterogêneos. Por exemplo, alcançou uma melhoria de +3,63% sobre a KD padrão no par ResNet32x4→ResNet8x4. No ImageNet, o CIST superou as bases mais fortes baseadas em logits (DKD, KD+LS) e métodos baseados em características (OFD, ReviewKD) em precisão Top-1, com ganhos de até +2,25% em ResNet50-MobileNetV1.
• Tarefas de Linguagem: Na distilação de seguimento de instruções, o CIST consistentemente ficou em primeiro ou segundo lugar em múltiplos benchmarks (Dolly, Vicuna, Super-Natural Instructions, Unnatural Instructions) para pares professor-estudante GPT-2 e OPT, alcançando as melhores pontuações médias.
• Eficiência: O CIST introduz sobrecarga computacional negligenciável em comparação com a KD padrão, pois não requer módulos auxiliares ou parâmetros adicionais treináveis, ao contrário de muitos métodos baseados em características.
• Estudos de Ablação: Experimentos confirmaram que estabilizar a entropia dos rótulos do professor é o principal motor dos ganhos de desempenho. O método demonstrou robustez ao hiperparâmetro $\rho$ e mostrou melhor discriminabilidade de características via visualizações t-SNE e atenção espacial mais precisa via Grad-CAM.

Significância
O artigo afirma que o CIST aborda uma limitação fundamental, frequentemente negligenciada, da KD padrão: a suposição de que uma única temperatura global é adequada para todas as amostras. Ao garantir rótulos suaves consistentemente informativos e relaxar o casamento rígido de escala de logits, o CIST fornece um sinal de supervisão mais confiável e eficaz. Os autores enfatizam que sua abordagem melhora o desempenho em diversas arquiteturas e modalidades (visão e linguagem), mantendo a simplicidade e eficiência da distilação baseada em logits padrão.