Resumo Técnico: Destilação Anti-Atalho via Transferência de Conhecimento Negativo Temporal

1. Definição do Problema

A Destilação de Conhecimento (KD) funciona tradicionalmente como uma força atrativa unilateral, treinando um aluno compacto para imitar as representações ou os logits de um professor de alta capacidade e convergido. Embora métodos recentes tenham expandido os tipos de conhecimento transferidos (ex: características intermediárias, mapas de atenção, geometria relacional), eles compartilham uma limitação geométrica crítica: são silenciosos sobre quais direções representacionais o aluno deve evitar.

As redes professoras também passam por uma trajetória de otimização temporal. No início do treinamento, as redes tendem a explorar "atalhos" (ex: texturas locais, estatísticas de cores, correlações de fundo) antes de consolidarem características semânticas robustas e orientadas à forma. Um processo de KD padrão observa apenas o estado final e convergido do professor, perdendo o "conhecimento negativo" codificado na trajetória do professor — especificamente, as direções que foram enfatizadas precocemente, mas atenuadas após a convergência. Consequentemente, um aluno treinado sob KD padrão pode recuperar essas correlações espúrias, levando a uma redução de robustez sob corrupção de dados e mudanças de distribuição.

2. Metodologia: Destilação Anti-Atalho (ASD)

Os autores propõem a Destilação Anti-Atalho (ASD), um framework de empurra-puxa que converte a trajetória de treinamento do professor em supervisão explícita. A ASD utiliza dois checkpoints congelados do professor:

1. $T_{final}$: O professor convergido, servindo como uma âncora semântica positiva.
2. $T_{early}$: Um checkpoint de estágio inicial, servindo como uma referência negativa temporal que expõe pistas enviesadas por atalhos.

O método define o deslocamento temporal para um input $x$ como:
$$\Delta h(x) = h_{early}(x) - h_{final}(x)$$
Este vetor representa os componentes da representação enfatizados pelo estado inicial, mas suprimidos pela convergência. A ASD acopla duas perdas complementares para aproveitar este sinal:

A. Perda Contrastiva Temporal ($L_{TC}$)

Esta perda opera ao nível da amostra usando um objetivo InfoNCE. Para um dado input, a característica do aluno é puxada em direção à característica de $T_{final}$ (positivo) e explicitamente empurrada para longe da característica de $T_{early}$ (negativo temporal).

• Mecanismo: O denominador da perda InfoNCE inclui a característica do mesmo sample de $T_{early}$ como um negativo, juntamente com características do batch e do memory-bank de $T_{final}$.
• Objetivo: Garantir que a representação do aluno esteja mais próxima do estado robusto e convergido do que do estado inicial propenso a atalhos para o mesmo input.

B. Perda de Supressão de Atalho ($L_{SS}$)

Esta perda opera ao nível do subespaço para restringir a geometria do espaço de características do aluno.

• Mecanismo: O método calcula a matriz de segundo momento não centrada dos deslocamentos temporais sobre um mini-batch: $\hat{C}_{sc} = \frac{1}{|B|} \sum \Delta h(x_i)\Delta h(x_i)^\top$. Os autovetores de top-$K$ desta matriz ($U_K$) abrangem o "subespaço de atalho".
• Objetivo: A $L_{SS}$ penaliza a projeção da característica normalizada do aluno neste subespaço se ela exceder uma margem $\epsilon$.
• Objetivo: Impedir que o aluno se alinhe com as direções dominantes de dependência de atalhos, mesmo que a perda contrastiva ao nível da amostra seja satisfeita.

C. Objetivo de Treinamento

O objetivo total combina entropia cruzada, destilação de logit padrão de $T_{final}$ e os dois termos auxiliares de ASD, com os termos auxiliares sendo aquecidos linearmente durante o treinamento:
$$L_{ASD} = L_{CE} + \alpha_{kd} L_{KD} + \beta(t) \alpha_{tc} L_{TC} + \gamma(t) \alpha_{ss} L_{SS}$$
Um projetor treinável lida com as discrepâncias de dimensão entre pares professor-aluno heterogêneos e é descartado na inferência.

3. Análise Teórica

O artigo fornece uma justificativa teórica para por que $\Delta h$ identifica o subespaço de atalho:

• Decomposição de Dois Subespaços: Assumindo que as características do professor se decompõem em um subespaço robusto ($R$) e um subespaço de atalho ($S$), os autores mostram que, se a mudança na variância das características entre os estados inicial e final for dominada pelo componente de atalho, o autovetor de topo de $E[\Delta h \Delta h^\top]$ coincide com o subespaço de atalho $S$.
• Interpretação Geométrica: A $L_{SS}$ impõe uma margem angular, garantindo que a característica do aluno seja separada do subespaço de atalho por pelo menos $\arccos(\epsilon)$.
• Visão Teórico-Informacional: Mostra-se que a $L_{TC}$ estabelece um limite inferior para a informação mútua entre o aluno e $T_{final}$, adicionando uma penalidade explícita para a similaridade com $T_{early}$ sem degradar o limite.

4. Resultados Experimentais

A ASD foi avaliada em 13 pares professor–aluno no CIFAR-100, ImageNet-100 e TinyImageNet, bem como em segmentação semântica (ADE20K).

• Acurácia em Dados Limpos (Clean Accuracy): A ASD alcançou a maior acurácia top-1 em 10 de 13 pares e superou a KD padrão em 12 de 13 pares. Demonstrou força particular em pares de arquiteturas cruzadas (ex: WRN-40-2 $\to$ ShuffleNet-V2), onde melhorou em relação à KD em +1,33 pontos percentuais.
• Robustez: No CIFAR-100-C (robustez a corrupções), a ASD alcançou o menor Erro Médio de Corrupção (mCE) no par de arquiteturas cruzadas mais desafiador (86,1 mCE).
• Segmentação: Na ADE20K, a ASD melhorou o mIoU sobre a KD e outros métodos de destilação de estado da arte tanto para alunos ResNet-18 quanto MobileNetV2.
• Diagnósticos Mecanísticos:
  • Anti-alinhamento: Alunos ASD foram sistematicamente anti-alinhados com a direção do atalho ($\cos(h_S, \Delta h) = -0,36$), enquanto alunos KD mostraram alinhamento próximo de zero ($0,00$).
  • Projeção de Subespaço Robusto: Alunos ASD projetaram significativamente mais no subespaço robusto (0,45) comparados aos alunos KD (0,12).
  • Mudança de Textura: A ASD demonstrou redução na degradação de acurácia sob inputs com mudança de textura em comparação com a KD.

5. Significância e Alegações

O artigo afirma que a ASD muda fundamentalmente o paradigma da destilação de conhecimento de um processo puramente atrativo para um mecanismo de empurra-puxa. Ao tratar a própria trajetória de otimização do professor como uma fonte de "conhecimento negativo", a ASD identifica e suprime explicitamente as direções de atalho sem exigir dados rotulados ou objetivos externos de consciência de viés.

As principais contribuições destacadas pelos autores incluem:

1. Framework de KD com Sinal: O primeiro método a tratar um checkpoint inicial do professor como uma referência negativa temporal em vez de um alvo positivo.
2. Indicador de Atalho Sem Rótulos: A identificação de $\Delta h = h_{early} - h_{final}$ como um sinal robusto e livre de rótulos para suprimir correlações espúrias.
3. Justificativa Geométrica: Uma prova teórica ligando o autovetor de topo da matriz de deslocamento ao subespaço de atalho sob condições específicas.
4. Superioridade Empírica: Demonstrar que a supressão de atalhos melhora simultaneamente a acurácia limpa e a robustez, desafiando a noção de que a robustez deve ser trocada pela acurácia.

Os autores observam limitações, especificamente que a ASD pode ter dificuldades quando a capacidade do aluno é tão severamente comprimida (ex: ResNet-32$\times$4 $\to$ ResNet-8$\times$4) que pistas de baixo nível tornam-se andaimes discriminativos necessários em vez de atalhos dispensáveis. Eles também reconhecem o custo computacional marginal de armazenar um checkpoint extra e calcular decomposições de autovetores por batch.