Riepilogo Tecnico: Distillazione Anti-Shortcut tramite Trasferimento di Conoscenza Temporale Negativa

1. Definizione del Problema

La Distillazione della Conoscenza (Knowledge Distillation, KD) funziona tradizionalmente come una forza attrattiva unilaterale, addestrando uno studente compatto per imitare le rappresentazioni o i logit di un insegnante ad alta capacità e convergente. Sebbene metodi recenti abbiano ampliato i tipi di conoscenza trasferita (ad es., feature intermedie, mappe di attenzione, geometria relazionale), essi condividono un limite geometrico critico: sono silenti su quali direzioni rappresentazionali lo studente debba evitare.

Le reti dell'insegnante subiscono esse stesse una traiettoria di ottimizzazione temporale. Nelle fasi iniziali dell'addestramento, le reti tendono a sfruttare indizi "shortcut" (ad es., texture locali, statistiche del colore, correlazioni dello sfondo) prima di consolidarsi in feature semantiche robuste basate sulla forma. Un processo di KD standard osserva solo lo stato finale e convergente dell'insegnante, perdendo la "conoscenza negativa" codificata nella traiettoria dell'insegnante—specificamente, le direzioni che sono state enfatizzate precocemente ma attenuate al momento della convergenza. Di conseguenza, uno studente addestrato con la KD standard può recuperare queste correlazioni spurie, portando a una ridotta robustezza sotto corruzione dei dati e shift di distribuzione.

2. Metodologia: Anti-Shortcut Distillation (ASD)

Gli autori propongono l'Anti-Shortcut Distillation (ASD), un framework push–pull che converte la traiettoria di addestramento dell'insegnante in una supervisione esplicita. ASD utilizza due checkpoint fissi dell'insegnante:

1. $T_{final}$: L'insegnante convergente, che funge da ancora semantica positiva.
2. $T_{early}$: Un checkpoint della fase iniziale, che funge da riferimento negativo temporale che espone gli indizi distorti dagli shortcut.

Il metodo definisce lo spostamento temporale per un input $x$ come:
$$\Delta h(x) = h_{early}(x) - h_{final}(x)$$
Questo vettore rappresenta le componenti della rappresentazione enfatizzata dallo stato iniziale ma soppressa dalla convergenza. ASD accoppia due perdite complementari per sfruttare questo segnale:

A. Perdita di Contrasto Temporale ($L_{TC}$)

Questa perdita opera a livello di campione utilizzando un obiettivo InfoNCE. Per un dato input, la feature dello studente viene attratta verso la feature di $T_{final}$ (positiva) e viene esplicitamente allontanata dalla feature di $T_{early}$ (negativo temporale).

• Meccanismo: Il denominatore della perdita InfoNCE include la stessa feature $T_{early}$ del campione come negativo, insieme a feature dello stesso batch e del memory-bank derivanti da $T_{final}$.
• Obiettivo: Garantire che la rappresentazione dello studente sia più vicina allo stato convergente e robusto che allo stato iniziale propenso agli shortcut per lo stesso input.

B. Perdita di Soppressione degli Shortcut ($L_{SS}$)

Questa perdita opera a livello di subspace per vincolare la geometria dello spazio delle feature dello studente.

• Meccanismo: Il metodo calcola la matrice del secondo momento non centrata degli spostamenti temporali su un mini-batch: $\hat{C}_{sc} = \frac{1}{|B|} \sum \Delta h(x_i)\Delta h(x_i)^\top$. Gli autovettori top-$K$ di questa matrice ($U_K$) spaziano la "subspace degli shortcut".
• Obiettivo: $L_{SS}$ penalizza la proiezione della feature normalizzata dello studente su questa subspace se supera un margine $\epsilon$.
• Obiettivo: Impedire allo studente di allinearsi con le direzioni dominanti del ricorso agli shortcut, anche se la perdita contrastiva a livello di campione è soddisfatta.

C. Obiettivo di Addestramento

La perdita totale combina la cross-entropy, la distillazione dei logit standard da $T_{final}$ e i due termini ausiliari ASD, con i termini ausiliari che subiscono un warm-up lineare durante l'addestramento:
$$L_{ASD} = L_{CE} + \alpha_{kd} L_{KD} + \beta(t) \alpha_{tc} L_{TC} + \gamma(t) \alpha_{ss} L_{SS}$$
Un proiettore addestinabile gestisce le discrepanze dimensionali tra coppie insegnante-studente eterogenee ed è scartato durante l'inferenza.

3. Analisi Teorica

Il paper fornisce una giustificazione teorica del perché $\Delta h$ identifica la subspace degli shortcut:

• Decomposizione a due Subspace: Assumendo che le feature dell'insegnante si decompongano in una subspace robusta ($R$) e una subspace di shortcut ($S$), gli autori dimostrano che se il cambiamento nella varianza delle feature tra lo stato iniziale e quello finale è dominato dalla componente di shortcut, la top eigenspace di $E[\Delta h \Delta h^\top]$ coincide con la subspace di shortcut $S$.
• Interpretazione Geometrica: $L_{SS}$ impone un margine angolare, garantendo che la feature dello studente sia separata dalla subspace degli shortcut di almeno $\arccos(\epsilon)$.
• Prospettiva dell'Informazione: Si dimostra che $L_{TC}$ abbassa il limite inferiore dell'informazione mutua tra lo studente e $T_{final}$ aggiungendo una penalità esplicita per la somiglianza con $T_{early}$ senza degradare il limite.

4. Risultati Sperimentali

ASD è stata valutata su 13 coppie insegnante-studente su CIFAR-100, ImageNet-100 e TinyImageNet, nonché sulla segmentazione semantica (ADE20K).

• Accuratezza Clean: ASD ha ottenuto la massima accuratezza top-1 su 10 coppie su 13 e ha superato la KD standard su 12 coppie su 13. Ha mostrato una forza particolare nelle coppie cross-architettura (ad es., WRN-40-2 $\to$ ShuffleNet-V2), dove ha migliorato la KD di +1.33 punti percentuali.
• Robustezza: Su CIFAR-100-C (robustezza alle corruzioni), ASD ha ottenuto il minor Mean Corruption Error (mCE) sulla coppia cross-architettura più impegnativa (86.1 mCE).
• Segmentazione: Su ADE20K, ASD ha migliorato il mean Intersection over Union (mIoU) rispetto a KD e altri metodi di distillazione allo stato dell'arte per entrambi gli studenti ResNet-18 e MobileNetV2.
• Diagnostica Meccanicistica:
  • Anti-allineamento: Gli studenti ASD erano sistematicamente anti-allineati con la direzione dello shortcut ($\cos(h_S, \Delta h) = -0.36$), mentre gli studenti KD mostravano un allineamento vicino allo zero ($0.00$).
  • Proiezione della Subspace Robusta: Gli studenti ASD proiettavano significativamente di più sulla subspace robusta (0.45) rispetto agli studenti KD (0.12).
  • Shift di Texture: ASD ha dimostrato una riduzione della degradazione dell'accuratezza sotto input con shift di texture rispetto a KD.

5. Significato e Rivendicazioni

Il paper sostiene che ASD sposti fondamentalmente il paradigma della distillazione della conoscenza da un processo puramente attrattivo a un meccanismo push–pull. Trattando la propria traiettoria di ottimizzazione come una fonte di "conoscenza negativa", ASD identifica e sopprime esplicitamente le direzioni degli shortcut senza richiedere dati etichettati o obiettivi esterni sensibili ai bias.

I contributi chiave evidenziati dagli autori includono:

1. Framework di KD con Segno: Il primo metodo che tratta un checkpoint precoce dell'insegnante come un riferimento negativo temporale invece di un target positivo.
2. Indicatore di Shortcut Label-Free: L'identificazione di $\Delta h = h_{early} - h_{final}$ come un segnale robusto e privo di etichette per la soppressione delle correlazioni spurie.
3. Giustificazione Geometrica: Una prova teorica che collega la top eigenspace della matrice di spostamento alla subspace degli shortcut sotto specifiche condizioni.
4. Superiorità Empirica: Dimostrare che la soppressione degli shortcut migliora simultaneamente sia l'accuratezza clean che la robustezza, sfidando la nozione che la robustezza debba necessariamente essere scambiata con l'accuratezza.

Gli autori notano limitazioni, specificamente che ASD potrebbe avere difficoltà quando la capacità dello studente è così severamente compressa (ad es., ResNet-32$\times$4 $\to$ ResNet-8$\times$4) che le cue di basso livello diventano scaffold discriminativi necessari piuttosto che shortcut dispensabili. Riconoscono inoltre il costo computazionale marginale del mantenimento di un checkpoint extra e del calcolo delle decomposizioni in autovettori per ogni batch.