Consistently Informative Soft-Label Temperature for Knowledge Distillation

Technische Samenvatting: Consistent Informatieve Soft-Label Temperatuur voor Kennisdistillatie

Probleemstelling
Kennisdistillatie (KD) overdraagt "donkere kennis" van een hoogcapaciteit leraar naar een compacte student door hun voorspellingsdistributies te matchen, doorgaans met behulp van een temperatuur-hyperparameter ($\tau$) om logits te gladstrijken voordat de softmax-operatie wordt uitgevoerd. De auteurs identificeren twee kritieke beperkingen in standaard KD:

1. Entropie-inconsistentie: Standaard KD hanteert één enkele globale, vaste temperatuur voor alle samples. Omdat de schaal van leraar-logits echter aanzienlijk varieert tussen samples (vanwege complexiteit, vertrouwen of modelbias), levert een vaste $\tau$ soft labels op met sterk inconsistent entropie. Sommige voorspellingen blijven overdreven scherp (lage entropie), waardoor er weinig inter-klasseninformatie overblijft, terwijl andere overmatig worden gegladst (hoge entropie), waardoor ze lijken op willekeurige ruis en klassediscriminerende signalen verliezen.
2. Rigide Logit-schaaluitlijning: Standaard KD deelt vaak dezelfde temperatuur tussen leraar en student. Dit dwingt impliciet een rigide uitlijning van logit-schalen af, ondanks het capaciteitsverschil tussen de twee modellen, wat de gradiëntupdates mogelijk suboptimaliseert.

Methodologie: CIST
De auteurs stellen CIST (Consistently Informative Soft-label Temperature) voor, een op logits gebaseerd KD-kader dat is ontworpen om de entropie van leraar-labels te stabiliseren en rigide uitlijning te versoepelen. CIST bestaat uit drie kerncomponenten:

1. Per-sample Adaptieve Temperatuur voor de Leraar:
   Gemotiveerd door een theoretische propositie die aantoont dat de entropie van leraar-labels wordt bepaald door de verhouding tussen de dominante logit en de temperatuur, kent CIST een unieke temperatuur $\tau^t_i$ toe aan elke sample $i$. Dit wordt berekend door de dominante leraar-logit ($v_{i,m}$) te normaliseren naar een constante $\rho$:
   $$\tau^t_i = \frac{v_{i,m}}{\rho}$$
   Dit zorgt ervoor dat voorspellingen met hoog vertrouwen (grote logits) sterkere gladstrijking krijgen, terwijl voorspellingen met laag vertrouwen zwakkere gladstrijking krijgen, wat resulteert in consistent informatieve soft labels over de hele dataset.

2. Onafhankelijke Leraar–Student Temperatuur:
   In tegenstelling tot standaard KD, kent CIST aparte adaptieve temperaturen toe aan de leraar ($\tau^t_i$) en de student ($\tau^s_i$). De studenttemperatuur wordt afgeleid uit de maximale grootte van de student-logits ($z_{i,m'}$):
   $$\tau^s_i = \frac{z_{i,m'}}{\rho}$$
   Dit ontkoppelt de logit-schalen, waardoor de student de inter-klassen relationele structuur van de leraar kan matchen zonder gedwongen te worden om de absolute logit-groottes van de leraar te reproduceren.

3. Vertrouwensbewuste Curriculum Regularisatie:
   Om een stabiel evenwicht te behouden tussen de KL-divergentieloss en de hard-label cross-entropy loss, herschikt CIST de distillatiedoelstelling voor elke sample. De KL-term wordt geschaald met het product van de leraar- en studenttemperatuur:
   $$L_{KL} = \tau^t_i \tau^s_i \cdot KL(p^{\tau^t_i}_i \parallel q^{\tau^s_i}_i)$$
   Dit fungeert als een curriculummechanisme: samples waarbij de leraar vertrouwen heeft en de student daarop vertrouwen reageert, krijgen hogere gewichten, terwijl onzekere of moeilijke samples worden afgezwakt.

Belangrijkste Bijdragen

• Theoretisch Inzicht: De auteurs tonen aan dat temperatuur-vaste KD inconsistentie in de entropie van leraar-labels induceert, wat leidt tot oninformatieve soft supervisie. Zij bieden een principiële basis voor adaptieve gladstrijking gebaseerd op de verhouding van dominante logits tot temperatuur.
• Kaderontwerp: CIST introduceert een nieuw kader dat per-sample temperatuuradaptatie, onafhankelijke leraar-student temperaturen en vertrouwensbewuste loss-herschikking combineert.
• Empirische Validatie: De methode is gevalideerd op zowel visuele (CIFAR-100, ImageNet) als taalopdrachten (instructievolgen op Dolly, Vicuna, enz.) voor distillatie.

Experimentele Resultaten

• Visuele Taken: Op CIFAR-100 presteert CIST (gecombineerd met MLKD) consistent beter dan standaard KD en sterke baselines (inclusief DKD, CTKD en op features gebaseerde methoden zoals ReviewKD) over homogene en heterogene leraar-student paren. Bijvoorbeeld, het boekte een verbetering van +3,63% ten opzichte van standaard KD op het ResNet32x4→ResNet8x4 paar. Op ImageNet overtrof CIST de sterkste op logits gebaseerde baselines (DKD, KD+LS) en op features gebaseerde methoden (OFD, ReviewKD) in Top-1 nauwkeurigheid, met winsten tot +2,25% op ResNet50-MobileNetV1.
• Taalopdrachten: Bij instructievolgende distillatie behaalde CIST consequent de eerste of tweede plaats over meerdere benchmarks (Dolly, Vicuna, Super-Natural Instructions, Unnatural Instructions) voor zowel GPT-2 als OPT leraar-student paren, met de beste gemiddelde scores.
• Efficiëntie: CIST introduceert verwaarloosbare rekenkundige overhead ten opzichte van standaard KD, aangezien het geen auxiliaire modules of extra trainbare parameters vereist, in tegenstelling tot veel op features gebaseerde methoden.
• Ablatiestudies: Experimenten bevestigden dat het stabiliseren van de entropie van leraar-labels de primaire drijfveer is voor prestatiewinst. De methode toonde robuustheid ten opzichte van de hyperparameter $\rho$ en demonstreerde verbeterde feature-discriminatie via t-SNE-visualisaties en nauwkeurigere ruimtelijke aandacht via Grad-CAM.

Betekenis
Het artikel stelt dat CIST een fundamentele, vaak over het hoofd geziene beperking van standaard KD aanpakt: de aanname dat één enkele globale temperatuur geschikt is voor alle samples. Door te zorgen voor consistent informatieve soft labels en rigide logit-schaalmatching te versoepelen, biedt CIST een betrouwbaarder en effectiever supervisiessignaal. De auteurs benadrukken dat hun aanpak de prestaties verbetert over diverse architecturen en modaliteiten (visie en taal), terwijl de eenvoud en efficiëntie van standaard op logits gebaseerde distillatie behouden blijven.