BicKD: Bilateral Contrastive Knowledge Distillation

1. Probleemstelling

Knowledge Distillation (KD) beoogt kennis over te dragen van een groot, hoogpresterend "leraar"-model naar een kleiner, efficiënter "student"-model. Hoewel de standaard KD-methode (Hinton et al.) dominant is, kampt deze met twee kritieke beperkingen:

• Gebrek aan cross-klasse vergelijking: Standaard KD voert alleen sample-voor-sample probabiliteitsalignering uit (minimaliseren van de KL-divergentie tussen de voorspellingen van leraar en student voor hetzelfde sample). Het faalt erin om expliciet de relaties of structurele verschillen tussen verschillende klassen te modelleren.
• Afwezigheid van structurele beperkingen: Standaard KD legt geen beperkingen op aan de geometrische structuur van de probabiliteitsruimte. Idealiter zouden de kansverdelingen van verschillende klassen orthogonaal moeten zijn (d.w.z. verschillende klassen bezetten goed gescheiden richtingen in de vectorruimte). Bestaande methoden dwingen deze orthogonaliteit niet expliciet af om de door de leraar geleerde geometrische structuur na te bootsen.

2. Methodologie: Bilateral Contrastive Knowledge Distillation (BicKD)

De auteurs stellen BicKD voor, een op logits gebaseerd raamwerk dat een bilaterale contrastieve loss introduceert om orthogonaliteit en structurele consistentie af te dwingen. De methode werkt op twee dimensies:

A. Kernconcepten

• Orthogonaliteit: De methode gaat ervan uit dat in een goed getraind model de voorspellingsvectoren voor verschillende klassen orthogonaal moeten zijn (inproduct $\approx$ 0), terwijl vectoren voor dezelfde klasse consistent moeten zijn.
• Bilateraal Contrast: De lossfunctie contrasteert voorspellingen op twee manieren:
  1. Sample-voor-sample: Vergelijken van voorspellingen van verschillende samples binnen een batch.
  2. Klasse-voor-klasse: Vergelijken van voorspellingen over verschillende klassen (kolommen in de probabiliteitsmatrix).

B. Lossfuncties

De totale trainingsloss is een gewogen som van drie componenten:
$$L_{train} = \alpha L_{CE} + \beta L_{SC} + \gamma L_{CC}$$

1. Sample-voor-sample Contrastieve Loss ($L_{SC}$):

   • Sample-voor-sample Orthogonaliteitsversterking (SOA): Voor samples met verschillende ground-truth labels ($i, j$ waar $y_i \neq y_j$), maximaliseert de methode de cosinusafstand tussen de voorspelling van de student op sample $i$ en de voorspelling van de leraar op sample $j$. Dit duwt representaties van verschillende klassen uit elkaar.
   • Sample-voor-sample Alignering: Gebruikt standaard KL-divergentie om ervoor te zorgen dat de student de leraar nabootst op hetzelfde sample.

2. Klasse-voor-klasse Contrastieve Loss ($L_{CC}$):

   • Klasse-voor-klasse Orthogonaliteitsversterking (COA): In plaats van naar individuele samples te kijken, kijkt deze naar klassenkolommen. Het maximaliseert de cosinusafstand tussen de voorspellingsvector van de leraar voor klasse $k$ en de voorspellingsvector van de student voor een andere klasse $j$. Dit dwingt af dat de richtingen van verschillende klassen orthogonaal blijven.
   • Klasse-voor-klasse Alignering: Gebruikt L1-afstand om de divergentie tussen leraar en student voor dezelfde klassenkolom te minimaliseren.

C. Voordelen ten opzichte van bestaande methoden

• Lichtgewicht: In tegenstelling tot op features gebaseerde methoden (zoals CRD) die het opslaan van feature-representaties en het samplen van paren vereisen (hoge geheugen-/rekenkosten), werkt BicKD uitsluitend op logits (laagdimensionaal) en vereist geen extra geheugenbuffers.
• Expliciete Structuur: Het modelleert expliciet de geometrische structuur van het probabiliteitssimplex, waardoor de student wordt geleid om de inter-klasse scheidingslogica van de leraar te leren.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Voorstellen van BicKD, de eerste KD-methode die bilateraal contrast (sample-voor-sample en klasse-voor-klasse) introduceert om orthogonaliteit in de probabiliteitsruimte af te dwingen.
2. Geometrische Regularisatie: Introduceren van een mechanisme om de geometrische structuur van de voorspellende verdeling te regulariseren, zodat verschillende klassen goed gescheiden (orthogonaal) zijn terwijl intra-klasse consistentie behouden blijft.
3. Uitgebreide Evaluatie: Aantonen dat BicKD state-of-the-art (SOTA) methoden overtreft op diverse architecturen (ResNet, VGG, WideResNet, ShuffleNet, MobileNet) en datasets (CIFAR-100, Tiny-ImageNet).
4. Robuustheid: Tonen van superieure prestaties in uitdagende scenario's, waaronder Few-Shot learning (CIFAR-100-FS) en Langstaartverdelingen (CIFAR-100-LT), waar datatekorten en onevenwichtigheden doorgaans de KD-prestaties doen verslechteren.

4. Experimentele Resultaten

• Standaard Benchmarks:
  • CIFAR-100: BicKD behaalde een gemiddelde verbetering van 1,28% ten opzichte van baseline methoden. Opmerkelijk is dat bij het distilleren van ResNet-110 naar WRN-16-2, BicKD (75,15%) het leraarmodel (74,37%) overtrof.
  • Tiny-ImageNet: BicKD behaalde consequent de hoogste Top-1 nauwkeurigheid over alle geteste leraar-studentparen, en overtrof de op één na beste methode (CRD) met 0,48% in de ResNet-50 $\to$ WRN-40-1 setting.
• Statistische Significantie: Gekoppelde t-toetsen bevestigden dat de verbeteringen van BicKD ten opzichte van standaard KD statistisch significant zijn ($p < 0,05$).
• Efficiëntie: BicKD is rekenkundig efficiënt. De trainingsduur per batch was vergelijkbaar met standaard KD (bijv. 0,0450s op CIFAR-100) en aanzienlijk sneller dan op features gebaseerde methoden zoals CRD (0,1752s).
• Few-Shot & Langstaart:
  • In few-shot scenario's (35–100 samples per klasse) handhaafde BicKD een significante nauwkeurigheidskloof ten opzichte van standaard KD naarmate het datavolume afnam.
  • In langstaartsettings ($\rho=100$) verbeterde BicKD de nauwkeurigheid op minderheidsklassen aanzienlijk (bijvoorbeeld het verdubbelen van de nauwkeurigheid op klassen met slechts 5 samples) en verlaagde de standaardafwijking over klassen, wat wijst op betere consistentie.

5. Betekenis

Het artikel adresseert een fundamentele kloof in Knowledge Distillation: het gebrek aan expliciete structurele beperkingen op de probabiliteitsruimte. Door de focus te verschuiven van het slechts matchen van outputkansen naar het nabootsen van de geometrische orthogonaliteit van de klassenrepresentaties van de leraar, stelt BicKD studenten in staat om rijker, meer discriminerende features te leren.

De betekenis hiervan ligt in:

• Eenvoud: Het vereist alleen logits, waardoor het eenvoudig te implementeren is als een black-box vervanging voor bestaande KD-pijplijnen.
• Generalisatie: Het bewijst dat het afdwingen van geometrische beperkingen (orthogonaliteit) cruciaal is voor effectieve kennisoverdracht, vooral wanneer de capaciteit van het studentenmodel beperkt is of data schaars is.
• Toekomstige Richting: Het opent een nieuwe weg voor onderzoek naar "Neural Collapse" en de relatie tussen orthogonaliteit en de Simplex Equiangular Tight Frame (ETF) structuur in deep learning.