Technische Samenvatting: Discriminatieve en Consistente Representatie-distillatie (DCD)

1. Probleemstelling

Knowledge Distillation (KD) streeft ernaar om kennis over te dragen van grote, hoogwaardige teacher-modellen naar compacte student-modellen. Hoewel contrastieve doelstellingen effectief zijn gebleken voor het leren van gestructureerde representaties in self-supervised learning, kampen hun toepassingen op distillatie met drie primaire praktische tekortkomingen:

1. Geheugenoverhead: Bestaande contrastieve distillatiemethoden (bijv. CRD) vertrouwen op externe geheugenbanken om feature-vectoren op te slaan voor negatieve sampling, wat leidt tot aanzienlijke geheugenkosten en implementatiecomplexiteit.
2. Vaste Hyperparameters: Het gebruik van vaste temperatuur-hyperparameters beperkt de aanpasbaarheid van de contrastieve doelstelling over verschillende trainingsfasen en verschillen in de capaciteit van teacher en student.
3. Onvolledige Structurele Supervisie: Instance-discriminatie-doelstellingen superviseren doorgaans alleen de diagonaal van de cross-model gelijkenismatrix (het afstemmen van een student-instantie op zijn tegenhanger in de teacher). Dit laat de off-diagonaal structuur onbeperkt, waardoor de student weliswaar zijn eigen teacher kan matchen, maar inconsistent gerelateerd blijft aan andere samples in de batch.

2. Methodologie

De auteurs stellen Discriminatieve en Consistente Representatie-distillatie (DCD) voor, een framework dat contrastieve instance-discriminatie combineert met een consistentie-regularisatieterm over de cross-model gelijkenismatrix.

2.1 Kerndoelstelling

De totale verliesfunctie voor het trainen van het student-netwerk $\theta_S$ wordt gedefinieerd als:
$$\theta_S = \arg\min_{\theta_S} \sum_{i=1}^N \left( \mathcal{L}_{\text{sup}} + \lambda \cdot \mathcal{L}_{\text{distill}} + \beta \cdot \mathcal{L}_{\text{dcd}} \right)$$
waarbij $\mathcal{L}_{\text{dcd}}$ de voorgestelde feature-space loss is, bestaande uit twee termen:
$$\mathcal{L}_{\text{dcd}} = \mathcal{L}_{\text{ctr}} + \alpha \cdot \mathcal{L}_{\text{cst}}$$

2.2 Contrastieve Term ($\mathcal{L}_{\text{ctr}}$)

Deze term voert instance-level discriminatie uit. Voor een mini-batch van $N$ samples moet de student-representatie $z_i^S$ zijn overeenkomstige teacher-representatie $z_i^T$ identificeren tussen alle $N$ teacher-representaties in de batch. Dit wordt geformuleerd als een $N$-way classificatieprobleem met behulp van Noise Contrastive Estimation (NCE):
$$\mathcal{L}_{\text{ctr}} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(\ell_{ii})}{\sum_{j=1}^N \exp(\ell_{ij})}$$
Hier vertegenwoordigt $\ell_{ij}$ de geschaalde gelijkenis tussen student $i$ en teacher $j$. Cruciaal is dat deze term in-batch sampling gebruikt, waardoor de noodzaak voor externe geheugenbanken vervalt.

2.3 Consistentie Term ($\mathcal{L}_{\text{cst}}$)

De contrastieve term beperkt alleen de diagonaal van de gelijkenismatrix. Om de off-diagonaal structuur te beperken, introduceren de auteurs een consistentie-regularisatieterm die overeenstemming afdwingt tussen twee complementaire weergaven van dezelfde cross-model gelijkenismatrix $\ell$:

1. Student View ($p_i^S$): Rij-genormaliseerde waarschijnlijkheden, die de affiniteit van student $i$ ten opzichte van alle teachers vertegenwoordigen.
2. Teacher View ($p_i^T$): Kolom-genormaliseerde waarschijnlijkheden (getransponeerd), die de affiniteit van alle students ten opzichte van teacher $i$ vertegenwoordigen.

De consistentie-loss minimaliseert de Kullback-Leibler (KL) divergentie tussen deze twee weergaven:
$$\mathcal{L}_{\text{cst}} = \frac{1}{N} \sum_{i=1}^N D_{\text{KL}}(\mathbf{p}_i^T \,\|\, \mathbf{p}_i^S)$$
De auteurs bewijzen dat deze term verdwijnt als en slechts als de cross-model gelijkenismatrix symmetrisch is (\langle z_i^S, z_j^T \rangle = \langle z_j^S, \text_i^T \rangle). Dit zorgt ervoor dat de affiniteit van student $i$ ten opzichte van teacher $j$ overeenkomt met de affiniteit van student $j$ ten opzichte van teacher $i$, waardoor bidirectionele structurele consistentie wordt vastgelegd.

2.3 Leerbare Schaal en Bias

In tegen tegenstelling tot methoden die vaste temperaturen gebruiken, parametriseert DCD de gelijkenis-schaling als $s = \exp(\tau)$ en voegt een leerbare bias $b$ toe. Deze parameters ($\tau$ en $b$) worden tijdens de training geoptimaliseerd om de scherpte en offset van het distillatie-signaal adaptief te controleren, waardoor handmatige afstemming per teacher-student paar niet nodig is.

2.4 Implementatiedetails

• In-Batch Sampling: Negatieve samples worden natuurlijk getrokken uit de huidige mini-batch, wat de geheugenopslag vermindert van ~655MB (voor ImageNet in CRD) naar ~0,13MB per iteratie.
• Projectiekoppen: Student- en teacher-features worden via lineaire projectielagen naar een gedeelde 128-dimensionale embedding space gemapt. Deze lagen worden gezamenlijk getraind maar weggegooid bij inferentie, wat verwaarloosbare parameters toevoegt (66K) en geen kosten bij inferentie met zich meebrengt.
• Trainingssnelheid: De methode evenaart de trainingssnelheid van standaard logit-gebaseerde KD (8ms per batch).

3. Belangrijkste Bijdragen

1. Verenigd Framework: Een distillatieframework dat contrastieve instance-discriminatie combineert met een KL-divergentie-gebaseerde consistentie-regularisatie die de off-diagonaal structuur van de cross-model gelijkenismatrix beperkt.
2. Efficiëntie: Een efficiënte in-batch sampling strategie die externe geheugenbanken elimineert, waardoor geheugenoverhead en trainingstijd worden verminderd terwijl de throughput vergelijkbaar blijft met standaard KD.
3. Adaptieve Parameters: De introductie van leerbare schaal- en biasparameters die het distillatie-signaal automatisch aanpassen, waardoor handmatige hyperparameter-tuning wordt voorkomen.
4. Uitgebreide Validatie: Uitgebreide experimenten over CIFAR-100, ImageNet en MS-COCO, die competitieve prestaties laten zien in classificatie, objectdetectie en cross-dataset transfer.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf benchmarks (CIFAR-100, ImageNet, STL-10, Tiny ImageNet, MS-COCO) over 13 teacher-student paren.

• Classificatie (CIFAR-100): DCD gecombineerd met KD (DCD + KD) bereikt competitieve prestaties, waarbij het de teacher-netwerken overtreft met +0,45% in same-architecture settings en +0,90% in cross-architecture settings. Hoewel methoden zoals ReviewKD, SimKD en CRCD hogere nauwkeurigheid bereiken in specifieke configuraties (bijv. ReviewKD bereikt 76,12% vs. DCD+KD's 76,06% voor het WRN-40-2 naar WRN-16-2 paar), presteert DCD+KD consequent beter dan standaard KD en veel andere baselines over diverse architecturale combinaties.
• Classificatie (ImageNet): De methode verbeterde consequent de baselines (KD, AT, CRD, etc.) over diverse architecturen, wat bevestigt dat de winst zich uitstrekt naar grootschalige settings.
• Objectdetectie (MS-COCO): Gebruikmakend van Faster R-CNN met FPN, verbeterde DCD de Mean Average Precision (AP) over alle geteste teacher-student paren (bijv. ResNet-101 $\to$ ResNet-18), wat de toepasbaarheid buiten classificatie aantoont.
• Transfereerbaarheid: Gedestilleerde representaties vertoonden een superieure cross-dataset transfereerbaarheid op STL-10 en Tiny ImageNet vergeleken met baselines, wat wijst op een betere generalisatie.
• Efficiëntie: DCD voegde slechts 66K parameters toe (die allemaal worden weggegooid bij inferentie) en evenaarde de 8ms/batch trainingslatentie van standaard KD, waardoor het aanzienlijk sneller en lichter is dan CRD (19ms/batch) en andere feature-gebaseerde methoden.

5. Betekenis en Claims

Het paper claimt dat DCD de specifieke beperkingen van huidige contrastieve distillatiemethoden aanpakt door:

• Het verwijderen van Geheugenbanken: Volledig binnen de mini-batch opereren om het geheugengebruik en de complexiteit te verminderen.
• Het afdwingen van Structurele Consistentie: Verder gaan dan eenvoudige instantie-uitlijning door symmetrie in de cross-model gelijkenismatrix af te dwingen, waardoor rijkere structurele kennis wordt vastgelegd.
• Aanpasbaarheid: Het gebruik van leerbare parameters om zich aan te passen aan verschillende trainingsfasen en modelcapaciteiten zonder handmatige hyperparameter-tuning.

De auteurs positioneren DCD als een methode die de efficiëntie van eenvoudige logit-gebaseerde distillatie bereikt, terwijl het de nauwkeurigheidsvoordelen van contrastieve feature-gebaseerde distillatie behoudt, zonder dat er architecturale wijzigingen of externe geheugeninfrastructuur nodig zijn.