Technische Samenvatting: Deep Probabilistic Supervision (DPS) voor Beeldclassificatie

1. Probleemstelling

Diepe neurale netwerken voor beeldclassificatie worden doorgaans getraind met behulp van harde targets (one-hot encoded labels). Deze aanpak laat "dark knowledge" achterwege—de genuanceerde, samplespecifieke informatie over inter-klasse gelijkenissen en ambiguïteiten (bijvoorbeeld het verschil tussen een hond verwarren met een kat versus een theepot). Het vertrouwen op enkel harde targets bevordert overmoed, beperkt de kalibratie en vermindert de robuustheid, met name in de aanwezigheid van labelruis.

Bestaande zelf-distillatie methoden proberen dit "dark knowledge" te herstellen door gebruik te maken van de eigen voorspellingen van een model. Echter, huidige benaderingen lijden onder verschillende beperkingen:

• Afhankelijkheid van Harde Targets: De meeste methoden bevatten nog steeds een verliesterm afgeleid van de originele harde labels, wat de capaciteit van het model om volledig gekalibreerde, genuanceerde voorspellingen te leren, beperkt.
• Gebrek aan Onzekerheidsmodellering: Ze modelleren voorspellende onzekerheid niet expliciet, wat een negatieve impact heeft op de kalibratie.
• Variantie en Instabiliteit: Methoden die vertrouwen op epoch-gewijze of mini-batch consistentie (bijv. Temporal Ensembling, DLB) kunnen variantie introduceren onder data-augmentatie of vertrouwen op bijna identieke modeltoestanden.
• Gevoeligheid voor Ruis: In overgeparameteriseerde regimes kan de afhankelijkheid van harde targets het "double descent"-fenomeen onder labelruis verergeren.

2. Methodologie: Deep Probabilistic Supervision (DPS)

De auteurs stellen Deep Probabilistic Supervision (DPS) voor, een framework dat samplespecifieke doelverdelingen construeert via statistische inferentie op de eigen voorspellingen van het model, opererend onafhankelijk van harde targets na initialisatie.

Kernframework: Recursieve Bayesiaanse Schatting

DPS frameert training als een Recursief Bayesiaanse Schatting probleem. Het neurale netwerk wordt behandeld als een "sensor" die de ware klassenverdeling van een input $x_i$ observeert.

1. Latente Variabele: Een latente klasse variabele $z_i$ wordt gemodelleerd met een categorische verdeling $z_i \sim \text{Cat}(y_i)$, waarbij $y_i$ de ware klasse-waarschijnlijkheden vertegenwoordigt.
2. Prior: Een Dirichlet-prior $y_i \sim \text{Dir}(\alpha_i)$ wordt gebruikt. De initiële parameters $\alpha^0_i$ worden ingesteld op basis van het harde label (hoge concentratie op de gelabelde klasse, lage op anderen) om een prior-overtuiging vast te stellen.
3. Likelihood: De voorspelling van het model $\hat{y}^t_i$ op epoch $t$ wordt behandeld als een ruizige meting (bewijs) met een likelihood die proportioneel is aan het product van de klasse-waarschijnlijkheden verheven tot de voorspelde machten.
4. Posterior Update: De posterior-verdeling wordt bijgewerkt door bewijs te accumuleren. Om de niet-stationaire aard van meetruis (voorspellingen verbeteren naarmate de training vordert) te hanteren, wordt een gedisconteerd Bayesiaans model toegepast.

De Update Regel

De doelverdeling wordt recursief bijgewerkt met behulp van een disconteringsfactor $\gamma \in [0, 1]$:
$$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$$
Dit leidt tot de target update regel:
$$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$$
waarbij $A^t_i$ de som van de Dirichlet-parameters is.

• Mechanisme: In het begin van de training domineert de prior. Naarmate de training vordert, worden recente voorspellingen (die accurater zijn) zwaarder gewogen, terwijl ouder, ruiziger bewijs wordt "vergeten" via de disconteringsfactor $\gamma$.
• Onafhankelijkheid: Na de initialisatie evolueert de doelverdeling uitsluitend op basis van de voorspellingen van het model en de Bayesiaanse update, waardoor het leerproces wordt ontkoppeld van de originele harde labels.

Relatie tot Bestaande Methoden

De auteurs demonstreren dat DPS verschillende bestaande methoden verenigt en generaliseert:

• Conventionele Training: Komt overeen met $\gamma \to 0$ en oneindige prior-concentratie (het fixeren van de target).
• Label Smoothing: Benaderd wanneer $\gamma$ dicht bij 1 ligt en geïnitialiseerd is bij een specifiek vast punt met een niet-nul $\epsilon$.
• PS-KD / DLB: Hersteld door $\gamma = 0$ in te stellen (alleen de meest recente voorspelling gebruiken) of updates toe te passen op mini-batch niveau.
• Temporal Ensembling (TE): Komt overeen met een onjuiste prior met expliciete weging.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van DPS, een lichtgewicht, principieel framework voor het construeren van genuanceerde doelverdelingen dat onafhankelijk van harde targets opereert na initialisatie.
2. Theoretische Formalisering: De eerste theoretische formalisering van "dark knowledge" als een decompositie van netwerkoutput in inter-klasse ($\mu_k$) en samplespecifieke ($\delta(x_i)$) componenten, waarbij wordt aangetoond dat DPS beide vangt.
3. Empirisch Superieur: Uitgebreide experimenten tonen aan dat DPS bestaande zelf-distillatie methoden en conventionele kennisdistillatie overtreft in generalisatie en kalibratie.
4. Robuustheid: Demonstratie dat DPS robuustheid biedt tegen data-corrupties, perturbaties en labelruis, waarbij het specifiek het epoch-gewijze "double descent"-fenomeen mitigeert.

4. Experimentele Resultaten

De auteurs evalueerden DPS op CIFAR-10, CIFAR-100, TinyImageNet en ImageNet met behulp van ResNet, DenseNet en ViT architecturen.

Generalisatie en Accuratesse

• Prestatiewinst: DPS levert consistent hogere testaccuratesse op. Bijvoorbeeld, op ImageNet met DenseNet-264 verbeterde DPS de accuratesse met +2,0% ten opzien van de baseline en met +1,0% ten opzien van de beste zelf-distillatie methode.
• Vergelijking: DPS overtreft conventionele kennisdistillatie en nadert de prestaties van model-ensembles.

Kalibratie

• Reductie van ECE: DPS reduceert de Expected Calibration Error (ECE) aanzienlijk. Op CIFAR-100 met ResNet-50 werd de ECE met 40% verminderd vergeleken met de beste zelf-distillatie methode en met meer dan 60% vergeleken met de baseline.
• NLL: De Negative Log Likelihood (NLL) werd met meer dan 70% verminderd voor convolutionele netwerken vergeleken met de baseline.
• Betrouwbaarheid: Reliability diagrammen laten zien dat de DPS-curves het dichtst bij de diagonaal liggen, wat wijst op superieure waarschijnlijkheidschatting.

Robuustheid tegen Ruis en Corrupties

• Labelruis: Onder 20% symmetrische en asymmetrische labelruis behaalde DPS de beste resultaten onder de single-network methoden. Met name het vlakker maakte het de "double descent" curve die bij andere methoden wordt waargenomen, wat duidt op een stabieler leerproces.
• Corrupties: Op CIFAR-10-C (corrupties) en CIFAR-10-P (perturbaties) behaalde DPS de hoogste accuratesse en de laagste gemiddelde Flip Probability (mFP) over alle architecturen heen.
• Augmentatie: Wanneer gecombineerd met CutOut en CutMix, presteerde DPS consistent beter dan de baselines en DLB, met winsten tot 4,1 procentpunt op CIFAR-100.

Ablatie en Analyse

• Hyperparameters: De disconteringsfactor $\gamma$ en de prior-concentratie $c$ maken het mogelijk om te tunen tussen accuratesse en kalibratie. Een specifieke configuratie ($\gamma=0,97, c=2000$) bereikte een ECE van 1,33% op CIFAR-100, hoewel dit gepaard ging met een lichte trade-off in accuratesse.
• Visualisatie van Dark Knowledge: Visualisaties bevestigden dat DPS effectiever is in het stimuleren van het leren van betekenisvolle inter-klasse relaties (bijv. het groeperen van dieren) en samplespecifieke afwijkingen dan conventionele training.

5. Betekenis en Claims

Het artikel claimt dat DPS een verschuiving vertegenwoordigt van heuristische zelf-distillatie naar een principieel probabilistisch benadering. Door voorspellende onzekerheid expliciet te modelleren en te ontkoppelen van harde targets, pakt DPS de fundamentele beperkingen van overmoed en slechte kalibratie in deep learning aan.

De auteurs benadrukken dat DPS:

• Soepelere en robuustere waarschijnlijkheidsschattingen biedt.
• Het double descent fenomeen onder labelruis mitigeert.
• State-of-the-art robuustheid bereikt wanneer het wordt gecombineerd met contrastieve loss of standaard augmentatietechnieken.
• Een lichtgewicht implementatie biedt met verwaarloosbare computationele overhead ($O(BK)$ per batch) vergeleken met de forward-backward pass.

Het werk suggereert dat het behandelen van het trainingsproces als een Bayesiaans inferentieprobleem, waarbij de eigen voorspellingen van het model dienen als evoluerend bewijs, een superieure strategie is voor het bereiken van gekalibreerde, generaliseerbare en robuuste deep learning modellen.