Prediction-Only Distillation in Linear and Logistic Regression

Technische Samenvatting: Alleen-voorspellingsdistillatie in Lineaire en Logistische Regressie

Probleemstelling
Standaard zelfdistillatie (SD) omvat doorgaans het hertrainen van een studentmodel op de oorspronkelijke gelabelde trainingsdata van de docent. Echter, in veel praktische scenario's voor implementatie zijn de oorspronkelijke gelabelde trainingsdata niet beschikbaar vanwege privacy-, opslag- of veiligheidsbeperkingen. In deze "alleen-voorspellings"-regimes heeft men alleen toegang tot een getrainde voorspeller (de docent) en een stroom van verse, potentieel out-of-distribution (OOD) ongelabelde covariaten. De centrale vraag die wordt behandeld is of dergelijke verse, ongelabelde data kan worden aangewend om een vaste voorspeller te verbeteren wanneer de oorspronkelijke trainingsdata en de specifieke regularisatieparameters van de docent onbekend zijn.

Methodologie
De auteurs stellen een Prediction-Mixed Self-Distillation (PMSD) framework voor. De procedure omvat drie stadia:

1. Pure Distillatie (PD): Een studentmodel wordt getraind op verse ongelabelde covariaten met behulp van de voorspellingen van de docent als pseudo-labels. Dit levert een "pure-distilled" student op.
2. Affine Mixen: In plaats van de PD-student alleen in te zetten, wordt de uiteindelijke voorspeller geconstrueerd als een affine combinatie van de voorspellingen van de docent en de voorspellingen van de PD-student: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. Het menggewicht $\xi$ is een reële parameter die niet beperkt hoeft te zijn tot het interval $[0, 1]$.
3. Kalibratie: Omdat het optimale menggewicht afhangt van onbekende populatiehoeveelheden, stellen de auteurs voor om dit te schatten met behulp van een kleine, onafhankelijke gelabelde kalibratieset. Deze schatting vindt plaats in een enkele post-training stap zonder de modellen opnieuw te trainen.

Theoretische analyse wordt uitgevoerd onder proportionele asymptotica ($n, p \to \infty$ met $p/n$ constant) voor twee instellingen:

• Ridge Regressie: Geanalyseerd onder algemene anisotrope covariantiestructuren en deterministische signalen. De auteurs leiden deterministische equivalenten af voor het optimale menggewicht en het resulterende voorspellingsrisico.
• Logistische Regressie: Geanalyseerd in een binaire classificatie-instelling met harde pseudo-labels, waarbij de analyse wordt uitgebreid naar scenario's waarin de foutmarge van de docent hoog is (zelfs boven de 50%).

Belangrijkste Bijdragen

1. Theoretische Karakterisering van PMSD-risico: Het artikel leidt exacte oracle-identiteiten en deterministische equivalenten af voor het optimale PMSD-menggewicht en risico in ridge regressie. Deze resultaten gelden voor algemene anisotrope covarianten waarbij de verse covariaten een andere distributie kunnen hebben (maar de commutator-eigenschap van de covariantiematrices behouden) dan de trainingsdata van de docent.
2. Strikte Verbeteringsgaranties: De auteurs bewijzen dat, voor bijna elk paar van docent- en student-regularisatieniveaus, de optimaal gemixte PMSD-student de docent strikt overtreft. Dit geldt zelfs wanneer:
   • De verse covariaten out-of-distribution zijn (bijv. gesampled uit een isotrope Gaussische distributie).
   • Het regularisatieniveau van de docent onbekend of suboptimaal is.
   • De regularisatie van de student niet optimaal is afgestemd.
     De enige uitzonderingen treden op bij specifieke, eindige "degeneratiepunten" waar de risico's samenvallen.
3. Niet-monotoniteit van Ongelabelde Data: Tegen de intuïtie in, laat het artikel zien dat het vergroten van de hoeveelheid verse ongelabelde data de prestaties niet monotoon verbetert. In de "same-$\lambda$" isotrope setting is het optimale PMSD-risico unimodaal met betrekking tot de omvang van de ongelabelde steekproef; het toevoegen van meer data voorbij een bepaald punt kan de prestaties verslechteren.
4. Consistente Kalibratie zonder Hertraining: De auteurs tonen aan dat het optimale menggewicht niet alleen uit ongelabelde data kan worden geïdentificeerd (een informatie-theoretische beperking). Ze bewijzen echter dat een kleine, onafhankelijke gelabelde kalibratieset een consistente schatting van het optimale gewicht mogelijk maakt in een enkele post-hoc stap, zonder dat er aanvullende modelpassing nodig is.
5. Winst in Logistische Regressie: Door uit te breiden voorbij de kwadratische fout, laat het paper zien dat voorspellingsmixen in logistische regressie zowel de docent als de pure-distilled student kan overtreffen. Opmerkelijk genoeg, zelfs wanneer de docent en de PD-student beide falen in het herstellen van de ware labels (0% nauwkeurigheid bereiken in scenario's met hoge ruis), kan de PMSD-student een 100% populatienauwkeurigheid bereiken door via de menggewicht te extrapoleren.

Resultaten

• Empirische Validatie: Experimenten op echte datasets (UCI Blog Feedback, Communities and Crime, Airfoil) en synthetische data bevestigen de theoretische voorspellingen. De PMSD-student bereikt consistent een lager kwadratisch voorspellingsrisico dan zowel de docent als de PD-student over diverse regularisatieniveaus en covariantiestructuren (inclusen isotrope en AR1).
• Robuustheid tegen OOD: De methode blijft effectief, zelfs wanneer de verse covariaten worden gesampled uit een isotrope distributie die verschilt van de trainingsdistributie van de docent.
• Classificatieprestaties: In lineaire probing-experimenten op Caltech-101, Caltech-256 en CIFAR-100 met gecorrumpeerde labels, verbetert PMSD consequent de testnauwkeurigheid ten opzichte van de docent en de PD-student. De optimale menggewichten liggen vaak buiten $[0, 1]$, wat het gebruik van affine in plaats van convexe combinaties valideert.

Betekenis en Claims
Het paper claimt dat alleen-voorspellingsdistillatie een theoretisch gefundeerde en praktisch levensvatbare methode biedt om vaste voorspellers te verbeteren in omgevingen met beperkte data. De betekenis ligt in:

• Overbruggen van de Datakloof: Het bieden van een mechanisme om modellen aan te passen wanneer de oorspronkelijke trainingsdata ontoegankelijk zijn, een veelvoorkomende beperking bij echte implementaties.
• Generieke Verbetering: Het vaststellen dat een strikte verbetering ten opzichte van de docent een generiek kenmerk is van het PMSD-schema, en niet afhankelijk is van fijn afgestelde hyperparameters of specifieke distributionele uitlijningen.
• Operationele Efficiëntie: Aantonen dat de voordelen van distillatie kunnen worden gerealiseerd met minimale computationele overhead (één-staps kalibratie) en zonder toegang tot grondwaarheid-labels voor de verse data.
• Theoretische Vernieuwing: Het uitdagen van de aanname dat meer ongelabelde data altijd helpt, door een niet-monotone relatie tussen steekproefomvang en risico te onthullen in de "fresh-X" setting.

De auteurs positioneren dit werk als een aanvulling op de bestaande "same-X" zelfdistillatie literatuur, waarbij zij benadrukken dat terwijl same-X methoden optimale prestaties kunnen herstellen gegeven de originele data, PMSD de best mogelijke verbetering biedt gegeven enkel de voorspellingen van de docent en verse covariaten.