Prediction-Only Distillation in Linear and Logistic Regression

Technische Zusammenfassung: Prediction-Only Distillation in der linearen und logistischen Regression

Problemstellung
Die Standard-Selbstdistillation (SD) beinhaltet typischerweise das erneute Training eines Studentenmodells auf den ursprünglichen gelabelten Trainingsdaten des Lehrers. In vielen praktischen Einsatzszenarien sind die ursprünglichen gelabelten Trainingsdaten jedoch aufgrund von Datenschutz-, Speicher- oder Sicherheitsbeschränkungen nicht verfügbar. In diesen „Prediction-Only“-Regimen haben Praktiker lediglich Zugriff auf einen trainierten Prädiktor (den Lehrer) und einen Strom an frischen, potenziell out-of-distribution (OOD) befindlichen, ungelabelten Kovariaten. Die zentrale Frage ist, ob solche frischen, ungelabelten Daten genutzt werden können, um einen fixen Prädiktor zu verbessern, wenn die ursprünglichen Trainingsdaten und die spezifischen Regularisierungsparameter des Lehrers unbekannt sind.

Methodik
Die Autoren schlagen ein Prediction-Mixed Self-Distillation (PMSD) Framework vor. Das Verfahren umfasst drei Stufen:

1. Pure Distillation (PD): Ein Studentenmodell wird auf frischen ungelabelten Kovariaten unter Verwendung der Vorhersagen des Lehrers als Pseudo-Labels trainiert. Dies ergibt einen „pure-distillierten“ Studenten.
2. Affine Mixing: Anstatt nur den PD-Studenten einzusetzen, wird der finale Prädiktor als affine Kombination der Vorhersagen des Lehrers und der Vorhersagen des PD-Studenten konstruiert: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. Der Mischgewicht-Parameter $\xi$ ist ein reeller Parameter, der nicht notwendigerweise auf das Intervall $[0, 1]$ beschränkt sein muss.
3. Kalibrierung: Da das optimale Mischgewicht von unbekannten Populationsgrößen abhängt, schlagen die Autoren vor, es mithilfe eines kleinen, unabhängigen gelabelten Kalibrierungsdatensatzes zu schätzen. Diese Schätzung erfolgt in einem einzigen Post-Training-Schritt, ohne die Modelle neu trainieren zu müssen.

Die theoretische Analyse wird unter proportionalen Asymptotiken ($n, p \to \infty$ mit $n/p$ konstant) für zwei Settings durchgeführt:

• Ridge-Regression: Analysiert unter allgemeinen anisotropen Kovarianzstrukturen und deterministischen Signalen. Die Autoren leiten deterministische Äquivalente für das optimale Mischgewicht und das resultierende Vorhersagerisiko her.
• Logistische Regression: Analysiert in einem binären Klassifizierungsszenario mit harten Pseudo-Labels, wobei die Analyse auf Szenarien mit hoher Fehlerrate des Lehrers (selbst über 50 %) ausgeweitet wird.

Zentrale Beiträge

1. Theoretische Charakterisierung des PMSD-Risikos: Die Arbeit leitet exakte Oracle-Identitäten und deterministische Äquivalente für das optimale PMSM-Mischgewicht und das Risiko in der Ridge-Regression her. Diese Ergebnisse gelten für allgemeine anisotrope Kovarianzen, bei denen die frischen Kovariaten eine andere Verteilung (aber kommutierende Kovarianzmatrizen) als die Trainingsdaten des Lehrers aufweisen können.
2. Garantierte strikte Verbesserung: Die Autoren beweisen, dass für fast jedes Paar aus Lehrer- und Studenten-Regularisierungsgrad der optimal gemischte PMSD-Student den Lehrer strikt übertrifft. Dies gilt selbst dann, wenn:
   • Die frischen Kovariaten out-of-distribution sind (z. B. aus einer isotropen Gaußverteilung gezogen).
   • Der Regularisierungsgrad des Lehrers unbekannt oder suboptimal ist.
   • Die Regularisierung des Studenten nicht optimal abgestimmt ist.
     Die einzigen Ausnahmen treten an spezifischen, endlichen „Degenerationspunkten“ auf, an denen die Risiken identisch sind.
3. Nicht-Monotonie ungelabelter Daten: Entgegen der Intuition zeigen die Autoren auf, dass eine Erhöhung der Menge an frischen ungelabelten Daten die Leistung nicht monoton verbessert. Im „Same-$\lambda$ Isotropic“-Setting ist das optimale PMSD-Risiko in Bezug auf die Anzahl der ungelabelten Stichproben unimodal; das Hinzufügen von mehr Daten über einen bestimmten Punkt hinaus kann die Leistung verschlechtern.
4. Konsistente Kalibrierung ohne erneutes Training: Die Autoren zeigen, dass das optimale Mischgewicht allein aus ungelabelten Daten nicht identifiziert werden kann (eine informationstheoretische Limitierung). Sie beweisen jedoch, dass ein kleiner, unabhängiger gelabelter Kalibrierungsdatensatz eine konsistente Schätzung des optimalen Gewichts in einem einzigen Post-hoc-Schritt ermöglicht, was kein zusätzliches Modell-Fitting erfordert.
5. Gewinne in der logistischen Regression: Über den quadratischen Verlust hinaus zeigen die Autoren, dass die Vorhersagemischung in der logistischen Regression sowohl den Lehrer als auch den PD-Studenten strikt übertreffen kann. Bemerkenswert ist, dass selbst wenn der Lehrer und der PD-Student beide die wahren Labels nicht wiederherstellen können (bei hoher Rauschrate eine Genauigkeit von 0 % erreichen), der PMSD-Student durch entsprechende Extrapolation via Mischgewicht eine Populationsgenauigkeit von 100 % erreichen kann.

Ergebnisse

• Empirische Validierung: Experimente auf realen Datensätzen (UCI Blog Feedback, Communities and Crime, Airfoil) und synthetischen Daten bestätigen die theoretischen Vorhersagen. Der PMSD-Student erzielt konsistent ein geringeres quadratisches Vorhersagerisiko als sowohl der Lehrer als auch der PD-Student über verschiedene Regularisierungsgrade und Kovarianzstrukturen (einschließlich isotrop und AR1) hinweg.
• Robustheit gegenüber OOD: Die Methode bleibt effektiv, selbst wenn die frischen Kovariaten aus einer isotropen Verteilung gezogen werden, die sich von der Trainingsverteilung des Lehrers unterscheidet.
• Klassifizierungsleistung: In Linearen-Probing-Experimenten auf Caltech-101, Caltech-256 und CIFAR-100 mit korrumpierten Labels verbessert PMSD die Testgenauigkeit konsistent gegenüber dem Lehrer und dem PD-Studenten. Die optimalen Mischgewichte liegen oft außerhalb von $[0, 1]$, was die Verwendung affiner statt konvexer Kombinationen validiert.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit als Ergänzung zur bestehenden „Same-X“-Selbstdistillations-Literatur und betonen, dass während Same-X-Methoden die optimale Leistung bei Zugriff auf die Originaldaten wiederherstellen können, PMSD die bestmögliche Verbesserung bietet, wenn nur die Vorhersagen des Lehrers und frische Kovariaten zur Verfügung stehen.

Die Arbeit beansprucht, dass Prediction-Only-Distillation eine theoretisch fundierte und praktisch praktikable Methode zur Verbesserung fixer Prädiktoren in datenbeschränkten Umgebungen darstellt. Ihre Bedeutung liegt in:

• Überbrückung der Datenlücke: Bereitstellung eines Mechanismus zur Anpassung von Modellen, wenn die ursprünglichen Trainingsdaten nicht zugänglich sind – eine häufige Einschränkung in realen Deployment-Szenarien.
• Generische Verbesserung: Etablierung, dass die strikte Verbesserung gegenüber dem Lehrer eine generische Eigenschaft des PMSD-Schemas ist, die nicht von fein abgestimmten Hyperparametern oder spezifischen distributional Alignments abhängt.
• Operative Effizienz: Demonstration, dass die Vorteile der Distillation mit minimalem Rechenaufwand (One-Shot-Kalibrierung) und ohne Zugriff auf die Ground-Truth-Labels für die frischen Daten realisiert werden können.
• Theoretische Neuheit: Infragestellung der Annahme, dass mehr ungelabelte Daten immer helfen, und Aufzeigen einer nicht-monotonen Beziehung zwischen Stichprobengröße und Risiko im „Fresh-X“-Setting.