Technische Samenvatting: Supervised Learning als een Tweestaps Ongecontroleerd Procedure

Probleemstelling

Het artikel adresseert een fundamentele vraag in machine learning: zijn de outputlabels ($y$) strikt noodzakelijk voor het trainen van supervised modellen, of kan de modelstructuur volledig op een ongecontroleerde (unsupervised) manier worden geleerd? Terwijl unsupervised learning opereert zonder toegang tot $y$, vertrouwt supervised learning traditioneel op $y$ om modelparameters te optimaliseren. De auteurs onderzoeken of supervised learning kan worden gedecomponeerd in een tweestaps procedure waarbij (1) alle modelparameters (specifiek de "smoother" of representatie van de inputruimte) worden geselecteerd zonder toegang tot $y$, en (2) de outputs $y$ pas worden toegevoegd nadat de parameters zijn gefixeerd om voorspellingen te genereren.

Methodologie

1. Het Smoother Framework

De kern van de theoretische bijdrage is de formulering van supervised modellen als lineaire smoothers. Een model wordt uitgedrukt als:
$$\hat{f}^* = s^{*\top} y$$
waarbij $\hat{f}^*$ de voorspelling is voor een nieuwe covariaat $x^*$, en $s^*$ een smoother-vector (of matrix $S$ voor in-sample data) is die afhangt van de trainingscovariaten $X$ en potentieel modelhyperparameters, maar niet van de outputs $y$.

• Voor lineaire modellen (bijv. Ridge Regressie), wordt $s^*$ direct afgeleid uit de gesloten vorm (closed-form solution).
• Voor niet-lineaire modellen (bijv. Neurale Netwerken, Random Forests), demonstreren de auteurs hoe deze als smoothers kunnen worden uitgedrukt. Voor Neurale Netwerken maakt dit gebruik van het Neural Tangent Kernel (NTK) framework, waarbij het netwerk als een lineaire smoother wordt behandeld waarvan de smoother-matrix iteratief tijdens de training wordt bijgewerkt, maar onafhankelijk blijft van de werkelijke $y$ indien de trainingslabels worden vervangen.

2. Model Selectie Zonder $y$ (MSV)

Om modelhyperparameters te selecteren (bijv. regularisatiestuursnelheid $\lambda$, kernel bandbreedte, of stopmoment) zonder toegang tot $y$, stellen de auteurs een criterium voor dat gebaseerd is op de variantie van out-of-sample voorspellingen.

• Premisse: Voor een goed generaliserend model zou de distributie van out-of-sample voorspellingen $\hat{f}^*_v$ ongeveer overeen moeten komen met de distributie van de geobserveerde data $y$.
• Criterium: De methode minimaliseert het verschil tussen de steekproefvariantie van $y$ en de steekproefvariantie van de voorspellingen op een set validatie-covariaten $X^*_v$ (die gegenereerd zijn vanuit de trainingsdistributie maar geen bijbehorende labels hebben).
• y-vrije Implementatie: De objectieve functie bevat een term van de vorm $|y^\top A y|$. Om dit onafhankelijk van $y$ te maken, vervangen de auteurs $y$ door een willekeurige vector $y_R$ (of de nulvector). Door de verwachtingswaarde over $y_R$ te nemen, vereenvoudigt de objectieve functie tot het minimaliseren van een norm van de matrix $A$ (specifiek de trace-seminorm of Frobenius-norm), aangeduid als MSV-Tr (Matching of Sample Variances - Trace).
  $$\text{Minimaliseer } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  Dit maakt hyperparameterselectie mogelijk met enkel $X$ en gegenereerde $X^*_v$, waardoor de noodzaak voor $y$ tijdens de selectiefase volledig wordt omzeild.

3. Theoretische Analyse

Het artikel biedt een bias-variance decompositie analyse voor lineaire ridge regressie in de asymptotische limiet ($n, d \to \infty$).

• Proposition 1: Toont aan dat MSV-Tr het model selecteert zodanig dat de variantie van de geïnformeerde functie gelijk is aan de variantie van de meetruis ($\sigma^2_\epsilon$).
• Theorem 1: Voor lineaire ridge regressie leiden de auteurs een gesloten uitdrukking af voor de optimale regularisatieparameter $\lambda$ die door MSV-Tr wordt geselecteerd. Ze bewijzen dat de asymptotische out-of-sample risk van deze methode begrensd is ten opzichte van de theoretisch optimale risk (die kennis van de signaal-ruisverhouding vereist). Specifiek, voor signaal-ruisverhoudingen in $[1, 80]$, is de risicoverhouding begrensd door 2.45.
• Theorem 2: Demonstreert dat alternatieve "y-vrije" methoden, zoals Generalized Cross-Validation (GCV) en in-sample MSV, falen voor ridge regressie. Ze selecteren ofwel oneindige regularisatie (nul training) ofwel nul regularisatie (overfitting), waardoor ze nutteloos zijn voor parameterselectie. Alleen out-of-sample MSV levert een eindige, niet-nul optimale regularisatie.

Belangrijkste Bijdragen

1. Decompositie van Supervised Learning: Het artikel toont aan dat standaard supervised modellen (lineaire en kernel ridge regressie, smoothing splines, k-NN, random forests en neurale netwerken) getraind kunnen worden in een tweestaps proces waarbij de modelstructuur ongecontroleerd wordt geleerd en de labels pas in de voorspellingsfase worden geïntroduceerd.
2. Nieuw Model Selectie Criterium (MSV): Introductie van een model selectie criterium gebaseerd op het matchen van de variantie van out-of-sample voorspellingen met de data-variantie, wat berekend kan worden zonder toegang tot $y$ door $y$ te vervangen door willekeurige ruis.
3. Theoretische Grenzen: Vaststelling van asymptotische risicogrenzen voor lineaire ridge regressie getraind via MSV-Tr, waarbij wordt aangetoond dat het binnen een constante factor van de optimale risk presteert.
4. Empirische Validatie: Uitgebreide experimenten op synthetische en real-world datasets (MNIST, CIFER-10, Steel Production, CPU Run Time, Superconductors, Power Consumption) tonen aan dat modellen getraind zonder $y$ (gebruikmakend van willekeurige of nul labels tijdens de parameterselectiefase) prestaties leveren die vergelijkbaar zijn met de standaard $y$-gebaseerde training.

Resultaten

• Prestatie-gelijkwaardigheid: In experimenten bereikten modellen getraind zonder $y$ (gebruikmakend van MSV voor selectie) naukeurigheid en $R^2$-scores die zeer dicht bij hun standaard $y$-gebaseerde tegenhangers lagen. Bijvoorbeeld, op MNIST behaalde de standaard Neurale Netwerk Classifier een naukeurigheid van 0.82, terwijl de y-vrije MSV-versie 0.75 behaalde.
• Falen van Alternatieven: y-vrije Generalized Cross-Validation (GCV) presteerde op het niveau van willekeurige gokken (bijv. 0.1 naukeurigheid voor 10-klasse problemen), wat de theoretische bevindingen bevestigt dat GCV niet effectief y-vrij gemaakt kan worden voor deze modellen.
• Random Forests: Hoewel y-vrije training goed werkte voor de meeste modellen, vertoonde Random Forests een grotere prestatiekloof vergeleken met y-gebaseerde training. De auteurs schrijven dit toe aan het feit dat de splitsing van beslissingsbomen afhankelijk is van de variantie van $y$, die verloren gaat wanneer $y$ wordt vervangen door willekeurige ruis.

Betekenis en Claims

Het artikel claimt dat het verschil tussen supervised en unsupervised learning "minder fundamenteel is dan het lijkt". De resultaten suggereren dat de primaire uitdaging in supervised learning het vinden van een goede representatie van de inputruimte $x$ is (de smoother $s^*$), wat zonder labels kan worden bereikt. De labels $y$ zijn alleen nodig om waarden toe te kennen aan deze vooraf geconstrueerde representaties.

Bescheidenheid van Claims:
De auteurs benadrukken expliciet dat zij niet suggereren om $y$ uit het trainingsproces te laten bij praktische toepassingen. Zij erkennen dat:

• De smoother-formulering slecht schaalt met de omvang van de data, met name voor neurale netwerken waar de NTK iteratief opnieuw berekend moet worden.
• Hun methode niet bedoeld is om bestaande $y$-gebaseerde benaderingen te overtreffen.
• Het doel is om de haalbaarheid te demonstreren en de theoretische parallellen tussen supervised en unsupervised learning te benadrukken, in plaats van een nieuwe standaard voor industriële implementatie voor te stellen.

Het werk dient als een theoretische en empirische demonstratie dat model selectie en representatie leren ontkoppeld kunnen worden van labelinformatie, wat de conventionele noodzaak van labels voor de gehele trainingspipeline uitdaagt.