Statistical learning theory and Occam's razor: Regularization

Het Dilemma van de Detective: Waarom Minder Vaak Meer is

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van aanwijzingen heb je een berg aan data. In de wereld van de wetenschap en computers wordt dit machine learning genoemd. Het doel is om een computer te leren patronen te vinden in data, zodat het slimme voorspellingen kan doen over nieuwe dingen die het nog niet eerder heeft gezien. Denk eraan als het leren van een hond om een "bal" te herkennen door hem duizend verschillende ballen te laten zien. Als de hond te strikt leert, denkt hij misschien dat alleen die specifieke rode bal een bal is, en mist hij de blauwe. Als hij te losjes leert, denkt hij misschien dat een ronde koekje een bal is. Dit evenwicht is de kern van het probleem.

Decennialang hebben wetenschappers gedebatteerd over een regel genaamd Occam's Razor. Het is een oud idee dat stelt dat wanneer je twee verklaringen hebt die de feiten even goed verklaren, je de simpelere moet kiezen. Maar waarom? Is het universum van nature simpel? Of is het gewoon dat simpele dingen makkelijker te hanteren zijn? Dit is een lastige vraag geweest voor zowel filosofen als computerwetenschappers. Ze hebben geprobeerd te bewijzen dat simpele modellen beter zijn, maar vaak voelde het bewijs circulair — er werd verondersteld dat de wereld simpel is, enkel om te bewijzen dat simpele modellen werken.

Het Grote Idee van het Papier: Ruilen van 'Fit' voor een Veiligheidsnet

Dit papier, geschreven door Tom F. Sterkenburg, duikt in de wiskunde achter machine learning om een solide, niet-circulaire reden te vinden voor het gebruik van Occam's Razor. De auteur zegt niet alleen "eenvoud is goed"; hij gebruikt een kader genaamd Statistical Learning Theory om aan te tonen dat het ruilen van een beetje "perfecte fit" voor veel "eenvoud" eigenlijk een slimme overlevingsstrategie is voor computers.

Hier is het verhaal van wat hij heeft gevonden:

1. De Valstrik van de Perfecte Fit
Stel je voor dat je een lijn probeert te trekken door een verspreiding van stippen op een grafiek. Als je een zeer flexibel liniaal hebt (een complex model), kun je deze zo perfect laten wiebelen dat hij elke stip raakt. Hij past perfect op de data. Maar hier is de crux: als je morgen een nieuwe set stippen krijgt, zal die wiebelige lijn ze waarschijnlijk allemaal missen. Hij heeft de ruis (de willekeurige krabbels) uit het hoofd geleerd in plaats van het patroon. In de taal van het papier wordt dit overfitting genoemd.

Het papier legt uit dat als je probeert het meest complexe model mogelijk te gebruiken (één dat alles kan passen), je het vermogen verliest om je resultaten te vertrouwen. Je krijgt een garantie die zegt: "Als je oneindig veel data hebt, heb je misschien gelijk," maar in de echte wereld met beperkte data is die garantie nutteloos.

2. De "Wat-Je-Ziet-Is-Wat-Je-Krijgt"-Belofte
De auteur introduceert een concept genaamd Uniform Convergence. Denk aan dit als een "echtheid van reclame"-label voor je model. Het belooft dat als je model er goed uitziet op de data die je hebt (de trainingsset), het waarschijnlijk ook goed zal zijn op nieuwe data (de testset).

Echter, het papier bewijst een strikte regel: Je kunt alleen deze "wat-je-ziet-is-wat-je-krijgt"-belofte krijgen als je de complexiteit van je model beperkt. Als je model te flexibel is (te complex), breekt de belofte. Je kunt er niet op vertrouwen dat wat je ziet, is wat je krijgt. De eerste les is dus: Houd je model simpel genoeg zodat je je resultaten kunt vertrouwen.

3. De Echte Magie: Structural Risk Minimization (SRM)
Maar wacht, wat als de waarheid wel ingewikkeld is? Wat als het patroon echt een wiebelige lijn is, en een rechte lijn (een simpel model) het simpelweg niet afkomt? Als we ons alleen aan simpele modellen houden, missen we misschien het antwoord volledig. Dit is de "bias-complexity trade-off".

De belangrijkste ontdekking van het papier is een methode genaamd Structural Risk Minimization (SRM). Dit is de manier van de computer om slim te spelen. In plaats van één model te kiezen en zich eraan te houden, kijkt SRM naar een hele familie van modellen, variërend van zeer simpel tot zeer complex.

Hier is de slimme truc: SRM zoekt niet alleen naar het model dat de data het beste past. Het zoekt naar het model dat de data goed genoeg past, terwijl het zo simpel mogelijk blijft. Het voegt een "straf" toe voor complexiteit.

• Als een complex model de data iets beter past dan een simpel model, maar de straf voor complexiteit is enorm, dan zegt SRM: "Nee bedankt, houd het bij het simpele model."
• Als een complex model de data veel beter past, is de straf het waard, en zegt SRM: "Oké, laten we complex gaan."

4. Waarom Dit Geen Gok is
Het papier betoogt dat dit niet zoma van een gelukkige gok of een filosofische intuïtie is. Het is een methodologische rechtvaardiging. De auteur laat zien dat zelfs als we niet weten of de wereld simpel of complex is, het gebruiken van deze "trade-off"-strategie de slimste manier is om te leren.

Hij gebruikt een concept genaamd "Luckiness" (Geluk). Stel je voor dat je wedt op een paardenrace.

• Als je op een simpel paard wedt en de race is ook simpel, win je groot.
• Als je op een simpel paard wedt en de race is complex, verlies je, maar niet veel meer dan wanneer je blindelings op een complex paard had gewed.
• Maar als je op een complex paard wedt en de race is simpel, verlies je groot omdat je zaken te veel hebt gecompliceerd.

Door SRM (de trade-off) te gebruiken, bescherm je jezelf tegen het scenario met de slechtste uitkomst. Je wint veel als je "gelukkig" bent (de waarheid is simpel), en je verliest niet veel als je "ongelukkig" bent (de waarheid is complex).

5. Wat het Papier NIET Is
De auteur is zeer voorzichtig in wat het niet is.

• Het is geen bewijs dat het universum simpel is. We hoeven niet te geloven dat de wereld simpel is om dit te laten werken.
• Het is niet slechts een pragmatische regel (zoals "simpele dingen zijn makkelijker op te schrijven"). Het gaat over het verkrijgen van een betere nauwkeurigheid.
• Het is geen wondermiddel voor elke moderne techniek. Het papier geeft toe dat in het zeer recente veld van "deep learning" zaken vreemd worden (soms werken supercomplexe modellen verrassend goed), en deze specifieke wiskunde verklaart die nieuwe fenomenen nog niet volledig.

De Kernboodschap
Dus, waarom geven we de voorkeur aan eenvoud in machine learning? Volgens dit papier is dat niet omdat het universum simpel is. Het is omdat eenvoud een veiligheidsnet is. Door een beetje van een "perfecte fit" in te ruilen voor veel "eenvoud", krijgen we een wiskundige garantie dat de voorspellingen van onze computer daadwerkelijk zullen werken op nieuwe data. Het is het verschil tussen het uit je hoofd leren van een script en het begrijpen van het verhaal. Het papier bewijst dat deze trade-off de meest betrouwbare manier van leren is, of de waarheid nu simpel of ingewikkeld is.