Benign interpolation and Occam's razor
Dit artikel betoogt dat recente pogingen om het succes van de generalisatie van interpolerende deep learning-modellen te verklaren door een beroep te doen op Occams scheermes, een verklarende kloof creëren door onbewezen eigenschappen van individuele modellen te verwarren met de rigoureuze, door stellingen onderbouwde verbinding tussen de eenvoud van een modelklasse en generalisatie die in de klassieke leertheorie wordt gevonden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren om foto's van katten en honden te herkennen. Je laat het de robot duizenden foto's zien, en het leert het verschil te zien. In de oude dagen van de informatica was er een gouden regel genaamd "Occam's Razor". Het zei in essentie: "Houd het simpel." Als twee theorieën de gegevens verklaren, kies dan de simpelere. Waarom? Omdat als een model te ingewikkeld wordt, het de trainingsfoto's gaat onthouden als een papegaai in plaats van echt te leren hoe een kat eruitziet. Dit wordt "overfitting" genoemd, en dat is een ramp. Als de robot een nieuwe foto ziet, faalt hij omdat hij te druk was met het onthouden van de oude foto's.
Decennialang gebruikten wetenschappers deze regel om veilige, betrouwbare AI te bouwen. Ze geloofden dat je, om een slimme robot te maken, de hersenkracht moest beperken zodat hij niet in de war zou raken. Maar toen gebeurde er iets vreemds. Moderne AI, specifiek "deep learning", begon alle regels te breken. Deze nieuwe robots hebben hersenen die zo groot zijn dat ze elke enkele trainingsfoto perfect kunnen onthouden, zelfs als je de labels door elkaar haalt en zegt dat een kat een broodrooster is. Volgens alle oude regels zouden ze verschrikkelijk moeten zijn in het raden van nieuwe foto's. Toch zijn ze geweldig in dat. Ze passen de rommelige data perfect aan, maar voorspellen toch de toekomst correct. Dit vreemde fenomeen wordt "benign interpolation" genoemd, en het heeft wetenschappers aan het denken gezet, terwijl ze zich afvragen hoe een robot tegelijkert k een perfecte onthudder en een briljante voorspeller kan zijn.
Dit artikel, geschreven door Tom F. Sterkenburg, Daniel A. Herrmann en Jan-Willem Romeijn, duikt in dit mysterie om te zien of de nieuwe verklaringen voor dit wonder standhouden. De auteurs treden in feite op als detectives die een populaire nieuwe theorie onderzoeken die is voortgekomen om te verklaren waarom deze enorme AI-modellen zo goed werken.
De nieuwe theorie suggereert dat, hoewel deze AI-modellen enorm en complex zijn, de manier waarop ze leren (met een methode genaamd "stochastic gradient descent") hen stiekem naar de "simpelste" mogelijke oplossing stuurt tussen alle perfect passende oplossingen. Het is als een wandelaar die een miljoen paden heeft om een top te bereiken; de theorie beweert dat de wandelschoenen de wandelaar vanzelf naar het gladste, meest directe pad leiden, waarbij de grillige, rotsachtige paden worden genegeerd. De voorstanders van dit idee noemen dit een "simplicity bias" (eenvouds-vooroordeel) en zeggen dat het een moderne versie van Occam's Razor is die de dag redt. Ze argumenteren dat de AI het simpelste model kiest dat bij de data past, wat is waarom het zo goed generaliseert.
De auteurs van dit artikel stellen echter dat deze verklaring een enorme fout bevat. Ze wijzen erop dat de oude "Occam's Razor" een wiskundig bewezen regel was over groepen modellen (modelklassen). Het bewees dat als je een kleine, simpele groep modellen kiest, je gegarandeerd goed presteert. Maar de nieuwe theorie gaat over individuele modellen. Het zegt: "Dit specifieke model is simpel omdat het een lage 'norm' (een wiskundige maat voor grootte) heeft of 'glad' is."
Het probleem, leggen de auteurs uit, is dat er geen wiskundig bewijs is dat de eenvoud van een enkel model verbindt aan het vermogen om de toekomst te voorspellen. In de oude dagen garandeerde de wiskunde dat simpele groepen werkten. In het nieuwe verhaal beweren de auteurs dat wetenschappers deze specifieke modellen gewoon "simpel" noemen en hopen dat de naam "Occam's Razor" het zware werk doet. Het is also is zeggen: "Deze steen is een magische steen omdat ik het een magische steen heb genoemd," zonder enig bewijs dat magische stenen daadwerkelijk bestaan.
Het artikel suggereert dat hoewel deze nieuwe ideeën interessant zijn, ze een gat laten vallen. Ze hebben niet echt bewezen waarom het kiezen van een "simpel" individueel model leidt tot goede voorspellingen. De auteurs betogen dat de nieuwe theorie in essentie een grote, onbewezen aanname maakt: dat de wereld vol zit met simpele patronen die deze AI-modellen toevallig vinden. Ze zeggen niet dat deze aanname fout is, maar ze benadrukken dat de huidige verklaringen slechts gokken zijn. Ze gebruiken de naam van een beroemd principe (Occam's Razor) om een gewaagde aanname er als een solide wetenschappelijk feit uit te laten zien.
Dus, wat is het oordeel? Het artikel zegt niet dat de nieuwe AI kapot is; het zegt dat we nog niet volledig begrijpen waarom het werkt. De auteurs suggerken dat het antwoord misschien niet een universele regel over eenvoud is, maar iets dat specifieker is voor de data die we verzamelen of de specifieke taken die we de AI vragen. Totdat iemand de connectie tussen "simpele individuele modellen" en "goede voorspellingen" kan bewijzen, blijft het mysterie van benign interpolation precies dat — een mysterie. De nieuwe theorie is een veelbelovende aanwijzing, maar het is niet het definitieve antwoord.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.