What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it

In de wereld van machine learning, waar computers leren patronen te herkennen en voorspellingen te doen, bestaat een veelvoorkomende strategie genaamd ensemble learning. Stel je een team van experts voor die probeert een moeilijke puzzel op te lossen. In plaats van te vertrouwen op één enkele specialist, combineert het team de antwoorden van vele verschillende individuen om tot een nauwkeurigere conclusie te komen. Deze aanpak werkt omdat de fouten van één persoon vaak worden gecorrigeerd door de wijsheid van de groep. Soms bestaan deze teams uit leden die allemaal dezelfde methode gebruiken om na te denken, zoals een groep statistici. Andere keren is het team gemengd, waarbij experts met geheel andere instrumenten en benaderingen worden samengebracht. Deze mix van verschillende methoden staat bekend als een heterogeen ensemble. De centrale vraag voor onderzoekers is al lang hoe je zo'ndan een dergelijk team het beste kunt samenstellen wanneer de middelen beperkt zijn. Als je een budget hebt om driehonderd computermodellen te trainen, hoeveel moet je dan uitgeven aan het eerste type expert, hoeveel aan de tweede, en hoeveel aan de derde? Het vinden van de perfecte balans lijkt een logische manier om extra prestaties uit de mouwen te schudden, en veel onderzoekers hebben jarenlang complexe algoritmen ontwikkeld om naar die ideale mix te zoeken.

Een nieuwe studie door Muhammetalp Erdem van de Universiteit van Trabzon daagt de premisse van deze zoektocht uit. De onderzoeker zette zich in om te testen of de inspanning die wordt geleverd bij het jagen op de perfecte verhouding van verschillende modeltypen daadwerkelijk enig echt voordeel oplevert. Om dit te doen, bouwde hij een massaal experiment met dertig verschillende publieke datasets, variërend van medische dossiers tot financiële gegevens, en voerde hij de tests tien keer uit op elke dataset om er zeker van te zijn dat de resultaten geen toevalstreffer waren. Hij stelde het totaal aantal computermodellen vast op driehonderd en verdeelde deze over drie verschillende families van leeralgoritmen: random forests, extremely randomized trees en bagged nearest neighbors. Dit zijn standaard, goed begrepen instrumenten in het vakgebied. De studie vergeleken zes verschillende manieren om de verdeling van de driehonderd modellen te beslissen. Sommige methoden gebruikten een eenvoudige, vaste regel, terwijl andere geavanceerde zoekopdrachten gebruikten om de beste combinatie te vinden op basis van hoe goed ze presteerden op een testset.

De resultaten waren duidelijk en verrassend. De studie bevestigde dat een team met een vaste, gelijke mix van alle drie de typen modellen slechter presteerde dan elke methode die probeerde een specifieke mix te kiezen. Gemiddeld genomen verbeterde het simpelweg proberen te selecteren van een mix de nauwkeurigheid met bijna zeven tienden van een procentpunt vergeleken met een willekeurige, uniforme verdeling. Dit bewees dat de samenstelling van het team er wel degelijk toe doet. Echter, de zoektocht naar de perfecte samenstelling bleek een doodlopende weg te zijn. Geen van de geavanceerde zoekmethoden, inclusief die die probeerden fouten af te vlakken of vele verschillende gissingen te middelen, kon een veel eenvoudigere strategie verslaan: het kiezen van de enkelvoudige beste familie en het hele budget te besteden aan slechts dat ene type model. Sterker nog, de meest complexe zoekmethoden presteerden statistisch gezien hetzelfde als simpelweg het kiezen van de beste enkele familie. De onderzoekers ontdekten dat de extra inspanning om een mix van verschillende modellen te vinden geen meetbare winst in nauwkeurigheid opleverde.

Het artikel gaat verder om uit te leggen waarom dit het geval is, en onthult dat het waargenomen potentieel voor verbetering grotendeels een illusie was, gecreëerd door de manier waarop onderzoekers succes meten. In veel studies wordt het "best mogelijke" resultaat berekend door naar alle kandidaat-mixen te kijken en degene te kiezen die het hoogst scoorde op de testdata. Dit wordt vaak een oracle bound genoemd, wat een theoretische bovengrens vertegenwoordigt waar real-world methoden naar zouden moeten streven. Erdem toonde aan dat deze bovengrens kunstmatig hoog is. Omdat de verschillende modelmixen zo sterk op elkaar lijken — ze verschillen slechts door een paar modellen uit de honderden — zijn hun prestatiescores sterk gecorreleerd en ruizig. Wanneer je de maximale score kiest uit een grote groep ruizige, vergelijkbare schattingen, is de kans groot dat je een getal kiest dat hoger is dan de werkelijke potentie. De studie introduceerde een eerlijkere manier om dit potentieel te meten door de testdata in tweeën te splitsen: de ene helft gebruiken om de beste mix te kiezen en de andere helft om te zien hoe deze daadwerkelijk presteert. Wanneer deze eerlijkere test werd toegepast, verdween de vermeende "ruimte voor verbetering" volledig. Het ogenschijnlijke voordeel van het vinden van een perfecte mix bleek volledig gebaseerd te zijn op selectiebias, een statistisch artefact in plaats van een echte mogelijkheid.

De studie onderzocht ook of het toevoegen van meer diversiteit aan het team de uitkomst zou veranderen. De onderzoekers voegden een vierde type model toe, een lineaire familie, om te zien of een meer gevarieerde groep de zoektocht naar een mix meer de moeite waard zou maken. Zelfs met deze toegevoegde diversiteit bleven de resultaten standhouden. Hoewel de potentiële verschillen tussen de mixen iets groter werden, konden de complexe zoekmethoden de eenvoudige strategie van het kiezen van de enkelvoudige beste familie nog steeds niet verslaan. Sterker nog, naarmate het aantal mogelijke mixen toenam, werd het ogenschijnlijke voordeel van het vinden van een perfecte mix groter, maar het eerlijke, real-world voordeel bleef negatief. Dit bevestigde dat het probleem niet een gebrek aan diversiteit in de modellen was, maar de fundamentele moeilijkheid om tussen zeer vergelijkbare opties te onderscheiden wanneer de data ruizig is. Het landschap van prestaties is geen scherpe piek waar een specifieke mix duidelijk uitspringt; het is een breed, vlak plateau waar veel verschillende mixen bijna identiek presteren, en de kleine verschillen tussen hen gemakkelijk worden overstemd door willekeurige ruis.

Voor iedereen die deze computermodellen bouwt, is het praktische advies recht door zee. Verspil geen tijd of engineering-inspanning aan het berekenen van de perfecte ratio van verschillende modeltypen. Kies in plaats daarvan de enkelvoudige beste familie van modellen en gebruik je volledige budget om een groot team van slechts dat type op te bouwen. De enige keuze die er echt toe doet, is het vermijden van een standaard, gelijke mix van alles, wat betrouwbaar de slechtste optie is. De studie suggereert dat het gebied van ensemble learning een fata morgana heeft nagejaagd. De overtuiging dat een complexe zoektocht naar de ideale samenstelling noodzakelijk is, is gebaseerd op een meetfout die de potentiële winsten overschat. Door een striktere testmethode te gebruiken, laat het onderzoek zien dat het signaal van een betere mix vaak te zwak is om boven de ruis van de data gevonden te worden. De meest effectieve weg vooruit is niet het zoeken naar een complexe combinatie, maar het selecteren van het sterkste enkelvoudige instrument en het volledig benutten daarvan.