Confidence intervals for the random forest generalization error

In de wereld van moderne datawetenschap wordt computers vaak gevraagd om voorspellingen te doen over de toekomst op basis van patronen gevonden in het verleden. Of het nu gaat om het voorspellen van de prijs van een huis, het diagnosticeren van een medische aandoening, of het raden of een klant een dienst zal stoppen te gebruiken, deze systemen vertrouwen op complexe modellen die zijn getraind op grote hoeveelheden informatie. Een centrale uitdaging voor iedereen die deze tools gebruikt, is weten hoeveel vertrouwen men in een voorspelling kan stellen. Alleen omdat een model goed presteert op de data waarop het is getraind, is er geen garantie dat het ook goed zal werken in nieuwe, ongeziene situaties. Om deze betrouwbaarheid te meten, splitsen wetenschappers hun data traditioneel in twee stapels: één om het model te onderwijzen en een andere om het te testen. Hoewel dit werkt, is het een traag en kostbaar proces dat vereist dat de data in tweeën wordt gesplitst en het model vaak opnieuw moet worden getraind om een duidelijk beeld van de nauwkeurigheid te krijgen.

Een specifiek type model, bekend als een random forest, heeft lang een slimme afkorting geboden voor het schatten van hoe goed het zal presteren. Stel je een bos voor waarbij elke boom een beslisser is die is getraind op een iets andere versie van de data. Vanwege de manier waarop deze bomen groeien, negeert elke individuele boom een klein, willekeurig deel van de trainingsdata. Dit betekent dat voor elk stukje informatie in de dataset een groep bomen is die het tijdens de training nooit heeft gezien. Deze bomen kunnen vervolgens worden gevraagd om dat specifieke stukje informatie te voorspellen, wat een ingebouwde test van nauwkeurigheid biedt zonder ooit de data te hoeven splitsen of een nieuwe simulatie te hoeven draaien. Deze methode, bekend als een out-of-bag schatting, is al decennia een standaardinstrument dat een snelle, bijna gratis manier biedt om één enkel getal te verkrijgen dat de waarschijnlijke fout van het model vertegenwoordigt. Echter, voor een lange tijd bood deze methode alleen een enkel puntgetal, waardoor gebruikers zonder een duidelijk gevoel van de reikwijdte van de onzekerheid rond dat getal bleven.

In een artikel dat eind 2021 werd gepubliceerd, stelde onderzoeker Paulo C. Marques F. van het Insper Institute of Education and Research in Brazilië een manier voor om dit enkele getal om te zetten in een volledige reeks van vertrouwen. Het doel was om de bestaande bijproducten van het trainen van de random forest te gebruiken om een betrouwbaarheidsinterval te construeren — een statistisch bereik dat aangeeft waar de werkelijke foutmarge waarschijnlijk zal vallen — zonder de zware computationele kosten van het splitsen van data of het opnieuw trainen van modellen. De aanpak van de onderzoeker behandelt de trainingsdata, samen met het verslag van welke bomen welke datapunten negeerden en wat die bomen voorspelden, als een compleet pakket. Door dit pakket herhaaldelijk te hersampelen met een specifieke statistische techniek genaamd bootstrapping, genereert de methode een distributie van mogelijke foutmarges. Dit maakt de constructie van een betrouwbaarheidsinterval mogelijk die de onzekerheid van de prestaties van het model reflecteert, terwijl er nog steeds dezelfde data wordt gebruikt die het model heeft getraind.

Het artikel demonstreert dat deze methode niet alleen computationeel efficiënt maar ook statistisch solide is. Door middel van uitgebreide computersimulaties met zowel regressietaken, waarbij het doel is om een continu getal te voorspellen, als classificatietaken, waarbij het doel is om items in categorieën te sorteren, testte de onderzoeker hoe vaak deze nieuwe betrouwbaarheidsintervallen daadwerkelijk de werkelijke foutmarge bevatten. In een regressievoorbeeld met een complexe wiskundige functie met tien invoervariabelen, en een classificatievoorbeeld met twintig variabelen, toonden de simulaties aan dat de intervallen precies presteerden zoals bedoeld. Wanneer de onderzoeker vroeg om een betrouwbaarheidsniveau van 95 procent, viel de werkelijke fout ongeveer 95 procent van de tijd binnen het berekende bereik over duizenden gesimuleerde proeven. Bovendien kromp de breedte van deze intervallen op een voorspelbare manier naarmate de hoeveelheid trainingsdata toenam, wat bevestigt dat de methode nauwkeuriger wordt met grotere datasets.

Om te bewijzen dat de methode werkt op echte problemen, paste de studie de techniek toe op vier verschillende datasets. De eerste was een klassieke collectie data over de brandstofefficiëntie van auto's, waarbij het model mijlen per gallon moest voorspellen op basis van voertuigkenmerken. De tweede betrof een enorme dataset van e-mails om legitieme berichten van spam te onderscheiden. De derde was een gedetailleerd verslag van huizenverkopen in Ames, Iowa, gebruikt om verkoopprijzen te voorspellen, en de vierde volgde het klantgedrag van een telecombedrijf om te identificeren wie waarschijnlijk hun dienst zou opzeggen. Voor elk dataset berekende de onderzoeker betrouwbaarheidsintervallen op verschillende niveaus van zekerheid. Voor de woninggegevens, bijvoorbeeld, varieerde het 95 procent betrouwbaarheidsinterval voor de voorspellingsfout van ongeveer drieëntwintig duizend dollar tot zevenentwintig duizend dollar. Voor de spamdetectie-taak was het interval voor de foutmarge een nauwe band tussen ongeveer 4,1 procent en 5,4 procent. Deze resultaten lieten zien dat de methode in staat is om betekenisvolle, interpreteerbare grenzen op fouten te bieden voor diverse, praktische toepassingen.

Een aanzienlijk voordeel van deze aanpak is de snelheid en eenvoud ervan. Omdat het steunt op de data die al zijn gegenereerd tijdens de initiële training van de random forest, vermijdt het het arbeidsintensieve proces van het herhaaldelijk splitsen van data en het opnieuw trainen van modellen. De onderzoeker testte de looptijd van de procedure op een standaard laptopcomputer en vond dat zelfs voor de grootste dataset met meer dan vier duizend e-mails, het hele proces van het genereren van de betrouwbaarheidsintervallen slechts iets meer dan één seconde duurde. Deze efficiëntie maakt de methode toegankelijk voor dagelijks gebruik, waardoor datawetenschappers de betrouwbaarheid van hun modellen kunnen kwantificeren met minimale extra inspanning. Het werk benadrukt ook een unieke eigenschap van de methode: omdat het gebaseerd is op de distributie van de fouten zelf, kan het de resultaten gemakkelijk vertalen naar de natuurlijke eenheden van het probleem, zoals dollars voor huizenprijzen of mijlen per gallon voor auto's, waardoor de onzekerheid gemakkelijk begrijpelijk is voor niet-experts.

Het artikel concludeert door te vermelden dat de code om deze berekeningen uit te voeren vrij beschikbaar is als een open-source bibliotheek, waardoor anderen de techniek onmiddellijk kunnen toepassen. Door de verborgen bijproducten van een standaard trainingsproces om te zetten in een robuuste maatstaf voor onzekerheid, biedt dit werk een directe weg naar het begrijpen van de grenzen van de generalisatie van een model. Het bevestigt dat met de juiste statistische instrumenten, de betrouwbaarheidsintervallen voor de prestaties van een random forest rechtstreeks uit de trainingsdata kunnen worden afgeleid, wat een betrouwbare, goedkope manier biedt om te meten hoe goed een voorspellend model stand zal houden in de echte wereld.