Stel je een wereld voor waarin wetenschappers "leermachines" bouwen die naar een spreadsheet met gegevens kunnen kijken — zoals een lijst met huizenprijzen of medische dossiers — en zo kunnen uitzoeken hoe ze de toekomst kunnen voorspellen. Dit vakgebied wordt AutoML genoemd (Geautomatiseerd Machine Learning). Het doel is om de computer duizenden verschillende wiskundige trucjes op zijn eigen manier te laten proberen om te vinden welke het beste werkt. Meestal worden deze machines getest in lange, zorgvuldige marathons die uren duren, waarbij ze strikt in de gaten worden gehouden om te zorgen dat ze de regels niet overtreden. Maar in de echte wereld willen ontwikkelaars vaak snelle resultaten. Ze laten deze machines slechts 30 of 60 seconden draaien om te zien welke de snelste winnaar is. Het is als een sprint in plaats van een marathon. Het probleem is dat wanneer je een race zo snel loopt, het heel makkelijk is om per ongeluk de regels te overtreden zonder het zelfs maar te beseffen, waardoor een langzame, onhandige loper eruitziet als een wereldrecordhouder.

Dit artikel vertelt het verhaal van een onderzoeker die zijn eigen kleine, eenvoudige leermachine genaamd "Orcetra" bouwde. Hij zette deze af tegen twee beroemde, zware kampioenen (FLAML en AutoGluon) in een reeks van 513 snelle races van 60 seconden. Op het eerste gezicht zagen de resultaten er geweldig uit: Orcetra won meer dan de helft van de races en versloof de reuzen met enorme marges. De cijfers waren zo perfect en de wiskunde zo overtuigend, dat het leek op een enorme doorbraak. Maar de auteurs realiseerden zich dat ze waren misleid door hun eigen experiment. Ze ontdekten dat Orcetra niet echt slimmer was; het had simpelweg op twee zeer sluwe manieren de regels overtreden. Ten eerste keek het in de "antwoordenlijst" (de testgegevens) terwijl het nog aan het oefenen was, waardoor het de winnaar kon kiezen op basis van geluk in plaats van vaardigheid. Ten tweede negeerde het de stopwatch en draaide het twee keer zo lang als de andere machines, terwijl het deed alsof het op hetzelfde moment stopte. Wanneer de onderzoekers de regels aanpasten, het spieken stopten en de tijdslimiet handhaafden, verdwenen de "superkrachten" van Orcetra. Het veranderde van een kampioen in een gemiddelde deelnemer, wat bewees dat in de wereld van snelle AI-tests de manier waarop je de race meet net zo belangrijk is als hoe snel je rent.

De Opstelling: Een Race met een Gebroken Stopwatch

Om het verhaal te begrijpen, laten we naar de drie renners kijken. FLAML en AutoGluon zijn als professionele atleten die urenlang trainen. Het zijn complexe, krachtige systemen die ontworpen zijn om de beste oplossing over een lange periode te vinden. Orcetra, het systeem dat door de auteurs van het artikel is gebouwd, is de underdog. Het is een klein, eenvoudig script geschreven in slechts 1.661 regels code. Het heeft geen fancy trucjes; het probeert gewoon een reeks standaard wiskundige modellen, kiest de beste en gaat door.

De onderzoekers zetten een "sprint"-competitie op. Ze namen 513 verschillende datasets (verzamelingen gegevens) en gaven elke machine precies 60 seconden om de beste voorspelling te vinden. In de eerste ronde, met hun oorspronkelijke regels, zag Orcetra eruit als een wonder. Het won 57,1% van de races tegen de andere twee, terwijl de reuzen respectievelijk slechts 21,6% en 10,9% wonnen. Tegen alleen FLAML in een sprint van 30 seconden won Orcetra een verbluffende 78,4% van de tijd. De wiskunde zei dat dit een enorme, onbetwistbare overwinning was.

Maar de auteurs vermoedden dat er iets mis was. Ze besloten hun eigen experiment te auditeren, op zoek naar de "geesten" in de machine die deze valse overwinningen hadden kunnen veroorleken.

De Eerste Fout: Het "Spiek"-probleem

De eerste grote fout was hoe Orcetra zijn winnaar koos. Stel je een student voor die een oefentoets maakt. Een eerlijke student studeert, maakt de toets en krijgt dan een score. Maar Orcetra deed iets anders. Het maakte de oefentoets, keek naar de antwoorden, en maakte de toets dan opnieuw, en opnieuw, en opnieuw.

In technische termen scoorde de machine elk model dat het probeerde tegen de testsplit (de gegevens die bedoend waren voor het uiteindelijke examen). Het probeerde tientallen modellen in die 60 seconden, controleerde hoe goed ze presteerden op de testgegevens, en rapporteerde vervolgens simpelweg de beste score die het ooit had gezien. Dit is een klassieke valkuil genaamd selectiebias.

Denk aan het gooien met een dobbelsteen. Als je één keer met een dobbelsteen gooit, krijg je een willekeurig getal. Maar als je 50 keer gooit en mij alleen het hoogste getal laat zien dat je hebt gekregen, denk ik misschien dat je een magische dobbelsteen hebt die altijd een zes gooit. In werkelijkheid heb je gewoon genoeg keren gegooid om geluk te hebben. Omdat Orcetra zoveel modellen probeerde en de "gelukkigste" koos op basis van de testgegevens, werd de score kunstmatig opgeblazen. De andere machines, FLAML en AutoGluon, waren eerlijk: zij kozen hun beste model met behulp van alleen de oefendata (trainingsdata) en bekeken de testgegevens pas één keer aan het einde.

De Tweede Fout: De "Loophole" Stopwatch

De tweede fout was zelfs fysieker. Het experiment had een regel: "Stop na 60 seconden."

FLAML en AutoGluon hielden zich aan deze regel. Als ze midden in een berekening zaten wanneer de timer 60 seconden bereikte, stopten ze of probeerden ze snel af te ronden. Ze waren gedisciplineerd. Orcetra had echter een fout in de logica. Het controleerde de tijd voordat het een nieuwe taak begon, maar zodra het een taak startte, gaf het niets meer om de tijdlimiet. Het liet een berekening zo lang doorgaan als het wilde.

De gegevens toonden aan dat hoewel het budget op 60 seconden was ingesteld, Orcetra in de mediaan van 120 seconden draaide — twee keer zo lang als de limiet! Sterker nog, het overschreed de tijdslimiet op 78% van de datasets. Ondertussen hielden de andere machines zich dicht bij de 60-secondengrens. Het is als een race waarbij de andere renners bij de finishlijn stoppen, maar Orcetra nog een extra ronde blijft rennen, waardoor het veel meer tijd krijgt om het probleem op te lossen. De "60 seconden"-aanduiding was voor Orcetra slechts een suggestie, geen regel.

De Derde Fout: De "Geknipte" Resultaten

Er was een derde, kleiner probleem dat werd ontdekt tijdens het schrijven van het artikel. De onderzoekers hadden later een tweede experiment uitgevoerd, maar ze hadden per ongeluk de resultaten van de eerste run gemengd met de resultaten van de tweede run bij het tellen van de overwinningen. Dit "splicen" (knippen en plakken) liet Orcetra er nog beter uitzien dan het was, waardoor het winpercentage in sommige tellingen steeg naar 61,2%. Toen ze de runs weer scheidden, daalden de cijfers terug naar het normale niveau. Dit was een eenvoudige menselijke fout, maar het toonde aan hoe gemakkelijk resultaten kunnen worden vervormd als je niet voorzichtig bent met je bestanden.

De Grote Correctie: De Race Eerlijk Lopen

Om de waarheid te vinden, voerden de auteurs het hele experiment opnieuw uit met een nieuw, strikt protocol. Ze losten de drie problemen op:

1. Niet meer spieken: Orcetra moest zijn beste model kiezen met behulp van een "validatieset" (een oefentoets), en mocht de "testset" (het uiteindelijke examen) pas één keer bekijken aan het einde, net als de andere machines.
2. Strikte tijdslimieten: Ze gebruikten een externe timer om het proces te stoppen als het de 60 seconden overschreed, om ervoor te zorgen dat niemand extra tijd kreeg.
3. Eerlijke middelen: Ze zorgden ervoor dat alle machines exact dezelfde hoeveelheid computerkracht kregen, zodat niemand alleen sneller was omdat hij meer processorkernen had.

Het Resultaat: De Magie Verdwijnt

Toen ze de race eerlijk renden, verdween de "wonderbaarlijke" prestatie.

• Oorspronkelijk (Regels overtredend) Winpercentage: Orcetra won 59,4% van de herhaalde subset.
• Gecorrigeerd (Eerlijk) Winpercentage: Het winpercentage van Orcetra kelderde naar 34,3%.

In de eerlijke race was Orcetra niet langer de overwinnaar van de reuzen. Het won 34,3% van de tijd, terwijl FLAML won met 28,0% en AutoGluon met 27,3%. Het verschil was zo klein dat het gemakkelijk door toeval had kunnen komen. De statistische "significantie" die de oorspronkelijke resultaten een enorme ontdekking deed lijken, verdween volledig. De p-waarden (een maatstaf voor hoe waarschijnlijk het is dat een resultaat door geluk ontstaat) gingen van astronomisch klein (zoals 9,5 × 10⁻⁴⁶) naar volkomen onbeduidend (zoer als 0,39), wat in feits een muntje opgooien is.

Wat Hebben We Geleerd?

Het artikel concludeert dat de "overwinning" een illusie was, gecreëerd door twee hoofdfactoren:

1. Spieken (Selectiebias): Dit was verantwoordelijk voor ongeveer 4,8 procentpunt van het winpercentage. Het was echt, maar klein.
2. Extra Tijd (Compute): Dit was de grote factor. Omdat Orcetra twee keer zo lang draaide als de anderen, kon het meer modellen proberen. Dit oneerlijke voordeel was verantwoordelijk voor de rest van de enorme winst.

De auteurs maten ook precies hoeveel "spieken" helpt. Ze ontdekten dat hoewel spieken een lichte boost geeft, het niet zo groot is als sommige wiskundige theorieën voorspelden. Omdat alle modellen op dezelfde gegevens werden getest, viel het "geluk" grotendeels weg. De boost was ongeveer 0,27 nauwkeurigheidspunten, wat klein is vergeleken met de enorme verschillen die ze oorspronkelijk zagen.

De Les voor Iedereen

Dit verhaal gaat niet alleen over één stuk code; het is een waarschuwing voor iedereen die snelle AI-tools met elkaar vergelijkt. Als je een test van 60 seconden uitvoert, moet je extreem voorzichtig zijn.

• Laat de testgegevens niet spieken: Zorg ervoor dat de machine zijn winnaar kiest voordat hij de definitieve antwoorden ziet.
• Handhaaf de tijdslimiet: Als je 60 seconden zegt, zorg dan dat het ook echt na 60 seconden stopt.
• Controleer de klok: Rapporteer altijd hoe lang de machine daadwerkelijk heeft gedraaid, niet alleen hoe lang je hem bedoelde te laten draaien.

Het artikel eindigt met een checklist voor iedereen die deze snelle vergelijkingen maakt. Het suggereert dat als je een systeem ziet dat in een korte tijd met een enorme marge wint, het waarschijnlijk niet komt doordat het slimmer is — het komt waarschijnlijk doordat het de regels heeft overtreden. De "winnaar" van de oorspronkelijke race was geen genie; het was gewoon een renner die de fluit van de scheidsrechter negeerde.