FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

In de snel expanderende wereld van kunstmatige intelligentie, waar computerprogramma's leren schrijven, kunst te creëren en complexe problemen op te lossen, is een stille maar cruciale vraag opgekomen: hoeveel werk wordt er eigenlijk verricht? Jarenlang hebben onderzoekers en ingenieurs vertrouwd op een standaardmethode om de inspanning te meten die nodig is voor deze digitale breinen. Ze tellen het aantal basiswiskundige berekeningen, specifiek floating-point-operaties, die een model moet uitvoeren om tot een conclusie te komen. Het is een beetje zoals het tellen van het aantal stenen in een muur om te raden hoe lang het zal duren om deze te bouwen. De logica lijkt deugdelijk: meer berekeningen zouden meer tijd en meer energie moeten betekenen. Deze metriek is de universele taal geworden voor het vergelijken van verschillende AI-modellen, wat ontwikkelaars helpt te beslissen welke ontwerpen efficiënt zijn en welke verspillend. Deze eenvoudige telling gaat echter uit van de aanname dat elke berekening evenveel tijd en energie kost, ongeacht hoe deze is georganiseerd of welk type computer het werk verricht.

Deze aanname is onder vuur komen te liggen nu AI-modellen enorme schaal bereiken, enorme hoeveelheden elektriciteit verbruiken en het stroomnet belasten. Als de standaard telmethode gebrekkig is, kan dit leiden tot ernstige miscalculaties over de milieukosten en de snelheid van de volgende generatie intelligente systemen. Een recente studie zette zich af om te testen of deze traditionele telmethode nog steeds standhoudt op moderne, krachtige computerchips. De onderzoekers wilden zien of de relatie tussen het aantal wiskundige operaties en de werkelijke tijd die nodig is om ze uit te voeren, recht door en recht toe blijft, of dat de realiteit veel complexer is. Ze concentreerden zich op een specifiek type AI-architectuur dat bekend staat als een convolutioneel neuraal netwerk, dat breed wordt gebruikt voor taken zoals het herkennen van afbeeldingen en het begrijpen van video. Door duizenden experimenten uit te voeren op een state-of-the-art grafische kaart, probeerden ze te verifiëren of een voorgestelde wiskundige correctie accuraat kon voorspellen hoe lang deze modellen zouden duren om uit te voeren, of dat de nieuwe hardware verborgen complexiteiten had geïntroduceerd die de oude formules niet konden zien.

Het team begon met het herzien van een eerdere studie die had gesuggereerd dat de ruwe telling van wiskundige operaties geen betrouwbare voorspeller was van de uitvoeringstijd. Dat eerdere werk had aangetoond dat waar de berekeningen plaatsvinden even belangrijk is als hoeveel ze er zijn. Stel je een lopende band in een fabriek voor: het verplaatsen van items langs een brede transportband is vaak sneller en gemakkelijker te beheren dan het proberen door een smalle, kronkelende tunnel te persen met hetzelfde aantal items, zelfs als het totale aantal items identiek is. In de wereld van AI kunnen berekeningen die in ruimtelijke dimensies zijn gerangschikt, zoals de breedte en hoogte van een afbeelding, veel gemakkelijker parallel worden verwerkt dan berekeningen die in diepere, complexere lagen zijn gerangschikt. De vorige onderzoekers hadden een formule ontwikkeld om de ruwe telling aan te passen op basis van deze dimensies, in de hoop een hulpmiddel te creëren dat accuraat kon schatten hoe lang een model zou duren om uit te voeren op specifieke hardware.

Om te testen of deze formule nog werkte, zetten de onderzoekers van de Vrije Universiteit Delft een rigoureuze replicatie van de oorspronkelijke experimenten op. Ze gebruikten een moderne grafische kaart, de NVIDIA RTX 4090, die aanzienlijk krachtiger is dan de apparatuur die in de oorspronkelijke studie werd gebruikt. Hun doel was om te zien of dezelfde patronen standhielden en of de formule nog steeds nauwkeurige voorspellingen kon bieden. Echter, ze liepen direct tegen een aanzienlijke hindernis aan: de oorspronkelijke studie had geen volledige code of gedetailleerde instructies verstrekt die nodig waren om het werk exact te reproduceren. De onderzoekers misten specifieke details over de gebruikte softwarebibliotheken en drivers, en zij hadden niet de ruwe gegevens die de oorspronkelijke auteurs hadden gebruikt om hun formule op te bouwen. Dit gebrek aan transparantie dwong het team om beredeneerde gissingen te doen over hoe ze hun experimenten moesten opzetten, wat een laag van onzekerheid in hun resultaten introduceerde.

Ondanks deze uitdagingen ging het team door met hun metingen en voerde duizenden verschillende configuraties uit om te zien hoe lang elke configuratie duurde. Ze bevestigden de eerste grote bevinding: de ruwe telling van wiskundige operaties is inderdaad een slechte voorspeller van hoe lang een model zal doen om uit te voeren. Zelfs wanneer twee configuraties exact hetzelfde aantal berekeningen vereisten, varieerden hun uitvoeringstijden enorm afhankelijk van hoe die berekeningen waren gerangschikt. De onderzoekers ontdekten dat operaties die verspreid zijn over de breedte en hoogte van een afbeelding nog steeds veel sneller worden verwerkt dan operaties die in diepere lagen zijn gepakt, wat bevestigt dat de fysieke lay-out van de gegevens belangrijker is dan het totale volume aan werk.

Echter, toen ze probeerden de voorgestelde formule toe te passen op hun nieuwe, snellere hardware, waren de resultaten veel minder bemoedigend. De formule, die redelijk goed had gewerkt op oudere apparatuur, onderschatte consequent de tijd die de moderne grafische kaart nodig had om de taken te voltooien. In veel gevallen was de werkelijke tijd die in beslag werd genomen aanzienlijk langer dan de formule voorspelde. Nog verrassender was dat de onderzoekers ontdekten dat de uitvoeringstijd geen vloeiende, constante toename vertoonde naarmate de werklast groeide. In plaats daarvan sprong de tijd en oscilleerde deze op onvoorspelbare manieren. Wanneer zij de grootte van de invoergegevens met minuscule hoeveelheden vergrootten, zou de tijd om het te verwerken plotseling pieken of dalen, wat een grillig, onregelmatig patroon creëerde in plaats van een rechte lijn. Deze sprongen leken op te treden bij specifieke getallen, vaak gerelateerd aan veelvouden van vier of andere kleine gehele getallen, wat suggereert dat de interne architectuur van de moderne chip op complexe, niet-lineaire manieren op de data reageerde die de eenvoudige formule niet kon vatten.

De studie onthulde dat de relatie tussen het aantal berekeningen en de tijd die ze innemen veel fragieler en hardware-afhankelijker is dan voorheen gedacht. De formule slaagde er niet in om de impact van input- en outputkanalen mee te nemen, die een veel grotere rol speelden in de uitvoeringstijd op de nieuwe hardware dan op de oudere systemen. Bovendien observeerden de onderzoekers dat de optimalisaties van de moderne chip, zoals de grote geheugencache en gespecialiseerde verwerkingseenheden, nieuwe gedragingen introduceerden die zorgden voor deze plotselinge tijdssprongen. Deze gedragingen bleven verborgen in de oorspronkelijke studie omdat deze een lagere resolutie van gegevenspunten gebruikte, waarbij slechts enkele waarden werden gesampled in plaats van elke mogelijke variatie te testen. Wanneer het team elke enkele waarde testte, werd de verborgen instabiliteit van het systeem onthuld.

De onderzoekers concludeerden dat hoewel het algemene idee dat ruimtelijke arrangementen efficiënter zijn dan diepe arrangementen nog steeds standhoudt, het specifieke wiskundige instrument dat bedoeld is om de uitvoeringstijd te voorspellen, niet langer betrouwbaar is op moderne hardware. Het onvermogen van de formule om zich aan te passen aan de snelle evolutie van computerchips betekent dat het niet gebruikt kan worden als een universele standaard voor het schatten van energieverbruik of snelheid. De studie benadrukte ook een cruciaal probleem in wetenschappelijk onderzoek: het gebrek aan volledige en nauwkeurige replicatiepakketten. Zonder de originele code, specifieke softwareversies en ruwe gegevens is het moeilijk te weten waarom de formule precies faalde. Het blijft onduidelijk of de fout te wijten was aan de hardware zelf of aan de aannames die de onderzoekers moesten maken vanwege de ontbrekende informatie.

Uiteindelijk dient dit werk als een herinnering dat in het snel bewegende veld van kunstmatige intelligentie, eenvoudige metrieken misleidend kunnen zijn. De efficiëntie van een AI-model is niet alleen een kwestie van het tellen van operaties; het is een complex samenspel tussen het ontwerp van het model, de specifieke hardware waarop het draait en de software die het proces beheert. De onderzoekers hebben hun eigen volledige set gegevens en code openbaar gemaakt, in de hoop dat deze transparantie anderen in staat zal stellen om betere hulpmiddelen voor de toekomst te bouwen. Hun bevindingen suggereren dat naarmate AI blijft groeien, we voorbij eenvoudige tellingen moeten gaan en een dieper, genuanceerder begrip moeten ontwikkelen van hoe deze digitale systemen daadwerkelijk werken in de echte wereld.