FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

In der rasant expandierenden Welt der künstlichen Intelligenz, in der Computerprogramme lernen zu schreiben, Kunst zu erschaffen und komplexe Probleme zu lösen, ist eine leise, aber kritische Frage aufgetaucht: Wie viel Arbeit wird tatsächlich geleistet? Seit Jahren verlassen sich Forscher und Ingenieure auf eine Standardmethode, um den Aufwand zu messen, den diese digitalen Gehirne benötigen. Sie zählen die Anzahl der grundlegenden mathematischen Berechnungen, spezifisch der Gleitkommaoperationen, die ein Modell ausführen muss, um zu einem Ergebnis zu gelangen. Es ist ein wenig so, als würde man die Anzahl der Ziegelsteine in einer Wand zählen, um zu schätzen, wie lange es dauern wird, sie zu bauen. Die Logik erscheint schlüssig: Mehr Berechnungen sollten mehr Zeit und mehr Energie bedeuten. Diese Metrik ist zur universellen Sprache für den Vergleich verschiedener KI-Modelle geworden und hilft Entwicklern zu entscheiden, welche Designs effizient und welche verschwenderisch sind. Diese einfache Zählung setzt jedoch voraus, dass jede Berechnung die gleiche Zeit und Energie benötigt, unabhängig davon, wie sie organisiert ist oder welche Art von Computer die Arbeit verrichtet.

Diese Annahme ist unter die Lupe genommen worden, da KI-Modelle massive Ausmaße angenommen haben, enorme Mengen an Elektrizität verbrauchen und Stromnetze belasten. Wenn die standardmäßige Zählmethode fehlerhaft ist, könnte dies zu schwerwiegenden Fehlkalkulationen über die Umweltkosten und die Geschwindigkeit der nächsten Generation intelligenter Systeme führen. Eine aktuelle Studie setzte sich zum Ziel zu testen, ob diese traditionelle Zählmethode auf modernen, leistungsstarken Computerchips noch Bestand hat. Die Forscher wollten sehen, ob die Beziehung zwischen der Anzahl der mathematischen Operationen und der tatsächlichen Zeit, die es benötigt, um sie auszuführen, weiterhin unkompliziert bleibt oder ob die Realität weitaus komplexer ist. Sie konzentrierten sich auf einen spezifischen Typ von KI-Architektur, der als konvolutionales neuronales Netzwerk bekannt ist, welches weit verbreitet für Aufgaben wie die Bilderkennung und das Verständnis von Videos eingesetzt wird. Durch das Durchführen tausender Experimente auf einer hochmodernen Grafikkarte wollten sie verifizieren, ob eine vorgeschlagene mathematische Korrektur die Zeit, die diese Modelle zur Ausführung benötigen, genau vorhersagen kann oder ob die neue Hardware verborgene Komplexitäten eingeführt hat, die die alten Formeln nicht erkennen konnten.

Das Team begann damit, eine frühere Studie zu reevaluieren, die suggeriert hatte, dass die reine Zählung der mathematischen Operationen kein zuverlässiger Prädiktor für die Ausführungszeit sei. Diese frühere Arbeit hatte gezeigt, dass es ebenso wichtig ist, wo die Berechnungen stattfinden, wie wie viele es sind. Stellen Sie sich eine Fabrik-Montageband vor: Es ist oft schneller und einfacher zu handhaben, Gegenstände entlang eines breiten Förderbands zu bewegen, als die gleiche Anzahl von Gegenständen durch einen engen, gewundenen Tunnel zu quetschen, selbst wenn die Gesamtzahl der Gegenstände identisch ist. In der Welt der KI können Berechnungen, die in räumlichen Dimensionen angeordnet sind, wie etwa die Breite und Höhe eines Bildes, viel einfacher parallel verarbeitet werden als Berechnungen, die in tieferen, komplexeren Schichten angeordnet sind. Die vorangegangenen Forscher hatten eine Formel entwickelt, um die rohe Anzahl basierend auf diesen Dimensionen anzupassen, in der Hoffnung, ein Werkzeug zu schaffen, das genau vorhersagen kann, wie lange ein Modell auf einer bestimmten Hardware laufen würde.

Um zu testen, ob diese Formel noch funktionierte, setzten die Forscher der Technischen Universität Delft eine strenge Replikation der ursprünglichen Experimente auf. Sie verwendeten eine moderne Grafikkarte, die NVIDIA RTX 4090, die wesentlich leistungsfähiger ist als die Ausrüstung, die in der ursprünglichen Studie verwendet wurde. Ihr Ziel war es zu sehen, ob dieselben Muster weiterhin Bestand hatten und ob die Formel immer noch genaue Vorhersagen liefern konnte. Doch sie stießen sofort auf ein erhebliches Hindernis: Die ursprüngliche Studie hatte nicht den vollständigen Code oder die detaillierten Anweisungen bereitgestellt, die nötig gewesen wären, um die Arbeit exakt zu reproduzieren. Den Forschern fehlten spezifische Details über die verwendeten Softwarebibliotheken und Treiber, und sie verfügten nicht über die Rohdaten, die die ursprünglichen Autoren zum Aufbau ihrer Formel verwendet hatten. Dieser Mangel an Transparenz zwang das Team dazu, fundierte Vermutungen darüber anzustellen, wie sie ihre Experimente aufsetzen sollten, was eine Ebene der Unsicherheit in ihre Ergebnisse einführte.

Trotz dieser Herausforderungen setzte das Team seine Messungen fort und führte tausende verschiedene Konfigurationen durch, um zu sehen, wie lange jede einzelne dauerte. Sie bestätigten die erste große Erkenntnis: Die rohe Anzahl der mathematischen Operationen ist in der Tat ein schlechter Prädiktor dafür, wie lange ein Modell zur Ausführung benötigen wird. Selbst wenn zwei Konfigurationen exakt die gleiche Anzahl an Berechnungen erforderten, variierten ihre Ausführungszeiten drastisch, je nachdem, wie diese Berechnungen angeordnet waren. Die Forscher fanden heraus, dass Operationen, die über die Breite und Höhe eines Bildes verteilt waren, immer noch viel schneller verarbeitet wurden als solche, die in tiefere Schichten gepackt waren, was bestätigte, dass das physische Layout der Daten wichtiger ist als das reine Arbeitsvolumen.

Als sie jedoch versuchten, die vorgeschlagene Formel auf ihre neue, schnellere Hardware anzuwenden, waren die Ergebnisse weita viel weniger ermutigend. Die Formel, die auf älteren Geräten recht gut funktioniert hatte, unterschätzte konsistent die Zeit, die die moderne Grafikkarte benötigte, um die Aufgaben zu bewältigen. In vielen Fällen war die tatsächlich benötigte Zeit signifikant länger als die von der Formel vorhergesagte Zeit. Überraschenderweise entdeckten die Forscher, dass die Ausführungszeit kein glatter, stetiger Anstieg mit wachsender Arbeitslast war. Stattdessen sprang die Zeit in unvorhersehbaren Sprüngen und Oszillationen. Wenn sie die Größe der Eingangsdaten um winzige Beträge erhöhten, sprang die Verarbeitungszeit plötzlich nach oben oder unten, was ein gezacktes, erratisches Muster statt einer geraden Linie erzeugte. Diese Sprünge traten bei spezifischen Zahlen auf, oft im Zusammenhang mit Vielfachen von vier oder anderen kleinen Ganzzahlen, was darauf hindeutete, dass die interne Architektur des modernen Chips auf die Daten auf komplexe, nicht-lineare Weisen reagierte, die die einfache Formel nicht erfassen konnte.

Die Studie offenbarte, dass die Beziehung zwischen der Anzahl der Berechnungen und der Zeit, die sie beanspruchen, weitaus fragiler und hardwareabhängiger ist als bisher angenommen. Die Formel versäumte es, den Einfluss von Eingangs- und Ausgangskanälen zu berücksichtigen, die auf der neuen Hardware eine viel größere Rolle für die Ausführungszeit spielten als auf den älteren Systemen. Darüber hinaus beobachteten die Forscher, dass die Optimierungen des modernen Chips, wie etwa sein großer Speicher-Cache und spezialisierte Recheneinheiten, neue Verhaltensweisen hervorriefen, die diese plötzlichen Zeitsprünge verursachten. Diese Verhaltensweisen blieben in der ursprünglichen Studie verborgen, da diese eine geringere Auflösung der Datenpunkte verwendete und nur wenige Werte abtastete, anstatt jede mögliche Variation zu testen. Als das Team jeden einzelnen Wert testete, wurde die verborgene Instabilität des Systems offenbart.

Die Forscher kamen zu dem Schluss, dass die allgemeine Idee, dass räumliche Anordnungen effizienter als tiefe sind, zwar weiterhin Bestand hat, das spezifische mathematische Werkzeug zur Vorhersage der Ausführungszeit jedoch auf moderner Hardware nicht mehr zuverlässig ist. Die Unfähigkeit der Formel, sich an die schnelle Evolution der Computerchips anzupassen, bedeutet, dass sie nicht als universeller Standard zur Schätzung des Energieverbrauchs oder der Geschwindigkeit verwendet werden kann. Die Studie hob zudem ein kritisches Problem in der wissenschaftlichen Forschung hervor: den Mangel an vollständigen und präzisen Replikationspaketen. Ohne den ursprünglichen Code, spezifische Softwareversionen und Rohdaten ist es schwierig zu wissen, warum die Formel scheiterte. Es bleibt unklar, ob das Scheitern auf die Hardware selbst oder auf die Annahmen zurückzuführen war, die die Forscher aufgrund der fehlenden Informationen treffen mussten.

Letztlich dient diese Arbeit als Erinnerung daran, dass in dem schnelllebigen Feld der künstlichen Intelligenz einfache Metriken irreführend sein können. Die Effizienz eines KI-Modells ist nicht nur eine Frage der Zählung von Operationen; es ist ein komplexes Zusammenspiel zwischen dem Design des Modells, der spezifischen Hardware, auf der es läuft, und der Software, die den Prozess steuert. Die Forscher haben ihren eigenen vollständigen Datensatz und Code öffentlich zugänglich gemacht, in der Hoffnung, dass diese Transparenz es anderen ermöglicht, bessere Werkzeuge für die Zukunft zu entwickeln. Ihre Ergebnisse legen nahe, dass wir, während die KI weiter wächst, über einfache Zählungen hinausgehen und ein tieferes, nuancierteres Verständnis dafür entwickeln müssen, wie diese digitalen Systeme tatsächlich in der realen Welt funktionieren.