Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

Wir leben in einer Ära, in der die Fähigkeiten der künstlichen Intelligenz oft mit der Präzision einer Wettervorhersage prognostiziert werden. Experten betrachten, wie schnell Computer werden, wie viele Daten sie gefüttert werden und wie gut sie in standardisierten Tests abschneiden, um zu erraten, wann Maschinen menschliches Denkvermögen erreichen oder es sogar übertreffen werden. Diese Vorhersagen nehmen meist die Form eines spezifischen Datums auf einem Kalender an und legen nahe, dass eine KI bis zu einem bestimmten Jahr in der Lage sein wird, ein komplexes Problem zu lösen oder eine spezifische Aufgabe auszuführen. Die Logik scheint geradlinig zu sein: Wenn man messen kann, wie schnell ein Auto fährt, kann man berechnen, wann es sein Ziel erreicht. Doch dieser Ansatz beruht auf einer verborgenen Annahme – nämlich, dass das Lineal, mit dem die Geschwindigkeit gemessen wird, heute dasselbe ist wie gestern, und dass der Tacho bei jedem einzelnen Auto auf der Straße korrekt funktioniert.

Eine neue Analyse von Fabricio F. Costa stellt diese Annahme infrage. Die Arbeit argumentiert nicht, dass die Vorhersage der Zukunft der KI unmöglich sei, sondern vielmehr, dass die derzeitige Art und Weise, wie wir dies versuchen, auf einem wackeligen Fundament steht. Der Autor führte eine rigorose Prüfung der öffentlichen Aufzeichnungen durch, die für diese Prognosen verwendet werden, wobei er die Daten nicht als glatte Linie in einem Graphen behandelte, sondern als eine Sammlung einzelner Ereignisse, Messungen und Quellen. Die Untersuchung zeigt, dass die Verbindung zwischen den Ressourcen, die zum Bau dieser Systeme verwendet werden, und ihrer tatsächlichen Leistung weitaus fragmentierter ist, als populäre Prognosen vermuten lassen. Die Studie stellt fest, dass die Beweise, die diese Vorhersagen stützen, oft unvollständig, inkonsistent und stark von einer einzigen Informationsquelle abhängig sind, was die oft in den Nachrichten zitierten spezifischen Daten eher zu einer Vermutung als zu einem wissenschaftlichen Schluss macht.

Um das Ausmaß des Problems zu verstehen, muss man zunächst betrachten, wie diese Prognosen typischerweise konstruiert werden. Forscher versuchen meist, zwei Dinge miteinander zu verknüpfen: die Menge der Rechenleistung, die beim Training eines Modells verwendet wurde, und die Ergebnisse, die es in einem Benchmark-Test erzielt. Ein Benchmark ist schlicht ein standardisierter Satz von Fragen oder Aufgaben, der darauf ausgelegt ist, eine spezifische Fähigkeit zu messen, wie etwa das Beantworten von Trivia-Fragen oder das Lösen von Mathematikproblemen. Die Idee ist, dass mit zunehmender Rechenleistung, die man einem Modell zur Verfügung stellt, dessen Punktzahl in diesen Tests auf vorhersehbare Weise steigt. Wenn man diese Beziehung kartieren kann, kann man die Entwicklung projizieren, um zu sehen, wann die Punktzahl einen bestimmten Schwellenwert erreicht. Damit diese Projektion jedoch gültig ist, benötigt man Datenpunkte, bei denen sowohl die Rechenleistung als auch die Testpunktzahl für dasselbe System bekannt sind.

Als der Autor die öffentliche Aufzeichnung von zweiundsechzig bedeutenden Systemen der künstlichen Intelligenz untersuchte, trat eine signifikante Lücke zutage. Während Informationen über die verwendete Rechenleistung für viele Systeme verfügbar waren, fehlten sie für eine große Anzahl der fortschrittlichsten, quelloffenen (Closed-Source) Modelle. Umgekehrt waren die Leistungsbewertungen aus einem spezifischen, weit verbreiteten Messprogramm namens METR für viele geschlossene Modelle verfügbar, fehlten aber vollständig für die Open-Source-Systeme. Dies schuf eine Situation, in der die beiden Datenstücke, die benötigt werden, um eine Linie zu ziehen – der „Kraftstoff“ und die „Geschwindigkeit“ – selten für dieselbe Maschine existierten. In der gesamten Menge von zweiundsechzig Systemen hatten nur sieben sowohl die Schätzung der Rechenleistung als auch die Leistungsbewertung erfasst. Das bedeutet, dass die oft in Prognosen sichtbaren glatten Kurven tatsächlich durch nur eine Handvoll Datenpunkte gezeichnet werden, während der Rest der Landschaft ein leerer Raum ist.

Das Problem verschärft sich, wenn man bedenkt, dass die Tests selbst nicht statisch sind. Genau wie ein Lineal durch ein neues mit leicht anderen Markierungen ersetzt werden kann, werden die Benchmarks, die zur Messung von KI verwendet werden, ständig aktualisiert, überarbeitet oder ersetzt, um zu verhindern, dass die Modelle einfach die Antworten auswendig lernen. Die Prüfung untersuchte, wie diese verschiedenen Versionen von Tests untereinander in Beziehung stehen. Sie ergab, dass die Beziehung zwischen den Ergebnissen einer älteren Version eines Tests und einer neueren Version nicht immer eine einfache, lineare Verschiebung ist. Manchmal misst der neue Test etwas leicht anderes, oder die Schwierigkeit ändert sich in einer Weise, die dazu führt, dass die Punktzahlen unerwartet springen oder fallen. Die Studie testete dies, indem sie untersuchte, wie Systeme bei zwei Versionen eines populären Tests abschnitten, und fand heraus, dass der Zusammenhang zwischen den alten Punktzahlen und den neuen stark von der mathematischen Methode abhing, mit der sie verglichen wurden. In einigen Fällen schien die neue Version eine viel steilere Verbesserung zu zeigen als die alte, während in anderen Fällen die Verbesserung flach aussieht. Dies deutet darauf an, dass ein Anstieg der Punktzahl nicht immer bedeutet, dass die KI intelligenter geworden ist; es könnte schlicht bedeuten, dass sich der Test geändert hat.

Ein weiterer kritischer Punkt, der identifiziert wurde, ist die Konzentration der Evidenz. Die überwältigende Mehrheit der spezifischen Datenpunkte, die den Fortschritt der KI verfolgen, stammt aus einem einzigen Messprogramm. Von den einundsiebzig wichtigsten quantitativen Ereignissen, die in der Prüfung aufgezeichnet wurden, stammten zweiundfünfzig aus nur einer Quelle. Dies ist vergleichbar mit dem Versuch, die Wetterlagen eines ganzen Kontinents zu verstehen, indem man sich auf die Thermometerwerte einer einzigen Stadt verlässt. Während diese Stadt zwar genau sein mag, sagt sie einem nicht, ob der Rest des Kontinents dieselben Bedingungen erlebt. Die Prüfung stellte zudem fest, dass viele dieser Messungen aus Laborveröffentlichungen stammen und nicht aus realen Felddurchläufen. In einem Labor sind die Bedingungen kontrolliert, aber in der realen Welt interagiert die KI mit unvorhersehbaren Umgebungen, unterschiedlichen Nutzern und variierenden Unterstützungsgraden. Die Arbeit argumentiert, dass das Vertrauen auf eine einzige Quelle und eine einzige Art von Test ein falsches Gefühl der Gewissheit erzeugt, bei dem das Vertrauen in eine Prognose deshalb hoch ist, weil die Daten konsistent aussehen, obwohl sie nicht wirklich unabhängig sind.

Der Autor untersuchte auch die Aussagekraft der statistischen Tests, die diese verschiedenen Messungen verknüpfen. Die Analyse zeigte, dass die aktuellen Datensätze oft zu klein sind, um etwas anderes als sehr große Veränderungen zu detektieren. Wenn sich die Beziehung zwischen Rechenleistung und Leistung nur geringfügig geändert hätte, hätten die aktuellen Aufzeichnungen dies wahrscheinlich völlig übersehen. Die Studie berechnete, dass Forscher viele mehr Systeme gleichzeitig auf den alten und neuen Benchmarks testen müssten, um eine Verschiebung in der Art und Weise, wie sich diese Systeme verbessern, zuverlässig zu erkennen. Ohtlne diesen größeren, vielfältigeren Datensatz ist jede Prognose, die behauptet, genau zu wissen, wann ein bestimmter Meilenstein erreicht wird, im Wesentlichen eine bloße Vermutung.

Die Arbeit schlägt nicht vor, dass wir aufhören sollten, den Fortschritt der KI zu messen. Stattdessen fordert sie einen ehrlicheren und komplexeren Ansatz. Anstatt zu versuchen, all die Fähigkeiten der KI in eine einzige Zahl oder ein einziges Datum zu pressen, schlägt der Autor ein „Portfolio“ an Messungen vor. Dies würde bedeutsam darin bestehen, verschiedene Dinge gleichzeitig zu verfolgen: wie viel Energie und Geld es kostet, ein Modell zu betreiben, wie zuverlässig es über lange Zeiträume hinweg ist, wie es in realen Aufgaben abschneidet und wie es mit Sicherheitsrisiken umgeht. Es würde auch ein System erfordern, in dem verschiedene Forschungsgruppen dieselben Modelle mit unterschiedlichen Methoden testen, um sicherzustellen, dass die Ergebnisse nicht nur ein Artefakt eines spezifischen Labors oder eines spezifischen Tests sind. Das Ziel ist es, sich von der Idee eines einzigen, perfekten Lineals zu entfernen und hin zu einer Sammlung von Werkzeugen zu gelangen, die verschiedene Aspekte der Intelligenz mit ihren eigenen Unsicherheiten messen können.

Letztendlich kommt die Studie zu dem Schluss, dass eine vertretbare Prognose über die Zukunft der künstlichen Intelligenz transparent darüber sein muss, was sie misst und wie sie es misst. Sie muss offenlegen, wo Daten fehlen, wo sich die Tests geändert haben und woher die Evidenz stammt. Eine Vorhersage, die einfach ein Datum nennt, ohne das dahinterstehende Messsystem zu erklären, ist keine wissenschaftliche Behauptung, sondern eine Vermutung. Die Arbeit fordert das Fachgebiet dazu auf, das Messsystem selbst als Teil der Prognose zu betrachten und anzuerkennen, dass das Datum nur so aussagekräftig ist wie das Lineal, mit dem es ermittelt wurde. Bis die Gemeinschaft in der Lage ist, eine Aufzeichnung aufzubauen, in der Rechenleistung, Leistung und reale Ergebnisse konsistent und unabhängig über viele verschiedene Systeme hinweg gemessen werden, wird der präziseste Teil jeder Prognose das Datum auf dem Kalender sein, während der am wenigsten präzise Teil das sein wird, was auf dem Weg dorthin tatsächlich gemessen wird.