Measuring AI Ability to Complete Long Software Tasks
Dieses Paper führt die Metrik des „50%-Aufgabenerfüllungs-Zeithorizonts“ ein, um KI-Fähigkeiten durch den Vergleich mit menschlicher Anstrengung zu quantifizieren, wobei festgestellt wird, dass Frontière-Modelle nun Aufgaben in 50 Minuten abschließen können, für die Menschen typischerweise 50 Minuten benötigen, wobei ein Verdopplungstrend darauf hindeutet, dass KI innerhalb von fünf Jahren monatelange Softwareaufgaben automatisieren könnte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten ein Rennen zwischen einem Menschen und einem Roboter, aber anstatt auf einer Laufbahn zu rennen, versuchen beide, einen riesigen, ständig wachsenden Haufen von Software-Rätseln zu lösen. Jahrelang haben wir versucht, zu messen, wie gut diese KI-Roboter sind, indem wir komplizierte Tests verwendet haben, aber diese Tests fühlen sich oft wie künstliche Videospiel-Level an, die uns nicht wirklich verraten, wie schnell der Roboter in der realen Welt tatsächlich arbeiten kann.
Um dies zu beheben, entschied sich ein Forscherteam von METR dazu, etwas viel Intuitiveres zu messen: Wie lange kann eine KI arbeiten, bevor sie anfängt zu scheitern?
Sie nannten dies den „Zeithorizont“ (Time Horizon). Denken Sie an dies wie die Akkulaufzeit für Intelligenz. Wenn eine KI ein Rätsel lösen kann, für das ein Mensch etwa 10 Minuten benötigt, beträgt ihr Zeithorizont 10 Minuten. Wenn sie eine Aufgabe bewältigen kann, die einen Menschen 4 Stunden kostet, ist ihr Horizont 4 Stunden. Die Forscher wollten den spezifischen Punkt finden, an dem eine KI eine 50-prozentige Chance hat, die Aufgabe korrekt zu erledigen.
Die große Entdeckung: Die exponentielle Explosion
Das Team sammelte eine massive Sammlung von 170 verschiedenen Aufgaben, die von winzigen 1-Sekunden-Checks (wie dem Aufspüren eines bestimmten Dateinamens) bis hin zu massiven, 8-stündigen Forschungsprojekten reichten. Sie engagierten erfahrene menschliche Experten, um die Zeit zu messen, die sie zum Abschluss dieser Aufgaben benötigten. Dann ließen sie 12 verschiedene KI-Modelle, von dem alten GPT-2 (veröffentlicht 2019) bis zum brandneuen o3 (veröffentlicht 2025), versuchen, diese Aufgaben zu lösen.
Hier ist der verrückte Teil: Die „Akkulaufzeit“ der KI verdoppelt sich alle sieben Monate.
Im Jahr 2019 konnte die beste KI nur Aufgaben zuverlässig bewältigen, für deren Bewältigung ein Mensch etwa 2 Sekunden benötigte. Bis 2025 konnten die Top-Modelle (wie o3) Aufgaben bewältigen, die einen Menschen etwa 110 Minuten (fast zwei Stunden) lang beschäftigen würden, bei einer Erfolgsquote von 50 %.
Die Forscher fanden heraus, dass dieses Wachstum nicht nur ein kleines bisschen schneller ist; es ist eine exponentielle Kurve. Es ist, als würde man beobachten, wie ein Schneeball einen Hügel hinunterrollt und jedes Mal, wenn er einen bestimmten Baum passiert, doppelt so groß wird. Sie maßen diesen Trend von 2019 bis 2025 und fanden, dass die „Verdoppelungszeit“ etwa 207 Tage (ungefähr sieben Monate) beträgt.
Warum werden sie besser?
Das Paper legt nahe, dass die KI nicht einfach nur auf eine vage Weise „schlauer“ wird; sie wird besser in spezifischen, praktischen Fähigkeiten. Als die Forscher untersuchten, warum die älteren Modelle scheiterten und die neueren erfolgreich waren, stellten sie fest, dass die neueren Modelle:
- Besser darin sind, Werkzeuge zu nutzen: Sie wissen, wie man einen Taschenrechner oder einen Code-Editor benutzt, ohne sie zu beschädigen.
- Besser darin sind, Fehler zu korrigieren: Wenn eine alte KI einen Fehler machte, wiederholte sie diesen oft immer wieder. Die neuen Modelle können den Fehler erkennen, „Ups“ sagen und einen anderen Weg versuchen.
- Besser im logischen Denken sind: Sie können einer Gedankenkette folgen, ohne sich zu verirren.
Das „unordentliche“ Vorbehalt: Das echte Leben ist schwieriger
Das Paper ist jedoch sehr vorsichtig damit, zu behaupten, dass die Roboter den Krieg bereits gewonnen haben. Die Forscher argumentieren explizit, dass diese Tests zu „sauber“ sein könnten.
Stellen Sie sich vor, die KI spielt ein Videospiel, in dem die Regeln in einem klaren Handbuch geschrieben stehen, die Gegner vorhersehbar sind und es keine plötzlichen Stromausfälle gibt. Die Forscher nennen die reale Arbeit „unordentlich“ (messy). In der realen Welt haben Aufgaben oft unklare Anweisungen, erfordern die Kommunikation mit anderen Menschen oder beinhalten Ressourcen, die zur Neige gehen.
Als das Team die KI bei Aufgaben testete, die „unordlicher“ waren (weniger strukturiert, chaotischer), sank die Leistung der KI signifikant. Das Paper deutet an, dass während die KI bei den „sauberen“ Rätseln großartig wird, sie mit der chaotischen, unvorhersehbaren Natur eines echten Softwareentwickler-Alltags möglicherweise noch zu kämpfen hat. Sie fanden keine Beweise dafür, dass sich die Verbesserung der KI bei „unordentlichen“ Aufgaben noch verlangsamt, aber sie warnen, dass die Lücke zwischen dem „sauberen Test“ und der „unordentlichen Realität“ ein großes Unbekanntes ist.
Was bedeutet das für die Zukunft?
Die Forscher führten Berechnungen durch, um zu sehen, wohin diese Kurve führt. Wenn der Trend der Verdoppelung alle sieben Monate anhält, prognostizieren sie, dass KI-Systeme in 5 Jahren (irgendwann zwischen Mitte 2028 und Mitte 2031) in der Lage sein könnten, Softwareaufgaben autonom abzuschließen, die derzeit einen Menschen einen Monat (etwa 167 Arbeitsstunden) dauern würden.
Sie betonen, dass dies eine Projektion ist, keine Garantie. Es hängt davon ab, ob die KI weiterhin in genau diesem Tempo besser wird und ob diese „sauberen“ Testergebnisse auf die „unordentliche“ reale Welt übertragbar sind. Wenn der Trend anhält, könnten wir in naher Zukunft KI-Agenten sehen, die im Wesentlichen als Vollzeitbeschäftigte an komplexen Projekten arbeiten können. Aber wenn der Trend sich verlangsamt oder die „Unordnung“ des echten Lebens zu schwierig wird, könnte sich dieser Zeitplan ändern.
Das Fazit
Das Paper behauptet nicht, dass die KI alles gelöst hat. Stattdessen liefert es uns ein neues Lineal, um Fortschritt zu messen. Es zeigt, dass die Fähigkeit der KI, lange, komplexe Aufgaben zu bewältigen, in den letzten sechs Jahren in einem erschreckend schnellen Tempo gewachsen ist und sich ihren „Arbeitstag“ etwa alle sieben Monate verdoppelt hat. Während es immer noch große Lücken darin gibt, wie gut sie mit dem unordentlichen, realen Chaos umgehen, deutet die Trajektorie darauf hin, dass der Tag, an dem eine KI eine einmonatige Schicht im Alleingang absolvieren kann, näher sein könnte, als wir denken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.