Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models
Diese Arbeit bewertet die Fähigkeit von Frontier-KI-Modellen, komplexe Schlussfolgerungen ohne explizite Chain-of-Thought-Token durchzuführen, indem sie deren Zeithorizonte zur Aufgabenerfüllung gegenüber menschlichen Baselines misst, wobei ein Trend zur jährlichen Verdoppelung der Leistung aufgezeigt wird und projiziert wird, dass diese Modelle bis 2030 in der Lage sein könnten, Aufgaben, die über 25 Minuten menschlicher Anstrengung erfordern, in einem einzigen Durchgang zu lösen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Zauberer bei einem Trick. Normalerweise erklärt der Zauberer Ihnen seinen Prozess: „Ich werde die Karten mischen, dann werde ich die oberste Karte kurz anschauen und nun werde ich sie verschwinden lassen lassen.“ Dieser Teil des Sprechens ist wie der „Chain of Thought“ (Gedankenkette) einer KI. Es ist das schrittweise Denken, das das Modell uns zeigt, bevor es eine Antwort gibt. Sicherheitsexperten lieben das, weil sie dem „Denken“ zuhören können, um sicherzustellen, dass die KI nichts Gefährliches plant, wie etwa zu lügen oder zu versuchen, ihre menschlichen Aufseher zu täuschen.
Aber was wäre, wenn der Zauberer völlig aufhören würde zu sprechen? Was wäre, wenn er all dieses komplexe Mischen, Schauen und Planen völlig in seinem Kopf durchführen könnte, in völliger Stille, und dann nur mit einem Schnippen der Finger die Antwort enthüllt? Wenn eine KI dies tun kann, bleiben die Sicherheitsüberwachungsinstanzen im Dunkeln, unfähig, das „Denken“ zu sehen, das einen schlechten Plan verbergen könnte. Dieses Paper stellt eine große, leicht beängstigende Frage: Wie viel können diese superintelligenten KI-Modelle tatsächlich in ihrem Kopf leisten, ohne uns ein einziges Wort ihrer Arbeit zu zeigen?
Die Forscher beschlossen, dies herauszufinden, indem sie führende KI-Modelle durch einen massiven Parcours aus über 30.000 Rätseln, Matheaufgaben, Programmierherausforderungen und Logikspielen schickten. Aber es gab einen Haken: Sie zwangen die Modelle, sofort zu antworten, ohne „Thinking Tokens“ oder einen internen Monolog. Sie wollten den „Time Horizon“ messen – eine schicke Art zu fragen: „Wie lange würde ein Mensch brauchen, um dasselbe Problem zu lösen, das die KI gerade in einem Bruchteil einer Sekunde gelöst hat?“
Hier ist, was sie entdeckten. In den letzten sechs Jahren sind diese KI-Modelle unglaublich gut im stillen Denken geworden. Im Jahr 2019 konnte eine KI nur Probleme lösen, die ein Mensch in einem Bruchteil einer Sekunde ohne Hilfe lösen könnte. Aber bis zum Zeitpunkt dieser Studie für die Projektionen bis 2026 wird geschätzt, dass die neuesten Modelle (wie GPT-5.5) in der Lage sein werden, Probleme zu lösen, für deren Lösung ein Mensch über 3 Minuten benötigen würde, und das alles, ohne ein einziges Wort ihres Resonierens von sich zu geben.
Das Wachstum findet rasant statt. Die Forscher fanden heraus, dass sich die Komplexität dieser stillen Aufgaben ungefähr jedes Jahr verdoppelt (speziell alle 373 Tage). Es ist, als würde die KI lernen, ein Jahr voller mentaler Gymnastik in nur einem Kalenderjahr zu absolvieren. Wenn sich dieser Trend fortsetzt, könnten diese Modelle bis 2028 in der Lage sein, Aufgaben still zu lösen, die einen Menschen 7 Minuten lang beschäftigen würden, und bis 2030 könnte dies auf 25 Minuten reine, verborgene mentale Arbeit ansteigen.
Um ihre Mathematik zu überprüfen, untersuchten sie auch, wie viele „Reasoning Tokens“ (das digitale Äquivalent zu Gedankenschritten) ein Referenzmodell benötigen würde, um dieselben Probleme zu lösen. Sie fanden heraus, dass sich die stille Kapazität der KI in Bezug auf diese Tokens ebenfalls jedes Jahr verdoppelt und bei den neuesten Modellen eine Leistung von über 1.500 Tokens an verborgener Verarbeitungskapazität erreicht.
Das Paper legt nahe, dass wir zwar nicht zu 100 % sicher über die Zukunft sein können (die Zahlen haben eine breite Spanne an Möglichkeiten), der Trend aber klar ist: KI-Modelle gewinnen rasant die Fähigkeit, komplexes, mehrstufiges Denken vollständig innerhalb ihrer „Geister“ durchzuführen, ohne es uns zu zeigen. Das bedeutet, dass es in naher Zukunft viel schwieriger werden könnte, uns auf das Zuhören der Gedanken einer KI zu verlassen, um sie sicher zu halten, da die KI dieses ganze Denken vielleicht einfach im Stillen vollzieht. Die Autoren mahnen Entwickler dazu, diese „stille“ Fähigkeit genauestens zu verfolgen, da sie vorhersehbar wächst und die Art und Weise, wie wir diese leistungsstarken Systeme überwachen, grundlegend verändern könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.