Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

Stellen Sie sich vor, Sie versuchen, ein wirklich schwieriges Rätsel zu lösen, wie zum Beispiel ein komplexes mathematisches Problem oder ein kniffliges Logikrätsel. Sie haben einen superintelligenten Freund (ein großes Sprachmodell, oder LLM), der sehr viel weiß, aber manchmal stecken bleibt oder einen dummen Fehler macht, wenn er zu schnell denkt. In der Welt der künstlichen Intelligenz gibt es eine wachsende Idee namens „Test-Time Scaling“. Betrachten Sie dies als die Möglichkeit, Ihrem Freund mehr Zeit, mehr Papier oder mehr Chancen zu geben, nachzudenken, bevor er die endgültige Antwort gibt. Anstatt die Frage nur einmal zu stellen und die erste Antwort zu nehmen, die ihm in den Sinn kommt, könnten Sie ihn bitten, laut nachzudenken, das Problem auf drei verschiedene Arten auszuprobieren oder sogar seine eigene Arbeit zu überprüfen. Die große Frage, die sich Forscher stellen, ist: Macht es den Computer tatsächlich klüger, wenn man ihm mehr „Denkzeit“ gibt, oder führt es nur dazu, dass er mehr redet?

Lange Zeit haben Wissenschaftler dies getestet, indem sie KI-Modelle mehrere Antworten generieren ließen und die beste auswählten, oder indem sie sie suchen ließen, nach verschiedenen Wegen zu einer Lösung. Aber hier ist der Haken: Alle spielen nach leicht unterschiedlichen Regeln. Einige Forscher lassen die KI 100 verschiedene Antworten generieren und wählen den Gewinner; andere lassen die KI mitten im Satz ihre Meinung ändern; und wieder andere lassen sie suchen wie ein Detektiv, der nach Hinweisen sucht. Weil alle unterschiedliche „Spielbücher“ verwenden, war es sehr schwer zu vergleichen, wer eigentlich am besten abschneidet. Es ist, als würde man versuchen, die Geschwindigkeit eines Rennwagens, eines Fahrrads und einer Rakete zu vergleichen, indem man nur schaut, wie weit sie gekommen sind, ohne zu wissen, wie viel Treibstoff sie verbraucht oder welche Art von Strecke sie befahren haben. Dieses Paper setzt an und sagt: „Warten Sie mal, wir müssen aufhören, diese Dinge zu vermischen und anfangen, sie richtig zu messen.“

Die Autoren dieses Papers, ein Team der Case Western Reserve University, bauen im Wesentlichen ein neues Regelwerk dafür auf, wie wir diese denkenden Maschinen testen. Sie argumentieren, dass „Test-Time Scaling“ nicht nur eine Sache ist, sondern tatsächlich aus drei sehr unterschiedlichen Strategien besteht, und dass wir sie getrennt behandeln müssen. Erstens gibt es die „Single-Track“-Methode, bei der das KI-Modell auf einem einzigen langen Pfad denkt, vielleicht korrigiert es sich selbst, während es vorgeht, wie ein Wanderer, der denselben Pfad immer wieder geht, aber anhält, um einen falschen Abzweig zu korrigieren. Zweitens gibt es die „Leaf-Level“-Methode, bei der die KI eine ganze Menge völlig unterschiedlicher fertiger Antworten generiert (wie ein Bäcker, der 100 Laibe Brot backt) und dann am Ende die beste auswählt. Drittens ist die „Prefix-Level“-Methode eher wie ein Baum-Explorer; die KI verzweigt sich in viele verschiedene Richtungen, prüft, welche Zweige vielversprechend aussehen, und schneidet die Sackgassen ab, noch bevor sie die Reise beendet hat.

Das Paper stellt fest, dass es ein Fehler ist, all diese Methoden als dasselbe zu betrachten. Wenn Sie einfach nur sagen: „Wir haben mehr Rechenleistung verwendet“, wissen Sie nicht, wie diese Leistung eingesetzt wurde. Die Autoren zeigen, dass es genauso darauf ankommt, wie man die Kosten (das „Budget“) zählt und wie man die endgültige Antwort auswählt, wie auf das Modell selbst. Beispielsweise entdeckten sie, dass es manchmal nicht bedeutet, dass die Antwort, die eine KI besser wird, nur weil sie mehr Antworten generiert. Tatsächlich kann es die endgültige Antwort sogar schlechter machen, wenn man mehr Antworten hinzufügt, falls die Methode zur Auswahl des Gewinners fehlerhaft ist – ein bisschen so, als ließe man hundert Menschen über einen Film abstimmen, aber man benutzt eine kaputte Wahlmaschine, die den schlechsten Film auswählt.

Um diese Verwirrung zu beheben, haben die Experten nicht nur darüber geredet, sondern die harte Arbeit geleistet. Sie haben eine riesige neue Bibliothek mit über 2 Millionen Reasoning-Traces erstellt (denken Sie an eine riesige Bibliothek jedes Schritts, den die KI bei der Lösung von Problemen unternommen hat), die Mathematik, Naturwissenschaften und Logikrätsel abdeckt. Sie nutzten diese Bibliothek, um 27 verschiedene Open-Source-KI-Modelle zu testen. Ihre Ergebnisse legen nahe, dass es der KI zwar helfen kann, die richtige Antwort häufiger zu finden (was sie „Discovery“ nennen), dies aber nicht unbedingt bedeutet, dass die KI auch weiß, wie sie die richtige Antwort aus dem Haufen herauspickt (dies ist „Selection“). Sie fanden heraus, dass für einige Modelle die Chance, eine korrekte Antwort zu finden, von etwa 56 % auf 82 % stieg, indem man sie einfach öfter probieren ließ, während die Chance, dass jeder einzelne dieser Versuche korrekt war, signifikant sank. Das bedeutet, die KI wird besser darin, den Schatz zu finden, aber es wird schwieriger zu erkennen, welche Karte die echte ist.

Das Paper betont auch, dass wir nicht einfach nur auf die Endpunktzahl schauen und die Sache damit erledigt haben können. Um wirklich zu verstehen, ob eine KI klüger wird, müssen wir genau wissen, wie sie getestet wurde: welche Prompts verwendet wurden, wie oft sie es probiert hat, wie die endgültige Antwort gewählt wurde und sogar die winzigen Details, wie der Computer lief. Sie argumentieren, dass der Vergleich verschiedener KI-Modelle ohne diese Details so ist, als würde man Äpfel mit Orangen vergleichen. Indem sie einen klaren Rahmen für die Messung dieser „Denk-Budgets“ bereitstellen und ihr massives Datenset für alle zur Verfügung stellen, hoffen sie, die Verwirrung zu beenden und dem gesamten Feld zu helfen, mit klaren, fairen und reproduzierbaren Ergebnissen voranzukommen. Kurz gesagt: Sie sagen uns, dass wir, um wirklich intelligente KIs zu bauen, aufhören müssen zu raten, wie sie denken, und anfangen müssen, es mit einem Lineal zu messen, statt mit einer Vermutung.