Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation
Diese Arbeit stellt die Annahme stabiler Rankings von großen Sprachmodellen infrage, indem sie zeigt, dass variierende Budgets für Inferenz-Token die Modellleistung und -reihenfolge signifikant verändern, was nicht-monotone Verhaltensweisen, Ranking-Umkehrungen und Modellkomplementarität offenlegt, die budgetbedingte Evaluierungsprotokolle erforderlich machen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie befinden sich in einer riesigen Bibliothek, in der die Bücher von superintelligenten Robotern geschrieben wurden, die Large Language Models (LLMs) genannt werden. Diese Roboter können fast alles lesen und Fragen zu Mathematik, Naturwissenschaften und Geschichte beantworten. Lange Zeit versuchten Menschen, den „besten“ Roboter zu wählen, indem sie ihm einfach eine Frage stellten und sahen, wer als Erster die richtige Antwort gab. Sie nahmen an, dass ein Roboter A besser als Roboter B wäre, wenn er bei einem Test besser abschnitt, und das immer. Es war, als würde man ein Rennen nur danach bewerten, wer zuerst die Ziellinie überquert, ohne zu berücksichtigen, wie viel Zeit ihnen zur Verfügung stand.
Aber hier kommt die Wendung: Diese Roboter „denken“ nicht einfach instantan nach. Sie schreiben ihre Antworten Wort für Wort auf, wie eine lange Kette von Gedanken. Dieses Limit an Wörtern, die sie schreiben dürfen, wird als „Token-Budget“ bezeichnet. Denken Sie an es so, als würde man einem Schüler eine unterschiedliche Menge Zeit geben, um eine Prüfung abzulegen. Einige Schüler brauchen vielleicht viel Zeit, um ein schwieriges Rätsel zu lösen, während andere verwirrt sein könnten, wenn man ihnen zu viel Zeit gibt und sie anfangen, zu viel nachzudenken. Die große Frage für Wissenschaftler ist: Bleibt der „beste“ Roboter der Beste, wenn wir das Zeitlimit ändern? Oder ändert sich der Gewinner, je nachdem, wie viel Zeit wir ihnen zum Nachdenken lassen? Genau das wollten die Forscher herausfinden.
Das „Überdenken“-Problem: Warum mehr Zeit nicht immer besser ist
In dieser Studie führten die Forscher ein massives Experiment durch, um zu sehen, wie vier verschiedene KI-Modelle bei drei kniffligen Tests abschnitten: Mathematik auf Grundschulniveau, Mathematik auf Wettbewerbsniveau und naturwissenschaftliche Fragen auf Graduiertenniveau. Sie ließen die Modelle nicht einfach laufen; sie zwangen sie, nach einer bestimmten Menge an „Nachdenkzeit“ (gemessen in Token) aufzuhören. Sie testeten sieben verschiedene Limits, die von winzigen 64 Token (sehr wenig Zeit zum Nachdenken) bis hin zu riesigen 4.096 Token (viel Zeit zum Nachdenken) reichten.
Was sie entdeckten, war, dass die Vorstellung eines einzelnen „besten“ Modells ein Mythos ist. Die Ranglisten der Modelle drehten sich und änderten sich vollständig, je nachdem, wie viel Zeit ihnen gegeben wurde.
Die „Überdenken“-Überraschung
Man könnte denken, dass es einem Roboter immer hilft, die richtige Antwort zu erhalten, wenn man ihm mehr Zeit zum Nachdenken gibt. Aber die Forscher fanden etwas Seltsames heraus: Manchmal führte das Geben von mehr Token dazu, dass das Modell die Antwort falsch bekam. Sie nennen das „Überdenken“ (Overthinking).
Stellen Sie sich einen Schüler vor, der die Antwort auf eine Matheaufgabe kennt. Wenn Sie ihm 10 Minuten geben, schreibt er sie korrekt auf. Aber wenn Sie ihm 30 Minuten geben, fängt er vielleicht an, an sich selbst zu zweifeln, ändert seine Antwort und landet am Ende mit der falschen Antwort. Die Studie fand heraus, dass dies bei etwa 3 % bis 19 % der Fragen passierte. Schlimmer noch, das war kein Problem mit den Fragen selbst; es war spezifisch für jeden Roboter. Eine Frage, die ein Modell zum „Überdenken“ und Scheitern brachte, konnte für ein anderes Modell völlig in Ordnung sein. Es ist wie bei einer Person, die nervös wird, wenn sie zu viel Zeit hat, um sich auf eine Rede vorzubereiten, während eine andere Person davon profitiert.
Die großen Ranglisten-Wechsel
Aufgrund dessen änderte sich der „Gewinner“ des Rennens ständig.
- Auf dem leichteren Mathetest (GSM8K) war ein großes Modell (LLaMA-3.3 70B) der Champion, wenn ihm eine mittlere Menge Zeit (256 Token) gegeben wurde. Sobald sie den Modellen jedoch mehr Zeit gaben (bis zu 4.096 Token), übernahm ein kleineres Modell (GPT-OSS 20B) die Führung und behielt diese auch.
- Auf dem schwierigsten Wissenschaftstest (GPQA) war das kleinste Modell (LLaMA-3 8B) tatsächlich das beste, wenn die Zeit knapp war (256–512 Token). Als die Zeit zunahm, holten die größeren Modelle auf und übertrafen sie schließlich oder glichen mit ihnen gleich.
Das bedeutet: Wenn Sie heute eine Bestenliste sehen, die besagt: „Modell X ist das Beste“, dann ist diese Aussage nur für eine spezifische Zeitspanne wahr. Wenn Sie das Zeitlimit ändern, könnte Modell X plötzlich das schlechteste Modell sein.
Die „Oracle“-Lücke: Warum wir einen smarten Schalter brauchen
Die Forscher fragten auch: „Wenn wir magisch das perfekte Modell für jede einzelne Frage auswählen könnten, wie viel besser wären wir dann?“ Sie bauten einen theoretischen „Oracle“ (einen perfekten Selektor), der das beste Modell für jede spezifische Frage und jedes Zeitlimit auswählte.
Die Ergebnisse waren schockierend. Auf dem schweren Wissenschaftstest konnte dieser perfekte Selektor 27,8 Prozentpunkte mehr korrekte Antworten erzielen als das eine beste Modell, das alleine lief. Selbst bei den leichteren Mathetests war die Lücke signifikant (bis zu 16,9 Punkte). Dies beweist, dass kein einzelner Roboter für alles gut ist. Manchmal ist der kleine Roboter am besten, manchmal der große, und manchmal liegen sie alle daneben.
Können wir einen smarten Schalter bauen?
Das Team versuchte, einen „Router“ zu bauen – ein intelligentes System, das eine Frage und das Zeitlimit betrachtet und dann entscheidet, welcher Roboter antworten soll.
- Innerhalb desselben Testtyps: Als sie den Router auf Matheprobleme trainierten und an Matheproblemen testeten, funktionierte er großartig. Die Nutzung des „Zeitlimits“ als Hinweis half ihm, den richtigen Roboter auszuwählen, was die Genauigkeit um 1,6 bis 5,7 Punkte verbesserte.
- Über verschiedene Tests hinweg: Aber als sie versuchten, denselben Router von Mathe- zu Wissenschaftsfragen zu nutzen, wurde er verwirrt. Die „Zeitlimit“-Hinweise, die für Mathe funktionierten, funktionierten nicht für die Wissenschaft. Tatsächlich führten diese Hinweise dazu, dass der Router beim Wechsel zwischen den Fachbereichen sogar schlechter abschnitt (um 1,2 Punkte). Dies deutet darauf, dass die Beziehung zwischen „wie viel Zeit man hat“ und „die richtige Antwort zu bekommen“ für jedes Fachgebiet unterschiedlich ist.
Das Fazit
Die wichtigste Lektion aus dieser Arbeit ist einfach, aber kraftvoll: Es gibt kein einziges „bestes“ KI-Modell. Die Antwort auf die Frage „Welches Modell ist am besten?“ hängt vollständig davon ab, „wie lange man es denken lässt“.
Wenn Sie eine App für ein Telefon bauen, bei der Sie der KI nur wenig Zeit geben können, könnte ein kleines, schnelles Modell Ihr Champion sein. Wenn Sie jedoch einen Server betreiben, auf dem Sie der KI Stunden zum Nachdenken geben können, wird ein anderes, größeres Modell gewinnen. Die alte Art, Modelle zu ranken – indem man einfach einen Gewinner für alle bestimmt – ist kaputt. Stattdessen müssen wir sagen: „Modell A ist am besten für kurze Antworten, Modell B ist am besten für lange Antworten, und manchmal, wenn man ihnen zu viel Zeit gibt, vermasseln sie es einfach.“
Die Forscher schlagen vor, dass wir in Zukunft aufhören sollten, nach einem einzigen Score zu fragen, und statfangen sollten, zu berichten, wie Modelle bei verschiedenen Zeitlimits abschneiden. Und wenn wir diese Modelle effektiv nutzen wollen, brauchen wir smarte Systeme, die wissen, wann sie den kleinen, schnellen Denker rufen müssen und wann den großen, langsamen Denker – denn der Gewinner ändert sich in dem Moment, in dem die Uhr zu ticken beginnt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.