Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench ist ein ganzheitlicher, rein textbasierter Benchmark, der darauf ausgelegt ist, große Sprachmodelle anhand von mehrdimensionalen, ungesättigten zusammengesetzten Problemen zu bewerten, die eine Integration vielfältiger Fähigkeiten wie Programmierung, Mathematik und Websuche innerhalb eines einzigen Prompts erfordern, wobei das führende Modell GPT-5.5 (xHigh) eine Punktzahl von 43,3 % erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Ihr Lieblings-Smart-Assistant nicht nur ein Trivia-Bot oder ein Code-Cruncher ist, sondern ein wahrer Multitasking-Zauberer. In dem sich rasant entwickelnden Feld der Künstlichen Intelligenz entwickeln Forscher ständig „Benchmarks“ – was im Wesentlichen standardisierte Tests sind –, um zu sehen, wie intelligent diese digitalen Gehirne wirklich sind. Lange Zeit waren diese Tests wie getrennte Schulfächer: eine Prüfung für Mathe, eine andere für Geschichte und eine dritte für das Programmieren. Aber das echte Leben funktioniert nicht so. Wenn man einen Menschen bittet, eine Reise zu planen, berechnet er nicht nur Entfernungen; er prüft das Wetter, liest Bewertungen, bucht ein Hotel und schreibt vielleicht sogar eine lustige E-Mail an einen Freund, alles in einem Abwasch. Dieses Paper taucht in eine spezifische Ecke der KI-Forschung namens „Reasoning Chains“ (Schlussfolgerungsketten) ein, wo das Ziel ist, zu sehen, ob ein Modell viele verschiedene Arten von Aufgaben gleichzeitig bewältigen kann, ohne den Ball fallen zu lassen. Die große Frage, die alle beschäftigt, lautet: Können diese KI-Modelle mit den unordentlichen, komplizierten, mehrstufigen Problemen der realen Welt umgehen, oder werden sie verwirrt und geben auf, wenn es zu voll wird?
Hier kommt Relay-Bench ins Spiel, ein neuer, super-anspruchsvoller Test, der darauf ausgelegt ist, zu prüfen, ob KI-Modelle einen „Staffellauf“ des Geistes absolvieren können. Anstatt ein Modell zu bitten, ein einzelnes mathematisches Problem zu lösen oder ein Gedicht zu schreiben, verknüpfen die Schöpfer dieses Tests eine ganze Kette verschiedener Aufgaben – wie das Lösen eines Mathe-Rätsels, das Finden eines spezifischen Faktums im Web, das Schreiben eines Stücks Code und das Dekodieren einer geheimen Nachricht – alles innerhalb eines einzigen, massiven Prompts. Denken Sie an ein Videospiel-Level, in dem Sie über eine Grube springen, ein Rätsel lösen müssen, um eine Tür zu öffnen, und dann gegen einen Boss kämpfen müssen, und das alles, ohne die „Reset“-Taste zu drücken. Die Forscher haben 31 dieser komplexen Herausforderungen erstellt, von denen einige so lang und vollgestopft mit Falschinformationen sind, dass es sich anfühlt, als müsste man einen Roman lesen, nur um eine einzige Zahl zu finden. Sie fügten auch eine „Geheimcode“-Ebene hinzu, bei der jedes Wort in den Anweisungen durch einen seltsamen Drei-Buchstaben-Code ersetzt wurde, was das KI-Modell dazu zwingt, die Nachricht erst zu dekodieren, bevor es überhaupt mit der Lösung der Probleme beginnen kann.
Als sie die drei besten KI-Modelle der damaligen Zeit (GPT-5.5, Gemini 3.1 Pro und Claude Opus 4.7) durch diesen Parcours schickten, waren die Ergebnisse ein kleiner Schock. Selbst das intelligenteste Modell, GPT-5.5, bekam nur etwa 43,3 % der Antworten richtig. Das ist weniger als die Hälfte! Die anderen Modelle schnitten noch schlechter ab, wobei eines von ihnen nur 16,7 % erreichte. Das Paper legt nahe, dass diese KI-Modelle zwar sehr gut in Einzelaufgaben werden, aber erheblich damit kämpfen, wenn sie gebeten werden, mehrere verschiedene Fähigkeiten miteinander zu verketten, insbesondere wenn die Anweisungen verwirrend oder die Aufgabe sehr lang ist. Tatsächlich war der Test so schwer, dass viele Modelle einfach aufgaben oder in Schleifen stecken blieben, unfähig, das Rennen zu beenden.
Die Forscher fanden auch heraus, dass diese Modelle manchmal „halluzinieren“, was eine schicke Art zu sagen ist, dass sie Antworten erfinden, wenn sie die Lösung nicht kennen. Ein Modell, Claude Opus 4.7, war sehr vorsichtig; es weigerte sich, viele der kodierten Fragen überhaupt zu beantworten, wahrscheinlich weil seine Sicherheitsfilter zu streng waren. Ein anderes Modell, Gemini 3.1, versuchte öfter zu raten, endete aber mit mehr falschen Antworten. Die Studie unterstreicht, dass aktuelle KI-Modelle noch weit von den Allround-Experten entfernt sind, die wir uns erhoffen. Sie sind wie brillante Studenten, die eine Matheprüfung mit Bravour bestehen können, aber panisch werden könnten, wenn man sie bittet, Mathe zu machen, während sie gleichzeitig ein Gedicht übersetzen und nach einem Rezept suchen. Die Autoren deuten an, dass es noch ein Jahr oder zwei dauern könnte, bis KI-Modelle gut genug sind, um einen solchen „Staffellauf“-Test konsistent zu bestehen, und sie warnen davor, dass diese Tests noch schwieriger werden müssen, um mit zunehmender Intelligenz der Modelle Schritt zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.