When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models
Dieser Beitrag stellt ein diagnostisches Benchmark vor, das zeigt, dass große Sprachmodelle zwar bei kurzen prozeduralen Aufgaben eine hohe Genauigkeit erreichen, ihre Fähigkeit jedoch, schrittweise Algorithmen zuverlässig auszuführen, mit zunehmender Komplexität erheblich nachlässt, was offenbart, dass starke Benchmark-Leistungen oft erhebliche Schwächen bei der Befolgung von Anweisungen verschleiern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Der „Rezept"-Test
Stellen Sie sich vor, Sie geben einem Koch ein sehr spezifisches, schrittweises Rezept, um einen Kuchen zu backen. Das Rezept lautet: „Mischen Sie Mehl und Zucker. Fügen Sie dann Eier hinzu. Rühren Sie dann 10 Sekunden lang um. Dann backen Sie."
Man könnte erwarten, dass der Koch jede einzelne Anweisung in der Reihenfolge befolgt. Aber was, wenn der Koch, anstatt die Schritte zu befolgen, einfach errät, wie ein Kuchen normalerweise schmeckt, und Ihnen ein Ergebnis hinhält? Oder was, wenn er auf halbem Weg aufhört, die letzten drei Schritte vergisst und einfach sagt: „Hier ist der Kuchen"?
Dieses Paper ist wie eine riesige Testküche, in der Forscher 14 verschiedene „Koch"-KI-Modelle (Large Language Models) mit Tausenden dieser spezifischen Rezepte versorgten. Die Rezepte waren einfache Matheprobleme, wurden jedoch so gestaltet, dass sie lang und knifflig waren. Das Ziel war nicht zu sehen, ob die KI schwierige Matheaufgaben lösen konnte, sondern ob sie die Anweisungen treu von Anfang bis Ende befolgen konnte.
Das Setup: Die „Endlose Treppe"
Die Forscher bauten einen speziellen Test mit zwei Hauptmethoden, um die Aufgabe schwieriger zu machen:
- Die Länge der Treppe: Sie gaben der KI Rezepte mit anywhere von 5 bis 95 Schritten. Stellen Sie sich eine Treppe vor. Eine 5-stufige Treppe ist leicht zu erklimmen. Eine 95-stufige Treppe ist erschöpfend.
- Die „Zurückblick"-Regel: Bei einigen Rezepten bezog sich Schritt 10 nicht nur auf das Ergebnis aus Schritt 9. Es könnte geheißen haben: „Gehen Sie zurück und verwenden Sie das Ergebnis aus Schritt 3." Das ist wie einem Wanderer zu sagen: „Machen Sie einen Schritt vorwärts, gehen Sie dann zurück zum dritten Baum, an dem Sie vorbeigekommen sind, und holen Sie sich dort einen Stein." Dies zwingt die KI, Dinge zu erinnern, die weit in der Vergangenheit liegen.
Was sie fanden: Der „Gedächtnisverlust"
Die Ergebnisse waren überraschend. Obwohl die Mathematik einfach war (nur Addieren, Subtrahieren, Multiplizieren oder Dividieren), wurden die KIs immer schlechter, je länger die Rezepte wurden.
- Der Abfall: Bei einem kurzen 5-Schritte-Rezept erhielten die KIs etwa 61 % der Zeit die richtige Antwort. Aber bei einem langen 95-Schritte-Rezept sank ihre Erfolgsrate auf nur noch 20 %.
- Die „Zurückblick"-Probleme: Wenn die KI Schritte aus der fernen Vergangenheit (wie Schritt 3) erinnern musste, sank ihre Leistung noch weiter. Es ist, als ob die KI verwirrt wäre darüber, wo sie sich in der Geschichte befindet.
Wie die KIs versagten: Die „Betrüger"-Köche
Die Forscher schauten nicht nur auf die endgültige Antwort; sie beobachteten, wie die KI versuchte, das Problem zu lösen. Sie stellten fest, dass die KIs die Arbeit oft nicht wirklich erledigten. Stattdessen versuchten sie, auf verschiedene lustige Arten zu „betrügen" oder „Abkürzungen" zu nehmen:
- Der „Frühe Ausstieg" (Unter-Ausführung): Dies war der häufigste Fehler. Die KI würde das Rezept beginnen, ein paar Schritte durchführen, sich langweilen oder verwirren, und dann direkt zum Ende springen, als hätte sie alles fertiggestellt. Das ist wie ein Schüler, der den ersten Satz eines Aufsatzes schreibt, dann aber zum Schluss springt, ohne den Mittelteil zu schreiben.
- Die „halluzinierten" Schritte: Manchmal erfand die KI zusätzliche Schritte, die gar nicht im Rezept standen. Das ist wie ein Koch, der „Unikornstaub darüberstreuen" hinzufügt, obwohl das Rezept nie sagte, dass man das tun soll.
- Die „Selbstkorrektur"-Falle: Manchmal würde die KI die Antwort falsch bekommen, merken, dass sie falsch lag, und versuchen, sie später im Text zu korrigieren. Aber bis sie es korrigiert hatte, hatte sie bereits das Endergebnis verderbt.
- Der „Muster-Erkenner": Anstatt die Mathematik zu machen, schienen einige KIs die Antwort basierend darauf zu erraten, wie die Zahlen aussahen, anstatt tatsächlich die Schritte zu befolgen.
Die Hauptaussage
Das Paper kommt zu dem Schluss, dass nur weil eine KI Ihnen eine „plausible" endgültige Antwort gibt, dies nicht bedeutet, dass sie tatsächlich die Arbeit geleistet hat.
Stellen Sie sich einen Schüler bei einer Prüfung vor. Wenn er die richtige Antwort bekommt, könnte man denken, er habe gelernt. Aber dieses Paper zeigt, dass sie manchmal nur raten oder sich die Antwort von einer früheren Prüfung merken, anstatt das Problem tatsächlich schrittweise zu lösen.
Kurz gesagt: Aktuelle KI-Modelle sind großartig darin, intelligent zu klingen und ein Endergebnis zu liefern, aber sie haben Schwierigkeiten, sich wie ein zuverlässiger Roboter zu verhalten, der eine lange, langweilige Liste von Anweisungen genau so befolgt, wie sie geschrieben steht. Wenn die Anweisungen zu lang werden oder zu viel Erinnerung aus der Vergangenheit erfordern, verliert die KI den Überblick und hört auf, die Regeln zu befolgen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.