Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Rätsel zu lösen. Sie zeigen ihm ein paar Beispiele: „Wenn ich einen roten Block hier platziere, erscheint dort ein blauer Block.“ Dann fragen Sie ihn, was als Nächstes passiert. Manchmal hat der Roboter recht, aber denkt er wirklich über die Regeln des Rätsels nach oder rät er nur basierend darauf, wie die Wörter normalerweise zusammen klingen? Dies ist das große Mysterium hinter modernen „Large Language Models“ (LLMs), den superintelligenten KI-Chatbots, die wir heute nutzen. Wissenschaftler nennen dies „In-Context Learning“ – die Fähigkeit, eine neue Aufgabe allein durch das Lesen weniger Beispiele in einem Prompt zu lernen. Das Problem ist, dass wir kein perfektes Lineal haben, um zu messen, ob der Roboter tatsächlich schlussfolgert oder nur Muster abgleicht. Normalerweise können wir nur einen Roboter mit einem anderen oder mit einem Menschen vergleichen, aber wir kennen nicht die „Gottesperspektive“ dessen, was die perfekte Antwort sein sollte.

Um dies zu beheben, haben die Autoren dieser Arbeit ein spezielles, winziges und perfekt kontrolliertes Universum erschaffen. Sie haben einen Benchmark namens F-ICL entwickelt. Betrachten Sie dies als eine riesige, erschöpfende Bibliothek jedes möglichen einfachen Computerprogramms, das ein spezifisches Typ von Binärrätsel (unter Verwendung von nur 0 und 1) lösen könnte. Da sie jedes einzelne dieser 1,5 Milliarden winzigen Programme aufgelistet haben, können sie die mathematisch perfekte Antwort für jedes Rätsel berechnen. Diese perfekte Antwort wird als „Bayes-optimale“ Lösung bezeichnet. Sie ist der Goldstandard: die absolut beste Vermutung, die eine Maschine angesichts der Beweise anstellen könnte. Nun können sie endlich ein echtes KI-Modell gegen diesen Goldstandard halten und genau sehen, wie weit es daneben liegt. Es ist, als hätte man eine perfekte Karte einer Stadt und würde dann prüfen, ob eine GPS-App Sie tatsächlich auf der kürzesten Route führt oder ob sie nur baselt, basierend auf dem Verkehrsmuster, das sie gestern gesehen hat.

Die große Kluft des Denkens

Die Forscher nahmen ein massives Panel von 105 verschiedenen KI-Modellen – von Open-Source-Projekten bis hin zu den fortschrittlichsten „Frontier“-Systemen führender Tech-Labore – und unterzogen sie dem F-ICL-Test. Sie wollten sehen, ob diese Modelle in der Lage sind, wie perfekte Bayes-Rechner zu agieren und ihre Überzeugungen logisch zu aktualisieren, wenn neue Beweise eintreffen.

Hier kommt die überraschende Wendung: Die Modelle sind gut darin, die richtige Antwort zu geben, aber schlecht darin, wie eine perfekte Maschine zu schlussfolgern.

Obwohl einige Modelle die richtige Antwort bis zu 92 % der Zeit korrekt lieferten, war ihre interne „Vermutungsverteilung“ (die Art und Weise, wie sie verschiedene Möglichkeiten gewichten) oft schlechter als die eines einfachen Zufallsguesers. Tatsächlich schnitten 45 von 46 Modellen schlechter ab als eine „Tastatur-Referenz“. Stellen Sie sich einen Affen vor, der wahllos Tasten auf einer Tastatur drückt; dieser zufällige Affe erzeugte tatsächlich eine Wahrscheinlichkeitsverteilung, die der perfekten mathematischen Wahrheit näher kam als die meisten fortgeschrittenen KI-Modelle. Die Modelle lagen nicht nur leicht daneben; sie waren sich der zugrunde liegenden Logik sehr sicher, lagen aber falsch.

Der „Über-Commitment“-Fehler

Eine der spielerischsten und aufschlussreichsten Erkenntnisse ist, wie sich die Modelle verhalten, wenn man ihnen nur ein einziges Beispiel gibt. Ein perfekter Denker würde mit jedem neuen Hinweis etwas besser werden. Aber diese KI-Modelle werden oft schlechter, nachdem sie nur ein einziges Beispiel gesehen haben, bevor sie anfangen, besser zu werden.

Es ist, als würde man einem Detektiv einen einzigen Hinweis zu einem Verbrechen zeigen, und anstatt sorgfältig nachzudenken, schreit er sofort: „Ich weiß, wer es war!“ und legt sich auf den falschen Verdächtigen fest. Erst nachdem man ihm ein paar weitere Hinweise gezeigt hat, beginnt er langsam zurückzuweichen und fängt an, die Beweise wieder zu betrachten. Die Studie fand heraus, dass 69 von 81 Modellläufen diesen Fehler machten, indem sie zu schnell voreilige Schlüsse zogen. Sie „verpflichten sich zu sehr“ (over-committing) auf das erste Stück Daten, das sie sehen, anstatt darauf zu warten, das ganze Bild zu sehen.

Größe behebt die Logik nicht

Man könnte denken, dass größere, intelligentere Modelle dies beheben würden. Die Studie testete Modelle mit Milliarden von Parametern (der „Gehirngröße“ der KI), von winzigen mit 0,8 Milliarden bis hin zu massiven mit 675 Milliarden. Das Ergebnis? Größere Modelle wurden besser darin, die richtige Antwort zu geben, aber sie wurden nicht besser im Schlussfolgern.

Die Lücke zwischen dem Verhalten des Modells und dem perfekten mathematischen Standard blieb exakt gleich, egal wie riesig das Modell war. Ob ein Modell nun 1 Milliarde oder 600 Milliarden Parameter hatte, es kämpfte immer noch damit, der perfekten „Bayes-optimalen“ Logik zu entsprechen. Es ist, als würde man einem Studenten immer größere und größere Bibliotheken an Büchern geben (mehr Daten), aber er lernt immer noch nicht, wie man eine Karte benutzt; er wird nur besser darin, die Buchtitel auswendig zu lernen.

Die „Sicherheits“- und „Training“-Falle

Das Paper untersuchte auch, was passiert, wenn Modelle „post-trained“ werden – das heißt, wenn Menschen sie anpassen, damit sie hilfreicher sind, Anweisungen folgen oder „sicherer“ sind. Überraschenderweise machte dieses Training die Kluft des Denkens größer.

Wenn Modelle darauf getrimmt wurden, „anweisungsfolgend“ zu sein oder mehr zu „denken“, bewegten sie sich tatsächlich weiter weg vom perfekten logischen Standard. Es scheint, dass das Lehren eines Modells, höflich zu sein oder einem bestimmten Chat-Format zu folgen, es dazu bringen kann, die rohe, logische Struktur des Problems zu ignorieren. Es ist, als würde man einem Schachspieler beibringen, nach einer Partie immer „Gutes Spiel“ zu sagen; er mag dadurch angenehmer werden, aber er könnte die eigentlichen Regeln des Spiels vergessen.

Die Grenze stagniert

Die Forscher betrachteten auch die neuesten, teuersten Modelle der größten Technologieunternehmen, die in den letzten zwei Jahren veröffentlicht wurden. Sie fanden heraus, dass sich die Treue zum perfekten logischen Standard überhaupt nicht verbessert hat. Die neuesten Modelle sind genauso weit von einem perfekten Denker entfernt wie die älteren Modelle es waren. Tatsächlich war das älteste getestete Modell (aus dem Mai 2024) dasjenige, das dem logischen Standard am treuesten war, während die neuesten etwas schlechter abschnitten.

Das „Terminierungs“-Problem

Ein spezifischer Grund, warum die Modelle so schlecht abschnitten, war die Handhabung des Satzendes. Das perfekte mathematische Modell weiß genau, wann eine Sequenz von 0 und 1 enden sollte. Die KI-Modelle hingegen waren sehr schlecht darin. Sie vermuteten oft, dass eine Sequenz enden sollte, obwohl sie es nicht sollte, oder sie machten weiter, wenn sie eigentlich hätten aufhören sollen. Dieser spezifische Fehler machte fast 90 % ihrer Fehler aus. Es ist, als wären die Modelle großartig darin, die Geschichte zu schreiben, aber schrecklich darin, zu wissen, wann sie einen Punkt am Ende setzen müssen.

Das Urteil

Das Paper kommt zu dem Schluss, dass diese KI-Modelle zwar unglaublich gut in der Mustervervollständigung (Pattern Completion) sind – also darin, das wahrscheinlichste nächste Wort basierend auf dem zu finden, was sie zuvor gesehen haben –, sie aber noch kein echtes algorithmisches Denken betreiben. Sie bauen kein mentales Modell der Regeln auf, sondern fügen lediglich Muster zusammen.

Die Autoren haben ihren Benchmark F-ICL als offenes Werkzeug veröffentlicht, damit andere Wissenschaftler ihn weiter testen können. Sie fanden heraus, dass aktuelle Modelle in einer „Musterabgleich-Zone“ feststecken, die zwischen einem zufälligen Raten und einem perfekten logischen Denker liegt, aber viel näher am zufälligen Raten. Bis diese Modelle diese Lücke schließen können, mögen sie zwar hervorragend darin sein, Essays oder Code-Schnipsel zu schreiben, aber sie „denken“ noch nicht wirklich in der Weise, wie wir es uns erhoffen. Die Lücke wird nicht durch größere Modelle oder längeres Training geschlossen; es scheint eine grundlegende Änderung in der Art und Weise zu erfordern, wie sie Informationen verarbeiten.