LLMs Lean on Priors, Not Programming Language Semantics
Dieses Paper führt PLSemanticsBench ein, um zu demonstrieren, dass zeitgenössische große Sprachmodelle primär auf vortrainierten lexikalischen Assoziationen beruhen, anstatt ihre Argumentation systematisch auf die bereitgestellten formalen Programmsemantiken zu konditionieren, wie der starke Leistungsabfall bei Konfrontation mit semantischen Mutationen, neuartigen Symbolen und langen Ausführungstraces belegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: Denken LLMs oder raten sie nur?
Stellen Sie sich vor, Sie bringen einem Schüler ein neues Brettspiel bei. Sie überreichen ihm das Regelbuch und sagen: „In diesem Spiel bewegst du dich rückwärts, wenn du eine 6 würfelst.“
Ein kluger Schüler, der die Regeln versteht, wird sofort rückwärts ziehen, wenn er eine 6 würfelt, selbst wenn er dieses spezifische Spiel noch nie gespielt hat.
Ein Schüler, der jedoch Muster auswendig gelernt hat, indem er tausende anderer Brettspiele gespielt hat, könnte jedoch zögern. Er könnte denken: „Warte, bei Monopoly und Clue bedeutet eine 6 meistens, dass man vorwärts zieht. Ich ziehe einfach vorwärts, weil das normalerweise so ist.“ Er verlässt sich auf seine bisherige Erfahrung (seine „Priors“) statt auf die spezifischen Regeln, die Sie ihm gerade gegeben haben.
Diese Arbeit fragt: Verhalten sich Large Language Models (LLMs) wie der kluge Schüler, der die neuen Regeln befolgt, oder wie der muster-auswendig-lernende Schüler, der die neuen Regeln ignoriert?
Das Experiment: Eine „magische“ Programmiersprache
Um dies zu testen, entwickelten die Forscher eine spezielle, leichtgewichtige Programmiersprache namens C⋆. Betrachten Sie diese Sprache als eine leere Leinwand.
Dann setzten sie einen kniffligen Test mit drei verschiedenen Szenarien auf:
- Der Standard-Test: Sie gaben dem Modell den Code und die normalen Regeln (z. B.
+bedeutet addieren). Das ist wie das Spielen einer normalen Partie Schach. - Der „Swap“-Test (KeywordSwap): Sie ließen den Code exakt gleich aussehen, tauschten aber die Bedeutungen der Symbole im Regelbuch aus.
- Der Trick: Sie sagten dem Modell: „In dieser Version bedeutet das
+-Zeichen tatsächlich Subtraktion.“ - Das Ziel: Wenn das Modell wirklich den Regeln folgt, sollte es subtrahieren. Wenn es sich auf sein Gedächtnis verlässt, wird es trotzdem addieren, weil es daran gewöhnt ist, dass
+Addition bedeutet.
- Der Trick: Sie sagten dem Modell: „In dieser Version bedeutet das
- Der „Alien“-Test (KeywordObf): Sie ersetzten alle vertrauten Symbole durch seltsame, außerirdisch aussehende Zeichen (wie Symbole aus einer alten, vergessenen Schrift) und gaben dem Modell ein Regelbuch, das definiert, was diese Alien-Symbole bedeuten.
- Das Ziel: Da das Modell diese Symbole noch nie gesehen hat, muss es sich vollständig auf das neue Regelbuch verlassen. Es kann nicht schummeln, indem es sein Wissen darüber nutzt, was ein
+normalerweise tut.
- Das Ziel: Da das Modell diese Symbole noch nie gesehen hat, muss es sich vollständig auf das neue Regelbuch verlassen. Es kann nicht schummeln, indem es sein Wissen darüber nutzt, was ein
Die Ergebnisse: Die „Muster-Auswendig-Lerner“ gewinnen (und verlieren)
Die Forscher testeten 11 der klügsten verfügbaren KI-Modelle. Hier ist, was passierte:
1. Wenn die Regeln normal waren:
Die Modelle waren großartig! Sie konnten das Ergebnis des Codes mit hoher Genauigkeit vorhersagen (bis zu 90 %). Sie wirkten wie Genies.
2. Wenn die Regeln getauscht wurden (Das „Addieren“ wird zum „Subtrahieren“):
Die Modelle brachen zusammen. Ihre Genauigkeit sank um 40 % bis 60 %.
- Die Analogie: Es ist wie bei einem Koch, der schon eine Million Burger zubereitet hat. Sie sagen ihm: „Heute machen wir einen Burger, aber das Brötchen ist eigentlich eine Kartoffel.“ Ein echter Koch würde die Kartoffel verwenden. Diese Modelle jedoch versuchten weiterhin, das Brötchen zu verwenden, weil ihr Gehirn so sehr an „Burger = Brötchen“ gewöhnt war. Sie konnten ihr Muskelgedächtnis nicht überstimmen, um Ihre neue Anweisung zu befolgen.
3. Wenn die Regeln „alienhaft“ waren (Der „KeywordObf“-Test):
Die Modelle schnitten hier etwas besser ab als im Swap-Test, aber sie hatten immer noch erhebliche Schwierigkeiten. Sie konnten dem neuen Regelbuch nicht voll vertrauen.
4. Die Langstrecke (Komplexe Schleifen):
Wenn der Code lang und kompliziert wurde (wie eine Geschichte mit vielen Kapiteln und Schleifen), scheiterten fast alle Modelle. Selbst die „klügsten“ Modelle bekamen nur etwa 35 % der langen, komplexen Sequenzen richtig. Sie verloren sich in der Mitte der Geschichte und vergaßen die Regeln, denen sie folgen sollten.
Die „Reasoning“-Modelle vs. die „Nicht-Reasoning“-Modelle
Die Forscher testeten auch Modelle, die speziell darauf ausgelegt sind, „Schritt für Schritt zu denken“ (sogenannte Reasoning-Modelle).
- Die gute Nachricht: Diese Modelle waren besser darin, den neuen Regeln zu folgen als die Standardmodelle.
- Die schlechte Nachricht: Selbst die besten „Reasoning“-Modelle scheiterten, wenn die Regeln getauscht wurden. Sie verließen sich immer noch zu sehr auf das, was sie zuvor gesehen hatten. Sie konnten den Regeln eine Zeit lang folgen, aber sobald die Regeln seltsam wurden oder die Aufgabe lang wurde, fielen sie in ihre alten Gewohnheiten zurück.
Der „Chain of Thought“ (Mit sich selbst sprechen)
Die Forscher probierten einen Trick namens „Chain of Thought“ aus, bei dem sie die Modelle baten, ihr Denken laut zu erklären, bevor sie die Antwort gaben.
- Ergebnis: Dies half den Modellen, bei normalen Aufgaben besser zu werden. Aber als die Regeln getauscht wurden (z. B.
+bedeutet subtrahieren), half das „laute Sprechen“ nicht. Die Modelle rechneten immer noch falsch, weil ihr internes „Muskelgedächtnis“ zu stark war.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle nicht wirklich auf Basis der Regeln „reasoning“-fähig sind, die man ihnen gibt. Stattdessen sind sie statistische Ratemaschinen, die stark auf das angewiesen sind, was sie in ihren Trainingsdaten gesehen haben.
- Die Metapher: Stellen Sie sich einen Schauspieler vor, der das Skript eines Stücks auswendig gelernt hat. Wenn Sie ihm sagen: „Heute improvisieren wir, und das Wort ‚Hallo‘ bedeutet eigentlich ‚Auf Wiedersehen‘“, werden sie wahrscheinlich trotzdem „Hallo“ sagen, weil sie es einfach gewohnt sind, dieses Wort zu sagen. Sie verarbeiten die neue Bedeutung nicht wirklich; sie rezitieren lediglich das wahrscheinlichste Wort aus ihrem Gedächtnis.
Kurz gesagt: Wenn Sie möchten, dass eine KI einem völlig neuen Satz strenger Regeln folgt (wie einer neuen Programmiersprache oder einem neuen Rechtsvertrag), sind aktuelle Modelle nicht zuverlässig. Sie werden wahrscheinlich Ihre neuen Regeln ignorieren und das tun, wovon sie vermutlich halten, dass Sie es gemeint haben, basierend auf ihrem bisherigen Training.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.