LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning
Dieses Paper argumentiert, dass das Versagen von LLMs bei der Einhaltung impliziter Machbarkeitsbeschränkungen nicht auf einen Mangel an Wissen zurückzuführen ist, sondern auf einen Routing-Engpass, bei dem die kodierte Beschränkung während der Entscheidungsfindung nicht konsistent aktiviert wird – eine Einschränkung, die durch promptbasierte Interventionen nicht überwunden werden kann, aber durch gezieltes Activation Patching teilweise repariert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man Entscheidungen trifft. Sie geben ihm eine riesige Bibliothek an Büchern, damit er fast alles über die Welt weiß. Aber dann stellen Sie ihm eine knifflige Frage: „Ich möchte mein Auto waschen, und die Autowaschanlage ist 50 Meter entfernt. Soll ich laufen oder fahren?“ Ein Mensch würde sofort realisieren: „Warte, wenn ich fahre, brauche ich mein Auto, um es zu fahren!“ Aber der Roboter, obwohl er jedes Buch über Autos und das Waschen von ihnen gelesen hat, könnte selbstbewusst sagen: „Fahren!“, weil er das Wort „Auto“ und das Wort „fahren“ sieht und denkt: „Oh, das passt zusammen!“
Dieses Paper taucht in eine spezifische Ecke der Künstlichen Intelligenz ein, die Large Language Models (LLMs) genannt werden. Das sind die gehirnreichen KI-Systeme, die chatten, Geschichten schreiben und Probleme lösen. Das große Rätsel, das Forscher lösen wollen, ist der Unterschied zwischen Wissen und Anwenden. Denken Sie an einen Schüler, der das gesamte Regelwerk eines Spiels auswendig gelernt hat, aber beim Spielen ständig die Regeln vergisst, weil er von den glänzenden Spielfiguren auf dem Brett abgelenkt wird. Wissenschaftler haben lange vermutet, dass diese KIs die verborgenen Regeln der Logik zwar „wissen“, sie aber nicht anwenden können, wenn die Situation knifflig wird. Das ist wichtig, denn wenn wir wollen, dass KI in der realen Welt sicher und zuverlässig ist – zum Beispiel bei der Unterstützung von Ärzten oder beim Autofahren –, müssen wir wissen, ob sie wirklich denkt oder nur basierend auf oberflächlichen Hinweisen rät.
Die Forscher hinter dieser Studie haben beschlossen, Detektiv zu spielen und 14 verschiedene KI-Modelle zu untersuchen, um genau herauszufinden, was in ihren „Gehirnen“ passiert, wenn sie diese Fehler machen. Sie entwarfen ein kluges Experiment unter Verwendung eines „Quartetts“ von Szenarien. Stellen Sie sich vier Versionen derselben Geschichte vor: eine, in der die verborgene Regel vorhanden ist (das Auto fehlt), eine, in der die Regel entfernt wurde (das Auto ist magisch da), eine, in der die Regel laut herausgeschrien wird („Denk daran, das Auto fehlt!“), und eine, in der sie einfach einen zufälligen Satz gleicher Länge hinzufügen, um zu sehen, ob die KI einfach lange Geschichten mag.
Hier ist die Wendung, die sie entdeckten: Die KI ist nicht dumm; sie ist nur abgelenkt. Aber noch wichtiger ist, dass die Forscher fanden, dass die „Ablenkung“ der KI auf zwei sehr unterschiedliche Arten geschieht.
Als die Forscher in das „Gehirn“ der KI blickten (ihre verborgenen Datenschichten), fanden sie, dass die KI die Regel tatsächlich kennt. Sie konnten einen einfachen Detektor bauen, der die internen Gedanken der KI las und sagte: „Ja, das Auto fehlt!“, mit einer Genauigkeit von über 88 % bis 94 %. Das Wissen war direkt dort vorhanden, wie ein Fakt, der auf einem Schreibtisch liegt.
Das Problem ist jedoch, dass die KI dieses Wissen nicht nutzt, wenn es Zeit für die endgültige Entscheidung ist. Es ist wie ein GPS, das weiß, dass die Straße gesperrt ist, aber der Fahrer (der Entscheidungsteil der KI) ignoriert das GPS und fährt trotzdem weiter. Die Forscher nennen dies ein Routing-Problem. Die Information existiert, aber der Pfad zur Antwort ist blockiert oder wird ignoriert.
Entscheidend war, dass sie zwei unterschiedliche Arten von Robotern entdeckten, die auf unterschiedliche Weise scheitern:
- Die „überaktiven“ Roboter: Einige Modelle (wie Llama-4 und Claude Opus) sind so bestrebt, sicher zu sein, dass sie die „regelintensive“ Antwort anwenden (z. B. „Laufen“), selbst wenn diese Einschränkung eigentlich abwesend ist. Wenn man das Auto aus der Geschichte entfernt, sagen sie immer noch „Laufen“, weil sie zu der „sicheren“ Antwort neigen. Sie kennen die Regel, aber sie können sie nicht abschalten, wenn sie es sollten, was dazu führt, dass sie den Logiktest dadurch verfehlen, dass sie eine Regel anwenden, die gar nicht existiert.
- Die „unteraktiven“ Roboter: Andere Modelle (wie GPT-OSS) versagen dabei, die Regel anzuwenden, selbst wenn sie vorhanden ist. Sie sehen das fehlende Auto und sagen trotzdem „Fahren“. Sie wissen, dass die Regel da ist, aber ihre interne Verdrahtung ist so kaputt, dass das Wissen niemals den Entscheidungsknopf erreicht.
Sie testeten dies durch etwas, das sie „Activation Patching“ nennen. Stellen Sie sich vor, Sie könnten den „Gedanken“ aus einem Moment nehmen, in dem die KI sich an die Regel erinnerte (zum Beispiel, als man sie laut herausgeschrien hat), und diesen direkt in den Moment einfügen, in dem die KI die Regel vergessen hatte. Bei den ausgewogenen Modellen (wie Qwen3-14B) funktionierte dieses magische Einfügen perfekt! Die KI bekam plötzlich die richtige Antwort, was bewies, dass das Wissen vorhanden war und nur einen Anstoß brauchte, um zur Entscheidung zu gelangen. Aber bei den unteraktiven Modellen bewirkte das Einfügen gar nichts. Selbst obwohl sie die Regel kannten, war ihre interne Verdrahtung so defekt, dass dieses Wissen niemals den Entscheidungsknopf erreichen konnte. (Hinweis: Die Forscher haben dieses Patching nicht an der „überaktiven“ Gruppe getestet, daher wissen wir nicht, ob das Einfügen sie geheilt hätte).
Das Paper testete auch die populärsten Methoden, mit denen Menschen versuchen, KI-Fehler zu beheben, wie etwa die Aufforderung an die KI, „Schritt für Schritt zu denken“ oder „die Voraussetzungen aufzulisten“. Die Ergebnisse waren überraschend: Keiner dieser Tricks hat das Problem tatsächlich behoben. Stattdessen machten sie die KI sogar wahrscheinlicher dazu, die „sichere“ Antwort (wie „laufen“) zu raten, selbst wenn sie es nicht sollte. Es stellt sich heraus, dass, wenn man einer KI sagt, sie solle „intensiver nachdenken“, sie nur lauter darüber spricht, die Regel zu erwähnen, aber sie immer noch nicht weiß, wann sie sie anwenden soll. Es ist wie ein Schüler, dem gesagt wird, er solle „seinen Rechenweg zeigen“, woraufhin er die Regel in jeder einzelnen Zeile seiner Hausaufgaben aufschreibt, selbst dort, wo die Regel gar nicht relevant ist.
Zusammenfassend lässt sich sagen, dass das Paper nahelegt, dass das Scheitern nicht darauf beruht, dass der KI an Wissen mangelt. Es liegt daran, dass die KI einen „Routing-Engpass“ hat. Sie kennt die Wahrheit, aber sie kann nicht entscheiden, wann sie diese Wahrheit als Leitfaden für ihre Antwort nutzen soll. Die aktuellen Methoden, der KI einfach nur zu sagen, sie solle „mehr versuchen“ oder „mehr nachdenken“, reparieren nicht die defekte Verdrahtung; sie machen die KI nur sicherer in ihren falschen Vermutungen. Um dies wirklich zu beheben, müssen wir vielleicht die internen Pfade neu bauen, die verbinden, was die KI weiß, mit dem, was sie entscheidet zu sagen, und wir benötigen unterschiedliche Lösungen für die Roboter, die zu eifrig sind gegenüber denen, die zu passiv sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.