💻 computer science

Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

Dieser Artikel führt eine modelladaptive Definition von Werkzeugnotwendigkeit ein, um eine signifikante „Wissens-Tätigkeits-Lücke" in großen Sprachmodellen aufzudecken, und zeigt, dass das primäre Versagen beim Werkzeuggebrauch nicht aus einem Mangel an Erkennung des Bedarfs an Werkzeugen resultiert, sondern aus einer Diskrepanz bei der Umsetzung dieser internen Erkennung in tatsächliche Werkzeugaufruf-Aktionen.

Ursprüngliche Autoren: Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feiz

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yize Cheng, Chenrui Fan, Mahdi JafariRaviz, Keivan Rezaei, Soheil Feiz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die Lücke zwischen „Wissen" und „Tun"

Stellen Sie sich vor, Sie sind ein Koch in einer Küche. Sie haben einen sehr klugen Assistenten (die KI), der fast alles kochen kann. Manchmal braucht der Koch ein spezielles Werkzeug, wie einen Mixer oder ein Thermometer, um ein Gericht perfekt zuzubereiten. Zu anderen Zeiten kann der Koch einfach seine Hände und ein Messer verwenden.

Das Problem, das dieses Papier untersucht, lautet: Weiß der Assistent, wann er um ein Werkzeug bitten muss, und bittet er tatsächlich darum, wenn er weiß, dass er eines braucht?

Die Forscher stellten fest, dass KI-Modelle oft eine „Lücke zwischen Wissen und Tun" aufweisen. Es ist so, als würde der Assistent dort stehen und denken: „Oh wow, ich brauche definitiv einen Mixer für diesen Smoothie," aber statt den Mixer zu nehmen, versucht er einfach weiter, die Früchte mit einem Messer zu hacken. Sie wissen, was richtig zu tun ist, scheitern aber daran, es tatsächlich zu tun.

1. Der alte Weg vs. der neue Weg zur Messung des „Bedarfs"

Der alte Weg (Modell-agnostisch):
Früher entschieden Forscher, ob eine Aufgabe ein Werkzeug benötigt, basierend auf einer festen Regel. Zum Beispiel: „Wenn die Frage das Wetter betrifft, wird immer ein Werkzeug benötigt." Sie behandelten alle KI-Modelle gleich und gingen davon aus, dass, wenn ein Mensch einen Taschenrechner braucht, auch jede KI einen braucht.

Der neue Weg (Modell-adaptiv):
Die Autoren sagen, das ist falsch, weil KI-Modelle unterschiedlich sind. Ein superkluger KI-Modell könnte komplexe Mathematik im Kopf lösen, während ein kleineres KI-Modell den Überblick verliert.

Die Analogie: Stellen Sie sich eine Mathearbeit vor. Ein Genie-Schüler (Starkes Modell) kann $12 \times 12$ im Kopf lösen. Ein jüngerer Schüler (Schwaches Modell) braucht einen Taschenrechner.
Die Regel des Papiers: Eine Aufgabe ist nur dann „werkzeugnotwendig", wenn das spezifische KI-Modell versagt, sie allein konsistent zu lösen. Wenn die KI es kann, braucht sie das Werkzeug nicht. Wenn sie es nicht kann, braucht sie es.

2. Das Experiment: Was lief schief?

Die Forscher testeten vier verschiedene KI-Modelle an zwei Arten von Aufgaben: Mathematik (wie $123 + 456$ ) und Fakten (wie „Wer war der 5. Präsident?").

Sie stellten eine enorme Fehlerrate fest:

Die Fehlanpassung: In 26 % bis 54 % der Fälle tat die KI das Falsche.
- Übermäßige Werkzeugnutzung: Die KI bat um einen Taschenrechner, obwohl sie das Matheproblem selbst hätte lösen können.
- Untermäßige Werkzeugnutzung: Die KI versuchte, eine schwierige Frage aus dem Gedächtnis zu beantworten, anstatt sie nachzuschlagen, und lag falsch.

3. Der Zwei-Phasen-Prozess: Kognition vs. Ausführung

Um zu verstehen, warum dies passiert, zerlegten die Forscher den Denkprozess der KI in zwei Schritte, wie eine zweistufige Rakete:

Phase 1: Kognition (Das „Wissen")
- Dies ist der interne Denkprozess. Die KI betrachtet das Problem und entscheidet: „Brauche ich Hilfe?"
- Ergebnis: Das Gehirn der KI weiß tatsächlich die Antwort. Wenn Sie einen Blick in ihren „Geist" (ihre versteckten Datenschichten) werfen, können Sie deutlich ein Signal sehen, das sagt: „Ja, ich brauche ein Werkzeug" oder „Nein, ich komme zurecht."
Phase 2: Ausführung (Das „Tun")
- Dies ist der Moment, in dem die KI entscheidet, welches Wort sie als Nächstes tippt. Tippt sie die Antwort oder den Befehl, das Werkzeug zu öffnen?
- Ergebnis: Hier bricht das System zusammen. Obwohl das „Wissens"-Signal klar war, ging das „Tun"-Signal verloren oder wurde ignoriert.

4. Das „Orthogonale" Problem (Die Wendung)

Hier ist der technischste, aber faszinierendste Teil, einfach erklärt:

Stellen Sie sich das Gehirn der KI als eine riesige Landkarte vor.

Es gibt einen blauen Pfeil, der auf „Ich brauche ein Werkzeug" zeigt.
Es gibt einen roten Pfeil, der auf „Ich werde ein Werkzeug rufen" zeigt.

In der Mitte des Denkprozesses der KI zeigen diese beiden Pfeile in etwa in die gleiche Richtung. Sie sind ausgerichtet. Die KI weiß, dass sie ein Werkzeug braucht, und denkt darüber nach, eines zu rufen.

Allerdings, genau im allerletzten Moment, bevor die KI spricht (die letzte Schicht ihres Gehirns), passiert etwas Seltsames. Der blaue Pfeil und der rote Pfeil drehen sich plötzlich um 90 Grad und zeigen in völlig verschiedene Richtungen. Sie werden orthogonal (senkrecht).

Die Metapher: Es ist wie ein Fahrer, der auf die Landkarte schaut (und weiß, dass er links abbiegen muss), aber in der allerletzten Sekunde dreht seine Hand das Lenkrad versehentlich nach rechts. Das Wissen war da, aber die Handlung folgte dem Wissen nicht.

5. Die Schlussfolgerung: Es ist kein Vertrauensproblem

Man könnte denken: „Vielleicht ist die KI einfach unsicher? Vielleicht ist sie verwirrt, weiß also nicht, ob sie das Werkzeug rufen soll oder nicht?"

Die Forscher prüften dies. Sie stellten fest, dass die „Lücke zwischen Wissen und Tun" auch dann auftritt, wenn die KI zu 100 % sicher ist.

Das interne Signal der KI sagt: „Ich bin zu 100 % sicher, dass ich ein Werkzeug brauche."
Aber die Handlung, die sie ausführt, lautet: „Ich werde ohne Werkzeug antworten."

Zusammenfassung

Das Papier zeigt auf, dass Large Language Models oft an einer Lücke zwischen Wissen und Tun leiden.

Sie können korrekt identifizieren, wann sie Hilfe benötigen (Kognition).
Aber sie scheitern daran, diese Identifizierung in die tatsächliche Handlung der Werkzeugnutzung umzusetzen (Ausführung).
Dieses Versagen geschieht, weil der Teil der KI, der „weiß", und der Teil, der „handelt", genau im Moment der Entscheidung voneinander getrennt werden.

Um KI-Agenten zu verbessern, können wir sie nicht nur lehren, zu erkennen, wann sie Hilfe brauchen; wir müssen die gebrochene Brücke zwischen Wissen und Tun reparieren.

Technische Zusammenfassung: Modelladaptive Werkzeugnotwendigkeit offenbart die Lücke zwischen Wissen und Handeln bei der Werkzeugnutzung durch LLMs

Problemstellung

Large Language Models (LLMs) werden zunehmend als autonome Agenten eingesetzt, die entscheiden müssen, ob sie Anfragen direkt beantworten oder externe Werkzeuge (z. B. Rechner, Such-APIs) aufrufen. Bisherige Forschung zur adaptiven Werkzeugnutzung hat die „Werkzeugnotwendigkeit" weitgehend als statische, modellunabhängige Eigenschaft behandelt, die typischerweise von menschlichen Bewertern oder leistungsstarken LLMs annotiert wird. Dieser Ansatz geht davon aus, dass eine Anfrage unabhängig von den spezifischen Fähigkeiten eines Modells inhärent entweder werkzeugabhängig oder werkzeugunabhängig ist.

In der realen Anwendung ist die Werkzeugnotwendigkeit jedoch aufgrund der Divergenz von Fähigkeitsgrenzen über verschiedene Modelle hinweg fundamental nuanciert. Ein Problem, das von einem State-of-the-Art-Modell allein mit seinen internen Gewichten lösbar ist, kann die Fähigkeiten eines kleineren oder schwächeren Modells übersteigen, wodurch die Werkzeugnutzung für Letzteres strikt notwendig, für Ersteres jedoch überflüssig wird. Folglich können statische Annotationen nicht genau charakterisieren, wann ein spezifisches LLM tatsächlich externe Unterstützung benötigt. Darüber hinaus hat die bestehende Arbeit nicht ausreichend diagnostiziert, warum Modelle Werkzeuge nicht aufrufen, wenn dies nötig ist, oder unnötigerweise aufrufen, obwohl sie möglicherweise das interne Wissen dafür besitzen.

Methodik

Die Autoren schlagen einen Rahmen vor, der auf modelladaptiver Werkzeugnotwendigkeit und einer zweistufigen Zerlegung des Werkzeugnutzungsprozesses basiert.

Definition der modelladaptiven Werkzeugnotwendigkeit:
Anstelle statischer Labels wird die Werkzeugnotwendigkeit ( $n_f(x)$ ) empirisch basierend auf der Leistung eines spezifischen Modells $f$ definiert. Die Autoren führen $N$ unabhängige Inferenzläufe bei Temperatur $T$ ohne Werkzeugzugriff durch.
- Wenn das Modell über alle $N$ Läufe hinweg konsistent korrekt antwortet, wird die Anfrage als werkzeugunnötig ( $n_f(x) = 0$ ) eingestuft.
- Wenn das Modell mindestens einmal versagt, wird die Anfrage als werkzeugnotwendig ( $n_f(x) = 1$ ) eingestuft.
  Diese Definition erfasst die Zuverlässigkeit unter Unsicherheit und erkennt an, dass ein Modell, das ohne Werkzeuge nur gelegentlich erfolgreich ist, dennoch von externer Unterstützung profitiert.
Zweistufige Zerlegung (Kognition vs. Ausführung):
Der Werkzeugnutzungsprozess wird modelliert als $x \to z_f(x) \to a_f(z_f(x))$ , wobei:
- Kognition ( $z_f$ ): Die interne Repräsentation des Modells darüber, ob ein Werkzeug benötigt wird.
- Ausführung ( $a_f$ ): Die tatsächliche Entscheidung, werkzeugauslösende Tokens auszugeben.
  Der End-to-End-Fehler wird in die Diskrepanz zwischen tatsächlicher Notwendigkeit und Kognition sowie die Diskrepanz zwischen Kognition und Ausführung zerlegt.
Mechanistische Interpretierbarkeit durch Probing:
Die Autoren wenden lineares Probing auf die versteckten Zustände von LLMs an, um beide Stufen zu analysieren:
- Kognitions-Probe: Trainiert einen linearen Klassifikator ( $w_c$ ), um das modelladaptive Notwendigkeitslabel aus den versteckten Zuständen vorherzusagen.
- Aktions-Probe: Trainiert einen linearen Klassifikator ( $w_a$ ), um das tatsächliche Werkzeugaufrufverhalten vorherzusagen.
- Geometrische Analyse: Die Kosinusähnlichkeit zwischen $w_c$ und $w_a$ wird über Schichten und Token-Positionen hinweg berechnet, um festzustellen, ob die interne Überzeugung und die Ausführungsabsicht übereinstimmen.
Trajektorienverfolgung:
Proben werden durch den zweistufigen Prozess verfolgt, um Fehler zuzuordnen. Eine Probe wird basierend darauf kategorisiert, ob der Fehler in der Kognitionsstufe, der Ausführungsstufe oder in beiden auftritt.

Experimenteller Aufbau

Modelle: Vier verschiedene LLMs wurden evaluiert: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct und Llama-3.2-3B-Instruct.
Datensätze:
- Arithmetik: 4.000 Instanzen, die von einfacher Addition bis zu komplexen mehrstufigen Operationen mit Modulo und Operatorpräzedenz reichen.
- Faktische QA: TruthfulQA (817 Instanzen), entwickelt zur Prüfung der faktischen Zuverlässigkeit.
Evaluation: Die Modelle wurden mit Zugang zu Werkzeugen getestet (Rechner für Arithmetik, Such-API für QA). Werkzeugaufrufverhalten wurde mittels greedy decoding gesammelt.

Wichtige Ergebnisse

Erhebliche Diskrepanz zwischen Notwendigkeit und Aktion:
Unter Verwendung der modelladaptiven Definition stellten die Autoren signifikante Diskrepanzen zwischen dem Zeitpunkt, an dem Werkzeuge tatsächlich benötigt werden, und dem Zeitpunkt, an dem Modelle sie aufrufen, fest.
- Arithmetik: Die Diskrepanzraten lagen zwischen 26,5 % und 54,0 %.
- Faktische QA: Die Diskrepanzraten lagen zwischen 30,8 % und 41,8 %.
  Die vorherrschenden Fehlermodi variierten je nach Modell und Domäne; einige Modelle missbrauchten Werkzeuge (riefen sie auf, obwohl sie in der Lage waren, direkt zu antworten), während andere sie zu selten nutzten (riefen keine Werkzeuge auf, wenn ihnen internes Wissen fehlte).
Lineare Dekodierbarkeit von Kognition und Aktion:
- Kognition: Interne Repräsentationen der Werkzeugnotwendigkeit sind aus den versteckten Zuständen linear dekodierbar, insbesondere in mittleren bis späten Schichten. Die Trennschärfe ist jedoch aufgabenabhängig und stärker in der Arithmetik (wo die Schwierigkeit mit der Oberflächenstruktur korreliert) als in der faktischen QA.
- Aktion: Die Entscheidung, ein Werkzeug aufzurufen, ist ebenfalls hochgradig linear dekodierbar und erstreckt sich oft über breite Bereiche von Schichten und Token-Positionen.
Die Orthogonalitätslücke:
Obwohl Kognitions- und Aktionsproben einzeln effektiv sind, werden ihre Richtungsvektoren ( $w_c$ und $w_a$ ) in den späten Schichten des letzten Abfragetokens (dem Regime, das die Generierung des nächsten Tokens steuert) nahezu orthogonal. Dies zeigt, dass das interne Signal, das den Bedarf an einem Werkzeug erkennt, zum kritischen Moment der Entscheidung geometrisch vom Signal entkoppelt ist, das den Werkzeugaufruf auslöst.
Lokalisierung des Versagens (Die Lücke zwischen Wissen und Handeln):
Die Trajektorienverfolgung ergab, dass die Mehrheit der End-to-End-Diskrepanzen in der Ausführungsstufe (Übergang von Kognition zu Aktion) und nicht in der Kognitionsstufe entsteht.
- Die meisten Fehler treten auf, wenn das Modell die Notwendigkeit eines Werkzeugs intern korrekt identifiziert (korrekte Kognition), aber versagt, dies in die syntaktische Aktion des Werkzeugaufrufs zu übersetzen.
- Diese Diskrepanz besteht auch dann fort, wenn das interne Vertrauen des Modells in seine Notwendigkeitsbewertung hoch ist (nahe 0 oder 1), was darauf hindeutet, dass das Problem nicht Unsicherheit, sondern ein Versagen bei der Übersetzung von Bewusstsein in Handlung ist.

Bedeutung und Beiträge

Die Arbeit behauptet, folgende Beiträge zu leisten:

Neudefinition der Werkzeugnotwendigkeit: Sie führt eine modelladaptive Definition der Werkzeugnotwendigkeit ein, die auf empirischer Leistung basiert und die Abhängigkeit von statischen, modellunabhängigen Annotationen in Frage stellt.
Quantifizierung von Verhaltensdiskrepanzen: Sie zeigt empirisch erhebliche Diskrepanzen (bis zu 54 %) zwischen der tatsächlichen Werkzeugnotwendigkeit und den beobachteten Werkzeugaufrufaktionen über mehrere Modelle und Domänen hinweg auf.
Mechanistische Einsicht: Durch Repräsentationsprobing zeigt sie, dass sowohl Werkzeugnotwendigkeit als auch Ausführungsabsicht linear dekodierbar sind, ihre Repräsentationen jedoch im Regime der späten Schichten und des letzten Tokens nahezu orthogonal werden.
Diagnose der „Lücke zwischen Wissen und Handeln": Sie identifiziert, dass die primäre Engstelle bei der Werkzeugnutzung durch LLMs nicht die Erkennung des Bedarfs an Werkzeugen ist, sondern die Übersetzung dieser Erkennung in Handlung.

Die Autoren schließen, dass die Verbesserung autonomer LLM-Agenten nicht nur die Stärkung der internen Metakognition erfordert, sondern spezifisch die Überbrückung der „Lücke zwischen Wissen und Handeln", um sicherzustellen, dass Selbstbewusstsein zuverlässig in korrekte Ausführung übersetzt wird.