💻 computer science

The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?

Diese Arbeit identifiziert die weit verbreitete „Werkzeug-Übernutzung" bei großen Sprachmodellen als Folge einer epistemischen Illusion bezüglich des eigenen Wissens und von Belohnungsstrukturen, die nur das Endergebnis bewerten, und schlägt Strategien zur Ausrichtung der Wissensgrenzen sowie zu ausgewogenen Belohnungssignalen vor, um unnötige Werkzeugaufrufe drastisch zu reduzieren und gleichzeitig die Genauigkeit zu steigern.

Ursprüngliche Autoren: Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

Veröffentlicht 2026-04-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis: Warum KI-Modelle ständig den Taschenrechner benutzen, obwohl sie es selbst können

Stellen Sie sich vor, Sie haben einen extrem intelligenten Assistenten, der alles über die Welt weiß. Er kann Mathe, Geschichte und Physik im Kopf berechnen. Aber eines Tages geben Sie ihm eine neue Regel: „Wenn du etwas nicht sofort weißt, rufe sofort einen externen Experten (ein Werkzeug) hinzu."

Das Problem? Ihr Assistent wird süchtig nach diesen Experten. Er ruft einen Mathe-Experten an, um zu berechnen, was 2 + 2 ist. Er ruft einen Wetter-Experten an, um zu sagen, dass die Sonne scheint, obwohl er das genau weiß. Er ruft sogar einen Übersetzer an, um ein Wort zu übersetzen, das er fließend beherrscht.

Das ist genau das, was diese Forscher bei großen Sprachmodellen (LLMs) entdeckt haben. Sie nennen es „Tool Overuse" (Werkzeug-Missbrauch).

Die zwei Hauptgründe für dieses seltsame Verhalten

Die Forscher haben herausgefunden, dass es zwei Hauptgründe gibt, warum die KI so überreagiert.

1. Der „Selbstvertrauens-Irrtum" (Die Wissens-Illusion)

Stellen Sie sich vor, Sie stehen vor einer Tür. Sie wissen zu 99 %, dass Sie den Schlüssel in der Hosentasche haben (Ihr internes Wissen). Aber aus irgendeinem Grund glauben Sie plötzlich: „Oh nein, ich habe den Schlüssel sicher verloren! Ich muss unbedingt einen Schlosser rufen!"

Das passiert bei der KI:

Die Realität: Die KI hat die Antwort in ihrem Gedächtnis gespeichert.
Die Illusion: Die KI glaubt fälschlicherweise, sie wüsste es nicht. Sie unterschätzt ihr eigenes Wissen.
Das Ergebnis: Sie ruft unnötig ein Werkzeug an, verlangsamt sich dabei und macht sogar mehr Fehler, weil sie sich auf das Werkzeug verlässt, statt auf ihr eigenes Gehirn.

Die Lösung der Forscher: Sie haben die KI trainiert, ihr eigenes Gedächtnis wieder zu vertrauen. Sie haben ihr beigebracht: „Wenn du die Antwort schon kennst, lass den Schlüssel in der Tasche und öffne die Tür selbst." Das Ergebnis: Die KI rief in 82 % weniger Fällen unnötig Hilfe an und wurde sogar genauer.

2. Der „Punkte-Jäger-Fehler" (Die Belohnungs-Falle)

Stellen Sie sich vor, Sie trainieren einen Hund. Die Regel lautet: „Wenn der Hund den Ball bringt, gibt es einen Leckerbissen. Es ist egal, ob er den Ball in 2 Sekunden oder in 10 Minuten bringt, oder ob er dabei über drei Zäune springt."

Der Hund wird lernen: „Ich muss den Ball bringen, aber ich werde den Weg so lang und kompliziert wie möglich machen, weil ich am Ende trotzdem den Leckerbissen bekomme."

Genau das passiert bei der KI-Training:

Das Problem: Die KI wird nur dafür belohnt, dass die letzte Antwort richtig ist. Es wird ihr nicht gesagt, dass es „schlecht" ist, wenn sie 50 Schritte unternimmt, um eine einfache Aufgabe zu lösen.
Die Folge: Die KI lernt, dass „viel Werkzeug-Einsatz" = „hohe Chance auf eine richtige Antwort" ist. Sie wird ineffizient, wie der Hund, der den Ball um den ganzen Garten trägt.

Die Lösung der Forscher: Sie haben die Belohnungs-Regel geändert. Jetzt gibt es den Leckerbissen nur, wenn die Antwort richtig UND effizient ist.

„Richtige Antwort + wenig Werkzeug = Großer Leckerbissen."
„Richtige Antwort + zu viel Werkzeug = Kleiner Leckerbissen."

Dadurch hat die KI gelernt, den Ball direkt zu bringen. Die unnötigen Werkzeug-Aufrufe sanken um etwa 60–66 %, ohne dass die Genauigkeit litt.

Warum ist das wichtig?

Bisher dachten viele: „Je mehr Werkzeuge die KI benutzt, desto besser ist sie."
Die Forscher zeigen aber: Das ist ein Trugschluss.

Verschwendung: Jedes unnötige Werkzeug kostet Zeit, Geld und Rechenleistung.
Fehleranfälligkeit: Wenn die KI zu viel Zeit mit Werkzeugen verbringt, vergisst sie oft den Kontext oder macht Fehler bei der Zusammenführung der Informationen.
Vertrauen: Eine KI, die bei „1+1" einen Taschenrechner braucht, wirkt nicht intelligent, sondern unsicher.

Fazit in einem Satz

Die KI ist nicht dumm, sie ist nur verwirrt (sie vertraut ihrem eigenen Wissen nicht) und falsch belohnt (sie lernt, dass mehr Aufwand besser ist als weniger). Wenn wir ihr beibringen, ihrem eigenen Gehirn zu vertrauen und effizient zu arbeiten, wird sie nicht nur schneller, sondern auch schlauer.

1. Problemstellung

Das Paper adressiert ein kritisches, bisher wenig untersuchtes Phänomen bei Large Language Models (LLMs), die mit externen Tools ausgestattet sind: Tool-Overuse (Übernutzung von Tools).

Definition: Tool-Overuse bezeichnet das unnötige Aufrufen externer Tools (z. B. Code-Interpreter, Suchmaschinen), obwohl die internen parametrischen Kenntnisse des Modells ausreichen, um die Aufgabe korrekt zu lösen, oder wenn die Tool-Nutzung keinen Informationsgewinn bietet.
Folgen: Dies führt zu vermeidbarem Ressourcenverbrauch, erhöhter Latenz und – wie die Autoren überraschend feststellen – oft sogar zu einer Verschlechterung der Genauigkeit bei einfachen Aufgaben, da der unnötige Tool-Aufruf den Kontext überfrachtet und den natürlichen Denkprozess stört.
Hypothese: Das Paper untersucht, warum Modelle trotz ausreichender interner Fähigkeiten dazu neigen, externe Tools zu bevorzugen.

2. Methodik

Die Autoren führen eine umfassende empirische und theoretische Analyse durch, die sich auf zwei Hauptlinsen konzentriert:

A. Quantifizierung des Phänomens

Benchmarks: Evaluation verschiedener Modelle (Frontier-Modelle wie GPT-5, Gemini; Open-Source-Modelle wie Qwen, Llama; RLVR-trainierte Modelle) auf mathematischen Benchmarks (GSM8K, AIME 24/25).
Kategorisierung: Aufgaben werden basierend auf der internen Lösbarkeit (gemessen durch avg@1024, die durchschnittliche Genauigkeit bei 1024 Stichproben ohne Tools) in „Einfach" (intern lösbar) und „Komplex" (externe Hilfe nötig) unterteilt.
Messung: Analyse der Tool-Aufrufhäufigkeit und der Genauigkeit (avg@8) mit und ohne Tool-Nutzung.

B. Empirische Analyse der Ursachen (Die zwei Mechanismen)

Kognitive epistemische Illusion (Knowledge Epistemic Illusion):
- Die Autoren messen die tatsächliche interne Wissensverfügbarkeit (avg@1024) und vergleichen sie mit dem Tool-Verhalten.
- Erkenntnis: Modelle unterschätzen systematisch ihre eigenen Fähigkeiten. Selbst in Bereichen mit hoher interner Wissensverfügbarkeit (z. B. avg@1024 > 0.9) rufen sie weiterhin häufig Tools auf. Sie „halluzinieren" eine Wissensgrenze, die nicht existiert.
Die Falle der reinen Ergebnis-Rewards (Outcome-Only Reward Trap):
- Analyse des Trainingsprozesses mittels Reinforcement Learning with Verifiable Rewards (RLVR), speziell des DAPO-Algorithmus.
- Erkenntnis: Trainingsmethoden, die nur den finalen Erfolg (Korrektheit der Antwort) belohnen, ignorieren die Effizienz des Lösungswegs. Dies führt dazu, dass Modelle während des Trainings zunehmend mehr Tools aufrufen, da dies statistisch die Wahrscheinlichkeit eines korrekten Ergebnisses erhöht, ohne dass die Kosten (Latenz, Token) bestraft werden.

C. Gegenmaßnahmen (Mitigation Strategies)

Wissensbewusste Ausrichtung (Knowledge-Aware Alignment):
- Anwendung von Direct Preference Optimization (DPO).
- Es werden Präferenzpaare erstellt, bei denen korrekte Antworten mit minimalen Tool-Aufrufen gegenüber solchen mit übermäßiger Nutzung bevorzugt werden. Dies zielt darauf ab, die wahrgenommene Wissensgrenze des Modells an seine tatsächlichen Fähigkeiten anzupassen.
Ausgewogene Reward-Strategie (Balanced Reward):
- Modifikation des RLVR-Trainings, um nicht nur die Ergebnis-Korrektheit, sondern auch die Effizienz (Anzahl der Tool-Aufrufe) zu belohnen.
- Durch Vergrößerung der Rollout-Gruppen und Einführung einer Strafe pro Tool-Aufruf wird ein Gleichgewicht zwischen Genauigkeit und Ressourceneffizienz erreicht.

3. Wichtige Ergebnisse

Verbreitung: Tool-Overuse ist ein weit verbreitetes Phänomen. Im Durchschnitt werden pro Anfrage, die keine externe Hilfe benötigt, 0,93 unnötige Tool-Aufrufe getätigt.
Leistungsverlust: Bei einfachen Aufgaben führt die Tool-Nutzung zu einem Genauigkeitsabfall von 3,29 % bis 14,48 % (je nach Modell).
Ursache 1 (Illusion): Modelle rufen Tools auch dann auf, wenn ihre interne Wissensverfügbarkeit hoch ist. Beispielsweise macht Qwen3-8B im Durchschnitt 2,2 Tool-Aufrufe pro Query, selbst wenn die interne Lösbarkeit bei >80 % liegt.
Ursache 2 (Reward): RLVR-Training mit reinen Ergebnis-Rewards verschlimmert das Problem im Laufe der Zeit (Anstieg der Tool-Aufrufe um bis zu 65 %).
Erfolg der Gegenmaßnahmen:
- K-DPO (Knowledge-Aware DPO): Reduzierte die unnötigen Tool-Aufrufe bei einem 32B-Modell um 82,8 % und steigerte gleichzeitig die Genauigkeit um 3 %.
- Balanced Reward: Reduzierte die Tool-Aufrufe bei 7B-Modellen um 66,7 % und bei 32B-Modellen um 60,7 %, ohne die Genauigkeit zu beeinträchtigen.

4. Theoretische Fundierung

Das Paper liefert eine theoretische Begründung durch die Analyse der Nutzenlandschaft (Utility Landscape):

Die optimale Entscheidung für einen Tool-Aufruf hängt vom Verhältnis zwischen dem marginalen Gewinn an Zuverlässigkeit ( $\Delta P$ ) und den marginalen Kosten ( $\Delta C$ ) ab.
Da aktuelle Reward-Funktionen den Kostenfaktor $\lambda$ auf Null setzen (nur Korrektheit zählt), wird jeder noch so kleine Gewinn an Zuverlässigkeit durch Tools als optimal angesehen, was zu rationaler Übernutzung führt.
Zusätzlich führt eine fehlerhafte Kalibrierung des Modells (Unterschätzung des eigenen Wissens) zu einer verzerrten Wahrnehmung dieses Nutzens.

5. Bedeutung und Fazit

Dieses Paper ist bahnbrechend, da es erstmals systematisch das Problem der Tool-Übernutzung in LLMs untersucht und nicht nur als ineffizient, sondern als schädlich für die Leistung identifiziert.

Paradigmenwechsel: Es zeigt, dass „mehr Tools" nicht automatisch „bessere Ergebnisse" bedeuten. Zuverlässige KI-Agenten müssen lernen, ihre internen Fähigkeiten zu vertrauen und Tools nur bei echtem Bedarf zu nutzen.
Praktische Implikationen: Die vorgeschlagenen Methoden (K-DPO und Balanced Rewards) bieten konkrete, skalierbare Lösungen, um LLMs effizienter und kostengünstiger zu machen, ohne ihre Intelligenz einzuschränken.
Zukünftige Forschung: Die Arbeit legt den Grundstein für die Entwicklung von Agenten, die nicht nur ob, sondern auch wann und wie oft sie Tools nutzen, strategisch optimieren können.

Zusammenfassend demonstriert die Studie, dass die Überwindung der „Tool-Overuse Illusion" entscheidend ist, um das volle Potenzial von Tool-integriertem Reasoning (TIR) zu realisieren.