🤖 machine learning

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

Dieser Beitrag identifiziert und erklärt mechanistisch die inhärente Tendenz von LLM-Agenten zu übermäßigen Tool-Aufrufen, bei der Modelle auch bei unnötigem Bedarf die Tool-Invocation bevorzugen, und zeigt, dass sich diese Verzerrung kausal mittels Sparse Autoencodern korrigieren lässt, um die gesamte Entscheidungsqualität zu verbessern, ohne die Aufrufleistung zu beeinträchtigen.

Ursprüngliche Autoren: Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, eifrigen Assistenten, der Werkzeuge zu nutzen liebt. Sie bitten ihn, etwas zu erledigen, und er greift sofort zu seiner Werkzeugkiste. Das Problem ist, dass er oft ein Werkzeug zur Hand nimmt, selbst wenn er keines benötigt, oder wenn ihm eine entscheidende Information fehlt, um es korrekt einzusetzen.

Dieser Artikel untersucht, warum dies geschieht und wie man es beheben kann. Hier ist die Aufschlüsselung in einfachen Worten:

Das Problem: Der „übermäßig eifrige" Assistent

Die Forscher untersuchten mehrere fortschrittliche KI-Modelle (wie Qwen, Gemma und Ministral) und stellten einen konsistenten Mangel fest: Übermäßiges Aufrufen.

Die gute Nachricht: Wenn die KI ein Werkzeug sollte nutzen (z. B. um das Wetter zu prüfen), leistet sie hervorragende Arbeit. Sie erzielt fast zu 100 % die richtige „Aufrufgenauigkeit" (Call Accuracy).
Die schlechte Nachricht: Wenn die KI ein Werkzeug nicht nutzen sollte (z. B. wenn die Anfrage des Nutzers vage ist und zunächst eine Klärung erfordert), ruft die KI das Werkzeug dennoch häufig auf. Ihre „Nicht-Aufruf-Genauigkeit" (No-Call Accuracy) ist sehr gering.

Die Analogie: Stellen Sie sich dies wie einen Kellner vor, der unglaublich schnell Essen bringt, wenn Sie es bestellen, der Ihnen aber auch ein Steak bringt, wenn Sie nur nach der Speisekarte gefragt haben, oder der ein Getränk bringt, bevor Sie überhaupt gesagt haben, dass Sie Durst haben. Er ist so eifrig, „die Sache zu tun", dass er vergisst zu prüfen, ob die Sache tatsächlich benötigt wird.

Die Diagnose: Ein unsichtbares „Bias-Gewicht"

Die Forscher wollten wissen, warum die KI so eifrig ist. Sie schauten nicht nur auf die Antworten der KI; sie blickten in das „Gehirn" der KI (ihre interne Mathematik) hinein, indem sie ein Werkzeug namens Sparse Autoencoder (SAE) verwendeten. Man kann sich einen SAE als ein hochleistungsfähiges Mikroskop vorstellen, das es uns ermöglicht, die spezifischen „Schalter" oder „Merkmale" zu sehen, die die KI zur Entscheidungsfindung nutzt.

Sie entdeckten etwas Überraschendes:

Die „Aktivierungs"-Theorie: Normalerweise würde man denken, die KI entscheidet sich dafür, ein Werkzeug aufzurufen, wenn das Signal „Aufrufen" lauter ist als das Signal „Nicht aufrufen".
Die Realität (Intrinsische Bias-Hypothese): Die Forscher stellten fest, dass die KI auch dann noch Aufrufen wählt, wenn das Signal „Aufrufen" und das Signal „Nicht aufrufen" exakt gleich sind (ein Unentschieden).

Die Analogie: Stellen Sie sich eine Waage vor, die auf der einen Seite ein „Aufrufen"-Gewicht und auf der anderen Seite ein „Nicht aufrufen"-Gewicht trägt.

Wenn die Gewichte gleich sind, bleibt eine normale Waage im Gleichgewicht.
Aber die Waage dieser KI hat ein verstecktes, unsichtbares Gewicht, das auf der „Aufrufen"-Seite festgeklebt ist. Selbst wenn die sichtbaren Gewichte gleich sind, neigt sich die Waage zu „Aufrufen".
Um die Waage ins Gleichgewicht zu bringen (oder zu „Nicht aufrufen" zu kippen), müssen Sie tatsächlich mehr Gewicht auf die „Nicht aufrufen"-Seite legen, um diesen versteckten Bias zu überwinden.

Die Lösung: Die „Gegen-Bias"-Anpassung

Sobald sie dieses unsichtbare Gewicht gefunden hatten, entwickelten sie eine Lösung namens AMCS (Adaptive Margin-Calibrated Steering).

Die Analogie: Da sie genau wussten, wie schwer der unsichtbare „Aufrufen"-Bias war, schufen sie ein „Gegengewicht", um ihn auszugleichen.

Sie haben die KI nicht neu trainiert (was ewig dauert und andere Dinge beschädigen könnte).
Stattdessen führten sie bei jeder Entscheidung, die die KI treffen sollte, eine winzige, präzise mathematische Stöße in ihre internen Signale ein.
Dieser Stoß entfernte das unsichtbare Gewicht und ermöglichte es der Waage, sich korrekt ins Gleichgewicht zu bringen.

Die Ergebnisse

Als sie diese Lösung testeten:

Weniger Fehler: Die KI rief Werkzeuge nicht mehr auf, wenn sie es nicht sollte (Behebung des Problems des „übermäßig eifrigen" Verhaltens).
Immer noch gut im Job: Sie verlor nicht ihre Fähigkeit, Werkzeuge aufzurufen, wenn sie sollte. Die „Aufrufgenauigkeit" blieb hoch.
Gesamtverbesserung: Die Gesamtpunktzahl der KI-Leistung stieg signifikant.

Zusammenfassung

Der Artikel argumentiert, dass KI-Agenten nicht einfach nur „verwirrt" darüber sind, wann sie Werkzeuge nutzen sollen; sie haben einen eingebauten, mechanischen Bias, der sie dazu veranlasst, Werkzeuge aufzurufen, anstatt nach weiteren Informationen zu fragen. Indem sie ein „Mikroskop" verwendeten, um diesen Bias zu finden, und ein „Gegengewicht", um ihn auszugleichen, machten sie die KI zuverlässiger, ohne sie von Grund auf neu beibringen zu müssen.

Was der Artikel NICHT behauptet:

Er behauptet nicht, dass dies alle KI-Halluzinationen oder Denkfehler behebt, sondern nur das spezifische Problem, wann ein Werkzeug aufgerufen werden soll.
Er behauptet nicht, dass dies eine dauerhafte Trainingslösung ist; es handelt sich um eine Echtzeit-Anpassung, die während des Betriebs der KI angewendet wird.
Er diskutiert keine medizinischen oder klinischen Anwendungen; der Fokus liegt streng auf Werkzeugnutzungs-Benchmarks.

Technische Zusammenfassung: Diagnose einer intrinsischen Überaufruf-Bias in LLM-Agenten

Problemstellung

Large Language Model (LLM)-Agenten haben sich weiterentwickelt, um externe Tools (z. B. Suchmaschinen, APIs) zu nutzen, zeigen jedoch einen systematischen Fehlermodus, der als Überaufruf (over-calling) bekannt ist: die Tendenz, Tools aufzurufen, selbst wenn die Benutzeranfrage keine notwendigen Informationen enthält oder wenn eine direkte Antwort ausreicht.

Die Evaluation auf dem When2Call-Benchmark zeigt eine konsistente Asymmetrie über sechs Modelle aus drei Familien (Qwen3.5, Gemma-3, Ministral-3). Während diese Modelle eine hohe Genauigkeit erzielen, wenn ein Toolaufruf erforderlich ist (Call Accuracy: 90 %–99 %), sinkt ihre Genauigkeit signifikant, wenn die korrekte Aktion darin besteht, kein Tool aufzurufen (No-Call Accuracy: 2 %–69 %). Dies führt zu einer Gesamtgenauigkeit von nur 55 %–70 %. Diese Bias verschlechtert die Benutzererfahrung (z. B. Halluzinieren von Toolaufrufen bei unzureichend spezifizierten Anfragen) und treibt die API-Kosten in eingesetzten Systemen in die Höhe.

Methodik

Die Autoren schlagen eine mechanistische Untersuchung des internen Entscheidungsprozesses von LLM-Agenten vor, die über empirische Beobachtungen hinausgeht und zur kausalen Analyse übergeht.

1. Hypothese der intrinsischen Bias (IBH)

Die Arbeit postuliert, dass Überaufruf nicht lediglich eine Funktion von Aktivierungsniveaus ist, sondern auf einem aktivierungsunabhängigen CALL-Offset in der Entscheidungsmapping beruht.

Hypothese: Die Entscheidung, ein Tool aufzurufen oder nicht, wird durch einen vorzeichenbehafteten Aktivierungsmargin ( $m$ ) zwischen den Feature-Richtungen „CALL" und „NO_CALL" bestimmt. Der Entscheidungsgrenzwert ist jedoch so verschoben, dass das Modell selbst bei Aktivierungsparität ( $m=0$ ) dazu neigt, aufzurufen. Das Modell wird erst dann entscheidungsneutral, wenn die NO_CALL-Aktivierung die CALL-Aktivierung deutlich überwiegt.
Formalismus: Die Entscheidungswahrscheinlichkeit wird modelliert als $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$ , wobei $\beta_0 > 0$ den intrinsischen Bias-Offset darstellt.

2. Feature-Entdeckung mittels Sparse Autoencodern (SAEs)

Um die IBH zu testen, setzen die Autoren Sparse Autoencoder ein, um Residual-Stream-Aktivierungen in interpretierbare Features zu zerlegen.

Training: TopK-SAEs werden auf den Residual-Streams der Zielmodelle in einem zweistufigen Curriculum trainiert: zunächst auf einem breiten Korpus (OpenWebText2), um die allgemeine Geometrie zu erlernen, und zweitens auf dem When2Call-Datensatz, um sich an Tool-Use-Kontexte anzupassen.
Feature-Basen: Zwei verhaltensausgerichtete Feature-Sets werden rekonstruiert:
- $\mathcal{C}$ : Features, die stark mit beobachteten CALL-Entscheidungen assoziiert sind.
- $\mathcal{N}$ : Features, die stark mit beobachteten NO_CALL-Entscheidungen assoziiert sind.
Validierung: Lineare Proben, die auf einer Handvoll dieser Features trainiert wurden (typischerweise $K \le 5$ ), sagen die Gate-Entscheidung mit einer Genauigkeit voraus, die der oberen Grenze des rohen Residual-Streams nahekommt. Dies bestätigt, dass diese Features das wesentliche Gate-Signal erfassen.

3. Diagnose und Quantifizierung

Unter Verwendung der rekonstruierten Feature-Basen analysieren die Autoren die Aktivierungsgeometrie:

Antwort-konditionierte Sicht: NO_CALL-Antworten konzentrieren sich in der NO_CALL-dominierten Halbebene, während CALL-Antworten sich über die Paritätsdiagonale hinweg in Bereiche erstrecken, in denen NO_CALL-Evidenz vergleichbar oder stärker ist.
Eingabe-konditionierte Sicht: Unter den emittierten CALL-Antworten liegen „falsche Aufrufe" (Überaufruf-Fehler) näher an der Paritätsdiagonale als „wahre Aufrufe", was darauf hindeutet, dass die Bias schwache Fälle über die Entscheidungsgrenze drückt.
Offset-Schätzung: Eine logistische Regression auf dem vorzeichenbehafteten Aktivierungsmargin bestätigt für alle Modelle einen negativen neutralen Grenzwert ( $m^* < 0$ ) und quantifiziert damit die intrinsische Bias $\beta_0$ .

4. Kausale Intervention: Adaptive Margin-kalibrierte Steuerung (AMCS)

Um die IBH kausal zu validieren, führen die Autoren AMCS ein, eine geschlossene Form-Steuerungsmethode.

Mechanismus: AMCS berechnet einen Steuerungsvektor entlang der SAE-Decoderrichtungen von $\mathcal{C}$ und $\mathcal{N}$ . Es wird eine Gegen-Bias-Verschiebung $\delta = -\beta_0 / \beta$ auf den Aktivierungsmargin angewendet.
Implementierung: Die Verschiebung wird über die am höchsten bewerteten Features basierend auf ihren Aktivierungslücken verteilt. Die Intervention wird als einzelne Vektoraddition zum Residual-Stream zur Inferenzzeit angewendet und erfordert keine zusätzlichen Modellaufrufe oder iterative Abstimmung.

Hauptergebnisse

Experimente wurden an sechs instruktionsfeinabgestimmten Modellen durchgeführt (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

Minderung von Überaufruf: Das Aufheben des diagnostizierten Offsets via AMCS verbessert die No-Call-Accuracy bei fünf der sechs Modelle signifikant um 4 bis 17 Prozentpunkte.
Erhaltung gültiger Aufrufe: Die Methode hält die Call-Accuracy bei fünf Modellen mit einem vernachlässigbaren Rückgang (innerhalb von 5 Punkten) aufrecht und zeigt, dass die Intervention die Bias korrigiert, ohne notwendige Tool-Nutzung zu unterdrücken.
Gesamtgenauigkeit: AMCS verbessert die Gesamtgenauigkeit bei mehreren Modellen um bis zu 5 Punkte (z. B. +5,10 % bei Qwen3.5-9B).
Vergleich mit Baselines:
- Prompt Engineering: Obwohl effektiv zur Erhöhung der No-Call-Accuracy, reduziert es die Call-Accuracy drastisch (z. B. -56 % bei Ministral-3-8B), was zu einem Nettoverlust der Gesamtleistung führt.
- Einseitige Steuerung: Methoden, die nur CALL-Features unterdrücken oder nur NO_CALL-Features fördern, erreichen nicht das Gleichgewicht, das AMCS bietet, und erzielen geringere Gewinne in der Gesamtgenauigkeit.
Gemma-3-Einschränkung: Die Gemma-3-Modelle zeigten entlang der SAE-Achsen nur eine geringe Trennung zwischen wahren und falschen Aufrufen, was zu einem minimalen Hebel für margin-basierte Interventionen führte. Diese wurden als Referenzfälle und nicht als primäre Evidenz behandelt.

Bedeutung und Behauptungen

Die Arbeit beansprucht, Überaufruf von einem empirischen Phänomen in ein mechanistisches Objekt umzuwandeln, das gemessen, modelliert und kausal angepasst werden kann.

Mechanistische Einsicht: Die Arbeit zeigt, dass das Tool-Use-Gating durch eine intrinsische, aktivierungsunabhängige Bias gesteuert wird und nicht nur durch die relative Stärke der Feature-Aktivierungen.
Kausale Korrektur: Durch die Identifizierung und das Aufheben des spezifischen Offset-Terms ( $\beta_0$ ) mittels SAE-basierter Steuerung liefern die Autoren eine kausale Validierung der Hypothese der intrinsischen Bias.
Steuerbarkeit: Der diagnostizierte Offset fungiert als „Regler" für den Aufrufaufwand. AMCS dient als erster Schritt hin zu einer „Aufrufaufwand"-Schnittstelle, die es Systemen ermöglicht, das Gleichgewicht zwischen eifriger Tool-Inkarnation und Benutzerüberprüfung ohne Nachtraining des Modells anzupassen.
Umfang: Die Studie konzentriert sich auf die Korrektur zur Inferenzzeit für eingesetzte Modelle. Sie verfolgt nicht die Trainingszeit-Ursprünge der Bias und beansprucht auch nicht, Langzeit-Agentenplanungsprobleme jenseits der spezifischen Call-versus-Verify-Entscheidungseinheit zu lösen.

Der Code und die Daten sind verfügbar unter https://github.com/SKURA502/agent-sae/.