💬 NLP

Repair, Not Improvement: Decomposing Constrained Decoding in Tool-Call Abstention

Diese Arbeit zeigt auf, dass die eingeschränkte Dekodierung in Tool-Call-Szenarien oft daran scheitert, Enthaltungsfehler zu beheben, da die negativen Auswirkungen der Erzwingung von Stopp-Token häufig die Vorteile der Einschränkung der Token-Auswahl überwiegen, was letztlich verdeutlicht, dass vorangegangene Behauptungen über sprachspezifische Leistungsunterschiede unbegründet sind.

Ursprüngliche Autoren: Janghoon Lee (Redrob)

Veröffentlicht 2026-08-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Janghoon Lee (Redrob)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Setup: KI, Regeln und die Kunst des „Nein-Sagens“

Stellen Sie sich vor, Sie bringen einem sehr eifrigen, superschnellen Roboter bei, ein hilfreicher Assistent zu sein. Dieser Roboter ist großartig darin, Geschichten zu schreiben, Matheaufgaben zu lösen und sogar einen Zauberer zu spielen. Aber es gibt einen Haken: Manchmal ist das Beste, was dieser Roboter tun kann, zuzugeben, dass er die Antwort nicht weiß oder dass er eigentlich gar nichts tun sollte. In der Welt der KI nennt man das „Abstention“ (Enthaltung). Wenn Sie einen Roboter bitten, das Wetter zu prüfen, Sie aber eigentlich ein rechtliches Geheimnis wissen wollen, sollte der Roboter sagen: „Dabei kann ich nicht helfen“, anstatt selbstbewusst eine gefälschte rechtliche Meinung zu erfinden.

Um diese Roboter daran zu hindern, wilde Geschichten zu erfinden oder gegen Regeln zu verstoßen, nutzen Ingenieure einen Trick namens „Constrained Decoding“ (eingeschränktes Dekodieren). Stellen Sie sich das wie ein strenges Malbuch vor, das Sie dem Roboter geben. Anstatt den Roboter erlauben zu lassen, überall auf der Seite zu zeichnen, hat das Malbuch nur bestimmte Umrisse (wie ein JSON-Format oder eine Liste erlaubter Werkzeuge), innerhalb derer der Roboter malen darf. Wenn der Roboter versucht, über die Linien hinaus zu zeichnen, stoppt der Computer ihn sofort. Lange Zeit dachten Wissenschaftler, dieser Trick sei fast kostenlos: Er ließ die Antworten des Roboters perfekt und ordentlich aussehen, ohne seine eigentliche Gehirnleistung zu beeinträchtigen. Aber es hing ein großes Fragezeichen über einer spezifischen Situation: Was passiert, wenn der Roboter sagen muss „Das kann ich nicht tun“? Erzwingt das strikte Malbuch den Roboter dazu, ein Werkzeug zu wählen, selbst wenn er es nicht sollte? Dieses Paper untersucht genau diese Frage und testet, ob die Regeln, die Antworten gut aussehen lassen, tatsächlich die Fähigkeit des Roboters untergraben zu wissen, wann er aufhören muss.

Die Geschichte: Wenn Regeln die „Nein“-Taste kaputt machen

Die Forscher in diesem Paper beschlossen, diese Idee mit einem cleveren Experiment auf die Probe zu stellen. Sie nahmen mehrere KI-Modelle (von winzigen mit 0,6 Milliarden „Gehirnzellen“ bis zu etwas größeren mit 4 Milliarden) und stellten ihnen eine einfache Frage: „Sollte ich ein Werkzeug benutzen oder einfach nur ‚None‘ (Keines) sagen?“ Dies taten sie in zwei Sprachen, Englisch und Koreanisch, um zu sehen, ob die Sprache das Ergebnis verändert.

Um genau zu verstehen, was schiefgelaufen ist, verglichen sie nicht nur „freie“ Antworten mit „eingeschränkten“ Antworten. Sie fügten einen mittleren Schritt hinzu, wie in einem Drei-Akt-Theaterstück:

Der freie Akt: Der Roboter antwortet, wie er möchte, mit viel Raum, um sich zu erklären.
Der kurze Akt: Der Roboter antwortet in nur einer Zeile, ist aber immer noch frei darin, zu sagen, was er möchte. Dies testet, ob das bloße Kürzen der Erklärung die Genauigkeit beeinträchtigt.
Der eingeschränkte Akt: Der Roboter antwortet in einer Zeile, wird aber gezwungen, aus einer strikten Liste von Werkzeugen (oder „None“) zu wählen. Dies ist die Standardmethode des „Constrained Decoding“.

Durch den Vergleich dieser drei Akte konnten die Wissenschaftler zwei verschiedene Probleme trennen: die Kosten des Kürzens der Rede des Roboters und die Kosten des Zwangs, aus einer Liste zu wählen.

Die große Entdeckung: Reparatur, keine Verbesserung

Die Ergebnisse waren überraschend und etwas kontraintuitiv. Das Paper fand heraus, dass wenn man einen Roboter dazu zwingt, aus einer strikten Liste von Werkzeugen zu wählen, er nicht tatsächlich schlauer darin wird, zu entscheiden, wann er „Nein“ sagen muss. Tatsächlich machten die strikten Regeln die kleinsten Modelle signifikant schlechter im Bereich der Enthaltung. In einem spezifischen Fall (dem winzigen 0,6B-Modell auf Koreanisch) verursachten die strikten Regeln einen Rückgang der Genauigkeit um 29,5 Prozentpunkte im Vergleich dazu, den Roboter frei sprechen zu lassen.

Die Geschichte wird jedoch interessanter, wenn man sich ansieht, warum die Regeln in einigen Fällen halfen. Die Forscher entdeckten, dass die strikten Regeln wie ein „Reparaturset“ für unordentliche Antworten wirkten, nicht wie ein „Gehirn-Upgrade“. Als der Roboter gezwungen war, aus der Liste zu wählen, hörte er auf, Kauderwelsch oder unlesbaren Text zu produzieren. Es verwandelte „Unsinn“ in „korrekt aussehende Antworten“. Aber es verwandelte keine „falschen Entscheidungen“ in „richtige Entscheidungen“.

Hier ist der entscheidende Teil: Die Forscher untersuchten 698 Instanzen, in denen die strikten Regeln eine falsche Antwort in eine richtige änderten. Sie fanden heraus, dass 545 davon Fälle waren, in denen der Roboter ursprünglich überhaupt keine lesbare Antwort produziert hatte. Null der Fälle waren solche, in denen der Roboter bereits die korrekte Entscheidung getroffen hatte, aber durch das Format blockiert wurde. Das bedeutet, die Regeln haben nicht das Urteilsvermögen des Roboters korrigiert, sondern nur seine Handschrift verbessert.

Die versteckte Falle: Das „Stop“-Token vs. das „Enum“

Das Paper brach die strikten Regeln auch in zwei Teile auf, um zu sehen, wer der Bösewicht war:

Das Stop-Token: Dies ist die Regel, die besagt: „Hör nach einer Zeile auf zu schreiben.“
Das Enum: Dies ist die Regel, die besagt: „Du darfst nur aus dieser spezifischen Liste von Werkzeugen wählen.“

Sie fanden heraus, dass diese beiden Teile gegeneinander kämpften. Das „Stop-Token“ (das Kürzen der Antwort) war tatsächlich der Hauptschuldige und beeinträchtigte die Fähigkeit des Roboters, „None“ zu sagen, in einigen Fällen um etwa 20,0 Punkte. Das „Enum“ (die Liste der Werkzeuge) versuchte dies zu beheben, indem es etwa 19,5 Punkte an Genauigkeit zurückgab. Wenn man sie zusammenrechnet, heben sie sich fast gegenseitig auf und hinterlassen einen minimalen Nettoverlust von 0,5 Punkten.

Dies erklärt, warum frühere Studien das Problem vielleicht übersehen haben. Wenn man nur auf die Endzahl schaut, sieht es so aus, als hätten die Regeln nicht viel Schaden angerichtet. Aber wenn man unter die Haube schaut, sieht man einen massiven Verlust, der durch eine massive Reparatur verborgen wird. Die Regeln haben nicht das Entscheidungsvermögen des Roboters verbessert, sondern nur den Schaden behoben, der durch das Kürzen der Rede des Roboters entstanden war.

Das Urteil: Erwarten Sie kein Gehirn-Upgrade

Das Paper schließt mit einer klaren Warnung für jeden, der KI-Systeme baut. Wenn Sie strikte Formatierungsregeln verwenden, damit Ihre KI professionell aussieht, erwarten Sie nicht, dass sie besser darin wird zu wissen, wann sie nicht handeln soll. Die Regeln werden den Output sauber und lesbar machen, aber sie werden keinen Roboter reparieren, der verwirrt darüber ist, ob er helfen soll oder nicht.

Tatsächlich legt die Studie nahe, dass diese Regeln den Roboter dazu bringen könnten, häufiger zu handeln, als er sollte. Wenn der Roboter gezwungen ist, aus einer Liste zu wählen, neigt er dazu, seine „Entscheidungslinie“ hin zur Auswahl eines Werkzeugs zu verschieben, selbst wenn die richtige Antwort wäre, nichts zu tun. Das ist gefährlich für die Sicherheit: Ein Roboter, der gezwungen ist, ein Werkzeug zu wählen, könnte selbstbewusst eine Wetter-API aufrufen, wenn Sie ihn nach einer rechtlichen Frage fragen, einfach weil die Regeln ihm keinen klaren Weg gelassen haben, „Ich kann nicht“ zu sagen.

Die Forscher testeten dies über verschiedene Modelle und Sprachen (Englisch und Koreanisch) hinweg und fanden heraus, dass das Muster Bestand hatte. Die strikten Regeln sind großartig, um unordentlichen Text zu korrigieren, aber sie sind kein Zauberstab zur Verbesserung des Urteilsvermögens. Wie es in dem Paper heißt: Die Regeln „machen unlesbaren Output lesbar, was es wert ist, und sie lassen das Urteil dort, wo es gefunden wurde.“ Wenn Sie also wollen, dass Ihre KI weiß, wann sie „Nein“ sagen muss, können Sie sich nicht nur auf eine strikte Checkliste verlassen; Sie müssen dem Roboter selbst beibringen, wann er aufhören muss.

Technisches Resümee: Reparatur, nicht Verbesserung: Dekomposition der eingeschränkten Dekodierung bei der Tool-Call-Abstention

Problemstellung

Neuere Arbeiten zu eingeschränkter Dekodierung (z. B. Lee et al., 2026a) haben etabliert, dass Formatbeschränkungen (wie JSON-Schemas) eine Leistungseinbuße verursachen, wobei der Großteil dieser Kosten jedoch auf die Prompt-Instruktionen und nicht auf die Dekoder-Erzwingung zurückzuführen ist. Diese vorangegangene Arbeit schloss jedoch explizit das Function Calling aus ihren Schlussfolgerungen aus und merkte an, dass Beschränkungen in diesem Bereich Korrektheitsanforderungen kodieren (das Ausschließen spezifischer Antworten) statt bloßer Präferenz-Darstellungsweisen (das Ausschließen spezifischer Arten der Darstellung einer Antwort).

Diese Arbeit untersucht den spezifischen Fall der Tool-Call-Abstention: das Szenario, in dem ein Modell korrekt entscheiden muss, keinen Tool-Aufruf vorzunehmen, wenn keiner anwendbar ist. In diesem Kontext steht ein eingeschränkter Dekoder (der auf ein Enum von Tool-Namen plus ein Abstentions-Token beschränkt ist) vor einer einzigartigen Herausforderung. Die Beschränkung formatiert nicht nur die Ausgabe; sie schränkt die Menge der möglichen Antworten ein und löscht potenziell die korrekte „Kein Tool“-Entscheidung. Die zentrale Frage ist, ob der Beitrag des Dekoders zur Leistungsdegradierung in diesem Setting vernachlässigbar ist, wie es die vorangegangene Arbeit für andere Formate nahelegt, oder ob er signifikant ist, weil die Beschränkung direkt mit dem Urteilsvermögen des Modells interferiert.

Methodik

Die Studie verwendet ein rigoroses experimentelles Design, um die Effekte des Dekoders vom Prompt zu isolieren und die Effekte von Längenbeschränkungen von lexikalischen Beschränkungen zu trennen.

Experimentelles Setup

Modelle: Open-Weight Qwen3-Modelle (0,6B, 1,7B und 4B Parameter).
Sprachen: Englisch und Koreanisch.
Benchmark: MetaTool Task2, unter Verwendung von gematchten Paaren von „Tool-benötigt“- und „Tool-Abstention“-Items. Der Datensatz umfasst 200 Abstentions-Items und 200 Tool-benötigte Items, wobei die Abfragen über die Bedingungen hinweg identisch sind.
Scoring: Es wurden strikte deterministische Regeln übernommen (aus Lee et al. 2026b). Eine Abstention gilt nur dann als korrekt, wenn die Ausgabe das Abstentions-Token enthält und keinen Tool-Namen (oder einen Tool-Namen, der danach erscheint). Mehrere Kandidaten-Outputs werden als falsch gewertet.

Drei-Bedingungen-Design

Um die „Constraint-Steuer“ zu dekomponieren, führt der Autor drei Bedingungen auf byte-identischen Prompts durch:

contract-free: Unbeschränkte Generierung mit einem Budget von 256 Token (erlaubt Erklärungen).
contract-short: Unbeschränkte Generierung, aber gestoppt beim ersten Zeilenumbruch (entzieht die Möglichkeit der Erklärung, isoliert die Kosten der Längenbeschränkung).
constrained: Generierung beschränkt auf ein Enum der 10 Kandidaten-Tools plus das Abstentions-Token, gestoppt beim ersten Zeilenumbruch.

Metriken und Dekomposition

Der Autor definiert drei Differenzen, um spezifische Effekte zu isolieren:

$\Delta_{length}$ : acc(short) - acc(free). Misst die Kosten der Beschränkung der Ausgabelänge (Stoppen beim ersten Zeilenumbruch).
$\Delta_{mask}$ : acc(constrained) - acc(short). Misst die marginalen Kosten der Grammatik (des Enums), gegeben dass die Länge bereits kontrolliert wird.
$\Delta_{total}$ : acc(constrained) - acc(free). Die Gesamtkosten der eingeschränkten Dekodierung, welche die Summe der beiden obigen Werte ist.

Dieses Design ermöglicht es dem Autor, zwischen den Kosten des „Formatierens“ (frühes Stoppen) und den Kosten des „Maskierens“ (Einschränkung des Token-Sets) zu unterscheiden.

Mechanismus-Variable

Die Studie misst die masked_mass, definiert als die Wahrscheinlichkeitsmasse, die das Modell den durch die Enum-Grammatik verbotenen Tokens im unbeschränkten Zustand zuweist. Dies ist das Komplement zur von Reddy et et al. (2026) vorgeschlagenen „feasible mass“.

Zentrale Beiträge

Dekomposition der Constraint-Steuer: Die Arbeit zeigt, dass die Gesamtkosten der eingeschränkten Dekodierung in Tool-Abstention-Settings nicht ein einzelner negativer Wert sind, sondern die Summe zweier Komponenten mit entgegengesetzten Vorzeichen.
- Das Stop-Token (Längenbeschränkung) verursacht oft einen signifikanten Abfall der Genauigkeit (z. B. -20,0 Punkte).
- Das Enum-Constraint (lexikalische Maskierung) stellt oft einen Teil dieses Verlusts wieder her (z. B. +19,5 Punkte).
- Folglich kann der Gesamteffekt ( $\Delta_{total}$ ) nahe Null oder negativ sein, was verschleiert, dass die Grammatik aktiv den Schaden „repariert“, der durch die Längenbeschränkung verursacht wurde, anstatt das inhärente Urteilsvermögen des Modells zu verbessern.
Reparatur vs. Verbesserung: Der Autor zeigt, dass die Beschränkung die Entscheidungsfähigkeit des Modells nicht verbessert. Von den 698 durch die Beschränkung „reparierten“ Abstentions (von falsch zu richtig geändert), hatten 545 keine lesbare Antwort in der unbeschränkten Ausgabe, und 0 waren Fälle, in denen das Modell das korrekte Urteil gefasst, aber aufgrund des Formats versagt hatte. Die Beschränkung erzwingt lediglich, dass das Modell ein gültiges Token ausgibt, was die Lesbarkeit wiederherstellt, aber nicht die zugrunde liegende Logik verbessert.
Verschiebung der Entscheidungsgrenze: Während die Beschränkung die Lesbarkeit „repariert“, verschiebt sie auch die Entscheidungsgrenze. Gegenüber einer Free-Generation-Baseline erhöht die Beschränkung die Genauigkeit der Tool-Auswahl, verringert jedoch die Genauigkeit der Abstention. Dies deutet darauf hin, dass die Grammatik das Modell dazu drängt, einen Tool zu benennen, selbst wenn eine Abstention korrekt wäre.
Sprachunabhängigkeit: Entgegen der Hypothesen, dass sprachspezifische Wahrscheinlichkeitsverteilungen die Kosten beeinflussen könnten, zeigt die Studie, dass die Within-Item-Statistik (Vergleich von Fehlern zwischen Sprachen bei Items, die beide ohne Beschränkungen richtig gelöst haben) keinen signifikanten Unterschied zwischen Koreanisch und Englisch aufweist. Jedoch erklärt die maskierte Wahrscheinlichkeitsmasse die Sprachdifferenz nicht vollständig: In der logistischen Regression war der Sprachkoeffizient von Null verschieden, was auf einen residualen Spracheffekt hindeutet, den die Massen-Variable nicht erfasst.
Nicht-linearer Mechanismus: Die Beziehung zwischen masked_mass und der Abstentions-Strafe ist nicht linear. Es gibt einen Breakpoint bei etwa 0,480. Unterhalb dieses Schwellenwerts sagt die Masse wenig über die Strafe voraus; oberhalb steigt die Strafe steil an.

Ergebnisse

Abstention-Performance: Gegenüber der unbeschränkten Free-Generation-Baseline ist $\Delta_{total}$ bei der Abstention negativ (was eine Leistungsabnahme anzeigt), wobei die Intervalle in vier von sechs Modell/Sprach-Zellen die Null ausschließen, mit einem Worst-Case-Abfall von -29,5 Punkten. Er ist niemals positiv mit einem Intervall, das die Null ausschließt.
Dekomposition: Beim kleinsten Modell (0,6B) für Koreanisch kostet das Stop-Token allein -20,0 Punkte, aber das Hinzufügen des Enums stellt +19,5 Punkte wieder her, was einen Nettoeffekt von -0,5 hinterlässt. Dies bestätigt die „Reparatur“-Hypothese: Die Grammatik behebt den Schaden, den das Stop-Token verursacht hat.
Tool-Auswahl: Bei Tool-benötigten Items verbessert die Beschränkung die Genauigkeit konsistent (positives $\Delta_{total}$ in allen Zellen), was bestätigt, dass die Beschränkung hilft, wenn ein Tool tatsächlich erforderlich ist.
Sprachbehauptungen: Beide präregistrierten Behauptungen bezüglich der Sprachunterschiede konnten die ursprüngliche Hypothese eines sprachabhängigen Kostens nicht stützen. Die Within-Item-Statistik zeigte keinen signifikanten Unterschied zwischen Koreanisch und Englisch, und die maskierte Wahrscheinlichkeitsmasse absorbierte die Varianz zwischen den Sprachen nicht (der Sprachkoeffizient blieb in der Regression signifikant).

Bedeutung und Ansprüche

Die Arbeit kommt zu dem Schluss, dass die „nahezu kostenlose“ Durchsetzung von Beschränkungen, wie sie in vorangegangener Arbeit gefunden wurde, für die Function-Calling-Abstention nicht gilt. Die primäre Bedeutung liegt in der Dekomposition des Beschränkungseffekts:

Trennung der Belange: Das Stop-Token (Längenkontrolle) und das Enum (lexikalische Kontrolle) sind trennbare Komponenten mit entgegengesetzten Effekten. Ein Zwei-Bedingungen-Design (Vergleich von Free vs. Constrained) summiert diese zu einer einzigen Zahl, was potenziell einen großen Verlust und eine große Wiederherstellung verbirgt, die sich gegenseitig aufheben.
Art des Gewinns: Der Nutzen der eingeschränkten Dekodierung in diesem Setting ist die Form, nicht das Urteilsvermögen. Sie macht unlesbare Ausgaben lesbar, verbessert aber nicht die Fähigkeit des Modells zu entscheiden, wann es abstentieren muss. Tatsächlich kann sie diese Entscheidung verschlechtern, indem sie das Modell zur Tool-Aufrufung drängt.
Praktische Implikation: Praktiker sollten das Stop-Token und die Grammatik separat berichten. Sich auf einen einzigen aggregierten Metrikwert zu verlassen, kann zu der falschen Schlussfolgerung führen, dass die eingeschränkte Dekodierung für die Abstention neutral oder vorteilhaft ist, während sie in Wirklichkeit die Fähigkeit des Modells, Tool-Aufrufe korrekt abzulehnen, aktiv schädigen kann.

Die Arbeit hält einen bescheidenen Umfang ein und merkt an, dass ihre Ergebnisse spezifisch für das Abstention-Setting und den verwendeten Benchmark sind (wo das Gold-Tool immer der erste Kandidat ist – eine Eigenschaft, die die Verallgemeinerbarkeit einschränkt, aber die gemessenen Differenzen nicht beeinflusst). Sie schlägt keine neuen Trainingsmethoden oder Architekturen vor, sondern bietet einen Messrahmen, um die Kosten aktueller Inference-Time-Beschränkungen besser zu verstehen.