Technische Samenvatting: Reparatie, Geen Verbetering: Decompositie van Beperkt Decoderen bij Tool-call Onthouding

Probleemstelling

Recent werk over beperkt decoderen (bijv. Lee et al., 2026a) heeft vastgesteld dat formele beperkingen (zoals JSON-schema's) een prestatiekost met zich meebrengen, maar dat het merendeel van deze kost voortkomt uit de prompt-instructies en niet uit de decoder-afdwinging. Echter, dat eerdere werk sloot function calling expliciet uit van de conclusies, waarbij werd opgemerkt dat beperkingen in dit domein correctheidseisen coderen (het uitsluiten van specifieke antwoorden) in plaats van louter presentatievoorkeuren (het uitsluiten van specifieke manieren van schrijven).

Dit artikel onderzoekt de specifieke casus van tool-call onthouding (abstention): het scenario waarin een model er correct in moet slagen om geen enkele tool aan te roepen wanneer dat niet van toepassing is. In deze setting staat een beperkte decoder (beperkt tot een enum van tool-namen plus een onthoudings-token) voor een unieke uitdaging. De beperking dwingt niet alleen de vormgeving af; het beperkt de verzameling mogelijke antwoorden, wat potentieel de correcte "geen tool"-beslissing verwijdert. De centrale vraag is of de bijdrage van de decoder aan de prestatievermindering verwaarloosbaar is in deze setting, zoals gesuggereerd door eerder werk voor andere formaten, of dat deze significant is omdat de beperking direct interfereert met het oordeel van het model.

Methodologie

De studie hanteert een rigoureus experimenteel ontwerp om de effecten van de decoder te isoleren van de prompt, en om de effecten van lengtebeperkingen te scheiden van lexicale beperkingen.

Experimentele Opzet

• Modellen: Open-weight Qwen3 modellen (0.6B, 1.7B en 4B parameters).
• Talen: Engels en Koreaans.
• Benchmark: MetaTool Task2, gebruikmakend van gematchte paren van "tool-needed" en "tool-abstention" items. De dataset bevat 200 onthoudingsitems en 200 tool-needed items waarbij de queries identiek zijn over de condities heen.
• Scoring: Strikt deterministische regels overgenomen van Lee et al. (2026b). Een onthouding is correct als de output het onthoudings-token bevat en geen tool-naam (of een tool-naam die na het token verschijnt). Outputs met meerdere kandidaten worden als foutief gescoord.

Drie-conditie Ontwerp

Om de "constraint tax" te decomponeren, voert de auteur drie condities uit op byte-identieke prompts:

1. contract-free: Onbeperkte generatie met een budget van 256 tokens (staat uitleg toe).
2. contract-short: Onbeperkte generatie maar gestopt bij de eerste newline (verwijdert de mogelijkheid tot uitleg, isoleert de kosten van de lengtebeperking).
3. constrained: Generatie beperkt tot een enum van de 10 kandidaat-tools plus het onthoudings-token, gestopt bij de eerste newline.

Metrieken en Decompositie

De auteur definieert drie verschillen om specifieke effecten te isoleren:

• $\Delta_{length}$: acc(short) - acc(free). Meet de kosten van het beperken van de outputlengte (stoppen bij de eerste regel).
• $\Delta_{mask}$: acc(constrained) - acc(short). Meet de marginale kosten van de grammatica (de enum) gegeven dat de lengte al gecontroleerd is.
• $\Delta_{total}$: acc(constrained) - acc(free). De totale kosten van beperkt decoderen, wat de som is van de bovenstaande twee.

Dit ontwerp stelt de auteur in staat om te onderscheiden tussen de kosten van "formattering" (vroeg stoppen) en de kosten van "masking" (het beperken van de token-set).

Mechanisme Variabele

De studie meet masked_mass, gedefinieerd als de waarschijnlijkheidsmassa die het model toekent aan tokens die verboden zijn door de enum-grammatica in de onbeperkte conditie. Dit is het complement van de "feasible mass" voorgesteld door Reddy et al. (2026).

Belangrijkste Bijdragen

1. Decompositie van de Constraint Tax: Het artikel demonstreert dat de totale kosten van beperkt decoderen in tool-abstention settings niet één enkele negatieve waarde zijn, maar een som van twee componenten met tegenovergestelde tekens.

   • Het stop-token (lengtebeperking) veroorzaakt vaak een aanzienlijke daling in accuratesse (bijv. -20.0 punten).
   • De enum-beperking (lexicale masking) herstelt vaak een deel van dat verlies (bijv. +19.5 punten).
   • Bij consequentie kan het effect ($\Delta_{total}$) nabij nul of negatief zijn, wat maskeert dat de grammatica actief de schade veroorzaakt door de lengtebeperking "repareert" in plaats van het inherente oordeel van het model te verbeteren.

2. Reparatie vs. Verbetering: De auteur toont aan dat de beperking het besluitvormingsvermogen van het model niet verbetert. Van de 698 onthoudingen die door de beperking werden "gerepareerd" (veranderd van fout naar goed), hadden 545 geen leesbaar antwoord in de onbeperkte output, en 0 waren gevallen waarin het model het juiste oordeel had gevormd maar faalde door de formattering. De beperking dwingt het model simpelweg om een geldige token te produceren, wat de leesbaarheid herstelt maar niet de onderliggende logica versterkt.

3. Verschuiving van de Beslissingsgrens: Hoewel de beperking de leesbaarheid "repareert", verschuift het ook de beslissingsgrens. Tegenover een free-generation baseline verhoogt de beperking de accuratesse van tool-selectie, maar verlaagt het de accuratesse van onthouding (abstention). Dit geeft aan dat de grammatica het model richting het benoemen van een tool duwt, zelfs wanneer onthouding correct is.

4. Taalonafhankelijkheid: In tegenstelling tot hypothesen dat taal-specifieke waarschijnlijkheidsverdelingen de kosten zouden kunnen wijzigen, toont de studie aan dat de within-item statistiek (het vergelijken van fouten tussen talen op items die beide zonder beperkingen goed hadden) geen significant verschil vertoont tussen Koreaans en Engels. Echter, de masked probability mass verklaart de taalverschillen niet volledig: in de logistische regressie sloot de taal-coëfficiënt nul uit, wat wijst op een residu-taaleffect dat de mass-variabele niet verklaart.

5. Niet-Lineair Mechanisme: De relatie tussen masked_mass en de onthoudingsstraf is niet lineair. Er is een breekpunt rond de 0.480. Onder deze drempel voorspelt de massa weinig over de straf; boven deze drempel neemt de straf steil toe.

Resultaten

• Onthoudingsprestaties (Abstention Performance): Tegenover de onbeperkte, free-generation baseline is $\Delta_{total}$ op onthouding negatief (wat een prestatiedaling aangeeft) met intervallen die nul uitsluiten in vier van de zes model/taal-cellen, met een slechtste geval van een daling van -29.5 punten. Het is nooit positief met een interval dat nul uitsluit.
• Decompositie: In het kleinste model (0.6B) voor Koreaans kost het stop-token alleen al -20.0 punten, maar het toevoegen van de enum herstelt +19.5 punten, wat een netto resultaat van -0.5 oplevert. Dit bevestigt de "reparatie"-hypothese: de grammatica herstelt de schade veroorzaakt door het stop-token.
• Tool Selectie: Op tool-needed items verbetert de beperking de accuratesse consistent (positieve $\Delta_{total}$ in alle cellen), wat bevestigt dat de beperking helpt wanneer een tool wel vereist is.
• Taalclaims: Beide vooraf geregistreerde claims over taalverschillen ondersteunden de initiële hypothese van een taalafhankelijke kostenstructuur niet. De within-item statistiek toonde geen significant verschil tussen Koreaans en Engels, en de gemaskeerde waarschijnlijkheidsmassa absorbeerde de variantie die de talen scheidde niet (de taal-coëfficiënt bleef significant in de regressie).

Betekenis en Claims

Het artikel concludeert dat de "bijna gratis" handhaving van beperkingen gevonden in eerder werk niet standhoudt voor function calling onthouding. De primaire betekenis ligt in de decompositie van het beperkingseffect:

1. Scheiding van Zaken: Het stop-token (lengtecontrole) en de enum (lexicale controle) zijn scheidbare componenten met tegenovergestelde effecten. Een twee-conditie ontwerp (vergelijken van free vs. constrained) somt deze op tot één getal, wat een grote verliezen en een groot herstel kan maskeren dat elkaar opheffen.
2. Aard van de Winst: Het voordeel van beperkt decoderen in deze setting is vorm, niet oordeel. Het maakt onleesbare outputs leesbaar, maar verbetert niet het vermogen van het model om te beslissen wanneer het moet onthouden. Sterker nog, het kan dat besluit verslechteren door het model te bevoordelen richting tool-aanroepen.
3. Praktische Implicatie: Praktijkgebruikers moeten het stop-token en de grammatica apart rapporteren. Het vertrouwen op een enkele geaggregeerde metriek kan leiden tot de valse conclusie dat beperkt decoderen neutraal of gunstig is voor onthouding, terwijl het in werkelijkheid het vermogen van het model om correct te onthouden actief kan schaden.

Het artikel behoudt een bescheiden reikwijdte en merkt op dat de bevindingen specif