Résumé technique : Réparation, non amélioration : Décomposition du décodage contraint dans l'abstention d'appel d'outil

Énoncé du problème

Des travaux récents sur le décodage contraint (par exemple, Lee et al., 2026a) ont établi que les contraintes de format (comme les schémas JSON) entraînent un coût de performance, mais que la majeure partie de ce coût provient des instructions du prompt plutôt que de l'application par le décodeur. Cependant, ces travaux antérieurs excluaient explicitement l'appel de fonction de leurs conclusions, notant que les contraintes dans ce domaine encodent des exigences de correction (excluant des réponses spécifiques) plutôt que de simples préférences de présentation (excluant de simples manières d'écrire une réponse).

Cet article étudie le cas spécifique de l'abstention d'appel d'outil : le scénario où un modèle doit décliner correctement l'appel de tout outil lorsqu'aucun ne s'applique. Dans ce cadre, un décodeur contraint (restreint à une énumération de noms d'outils plus un jeton d'abstention) fait face à un défi unique. La contrainte ne se contente pas de formater la sortie ; elle restreint l'ensemble des réponses possibles, supprimant potentiellement la décision correcte de « non-outil ». La question centrale est de savoir si la contribution du décodeur à la dégradation des performances est négligeable dans ce contexte, comme le suggèrent les travaux antérieurs pour d'autres formats, ou si elle est significative parce que la contrainte interfère directement avec le jugement du modèle.

Méthodologie

L'étude emploie un design expérimental rigoureux pour isoler les effets du décodeur du prompt et pour séparer les effets des contraintes de longueur de ceux des contraintes lexicales.

Configuration expérimentale

• Modèles : Modèles Qwen3 en open-weights (0,6B, 1,7B et 4B de paramètres).
• Langues : Anglais et Coréen.
• Benchmark : Tâche MetaTool Task2, utilisant des paires appariées d'éléments « outil nécessaire » et « abstention d'outil ». Le jeu de données comprend 200 éléments d'abstention et 200 éléments d'outil nécessaire où les requêtes sont identiques d'une condition à l'autre.
• Scoring : Règles déterministes strictes adoptées de Lee et al. (2026b). Une abstention est correcte uniquement si la sortie contient le jeton d'abstention et aucun nom d'outil (ou un nom d'outil apparaissant après celui-ci). Les sorties multi-candidats sont considérées comme erronées.

Design à trois conditions

Pour décomposer la « taxe de contrainte », l'auteur exécute trois conditions sur des prompts identiques au niveau des octets :

1. contract-free : Génération non contrainte avec un budget de 256 jetons (permet des explications).
2. contract-short : Génération non contrainte mais arrêtée au premier saut de ligne (supprime la capacité d'expliquer, isolant le coût de la restriction de longueur).
3. constrained : Génération restreinte à une énumération de 10 outils candidats plus le jeton d'abstention, arrêtée au premier saut de ligne.

Métriques et décomposition

L'auteur définit trois différences pour isoler les effets spécifiques :

• $\Delta_{length}$ : acc(short) - acc(free). Mesure le coût de la restriction de la longueur de sortie (arrêt au premier saut de ligne).
• $\Delta_{mask}$ : acc(constrained) - acc(short). Mesure le coût marginal de la grammaire (l'énumération) étant donné que la longueur est déjà contrôlée.
• $\Delta_{total}$ : acc(constrained) - acc(free). Le coût total du décodage contraint, qui est la somme des deux précédents.

Ce design permet à l'auteur de distinguer le coût du « formatage » (arrêt précoce) du coût du « masquage » (restriction de l'ensemble des jetons).

Variable de mécanisme

L'étude mesure la masked_mass, définie comme la masse de probabilité que le modèle assigne aux jetons interdits par la grammaire de l'énumération dans la condition non contrainte. C'est le complément de la « masse réalisable » proposée par Reddy et al. (2026).

Contributions clés

1. Décomposition de la taxe de contrainte : L'article démontre que le coût total du décodage contraint dans les contextes d'abstention d'outil n'est pas une valeur négative unique, mais la somme de deux composantes ayant des signes opposés.

   • Le jeton d'arrêt (contrainte de longueur) provoque souvent une chute significative de la précision (ex: -20,0 points).
   • La contrainte d'énumération (masquage lexical) récupère souvent une partie de cette perte (ex: +19,5 points).
   • Par conséquent, l'effet total ($\Delta_{total}$) peut être proche de zéro ou négatif, masquant le fait que la grammaire est en train de « réparer » activement le dommage causé par la contrainte de longueur plutôt que d'améliorer le jugement intrinsèque du modèle.

2. Réparation vs Amélioration : L'auteur montre que la contrainte n'améliore pas la capacité de prise de décision du modèle. Sur les 698 abstentions « réparées » par la contrainte (passées de faux à vrai), 545 n'avaient aucune réponse lisible dans la sortie non contrainte, et 0 n'étaient des cas où le modèle avait pris la bonne décision mais avait échoué à cause du formatage. La contrainte force simplement le modèle à produire un jeton valide, restaurant la lisibilité mais n'améliorant pas la logique sous-jacente.

3. Décalage de la frontière de décision : Bien que la contrainte « répare » la lisibilité, elle déplace également la frontière de décision. Par rapport à une base de génération libre, la contrainte augmente la précision de la sélection d'outils mais diminue la précision de l'abstention. Cela indique que la grammaire pousse le modèle vers le nommage d'un outil, même quand l'abstention est correcte.

4. Indépendance linguistique : Contrairement aux hypothèses selon lesquelles des distributions de probabilité spécifiques à une langue pourraient altérer le coût, l'étude constate que la statistique intra-élément (comparant les échecs entre les langues sur des éléments que les deux avaient réussis sans contraintes) ne présente aucune différence significative entre le coréen et l'anglais. Cependant, la masse de probabilité masquée n'explique pas entièrement la différence de langue : dans la régression logistique, le coefficient de la langue exclut zéro, indiquant un effet de langue résiduel que la variable de masse ne rend pas compte.

5. Mécanisme non linéaire : La relation entre la masked_mass et la pénalité d'abstention n'est pas linéaire. Il existe un point de rupture à environ 0,480. En dessous de ce seuil, la masse prédit peu la pénalité ; au-dessus, la pénalité augmente brusquement.

Résultats

• Performance de l'abstention : Par rapport à la base de génération libre non contrainte, $\Delta_{total}$ sur l'abstention est négatif (indiquant une baisse de performance) avec des intervalles excluant zéro dans quatre des six cellules modèle/langue, avec une chute maximale de -29,5 points. Il n'est jamais positif avec un intervalle excluant zéro.
• Décomposition : Pour le plus petit modèle (0,6B) en coréen, le jeton d'arrêt seul coûte -20,0 points, mais l'ajout de l'énumération récupère +19,5 points, laissant un coût net de -0,5. Cela confirme l'hypothèse de la « réparation » : la grammaire répare le dommage causé par le jeton d'arrêt.
• Sélection d'outil : Sur les éléments nécessitant un outil, la contrainte améliore systématiquement la précision ( $\Delta_{total}$ positif dans toutes les cellules), confirmant que la contrainte aide lorsqu'un outil est requis.
• Revendications linguistiques : Les deux revendications préenregistrées concernant les différences de langue n'ont pas soutenu l'hypothèse initiale d'un coût dépendant de la langue. La statistique intra-élément n'a montré aucune différence significative entre le coréen et l'anglais, et la masse de probabilité masquée n'a pas absorbé la variance séparant les langues (le coefficient de la langue est resté significatif dans la régression).

Signification et revendications

L'article conclut que l'application « presque gratuite » des contraintes trouvée dans les travaux antérieurs ne tient pas pour l'abstention d'appel de fonction. La principale signification réside dans la décomposition de l'effet de la contrainte :

1. Séparation des préoccupations : Le jeton d'arrêt (contrôle de la longueur) et l'énumération (contrôle lexical) sont des composantes séparables ayant des effets opposés. Un design à deux conditions (comparant le libre vs contraint) les additionne en un seul nombre, masquant potentiellement une perte importante et une récupération importante qui s'annulent.
2. Nature du gain : Le bénéfice du décodage contraint dans ce contexte est la forme, pas le jugement. Il rend les sorties illisibles lisibles, mais n'améliore pas la capacité du modèle à décider quand s'abstenir. En fait, il peut dégrader cette décision en biaisant le modèle vers l'invocation d'outils.
3. Implication pratique : Les praticiens devraient rapporter le jeton d'arrêt et la grammaire séparément. Se fier à une seule métrique agrégée peut conduire à la fausse conclusion que le décodage contraint est neutre ou bénéfique pour l'abstention, alors qu'en réalité, il peut nuire activement à la capacité du modèle à décliner correctement les appels d'outils.

L'article maintient un champ d'application modeste, notant que ses conclusions sont spécifiques au contexte d'abstention et au benchmark utilisé (où l'outil d'or est toujours le premier candidat, une propriété qui limite la généralisation mais n'affecte pas les différences mesurées). Il ne propose pas de nouvelles méthodes d'entraînement ou d'architectures, mais fournit plutôt un cadre de mesure pour mieux comprendre les coûts des contraintes d'inférence actuelles.