Résumé technique : Découplage de la résolution de tâches et du formatage de sortie dans la génération par LLM

Énoncé du problème

Les grands modèles de langage (LLM) ont démontré une compétence croissante dans les tâches de raisonnement complexe, telles que la résolution de problèmes mathématiques et l'évaluation automatique. Cependant, les performances diminuent souvent lorsque les prompts combinent des instructions de tâche avec des exigences de format de sortie rigides. Cet « enchevêtrement » force le modèle à optimiser simultanément la précision du raisonnement et l'adhérence stricte au format, créant des objectifs concurrents qui entravent les capacités de raisonnement du modèle.

Les approches existantes tentent d'atténuer ce problème par deux voies principales, toutes deux présentant des limites :

1. Relâchement des contraintes : Supprimer ou assouplir les exigences de format entraîne souvent des taux de conformité faibles, rendant les sorties inutilisables pour des applications structurées.
2. Décodage contraint : Des frameworks comme Outlines ou Guidance imposent des transitions de tokens strictes pour garantir la conformité du format. Cependant, ces méthodes interviennent de manière invasive, perturbant le flux de raisonnement interne du modèle et entraînant des interruptions abruptes ou des sorties incohérentes.

Des études récentes (par exemple, Tam et al., 2024 ; Long et al., 2025) indiquent que des contraintes plus strictes sont corrélées à une plus grande dégradation du raisonnement, suggérant la nécessité critique d'un framework capable de découpler les contraintes de format de la résolution de tâches sans sacrifier le potentiel de raisonnement du LLM.

Méthodologie : DECO-G

Les auteurs proposent DECO-G, un framework de décodage qui sépare explicitement le raisonnement de la tâche du formatage de la sortie. La philosophie centrale est de déléguer l'adhérence au format à un module auxiliaire, permettant au LLM principal de se concentrer uniquement sur la résolution du problème.

Architecture

Le framework opère via un système à deux modules :

1. LLM de résolution de tâches : Reçoit uniquement le prompt spécifique à la tâche (par exemple, un problème mathématique) sans instructions de formatage explicites.
2. Module d'estimation de format (FEM) : Reçoit les contraintes de format (par exemple, « La réponse finale est... »). Le FEM effectue une anticipation probabiliste pour estimer la probabilité que les séquences de tokens futures satisferont les contraintes de format.

À chaque étape de décodage, la probabilité de conformité estimée par le FEM est utilisée pour repondérer la distribution originale des tokens du LLM. La distribution de probabilité finale est construite comme suit :
$$P(x_t|x_{<t}, \alpha) \propto P_{LM}(x_t|x_{<t}) [P_{FEM}(\alpha|x_{<t}, x_t)]^\gamma$$
où $\alpha$ représente les contraintes de format et $\gamma$ est un hyperparamètre de force de pilotage.

Innovations techniques clés

Pour rendre cette approche pratique et efficace, les auteurs introduisent trois innovations spécifiques :

1. Distillation sensible aux instructions :
   Les méthodes de génération contrôlable antérieures (par exemple, GeLaTo, Ctrl-G) distillent des Modèles de Markov Cachés (HMM) à partir d'un échantillonnage aléatoire inconditionnel. Cela échoue à capturer le comportement conditionnel aux instructions des LLM affinés. DECO-G remédie à cela en distillant l'HMM exclusivement sur des paires instruction-réponse issues du jeu de données Natural-Instructions-v2. Cela garantit que le FEM modélise avec précision le comportement du LLM lorsqu'il suit des instructions de tâches spécifiques.

2. Construction de Trie flexible :
   Les contraintes de format du monde réel impliquent souvent des modèles complexes avec du texte fixe (Pivots) et des champs de longueur variable (Wildcards). La construction standard d'Automates à États Finis Déterministes (DFA) conduit à une explosion de l'espace d'états ($O(K^N)$) lors de la gestion de segments de longueur variable enchaînés. DECO-G introduit un algorithme de trie flexible qui impose la Convergence d'État. Cette stratégie fusionne tous les chemins valides d'un segment wildcard vers un seul état d'entrée canonique pour le segment suivant, réduisant la complexité à une croissance linéaire ($O(N \times K)$).

3. Élagage des états HMM :
   L'anticipation probabiliste dans le FEM implique le calcul des probabilités d'émission sur l'ensemble du vocabulaire, ce qui est coûteux en calcul ($O(h|V|)$). Les auteurs observent que la distribution des états cachés est hautement creuse. En élagant l'HMM pour ne considérer que les $k$ états les plus probables (par exemple, les top 5 %), ils réduisent la complexité à $O(k|V| + h \log h$). Les résultats empiriques montrent qu'en conservant seulement 5 % des états, on préserve plus de 98 % des performances du modèle tout en réduisant les FLOPs d'environ 13$\times$.

Résultats expérimentaux

Les auteurs ont évalué DECO-G à travers trois tâches distinctes : le raisonnement mathématique (GSM8k), l'extraction d'arguments d'événements (ACE05) et le LLM-as-a-Judge (SummEval), en utilisant des modèles tels que Llama-3.1-8B, Qwen2.5-7B et Qwen3-8B.

• Raisonnement mathématique (GSM8k) : DECO-G surpasse systématiquement les bases de référence. Alors que le prompting standard (Prompt-Only) atteignait une haute précision mais une faible conformité de format, et que la génération structurée (Outlines) garantissait la conformité mais dégradait la précision, DECO-G a atteint 100 % de conformité de format tout en maintenant ou en améliorant la précision du raisonnement. Par exemple, sur Llama-3.1-8B, DECO-G a atteint 85,2 % de précision contre 81,3 % pour Outlines et 82,3 % pour Prompt-Only (NL).
• Extraction d'arguments d'événements (ACE05) : DECO-G a amélioré la qualité globale de l'extraction, particulièrement dans l'identification des Argument IDs (AI) et des Argument-attached IDs (AI+), suggérant une meilleure intégration des rôles et des arguments extraits.
• LLM-as-a-Judge (SummEval) : DECO-G a démontré la plus forte corrélation moyenne avec les annotateurs humains sur les métriques de cohérence, de consistance, de fluidité et de pertinence. L'analyse qualitative a révélé que DECO-G permet une intégration plus naturelle des phrases de notation à des positions arbitraires, là où les bases de référence forçaient souvent l'ajout rigide de notations à la fin.

Signification et affirmations

L'article affirme que DECO-G représente un nouveau paradigme dans la génération de texte contrôlée en atteignant une « séparation des responsabilités » entre le raisonnement et le formatage.

• Préservation du raisonnement : En retirant la charge cognitive du formatage du processus de génération immédiat du LLM, le framework libère tout le potentiel de raisonnement du modèle.
• Conformité garantie : Contrairement au prompting non contraint, DECO-G fournit une garantie mathématique d'adhérence au format grâce au mécanisme de repondération du FEM.
• Efficacité pratique : Grâce à la distillation sensible aux instructions, à la construction de trie flexible et à l'élagage des états, les auteurs démontrent que le surcoût computationnel est négligeable (constituant environ 0,53 % de la passe avant principale du LLM), rendant le framework viable pour un déploiement réel.

Les auteurs concluent que cette approche de découplage conduit à des gains de performance globaux, portés par la capacité d'imposer des contraintes strictes sans la dégradation du raisonnement typiquement associée aux frameworks de décodage rigides. Ils reconnaissent des limites, telles que la nécessité de distiller un nouvel HMM pour différentes familles de LLM et la sensibilité de l'hyperparamètre de pilotage $\gamma$ à l'asymétrie de la distribution des tokens du modèle.