💬 NLP

DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

Le papier propose DIRECT, un cadre qui améliore la performance et l'efficacité des grands modèles de langage pour l'étiquetage de séquences en combinant l'optimisation de préférence directe pour un meilleur alignement avec un mécanisme de décodage par remplissage de gabarit contrôlé qui minimise le calcul redondant.

Auteurs originaux : Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Publié 2026-07-30

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent qui a lu presque tous les livres d'Internet. Il peut écrire des poèmes, résoudre des problèmes mathématiques et discuter comme un humain. C'est ce que les scientifiques appellent un « Grand Modèle de Langage » (LLM). Mais voici le hic : bien qu'il soit un génie de la conversation générale, il peut être un peu désordonné lorsqu'on lui demande de faire des tâches très spécifiques et basées sur des règles. L'une de ces tâches est l'« étiquetage de séquence ». Voyez cela comme un jeu de « chat » où vous devez parcourir une phrase et coller un autocollant spécifique sur chaque mot. Est-ce qu'« Apple » est une entreprise ? Est-ce que « Tim » est une personne ? Est-ce que « Mars » est une date ? Le robot doit obtenir chaque autocollant parfaitement, dans l'ordre exact, sans mots supplémentaires ou étiquettes manquantes.

Le problème est que ces robots sont habitués à être créatifs et fluides. Lorsqu'on leur demande de suivre des règles strictes, ils s'embrouillent parfois, oublient le format ou inventent simplement des choses. De plus, parce qu'ils sont si bavards, ils mettent beaucoup de temps à réfléchir à chaque mot, ce qui les rend lents et coûteux à exploiter. Les scientifiques ont essayé d'apprendre à ces robots à mieux suivre les instructions et à être plus rapides dans leur travail, mais c'était comme essayer d'apprendre à un golden retriever à pratiquer une chirurgie de précision.

C'est là qu'intervient une nouvelle méthode appelée DIRECT. Les chercheurs derrière ce papier voulaient résoudre deux gros maux de tête : le fait que le robot n'écoute pas assez bien les instructions, et le fait qu'il soit trop lent. Ils n'ont pas seulement essayé d'enseigner plus durement au robot ; ils ont changé la façon dont le robot apprend et la façon dont il réfléchit.

Premièrement, ils ont donné au robot un type spécial d'entraînement appelé Optimisation de la Préférence Directe (DPO). Imaginez que vous apprenez à un chien à rapporter une balle. Au lieu de simplement dire « Va chercher la balle », vous montrez au chien deux façons différentes de rapporter la balle : une où il apporte la balle parfaitement, et une où il la lâche à mi-chemin. Vous lui dites ensuite : « Je préfère beaucoup la première ». En montissant au robot des milliers de ces exemples de « bon contre mauvais », il apprend à comprendre exactement ce que les humains préfèrent, ce qui le rend beaucoup plus susceptible de réussir du premier coup.

Deuxièmement, et c'est la partie vraiment ingénieuse, ils ont changé la façon dont le robot écrit sa réponse lors du test réel. Habituellement, un robot doit réécrire toute la phrase à nouveau, mot par mot, y compris les mots qu'il connaît déjà. C'est comme demander à un élève de réécrire toute l'histoire de « Cendrillon » juste pour changer la couleur de la robe à la fin. DIRECT arrête ce gaspillage. Au lieu de réécrire toute l'histoire, le robot reçoit un modèle à « textes à trous ». Il n'a qu'à écrire les autocollants spécifiques (les étiquettes) et ignorer le reste. L'ordinateur se souvient instantanément du reste de l'histoire, ce qui économise un temps et une énergie considérables.

Les résultats de cette nouvelle approche sont assez impressionnants. Les chercheurs ont testé DIRECT sur huit ensembles de données différents, qui sont comme différents ensembles de problèmes d'entraînement impliquant des choses comme la recherche de noms de personnes, de lieux et d'organisations. Ils ont constaté que DIRECT était non seulement plus précis que les autres méthodes de pointe, mais aussi nettement plus rapide. En fait, sur certains tests, il était jusqu'à 9 fois plus rapide que les meilleures méthodes existantes.

Lorsqu'ils ont examiné de près pourquoi cela fonctionnait si bien, ils ont découvert que les deux parties de leur plan étaient essentielles. S'ils avaient supprimé l'entraînement spécial (DPO), le robot aurait commis plus d'erreurs. S'ils avaient supprimé l'astuce de vitesse du « texte à trous », le robot aurait trouvé les bonnes réponses mais aurait mis une éternité pour le faire. En combinant un entraînement rigoureux au respect des règles avec une manière intelligente de sauter le travail inutile, DIRECT a réussi à obtenir le meilleur des deux mondes : un robot qui est à la fois un perfectionniste et un champion de la vitesse.

Le papier montre qu'avec le bon entraînement et un peu de ruse en ingénierie, nous pouvons rendre ces outils d'IA puissants beaucoup plus utiles pour les tâches qui exigent de la précision. Il ne s'agit pas seulement de rendre le robot plus intelligent ; il s'agit de lui apprendre à se concentrer et à travailler efficacement, transformant un génie bavard en un travailleur fiable et rapide.

Résumé Technique : DIRECT pour un Étiquetage de Séquences Efficace et Aligné avec les LLM

1. Énoncé du Problème

L'étiquetage de séquences, une tâche d'extraction d'informations à grain fin englobant la reconnaissance d'entités nommées (NER), la segmentation de mots et l'étiquetage morphosyntaxique (POS), est critique pour les applications de traitement du langage naturel (NLP) en aval. Bien que les grands modèles de langage (LLM) aient montré des promesses dans des scénarios à faibles ressources grâce au fine-tuning, les approches existantes font face à deux défis principaux :

Alignement de Domaine Insuffisant : Les méthodes actuelles reposent sur un formatage basé sur des instructions lors du Fine-Tuning Supervisé (SFT). Cependant, cela ne garantit pas que le modèle produit des sorties qui adhèrent strictement aux structures d'étiquetage de séquences attendues, ce qui entraîne des violations de format et des désalignements avec les préférences humaines.
Faible Efficacité d'Inférence : La plupart des approches conservent le processus de décodage autorégressif standard lors de l'inférence. Cela nécessite que le modèle génère chaque jeton de la séquence de sortie, y compris les éléments structurels (par exemple, parenthèses, séparateurs) et le contexte connu, ce qui entraîne un calcul redondant et des vitesses d'inférence lentes.

2. Méthodologie : DIRECT

Les auteurs proposent DIRECT (DPO-based Inference RECTification), un cadre conçu pour répondre à l'alignement et à l'efficacité par un double mécanisme d'optimisation lors de l'entraînement et de rectification lors de l'inférence.

2.1. Optimisation du Modèle Orientée vers la Précision (Phase d'Entraînement)

Pour améliorer l'alignement spécifique au domaine, DIRECT emploie l'Optimisation de Préférence Directe (Direct Preference Optimization - DPO) faisant suite au SFT standard.

Construction des Données : Le modèle entraîné par SFT génère des réponses candidates pour les séquences d'entrée. Des paires de préférences $(X, O^+, O^-)$ sont construites où $O^+$ est la vérité de terrain et $O^-$ est un échantillon « moins préféré ».
Stratégie de Sélection : Pour maximiser le gain d'entropie, les échantillons moins préférés sont sélectionnés selon un critère spécifique : des scores BLEU élevés (indiquant la fluidité) mais de faibles scores F1 (indiquant une mauvaise précision d'extraction d'entités). Cela force le modèle à apprendre la distinction entre des sorties fluides mais incorrectes et des sorties précises et structurées.
Optimisation : L'objectif DPO maximise la différence de log-probabilité entre les sorties préférées et les moins préférées sous le modèle entraînable par rapport à un modèle de référence fixe, alignant efficacement le comportement du modèle avec les préférences humaines pour les tâches d'étiquetage de séquences.

2.2. Rectification d'Inférence (Phase d'Inférence)

Lors de l'inférence, DIRECT introduit un processus de décodage contrôlé qui impose une adhésion stricte au format et maximise l'efficacité computationnelle.

Mécanisme de Remplissage de Modèle (Template-Filling) : Au lieu de générer toute la séquence de sortie de manière autorégressive, le modèle est restreint à générer uniquement les jetons de labels. Les composants structurels (par exemple, les mots, les parenthèses, les séparateurs) sont pré-remplis via un modèle (template).
Réutilisation du Cache KV : Le cadre exploite le Cache Clé-Valeur (KV Cache) pour éviter les calculs d'attention redondants.
1. Pré-remplissage (Prefilling) : Avant de prédire un label pour un mot $x_i$ , le système traite la séquence précédente connue (contexte $C_{t-2}$ ) en un seul passage pour calculer et stocker son Cache KV.
2. Génération Incrémentale : Le modèle ne calcule que les nouvelles clés-valeurs pour les jetons spécifiques requis pour le label (par exemple, la parenthèse ouvrante et les caractères du label).
3. Restriction des Candidats : L'espace de décodage est contraint à un ensemble prédéfini de jetons de labels, garantissant la validité syntaxique.
Résultat : Cette approche consolide plusieurs opérations d'attention en un seul passage de pré-remplissage pour les préfixes connus, réduisant considérablement le nombre d'étapes de génération.

3. Principales Contributions

Le document souligne trois contributions majeures :

Optimisation de l'Alignement Adaptatif au Domaine : En intégrant le DPO avec une stratégie raffinée de sélection de paires de préférences et en introduisant des interventions contrôlées lors de l'inférence, la méthode permet aux LLM de mieux comprendre les tâches d'étiquetage de séquences et de s'aligner plus étroitement avec les préférences humaines.
Amélioration Significative de l'Efficacité d'Inférence : Le mécanisme de remplissage de modèle, qui exige que le modèle génère uniquement les jetons de labels tout en réutilisant le Cache KV pour le reste de la séquence, permet d'atteindre une vitesse d'inférence jusqu'à 9 fois plus rapide que les méthodes de pointe.
Performance de l'État de l'Art : Des expériences approfondies sur les tâches NER et POS dans des contextes de faibles ressources démontrent que DIRECT atteint des performances supérieures par rapport aux bases de comparaison existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué DIRECT sur huit jeux de données (quatre chinois et quatre anglais pour NER/POS) dans des configurations de faibles ressources ( $K=250, 500, 1000$ échantillons).

Performance : En utilisant GLM4-9B-Chat comme colonne vertébrale, DIRECT a systématiquement obtenu les meilleurs scores F1 sur la quasi-totalité des jeux de données. En utilisant LLaMA-3.1-8B-Instruct, il a généralement obtenu les deuxièmes meilleurs résultats.
- Des améliorations notables ont été observées sur le jeu de données MIT-Movie, où les scores F1 ont augmenté de 13,69 % à 15,69 % par rapport aux bases de comparaison selon la taille de l'échantillon.
- Les améliorations moyennes du F1 variaient de 0,37 % à 14,72 % à travers divers jeux de données.
Études d'Ablation : Le retrait du DPO (« w/o DPO ») ou de la rectification d'inférence (« w/ SFT » uniquement) a entraîné une dégradation constante des performances. Plus précisément, sur les jeux de données Taobao et MIT-Movie, le retrait de la pipeline complète de DIRECT a causé des chutes de F1 allant jusqu'à 20,21 %, confirmant la nécessité des deux composantes d'entraînement et d'inférence.
Efficacité : L'analyse du temps d'inférence sur le jeu de données CTB6 a montré que DIRECT n'a nécessité que 32,86 secondes pour traiter 10 phrases, contre 309,44 secondes pour GNER et 1 468,00 secondes pour InstructUIE. Cela représente une accélération d'environ 10x par rapport aux bases de comparaison robustes.
Études de Cas : L'analyse qualitative a révélé que les bases de comparaison souffraient souvent de sorties manquantes, de sorties redondantes ou de violations de format (par exemple, l'échec de l'étiquetage de certains mots ou l'ignorance des règles structurelles). DIRECT a démontré une robustesse supérieure en adhérant strictement au format de sortie et en classant avec précision tous les entités.

5. Signification

Le papier affirme que DIRECT offre une solution pratique pour le déploiement des LLM dans les tâches d'étiquetage de séquences, particulièrement dans les environnements à faibles ressources. En combinant le DPO pour aligner le comportement du modèle avec les exigences spécifiques de la tâche et un mécanisme de remplissage de modèle pour éliminer la génération redondante, la méthode réalise une double percée : elle améliore considérablement la précision et l'alignement tout en réduisant drastiquement les coûts de calcul. Les auteurs positionnent DIRECT comme un cadre hautement efficace et robuste qui surpasse les approches génératives et discriminatives existantes tant en termes de performance que de déployabilité.