💬 NLP

Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement

Cet article présente un modèle DeBERTa-v3-large léger et enrichi linguistiquement qui reformule l'identification des expressions multi-mots en une classification binaire au niveau du jeton, atteignant des performances de pointe sur les ensembles de données CoAM et STREUSLE tout en utilisant 165 fois moins de paramètres que les grands modèles de langage de pointe.

Auteurs originaux : Diego Rossini, Lonneke van der Plas

Publié 2026-01-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Diego Rossini, Lonneke van der Plas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver des expressions spécifiques dans un livre, comme « rendre l'âme » ou « chercher l'information ». Parfois, ces expressions sont collées ensemble, mais d'autres fois, d'autres mots s'intercalent entre elles, comme dans « chercher l'information » (en anglais : « look the information up »). Trouver ces « Expressions Multi-mots » (MWE) revient à jouer à une partie de « Où est Charlie ? » où Charlie pourrait être caché en pleine vue ou divisé en deux parties par une foule entre les deux.

Pendant longtemps, les ordinateurs ont eu du mal avec cela. Soit ils manquaient les expressions divisées, soit ils étaient confus par les millions de paramètres des modèles géants aux structures cérébrales (comme Qwen-72B) qui essayaient de tout mémoriser mais passaient quand même à côté de la plaque.

Voici comment les auteurs de cet article ont résolu le problème en utilisant une approche « légère » :

1. Changer les règles du jeu : de « deviner le tout » à « repérer les bords »

Traditionnellement, les ordinateurs essayaient de deviner l'expression entière d'un seul coup, comme essayer de deviner une phrase entière avant même d'avoir lu le premier mot. C'est difficile et lent.

Les auteurs ont changé les règles. Au lieu de deviner l'expression entière, ils ont appris à leur modèle à répondre à trois questions simples par « Oui/Non » pour chaque mot d'une phrase :

Est-ce le DÉBUT d'une expression ?
Est-ce la FIN d'une expression ?
Ce mot est-il à l'INTÉRIEUR d'une expression ?

Voyez cela comme la construction d'une clôture. Au lieu d'essayer de dessiner toute la clôture d'un coup, vous placez simplement un poteau de « Début », un poteau de « Fin », et vous remplissez les poteaux d'« Intérieur ». Cela rend la tâche beaucoup plus rapide et facile à apprendre pour l'ordinateur.

2. Donner à l'ordinateur une « carte grammaticale »

Même avec les nouvelles règles du jeu, l'ordinateur avait encore besoin d'aide pour repérer les expressions divisées complexes. Les auteurs ont donné au modèle un « aide-mémoire » basé sur la grammaire humaine :

Segmentation des groupes nominaux (Noun Phrase Chunking) : Ils ont dit au modèle : « Hé, si ces mots sont regroupés en tant que nom (comme « marché boursier »), prête une attention particulière. »
Chemins de dépendance (Dependency Paths) : Ils ont donné au modèle une carte de la façon dont les mots se connectent entre eux. Si deux mots sont éloignés dans la phrase mais grammaticalement connectés (comme « chercher » et « haut » dans « chercher l'info haut »), le modèle sait qu'ils forment une équipe, même si d'autres mots se trouvent entre eux.

3. Équilibrer la classe d'entraînement

Les données qu'ils ont utilisées étaient déséquilibrées. C'était comme avoir une classe de 100 élèves qui sont très bons en mathématiques, mais seulement 5 qui sont bons en art. L'ordinateur continuait d'ignorer les étudiants « artistes » (les expressions rares et complexes).

Pour corriger cela, les auteurs ont utilisé le suréchantillonnage (oversampling). Ils ont pris les exemples rares et les ont montrés plus souvent à l'ordinateur, comme donner plus de temps de pratique à ces 5 étudiants en art pour que l'ordinateur apprenne aussi à les reconnaître.

Les résultats : Petits mais costauds

Les auteurs ont testé leur nouvelle méthode (en utilisant un modèle appelé DeBERTa-v3-large) contre le géant « Qwen-72B ».

Le Géant : Qwen-72B est énorme (des milliards de paramètres) et a obtenu un score de 57,8 %.
Le Léger : Leur nouveau modèle est 165 fois plus petit mais a obtenu un score de 69,8 %.

C'est comme un détective agile et bien entraîné résolvant une affaire plus rapidement et plus précisément qu'un robot géant et lent qui essaie de mémoriser toute la bibliothèque.

Pourquoi cela importe

L'article montre que vous n'avez pas besoin d'un supercalculateur massif et gourmand en énergie pour comprendre des structures linguistiques complexes. En utilisant des astuces intelligentes (comme le jeu « Début/Fin/Intérieur ») et en donnant un peu d'aide au modèle grâce aux règles de grammaire, un modèle plus petit et plus efficace peut en réalité surpasser les géants.

Ils ont également testé cela sur un autre ensemble de données (STREUSLE) et ont obtenu des résultats excellents similaires, prouisant que leur méthode n'est pas seulement un coup de chance sur un test spécifique, mais une manière solide de trouver ces expressions cachées dans les textes anglais.

En bref : Ils ont trouvé une façon plus intelligente, plus rapide et plus petite d'apprendre aux ordinateurs à repérer des expressions complexes, même lorsque ces expressions sont brisées par d'autres mots.

Résumé Technique : Classification Binaire au Niveau du Token avec DeBERTa pour l'Identification des MWE de Tous Types

Énoncé du Problème

Les expressions multi-motives (MWE - Multiword Expressions) posent un défi important aux systèmes de traitement du langage naturel (NLP) en raison de leur flexibilité syntaxique et de leur non-compositionnalité sémantique. Une difficulté majeure réside dans la détection des MWE discontinues, où les composants sont séparés par un élément intermédiaire (par exemple, « look...up » dans « look the information up »). Les approches traditionnelles formulent souvent l'identification des MWE comme une tâche de marquage de séquence multi-classes (par exemple, les jeux de marqueurs BIO ou BILOU), qui attribue un label unique à chaque token. Cependant, les méthodes de pointe actuelles reposent souvent sur des modèles de langage massifs (LLM) dotés de milliards de paramètres et manquent d'une intégration systématique des connaissances linguistiques. De plus, bien que la classification binaire ait réussi dans la reconnaissance d'entités nommées (NER) basée sur les segments (span-based), son application à l'identification des MWE de tous types reste inexplorée.

Méthodologie

Les auteurs proposent une approche légère et complète qui reformule l'identification des MWE comme une tâche de classification binaire au niveau du token, intégrant des caractéristiques linguistiques et de l'augmentation de données.

1. Cadre de Classification Binaire au Niveau du Token

Au lieu d'attribuer un label unique à partir d'un jeu de marqueurs multi-classes, le modèle effectue trois prédictions binaires indépendantes pour chaque token $x_i$ :

START : Ce token est-il le début d'une MWE ?
END : Ce token est-il la fin d'une MWE ?
INSIDE : Ce token est-il strictement situé entre le début et la fin d'une MWE ?

Cette approche déplace la complexité de l'énumération quadratique des segments ( $O(n^2)$ ) vers un traitement linéaire des tokens ( $O(n)$ ). Lors de l'inférence, les segments candidats sont reconstitués en associant les tokens où $p_{start} \geq \tau_{start}$ et $p_{end} \geq \tau_{end}$ , à condition que les tokens intermédiaires satisfont $p_{inside} \geq \tau_{inside}$ . Des contraintes sont appliquées pour garantir que les segments reconstitués correspondent aux distributions du jeu de données (par exemple, 2 à 6 membres, maximum 13 tokens).

2. Intégration des Caractéristiques Linguistiques

Le modèle DeBERTa-v3-large est enrichi de deux formes de connaissances syntaxiques pour aider à la détection des motifs nominaux et discontinus :

Caractéristiques de Chunk NP : Les tokens sont marqués comme étant à l'intérieur ou à l'extérieur d'un groupe nominal (NP) via spaCy. Ces marqueurs binaires sont mappés vers des plongements (embeddings) apprenables et concaténés avec les états contextuels des tokens pour améliorer le rappel des MWE nominales (par exemple, « stock market »).
Caractéristiques de Dépendance : Les longueurs de chemin de dépendance les plus courtes entre les paires de tokens sont calculées (plafonnées à 5). Elles servent deux objectifs :
1. Encodage : Les distances de dépendance moyennes sont mappées vers des plongements de 32 dimensions.
2. Contraintes Strictes : Lors de la reconstruction, les candidats dont les membres consécutifs présentent une distance de dépendance $>4$ sont rejetés afin de filtrer les combinaisons discontinues implausibles.

3. Augmentation de Données

Pour traiter le déséquilibre sévère des classes dans les données d'entraînement, deux stratégies ont été évaluées :

Suréchantillonnage (Oversampling) : Réplication des phrases d'entraînement contenant des MWE.
Substitution Lexicale : Remplacement des tokens non-MWE par des mots sémantiquement similaires.
La stratégie optimale dépend de la taille du jeu de données : le suréchantillonnage s'est avéré supérieur pour le petit jeu de données CoAM, tandis que la substitution lexicale était plus efficace pour le plus grand jeu de données STREUSLE.

4. Jeux de Données

CoAM : Un jeu de données curaté de 1 301 phrases anglaises couvrant tous les types de MWE (NOUN, VERB, MOD/CONN, CLAUSE, OTHER), incluant 11,3 % de motifs discontinus.
STREUSLE : Un jeu de données plus large utilisé pour tester la généralisation, avec des catégories mappées vers les types compatibles avec CoAM.

Contributions Clés

Reformulation de la Tâche : Première application de la classification binaire au niveau du token (START/END/INSIDE) à l'identification des MWE de tous types, démontrant son efficacité par rapport au marquage de séquence traditionnel.
Efficacité vs Performance : Un modèle DeBERTa-v3-large (environ 400 millions de paramètres) atteint des résultats de pointe, surpassant Qwen-72B (72 milliards de paramètres) de 12 points de F1 tout en utilisant 165 fois moins de paramètres.
Amélioration Linguistique : Démontré que l'intégration du chunking NP et des caractéristiques de dépendance booste significativement la performance, particulièrement pour les MWE discontinues et nominales.
Généralisation : Validé sur le jeu de données STREUSLE, atteignant un F1 de 78,9 %, confirmant que la méthode capture les structures fondamentales des MWE plutôt que des artefacts spécifiques au jeu de données.

Résultats Expérimentaux

Les auteurs ont mené une étude d'ablation systématique avec 15 configurations de modèles :

Performance sur CoAM :
- Le meilleur modèle (DLT+lo : DeBERTa-large + caractéristiques linguistiques + suréchantillonnage) a atteint 69,8 % de F1.
- Cela surpasse l'ancien meilleur (Qwen-72B) de 12 points (57,8 % de F1).
- MWE Discontinues : L'approche a doublé la performance de base pour les motifs discontinus, atteignant 29,7 % de F1 contre 17,1 % pour Qwen-72B.
- Rappel par Type : Des améliorations significatives ont été observées pour tous les types, notamment pour CLAUSE (85,7 % de rappel contre 28,6 % pour Qwen) et MOD/CONN (84,7 % de rappel).
Performance sur STREUSLE :
- Le meilleur modèle (DBT+la : DeBERTa-base + caractéristiques linguistiques + substitution lexicale) a atteint 78,9 % de F1.
- L'approche binaire au niveau du token a fourni une amélioration massive par rapport à la base par segment (19,8 % de F1), gagnant 53,5 points.
Aperçus de l'Ablation :
- La classification binaire au niveau du token seule a fourni un boost de +5,2 F1 par rapport à la prédiction par segment.
- L'attention désengagée (DeBERTa) s'est révélée supérieure aux architectures BERT standards pour la détection de MWE.
- Les stratégies d'augmentation dépendaient du jeu de données : le suréchantillonnage fonctionnait mieux pour les petits jeux de données de haute qualité (CoAM), tandis que la substitution lexicale fonctionnait mieux pour les plus grands (STREUSLE).

Signification et Revendications

L'article affirme que des modèles plus petits, soigneusement conçus, peuvent largement surpasser les LLM sur des tâches de NLP structurées. En reformulant le problème comme une classification binaire au niveau du token et en intégrant des connaissances linguistiques explicites, les auteurs démontrent que des déploiements aux ressources limitées peuvent atteindre une haute performance sans le coût computationnel des modèles massifs.

Les auteurs soulignent que leur méthode gère avec succès la nature « de tous types » des MWE, une tâche où les cadres précédents se concentraient souvent uniquement sur les MWE verbales ou l'idiomaticité binaire. Ils reconnaissent des limites, notamment la dépendance vis-à-vis des outils NLP en amont (spaCy) pour les caractéristiques linguistiques, la difficulté des dépendances discontinues à longue portée, et l'incapacité de calculer la précision par type en raison de la formulation binaire (qui prédit les frontières mais pas les types). Cependant, les résultats suggèrent que cette approche capture des aspects fondamentaux de la structure des MWE, offrant une alternative pratique et efficace aux solutions actuelles basées sur les LLM.