Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

Résumé Technique : Supervision versus Apprentissage en Contexte Basé sur la Démonstration pour la Classification des Expressions Multi-mots

Énoncé du Problème
L'article traite du défi de la détection des constructions de verbes légers (LVC - Light Verb Constructions) en turc, une classe spécifique d'expressions multi-mots (MWE). Les LVC turques sont difficiles pour les systèmes de traitement du langage naturel (NLP) car elles partagent souvent la même forme de surface que des combinaisons verbe-objet entièrement littérales tout en fonctionnant comme un prédicat unique et partiellement idiomatique. Par exemple, le verbe ver- (donner) apparaît à la fois dans des transferts littéraux (ex: « a donné un stylo ») et dans des LVC idiomatiques (ex: « a donné de l'inspiration »). La difficulté fondamentale réside dans la distinction entre une séquence verbe-nominale fonctionnant comme un prédicat idiomatique unitaire ou comme une structure d'argument littérale. Les auteurs soutiennent que l'évaluation standard en NLP échoue souvent à capturer ces distinctions linguistiques humaines, nécessissant un cadre d'évaluation contrôlé qui isole le contraste littéral-idiomatique.

Méthodologie
L'étude cadre la détection des LVC en turc comme une tâche de classification binaire : identifier si une phrase contient un prédicat idiomatique/LVC ([1]) ou une configuration verbe-argument littérale ([0]).

• Construction du Jeu de Données : Les auteurs ont créé un jeu de données diagnostique contrôlé et annoté manuellement de 147 phrases. Cet ensemble comprend trois conditions équilibrées (49 éléments chacune) :
  1. LVC : Prédicats de verbes légers/idiomatiques.
  2. NLVC : Contrôles littéraux utilisant les mêmes verbes cibles que les éléments LVC (pour éviter les heuristiques triviales basées uniquement sur le verbe).
  3. RANDOM : Contrôles négatifs hors domaine.
     Le jeu de données a été validé par deux annotateurs pour la naturel et la justesse des étiquettes.
• Modèles Évalués :
  • Baseline Supervisée : Deux variantes de BERTurk (vocabulaires de 32K et 128K) affinées avec une tête de classification binaire spécifique à la tâche. Les données d'entraînement proviennent des corpus de dépendances universelles (UD) turques, utilisant les relations de dépendance compound:lvc et compound pour extraire les LVC candidates.
  • LLM Ajustés par Instructions : Trois modèles de différentes familles ont été évalués sous différents régimes de prompting : Llama 3.1 (8B), GPT-OSS (20B) et Qwen 2.5 (14B).
• Régimes Expérimentaux : Les LLM ont été testés sous trois conditions :
  1. Zero-shot : Instruction uniquement.
  2. One-shot : Instruction plus un exemple positif (LVC) et un exemple négatif (NLVC) par gabarit de verbe.
  3. Few-shot : Instruction plus un ensemble plus riche d'exemples étiquetés (paires positives/négatives multiples).
     Les modèles BERTurk supervisés ont été évalués comme une baseline fixe.

Résultats Clés
Les expériences révèlent une sensibilité significative aux régimes de prompting et à l'architecture des modèles :

• Performance Zero-Shot : Les LLM ont montré un biais conservateur marqué, performant sur les contrôles négatifs (Random et NLVC) mais échouant à détecter les LVC (rappel proche de 0 % pour Llama 3.1, très faible pour les autres). En revanche, la baseline supervisée BERTurk a maintenu une haute performance sur les négatifs et les LVC (F1 ~0,75–0,86), surpassant significativement les LLM zero-shot sur la classe positive.
• Performance One-Shot : L'introduction d'une démonstration unique a radicalement modifié les profils d'erreur mais a introduit de forts biais spécifiques aux modèles. Llama 3.1 a basculé vers une sur-prédiction des LVC (haut rappel, faible précision sur les négatifs), tandis que Qwen 2.5 est resté conservateur (haute précision sur les négatifs, plus faible rappel sur les LVC). GPT-OSS-20B a montré la performance la plus équilibrée.
• Performance Few-Shot : Un prompt few-shot plus riche a amélioré le calibrage pour GPT-OSS-20B et Qwen 2.5, produisant une précision globale robuste (84–86 %) et réduisant les modes de défaillance extrêmes. Cependant, Llama 3.1 a continué de sur-prédire les positifs.
• Analyse Statistique : Les tests du chi carré ont indiqué que, bien que les différences zero-shot entre les LLM soient souvent non significatives, les régimes one-shot et few-shot ont produit des différences significatives entre les modèles dans les profils d'erreur. La baseline supervisée est restée compétitive avec, et dans certaines comparaisons zero-shot supérieure aux, LLM sollicités par prompting.

Contributions Clés

1. Jeu de Données Diagnostique Contrôlé : La publication d'un jeu de données annoté manuellement et avec des contrôles appariés (N=147) spécifiquement conçu pour tester la distinction littéral-idiomatique dans les LVC turques, évitant le bruit des ensembles de test i.i.d. standards.
2. Analyse Empirique de la Sensibilité au Prompt : L'étude démontre que l'apprentissage en contexte n'améliore pas uniformément les performances ; il déplace plutôt les frontières de décision et le calibrage. Le prompting one-shot peut induire des biais sévères et spécifiques aux modèles (sur- ou sous-prédiction), tandis que le prompting few-shot offre un meilleur calibrage.
3. Supervision vs Apprentissage en Contexte : L'article fournit la preuve que pour les langues morphologiquement riches et les tâches métalinguistiques spécifiques (comme la détection de LVC), un encodeur supervisé plus petit et spécifique à la tâche (BERTurk) peut rester compétitif ou même excéder les LLM plus larges évalués par prompting.

Signification et Revendications
Les auteurs affirment que leurs résultats mettent en évidence la sensibilité au prompt substantielle inhérente à la classification métalinguistique en turc. Ils soutiennent que, bien que les LLM sollicités par prompting puissent égaler ou dépasser les baselines supervisées lorsqu'ils sont fournis de démonstrations soigneusement construites, ils ne sont pas intrinsèquement supérieurs sans un tel calibrage.

L'article postule que le succès de la baseline supervisée provient de l'optimisation directe pour l'espace d'étiquettes spécifique et de l'exploitation des indices morphosyntaxiques via la supervision dérivée des treebanks, alors que les LLM doivent inférer les définitions de tâches à partir des instructions. Les auteurs concluent que la détection des LVC doit être traitée comme une capacité sensible au prompt et qu'une évaluation contrôlée, par condition, est essentielle pour révéler les échecs systématiques des frontières de décision que les métriques de précision agrégées pourraient masquer. Ils déclarent explicitement que leurs résultats sont suggestifs quant à la valeur de la supervision spécifique à la tâche dans les langues morphologiquement riches, mais ne prétendent pas que BERT est généralement plus capable que les LLM ; la comparaison reflète plutôt la différence entre le marquage de séquence supervisé en domaine et le prompting à usage général.