SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

1. Problématique et Contexte

L'article aborde le défi de la Désambiguïsation du Sens des Mots (WSD) dans des contextes narratifs réels, spécifiquement pour la tâche 5 de SemEval-2026.

• Limites des approches actuelles : Bien que les Grands Modèles de Langage (LLM) excellent sur les benchmarks classiques de WSD (au niveau de la phrase), ils peinent souvent à gérer les cas rares ou les contextes riches nécessitant une compréhension narrative multi-sentences. Les benchmarks existants se basent trop souvent sur des indices syntaxiques ou des mots voisins isolés, ne reflétant pas la complexité du langage naturel.
• La tâche : L'objectif est de prédire un score de plausibilité (de 1 à 5) tel qu'il serait perçu par des humains pour un sens homonyme donné au sein d'une courte histoire. Le jeu de données, AmbiStory, fournit un contexte (pré-contexte), une phrase ambiguë et une conclusion, annotés par cinq juges humains indépendants.
• Défi principal : Simuler non seulement le sens correct, mais aussi la variabilité des jugements humains (accord entre annotateurs), en particulier dans les cas où la plausibilité est subjective ou ambiguë.

2. Méthodologie

L'équipe propose un cadre basé sur les LLMs combinant trois approches principales : le Fine-Tuning (SFT) de modèles légers, l'apprentissage Few-Shot dynamique pour les modèles commerciaux, et l'assemblage de modèles (Ensembling).

A. Classification des Données et Raisonement

Les données sont d'abord catégorisées selon le niveau de difficulté perçu par les humains (facile vs ambigu) et les niveaux de plausibilité (fort, modéré, faible, nul). Cette classification guide les stratégies de raisonnement.

B. Approche 1 : Fine-Tuning Supervisé (SFT) de Modèles à Faibles Paramètres

L'équipe a utilisé des modèles comme Qwen-4B et Gemma-4B, affinés via LoRA (Low-Rank Adaptation). Quatre stratégies de raisonnement ont été testées :

1. Simulation d'un seul annotateur : Prédiction d'un score unique.
2. Simulation de cinq annotateurs : Génération de cinq scores pour capturer la variance humaine.
3. Raisonnement explicite (Chain-of-Thought) : Le modèle doit d'abord analyser le contexte et la conclusion pour justifier son choix avant de donner un score.
4. Analyse de la difficulté : Le modèle identifie d'abord si l'instance est "facile" ou "ambiguë" (en utilisant un pré-calcul basé sur la variance des annotations humaines), puis raisonne en conséquence.

• Note technique : Un système externe (GLOSSGPT) a été utilisé pour fournir une interprétation de sens probable comme indice de raisonnement, sans être traité comme une vérité terrain absolue.

C. Approche 2 : Apprentissage Few-Shot Dynamique (RAG) pour Modèles Commerciaux

Pour les modèles de grande taille (GPT-4o, DeepSeek V3, Gemini), l'équipe a proposé une approche inspirée du Retrieval Augmented Generation (RAG) :

• Base de données vectorielle : Les exemples d'entraînement sont stockés dans un index FAISS (embeddings via BAAI/bge-small-en-v1.5).
• Catégories de récupération : Les exemples sont divisés en trois catégories : Contexte Ambigu, Facile-Haut Score, Facile-Bas Score.
• Inférence : Lors de la prédiction, le système récupère dynamiquement les exemples les plus pertinents (K=1 ou K=3) correspondant à la catégorie de difficulté de la nouvelle entrée pour guider le modèle (In-Context Learning).

D. Approche 3 : Assemblage de Modèles (Ensembling)

Pour mieux simuler l'accord entre les cinq annotateurs humains, l'équipe a combiné les prédictions de plusieurs modèles (issus des phases 1 et 2) via plusieurs méta-stratégies :

• Vote majoritaire.
• Moyenne pondérée égale.
• Moyenne pondérée par la performance.
• Régression Linéaire (LRE), Support Vector Regression (SVR) et XGBoost comme méta-apprenants.

3. Résultats Clés

Les résultats sont évalués via la corrélation de Spearman (Sc) et la Précision (Acc) (proportion de prédictions à moins d'un écart-type de la moyenne humaine).

• Modèles à Faibles Paramètres (SFT) :
  • Les stratégies basées sur le raisonnement explicite et l'analyse de la difficulté ont surperformé les approches de base.
  • Qwen-4B a systématiquement surpassé Gemma-4B.
  • La simulation de cinq annotateurs a souvent eu des performances inférieures à celle d'un seul annotateur, suggérant que les petits modèles introduisent du bruit inutile en tentant de simuler la diversité humaine.
• Modèles Commerciaux (Few-Shot Dynamique) :
  • GPT-4o a obtenu les meilleurs résultats globaux, surpassant les autres modèles dans la plupart des configurations.
  • L'approche Few-Shot dynamique a apporté des gains constants par rapport au Zero-Shot.
  • Un paradoxe a été observé : le One-Shot (K=1) a mieux performé sur le jeu de test (généralisation), tandis que le Three-Shot (K=3) a mieux performé sur le jeu de développement (risque de surapprentissage aux exemples contextuels).
• Assemblage (Ensembling) :
  • L'approche d'assemblage a permis d'améliorer les performances finales.
  • La Régression Linéaire (LRE) a obtenu la meilleure précision sur le test (0.797).
  • XGBoost a obtenu le meilleur score de Spearman (0.724), indiquant sa capacité à capturer des relations non linéaires entre les prédictions des modèles de base.

4. Contributions et Signification

• Cadre de raisonnement structuré : L'article démontre que l'intégration de mécanismes de raisonnement (comme l'analyse de la difficulté) est cruciale pour simuler les jugements humains sur la plausibilité, au-delà de la simple prédiction de sens.
• Validation de l'approche RAG dynamique : L'utilisation de la récupération d'exemples pertinents selon la difficulté de la tâche s'avère efficace pour les grands modèles, comblant le fossé entre les benchmarks statiques et les contextes narratifs dynamiques.
• Simulation de l'incertitude humaine : En utilisant l'assemblage de modèles, l'équipe montre qu'il est possible de mieux approximer la distribution des jugements humains (accord entre annotateurs) que par une prédiction unique.
• Positionnement : L'équipe SwanNLP a terminé 10ème du classement avec un score moyen de 0.760, validant l'efficacité de leur approche hybride combinant SFT, RAG et Ensembling.

5. Limites et Perspectives

Malgré les progrès, les auteurs notent que les modèles peinent encore dans les scénarios hautement ambigus où les jugements humains sont intrinsèquement incertains. La consistance et la nuance interprétative fine restent des défis, suggérant que les LLMs, bien qu'efficaces pour le raisonnement de type humain, ne parviennent pas encore à reproduire parfaitement la subtilité et la cohérence des jugements humains dans des contextes complexes.