Résumé technique : CLaC à SemEval-2026 Tâche 6 (CLARITY)

Définition du problème

L'article traite de la Tâche 6 (CLARITY) de SemEval-2026, une tâche partagée axée sur la détection de la clarté des réponses et de l'évasion dans le discours politique. Le système traite des paires question-réponse en anglais extraites d'entretiens avec des présidents américains. La tâche est structurée de manière hiérarchique :

• Tâche 1 : Classer les réponses dans l'une des trois catégories de Clarté suivantes : Réponse claire, Réponse ambivalente ou Non-réponse claire.
• Tâche 2 : Prédire l'une des neuf étiquettes fines d'Évasion qui sous-catégorisent les classes de clarté (par exemple, Évitement, Détournement, Explicite, Partiel).

L'ensemble de données comprend 3 993 instances avec un déséquilibre de classe significatif (dominé par Ambivalente au niveau 1 et Explicite/Évitement au niveau 2) et une difficulté d'annotation inhérente, attestée par un accord inter-annotateurs modéré ($\kappa = 0.65$) sur la frontière entre Réponse claire et Ambivalente.

Méthodologie

L'équipe CLaC a évalué trois approches architecturales distinctes, les optimisant via un pipeline multi-étapes :

1. Modèles basés sur des encodeurs

L'équipe a évalué 8 encodeurs transformeurs (incluant des variantes anglaises comme BERT, RoBERTa, DeBERTa et des variantes multilingues comme mBERT, XLM-RoBERTa, mDeBERTa) sur quatre étapes d'optimisation :

• Étape 1 (Adaptation de l'encodeur) : Comparaison du fine-tuning complet contre le dégel partiel des couches (25 %, 50 %, 75 % supérieures) et LoRA. Le dégel partiel (spécifiquement les 25 % supérieures) a nettement surpassé le fine-tuning complet.
• Étape 2 (Classification et Représentation) : Évaluation de différentes têtes de classification (Linéaire sur CLS, MLP, Moyenne de pooling) et de stratégies de troncature (standard vs tête-queue).
• Étape 3 (Perte et Régularisation) : Tests de la perte Focal et de taux de dropout variables contre une référence de perte croisée pondérée (WCE) avec 0,1 de dropout. La WCE s'est révélée suffisante.
• Étape 4 (Données et Entrée) : Tests d'augmentation de données (paraphrases générées par LLM pour la classe minoritaire Non-réponse claire) et d'entrée enrichie (concaténation du tour complet de l'interviewer avec la question cible).
• Ensemble : La meilleure configuration pour chacun des 8 encodeurs a été combinée par vote majoritaire.

2. Architecture à contexte long

Pour traiter les ~30 % d'instances dépassant la limite de 512 tokens, l'équipe a expérimenté Longformer-base-4096. Ils ont mené une étude d'ablation sur l'ordre des entrées, les motifs d'attention globale (CLS uniquement vs étendu aux tokens de la question) et les têtes de classification. Malgré la fenêtre de contexte étendue, cette approche n'a pas surpassé l'ensemble d'encodeurs optimisé.

3. LLM basés sur des prompts

L'équipe a évalué des grands modèles de langage (LLM) à poids ouverts (LLaMA, Qwen, Mixtral) et propriétaires (GPT-5, Claude-Opus-4.5, Gemini-3-Flash-Preview) sans mises à jour de paramètres spécifiques à la tâche.

• Stratégies de prompting : Évaluation du Zero-Shot, du Zero-Shot avec instructions répétées, du Few-Shot (3, 9, 27 exemples) et de la Chaîne de Pensée (raisonnement interne uniquement).
• Optimisation : La stratégie la plus performante (FS27 avec entrée enrichie) a été affinée en enrichissant les définitions des étiquettes avec les sous-catégories d'Évasion de niveau 2 et, pour certains modèles, en préfixant le nom du président.
• Ensemble : Les 3 configurations LLM les plus performantes (GPT-5, Gemini-3-Flash-Preview, Qwen3-235B) ont été combinées par vote majoritaire.

Résultats clés

• Performance Tâche 1 : L'ensemble LLM a atteint la performance la plus élevée avec 80 macro-F1 sur l'ensemble de test (9e/41). Cela a nettement surpassé l'ensemble d'encodeurs (70,5 macro-F1 sur le développement, plus bas sur le test) et le modèle Longformer (64,3 macro-F1).
• Performance Tâche 2 : L'application de la configuration de l'ensemble LLM de la Tâche 1 à la Tâche 2 a produit 59 macro-F1 (3e/33).
• Constats sur les encodeurs :
  • Dégel partiel : Le dégel des 25 % supérieures des couches a amélioré le macro-F1 de +17,9 par rapport au fine-tuning complet (59,1 contre 41,2), suggérant que le fine-tuning complet surajuste les données limitées.
  • Diversité de l'ensemble : La combinaison d'encodeurs anglais et multilingues (70,5) a surpassé les ensembles d'une seule famille, malgré la sous-performance individuelle des modèles multilingues par rapport aux modèles uniquement anglais.
  • Enrichissement de l'entrée : L'ajout du tour complet de l'interviewer a dégradé la performance des encodeurs mais a amélioré celle des LLM.
• Constats sur les LLM :
  • Ingénierie de prompts : Le raffinement des prompts (ajout de définitions de sous-catégories) a généré un gain de +7,1 macro-F1 pour GPT-5.
  • Échelle du modèle vs Performance : Le nombre de paramètres n'a pas prédit la performance ; des modèles plus petits (par exemple, Qwen3-30B) ont parfois surpassé des modèles plus grands (par exemple, LLaMA-3.1-Nemotron-Ultra-253B).
  • Classes minoritaires : L'ensemble LLM a montré une robustesse supérieure sur les classes minoritaires (Réponse claire et Non-réponse claire), améliorant le F1 de près de 10 points par rapport à l'ensemble d'encodeurs.

Signification et affirmations

L'article affirme que pour des tâches à ressources limitées et étiquetées de manière hiérarchique comme CLARITY, les choix de conception au moment de l'inférence (structure du prompt, intégration de la hiérarchie des étiquettes et composition de l'ensemble) sont plus impactants que l'adaptation au niveau des paramètres (fine-tuning).

Les observations clés incluent :

1. Supériorité du prompting : Les LLM basés sur des prompts, sans aucun fine-tuning, ont surpassé les encodeurs fine-tunés, en particulier sur les classes minoritaires.
2. Utilisation du contexte : La divergence de performance concernant l'« entrée enrichie » (aidant les LLM mais nuisant aux encodeurs) suggère que les LLM exploitent le contexte supplémentaire plus efficacement que les architectures d'encodeurs, un facteur non attribuable uniquement à la capacité de longueur de séquence.
3. Ambiguïté inhérente : Le mode d'échec dominant pour les deux systèmes était la confusion entre Réponse claire et Ambivalente, reflétant le désaccord des annotateurs humains. Cela indique que la frontière est intrinsèquement subjective et difficile tant pour les humains que pour les modèles.
4. Stratégie d'ensemble : La diversité architecturale (combinaison de modèles anglais et multilingues) a fourni des signaux complémentaires qui ont amélioré la performance globale de l'ensemble davantage que l'augmentation de l'échelle du modèle seule.

Les auteurs notent des limitations concernant la restriction de l'ensemble de données aux entretiens avec des présidents américains, la dépendance aux API propriétaires pour la reproductibilité, et l'absence d'une exploration dédiée des prompts pour la Tâche 2, qui a été traitée en transférant la configuration de la Tâche 1.