💬 NLP

Duluth at SemEval-2026 Task 6: DeBERTa with LLM-Augmented Data for Unmasking Political Question Evasions

Ce papier présente l'approche Duluth pour la tâche SemEval-2026 sur l'évasion des questions politiques, qui utilise un modèle DeBERTa enrichi par des données synthétiques générées par des LLM pour améliorer la classification de la clarté des réponses et atteindre la 8ᵉ place avec un score Macro F1 de 0,76.

Auteurs originaux : Shujauddin Syed, Ted Pedersen

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shujauddin Syed, Ted Pedersen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎙️ Le Défi : Attraper les Politiciens en Pleine Évasion

Imaginez un jeu de télé-réalité très spécial où l'on regarde des interviews de présidents américains. Le but du jeu n'est pas de voir qui parle le mieux, mais de détecter qui esquive vraiment la question.

Les organisateurs d'un concours appelé "SemEval" ont lancé un défi à des équipes d'intelligence artificielle : créer un robot capable de lire une question et sa réponse, puis de dire :

Réponse claire : "Oui, j'ai fait ça." (La vérité en face).
Réponse ambiguë : "C'est compliqué, on verra plus tard..." (Le classique "je ne suis pas tout à fait en train de mentir, mais je ne dis pas la vérité non plus").
Non-réponse claire : "Je refuse de répondre." (Le refus franc).

Le problème ? Dans le monde politique, la catégorie "Ambiguë" est un labyrinthe. C'est là que tout le monde se trompe, même les humains.

🤖 L'Équipe Duluth et son Super-Héros

L'équipe "Duluth" (venant de l'Université du Minnesota) a envoyé son meilleur robot, basé sur un modèle appelé DeBERTa. C'est comme un détective très intelligent qui a lu des millions de livres, mais qui avait un gros problème : il était mal entraîné.

Le problème du déséquilibre :
Imaginez que vous apprenez à un chien à chasser. Si vous lui donnez 60 lapins (réponses ambiguës), 30 lièvres (réponses claires) et seulement 10 écureuils (refus de répondre), le chien va devenir un expert pour attraper les lapins, mais il ignorera complètement les écureuils. C'est ce qui se passait avec les données d'entraînement : il y avait trop de réponses "ambigües" et pas assez de refus clairs.

🎭 La Solution Magique : Le Théâtre des Robots

Pour rééquilibrer la balance, l'équipe Duluth a eu une idée géniale : faire jouer des acteurs.

Au lieu de chercher plus de vraies interviews (qui n'existent pas), ils ont demandé à deux super-intelligences artificielles (Gemini 3 et Claude Sonnet) de créer de fausses interviews.

C'est comme si vous demandiez à un écrivain de générer 2 000 nouvelles phrases où un politicien dit : "Je ne peux pas vous parler de ça, c'est secret."
Ces phrases étaient inventées, mais elles sonnaient vraies.
En ajoutant ces "fausses" phrases, ils ont donné au robot assez d'exemples pour apprendre à reconnaître les refus, sans le tromper.

Ils ont aussi ajouté une "poudre magique" (une technique mathématique appelée Focal Loss) qui force le robot à se concentrer davantage sur les cas difficiles, au lieu de se reposer sur ses lauriers pour les cas faciles.

🏆 Le Résultat : Une Belle Performance (mais pas parfaite)

Grâce à cette méthode, le robot de Duluth a terminé 8ème sur 40 équipes. C'est un excellent score !

Le robot a appris à mieux repérer les refus de réponse.
Cependant, il a toujours du mal avec la zone grise : distinguer une réponse "ambiguë" d'une réponse "claire".

L'analogie du brouillard :
Le robot voit très bien quand quelqu'un dit "Je ne réponds pas" (c'est comme un panneau STOP rouge). Il voit aussi quand quelqu'un dit "Oui, j'ai fait ça" (c'est un feu vert). Mais quand quelqu'un dit "J'ai peut-être fait ça, mais il faut voir les détails...", le robot se perd dans le brouillard.

D'ailleurs, les chercheurs ont remarqué quelque chose de fascinant : les robots se trompent exactement là où les humains se trompent. Même les annotateurs humains ne sont pas d'accord sur ce qui est "ambigu" ou "clair". Donc, si le robot fait la même erreur que nous, ce n'est pas vraiment une erreur de robot, c'est une erreur humaine !

🔮 Conclusion et Avenir

En résumé, l'équipe Duluth a prouvé qu'on peut améliorer un robot en lui faisant lire des histoires inventées par d'autres robots (l'augmentation de données). Cela a permis de sauver les cas rares (les refus de réponse).

Pour la suite, ils pensent que pour vraiment gagner, il faudra apprendre au robot à repérer les mots de politesse et les hésitations (comme "peut-être", "en théorie", "je pense que"). C'est comme apprendre à un détective à ne pas se fier seulement aux mots, mais au ton de la voix et aux petits tics de langage qui trahissent l'évasion.

C'est un grand pas en avant pour comprendre comment la politique utilise le langage pour éviter de dire la vérité !

1. Problématique et Contexte

L'article se concentre sur la Tâche 6 de SemEval-2026, intitulée « CLARITY : Unmasking Political Question Evasions » (Révéler les évasions aux questions politiques). L'objectif est de détecter et classifier automatiquement les stratégies de communication évasive dans le discours politique, spécifiquement à partir d'interviews de présidents américains.

Le problème est structuré selon une taxonomie à deux niveaux proposée par Thomas et al. (2024) :

Tâche 1 (Classification par niveau de clarté) : Classer les paires question-réponse en trois catégories :
1. Réponse claire (Clear Reply) : L'information est fournie explicitement.
2. Ambivalent (Ambivalent) : Une réponse est donnée mais permet plusieurs interprétations (implicite, générale, partielle, détournée).
3. Non-réponse claire (Clear Non-Reply) : Refus explicite, ignorance ou demande de clarification.
Tâche 2 (Classification par niveau d'évasion) : Classer la réponse selon 9 techniques d'évasion fines (ex: déni, diversion, généralisation).

Défis majeurs :

Déséquilibre des classes : Le jeu de données d'entraînement est fortement déséquilibré (59 % Ambivalent, 31 % Réponse claire, 10 % Non-réponse claire).
Ambiguïté sémantique : La distinction entre une réponse « Ambivalente » et une « Réponse claire » est subtile et source de désaccords même parmi les annotateurs humains.

2. Méthodologie

L'approche de l'équipe Duluth repose sur une architecture de modèle transformer enrichie par des techniques d'apprentissage avancées et l'augmentation de données par des LLM.

A. Architecture de Base

Le système utilise DeBERTa-V3-base (184 millions de paramètres), choisi pour sa capacité supérieure à capturer les nuances linguistiques grâce à son mécanisme d'attention désengagé, par rapport à BERT ou DistilBERT.

B. Augmentation de Données (LLM)

Pour pallier le déséquilibre des classes, l'équipe a généré des exemples synthétiques pour les classes minoritaires (Réponse claire et Non-réponse claire) en utilisant deux grands modèles de langage (LLM) :

Gemini 3 (Génération contextuelle) : A extrait des cadres rhétoriques des classes minoritaires et les a combinés avec des contextes politiques randomisés. Cela a permis de créer 2 672 exemples synthétiques, équilibrant parfaitement les classes à 2 040 exemples chacune.
Claude Sonnet 4.5 (Paraphrasage lexical) : A appliqué des opérations de paraphrase (remplacement de synonymes, insertion, permutation, suppression) sur les textes de réponse, générant 1 086 exemples supplémentaires.

Note : Une inspection manuelle a validé la qualité politique des données générées. Une fonction de perte pondérée par la confiance (0,7x pour Gemini, 0,5x pour Claude) a été utilisée lors de l'entraînement pour réduire le surapprentissage (overfitting) sur les données synthétiques.

C. Techniques d'Entraînement et d'Architecture

Le modèle final intègre plusieurs améliorations :

Fonction de perte Focal Loss : Pour se concentrer sur les exemples difficiles et gérer le déséquilibre, avec un paramètre $\gamma = 2.0$ et des poids de classe inversés.
Décroissance du taux d'apprentissage par couche (LLRD) : Les couches inférieures reçoivent un taux d'apprentissage plus faible ( $\alpha = 0,9$ ) pour préserver les connaissances pré-entraînées, tandis que les couches supérieures s'adaptent davantage à la tâche.
Fonctionnalités booléennes : Ajout de deux caractéristiques binaires extraites des données originales (affirmative_questions et multiple_questions) concaténées à la sortie du pooler du transformer.
Optimisation : Accumulation de gradients (batch effectif de 32), planificateur d'apprentissage à recuit cosinien avec 15 % de warmup, et arrêt anticipé (early stopping).

3. Résultats Clés

Les performances ont été évaluées sur le jeu de données de test (308 échantillons) et l'ensemble d'évaluation (237 échantillons) avec la métrique Macro F1.

Tâche 1 (Clarté) :
- Le système augmenté par Gemini a atteint un Macro F1 de 0,76 sur l'ensemble d'évaluation.
- Classement : 8ème sur 40 équipes.
- Comparaison : Le score moyen des participants était de 0,70, et le système leader (TeleAI) a obtenu 0,89.
- Amélioration : L'augmentation des données a permis de passer de 0,69 (sans augmentation) à 0,76.
Tâche 2 (Évasion) :
- Les performances ont été nettement plus faibles, avec un Macro F1 de 0,28 sur l'évaluation (30ème sur 33), en raison d'un décalage de distribution (distribution shift) entre les phases de développement et d'évaluation.

Analyse des erreurs :
La principale source d'erreur (68 % des erreurs) est la confusion entre les catégories Ambivalent et Réponse claire.

Le modèle a tendance à ignorer les modérateurs (hedging) dans les réponses directes, les classant à tort comme ambivalentes.
Inversement, il peut interpréter des affirmations concrètes mais partielles comme des réponses directes.
Le modèle excelle à distinguer les « Non-réponses claires » des « Réponses claires » (aucun faux positif dans cette direction), mais peine sur la zone grise de l'ambivalence.

4. Contributions Principales

Validation de l'augmentation par LLM : L'article démontre que l'utilisation de LLM (Gemini 3, Claude Sonnet 4.5) pour générer des données synthétiques de haute qualité améliore significativement le rappel des classes minoritaires dans des tâches de discours politique nuancé.
Pipeline d'entraînement robuste : L'intégration combinée de la Focal Loss, du Layer-wise Learning Rate Decay et de caractéristiques booléennes spécifiques au domaine sur une base DeBERTa-V3.
Analyse fine des limites : Identification claire que la difficulté fondamentale ne réside pas dans la détection des non-réponses, mais dans la distinction subtile entre l'ambivalence et la clarté, un problème qui reflète les désaccords humains (kappa = 0,65).

5. Signification et Perspectives

Ce travail souligne l'efficacité des approches hybrides (modèles transformer + augmentation par IA) pour résoudre les problèmes de déséquilibre de données dans l'analyse du discours politique. Bien que le système ait atteint un niveau de performance solide (Top 20 %), les résultats mettent en évidence la nécessité de modèles capables de mieux comprendre les nuances linguistiques (modérateurs, conditions, déviations partielles).

Les auteurs suggèrent pour les travaux futurs :

L'adoption d'un apprentissage multi-tâches pour exploiter la hiérarchie entre les niveaux de clarté et les techniques d'évasion.
L'intégration de fonctionnalités spécifiques pour la détection explicite des modérateurs (hedging).
Le développement de stratégies d'augmentation plus robustes pour la Tâche 2 afin de gérer les décalages de distribution.

En résumé, l'approche Duluth offre une solution performante et reproductible pour la classification de la clarté des réponses politiques, tout en identifiant précisément les limites actuelles de l'IA face à l'ambiguïté rhétorique humaine.