💬 NLP

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

Ce papier présente le système CSE-UOI pour la tâche 6 de SemEval-2026, qui atteint la troisième place avec un score Macro-F1 de 0,85 en classant la clarté des réponses politiques grâce à un ensemble hétérogène de deux grands modèles de langage couplé à un mécanisme de correction post-hoc appelé « Deliberative Complexity Gating » (DCG).

Auteurs originaux : Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

Publié 2026-03-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎤 Le Problème : Le Jeu de l'Éviction Politique

Imaginez un débat télévisé. Un journaliste pose une question très précise : "Allez-vous augmenter les impôts ?".
Le politicien répond : "Nous devons absolument protéger notre économie et assurer la stabilité pour les familles...".

Le journaliste soupire : "Ce n'est pas une réponse ! Vous avez évité la question."

C'est exactement le défi que les chercheurs tentent de résoudre avec l'ordinateur : Comment faire comprendre à une machine si un politicien répond clairement, s'il hésite (ambiguïté), ou s'il fuit carrément la question ?

🤖 La Solution : Une "Équipe de Détectives" (L'Ensemble Hétérogène)

Au lieu de demander à un seul robot de faire le travail, les auteurs (de l'Université d'Ioannina et de l'École Polytechnique d'Athènes) ont créé une équipe de deux détectives très différents :

Grok (un modèle de l'entreprise xAI) : Rapide et direct.
Gemini (un modèle de Google) : Un peu plus lent, mais très détaillé.

L'analogie du jury :
Imaginez que vous avez deux juges. L'un est un expert en droit strict (Grok), l'autre un expert en psychologie (Gemini).

Ils ne regardent pas juste la réponse finale. Ils regardent d'abord comment le politicien a tenté d'éviter la question (en changeant de sujet, en blâmant quelqu'un d'autre, etc.).
Ensuite, ils transforment cette analyse en une note simple : Réponse Claire, Ambiguë ou Refus de répondre.

Pour prendre la décision finale, ils ne font pas un simple vote à 50/50. Ils utilisent un système de poids. Grok a 5 voix, Gemini en a 4. Si Grok dit "C'est clair" et Gemini dit "C'est ambigu", Grok l'emporte souvent, car il s'est montré plus fiable sur ce type de tâche.

🚦 L'Innovation : Le "Portail de Complexité" (DCG)

C'est ici que ça devient vraiment intéressant. Parfois, même les deux détectives sont d'accord pour dire "Je ne suis pas sûr". C'est là que leur invention, le DCG (Deliberative Complexity Gating), entre en jeu.

L'analogie du détecteur de fumée :
Le DCG est comme un capteur intelligent qui surveille le comportement des robots pendant qu'ils réfléchissent.

Le signal de la longueur : Les chercheurs ont remarqué quelque chose de curieux : quand un robot (Gemini) est face à une question piège ou ambiguë, il a tendance à parler beaucoup plus longtemps pour essayer de trouver une issue. C'est comme un politicien qui commence à bégayer et à faire de longs discours pour ne pas répondre.
Le signal de l'incertitude : Si Grok est très hésitant (il donne plusieurs réponses différentes lors de ses essais), c'est aussi un signe de trouble.

Le mécanisme :
Si le robot Gemini écrit une réponse très longue (signe de difficulté) ET que le robot Grok est incertain, le système DCG déclenche une alerte rouge : "Attention, c'est probablement une réponse ambiguë !"
Il force alors le système à corriger sa décision initiale pour la classer comme "Ambiguë", même si les robots avaient d'abord pensé le contraire. C'est une correction automatique basée sur le "stress" des robots.

⚔️ Ce qu'ils ont essayé (et rejeté) : Le Débat Multi-Agents

Les chercheurs ont aussi pensé à faire discuter les robots entre eux, comme dans un débat télévisé où ils se critiquent mutuellement pour trouver la vérité.

Résultat : Ça a plutôt mal tourné. Les robots se sont embrouillés, ont perdu du temps et ont fini par moins bien répondre que s'ils avaient simplement voté calmement.
Leçon : Parfois, une équipe de deux experts différents qui votent rapidement vaut mieux qu'un grand groupe qui se dispute.

🏆 Le Résultat

Grâce à cette méthode en deux étapes (Voter + Corriger avec le portail de complexité), leur système a obtenu le 3ème meilleur score parmi 41 équipes participantes.

Ils ont réussi à détecter les réponses ambiguës avec une grande précision (85% de réussite).
Leur astuce principale ? Ne pas essayer de faire réfléchir les robots plus fort, mais écouter leurs signaux de stress (la longueur de la réponse) pour savoir quand ils sont perdus.

En résumé

C'est comme avoir un juge principal (le système de vote) et un gendarme de la circulation (le DCG). Le juge décide de la sentence, mais si le gendarme voit que le juge a eu du mal à écrire sa décision (réponse trop longue) et qu'il hésite, il intervient pour dire : "Attends, c'est probablement un cas ambigu, on va changer le verdict."

C'est une approche intelligente qui utilise le comportement naturel des robots pour améliorer leur jugement, sans avoir besoin de les réapprendre de zéro.

1. Problématique

Le papier aborde la tâche de classification de la clarté des réponses dans des interviews politiques (SemEval-2026, Tâche 6). L'objectif est de distinguer automatiquement trois catégories de réponses face à une question posée :

Réponse claire (Clear Reply) : La question est traitée directement.
Ambivalente (Ambivalent) : La réponse évite la question de manière subtile ou indirecte.
Non-réponse claire (Clear Non-Reply) : Refus explicite ou ignorance revendiquée.

Ce problème est complexe en raison des variations pragmatiques subtiles et des stratégies d'évasion sophistiquées utilisées par les personnalités politiques. La tâche nécessite de différencier des nuances fines entre l'évitement direct et l'ambiguïté.

2. Méthodologie

Les auteurs proposent une architecture en deux étapes combinant un ensemble hétérogène de modèles de langage (LLM) et un mécanisme de correction post-hoc innovant.

A. Étape 1 : Ensemble Hétérogène à Double Modèle (Dual-Model Ensemble)

Stratégie "Évasion d'abord" : Au lieu de prédire directement les 3 classes de clarté, les modèles classifient d'abord la réponse selon 9 catégories fines d'évasion (ex: contournement, réponse partielle, déviation, etc.). Ces 9 labels sont ensuite mappés de manière déterministe aux 3 classes de clarté finales. Cette approche agit comme un tampon d'erreur, car 62,8 % des erreurs au niveau de l'évasion restent dans le même bucket de clarté.
Modèles Utilisés : Deux modèles hétérogènes sont utilisés en parallèle : Grok-4-1-fast-reasoning (xAI) et Gemini-3-flash-preview (Google).
Auto-cohérence (Self-Consistency - SC) : Chaque modèle génère $k=5$ échantillons de réponse pour chaque entrée afin de stabiliser les prédictions.
Votation Pondérée Asymétrique : Les prédictions sont agrégées via un vote pondéré. Grok, étant individuellement plus précis, reçoit un poids de 5 (ses 5 échantillons). Gemini reçoit un bloc de vote unique avec un poids de 4 basé sur son label majoritaire.

B. Étape 2 : Gating de Complexité Délibérative (Deliberative Complexity Gating - DCG)

C'est la contribution principale du papier. Le DCG est une couche de correction post-hoc, non supervisée, appliquée uniquement aux cas où les modèles sont incertains ou en désaccord.

Principe : L'observation clé est que la longueur de la réponse d'un LLM (Gemini) corrèle fortement avec l'ambiguïté de l'échantillon (les réponses ambivalentes sont souvent plus longues car elles tentent de nuancer l'évasion).
Mécanisme de Déclenchement (Gate Logic) : Le système active une correction si deux conditions sont réunies simultanément :
1. La longueur moyenne des réponses de Gemini dépasse le premier quartile ( $Q25$ ) de la longueur des réponses du lot en cours (seuil adaptatif $\theta_1$ ).
2. La cohérence interne (self-consistency) de Grok est inférieure à 1.0 (indiquant un désaccord entre ses propres échantillons).
Action de Correction : Si le gate est activé, la contribution de Gemini au vote final est remplacée par le label "Ambivalent", forçant le système à traiter l'entrée comme ambiguë plutôt que comme une réponse claire.
Avantage : Cette méthode est transductive (s'adapte à la distribution du lot d'inférence) et ne nécessite pas d'appels API supplémentaires ni de réentraînement.

3. Contributions Clés

Architecture Hétérogène : Utilisation de deux modèles distincts (Grok et Gemini) pour réduire les erreurs corrélées et améliorer la robustesse par rapport aux ensembles homogènes.
DCG (Deliberative Complexity Gating) : Introduction d'un mécanisme de contrôle de la complexité basé sur des signaux comportementaux observables (longueur de réponse et cohérence interne) pour détecter dynamiquement l'ambiguïté sans apprentissage supplémentaire.
Stratégie de Mapping Évasion-Clarté : L'utilisation d'une taxonomie fine à 9 classes comme intermédiaire pour la classification de clarté, servant de tampon d'erreur.
Analyse Comparative Débat vs Fusion Statique : Les auteurs ont évalué l'approche par "débat multi-agents" (où les modèles se critiquent mutuellement) et ont démontré qu'elle était moins efficace que leur approche de fusion statique pondérée pour cette tâche spécifique.

4. Résultats

Performance Globale : Le système a obtenu un score Macro-F1 de 0,85 sur l'ensemble de test aveugle, se classant 3ème sur 41 soumissions.
Amélioration par le DCG :
- L'ensemble de base (Étape 1) a obtenu un F1 de 0,8122.
- L'ajout du DCG (Étape 2) a porté le score à 0,8505 (+3,83 points sur l'ensemble d'évaluation).
- La précision globale est passée de 81,0 % à 84,4 %.
Analyse des Erreurs : La majorité des erreurs restantes (86,8 %) se situent à la frontière entre "Réponse claire" et "Ambivalente", confirmant la difficulté intrinsèque de cette distinction. Le DCG a permis de corriger efficacement les cas de désaccord entre les modèles.
Comparaison Débat : L'approche par débat multi-agents (7 agents) a dégradé les performances (F1 ~0,76) par rapport à la fusion statique, suggérant que la diversité des modèles est plus cruciale que l'itération conversationnelle pour cette tâche.

5. Signification et Impact

Ce travail démontre que l'ajout de complexité computationnelle (comme le débat multi-agents) n'est pas toujours la solution optimale pour améliorer la fiabilité des LLM. Au contraire, une stratégie légère et adaptative exploitant les signaux comportementaux internes des modèles (longueur, cohérence) permet d'identifier et de corriger les cas ambigus avec une grande efficacité.

La méthode DCG offre une voie prometteuse pour le déploiement de systèmes de classification robustes dans des contextes réels où l'ambiguïté est fréquente, tout en restant économiquement viable (pas de surcoût d'inférence massif). Les auteurs soulignent également l'importance de la diversité des modèles (hétérogénéité) par rapport à la simple répétition d'un même modèle.