KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

Ce papier présente la participation de l'équipe KCLarity à la tâche CLARITY de SemEval 2026, où ils comparent des approches d'encodage et de zéro-shot pour détecter l'évasion politique, révélant que si RoBERTa-large excelle sur l'ensemble de test public, le modèle GPT-5.2 en zéro-shot généralise mieux sur l'ensemble d'évaluation caché.

L'essentiel

Voici une explication simple et imagée de l'article de recherche, imaginée comme si nous étions autour d'une table pour en discuter.

🕵️‍♂️ Le Grand Jeu de la Vérité Politique

Imaginez que vous regardez un débat télévisé. Un journaliste pose une question très précise : "Combien d'argent allez-vous investir dans les écoles ?". Le politicien répond : "Nous sommes très fiers de nos écoles, et nous ferons tout pour les enfants...".

Est-ce une réponse claire ? Ou est-ce une évasion ? C'est comme essayer de attraper une anguille glissante : plus vous essayez de la saisir, plus elle glisse entre vos doigts.

C'est exactement le problème que l'équipe KCLarity (de King's College London) a voulu résoudre pour le concours SemEval-2026. Leur mission ? Créer des ordinateurs capables de dire : "Attendez, ce politicien vient de faire une pirouette pour ne pas répondre !"

🤖 Les Deux Approches : Le Détective et le Traducteur

Pour résoudre ce casse-tête, l'équipe a testé deux méthodes principales, comme deux façons différentes d'attaquer un problème de cuisine :

1. L'approche "Directe" (Le Détective) :
   On demande à l'ordinateur : "Est-ce que cette réponse est claire ou floue ?". C'est comme demander à un juge de donner un verdict immédiat : "Coupable" (flou) ou "Innocent" (clair).

2. L'approche "Évasion d'abord" (Le Traducteur) :
   Ici, on demande à l'ordinateur de faire un pas de plus. Au lieu de juger directement, on lui demande : "Quelle technique d'évasion utilise-t-il ?" (Est-ce qu'il change de sujet ? Est-ce qu'il donne une réponse trop vague ?). Une fois qu'on connaît la technique, on peut déduire automatiquement si la réponse est claire ou non.
   L'analogie : C'est comme si, au lieu de dire "Ce plat est mauvais", on disait "Il y a trop de sel". Une fois qu'on sait qu'il y a trop de sel, on sait que le plat est mauvais.

Le verdict ? Les deux méthodes fonctionnent presque aussi bien. Mais l'équipe a préféré la deuxième (le traducteur) car elle est plus flexible : un seul modèle peut faire les deux jobs.

🏆 Les Champions de la Compétition

L'équipe a mis en lice deux types de "candidats" pour voir qui serait le meilleur détective :

• Les "Encoders" (Les Experts Entraînés) :
  Imaginez des étudiants en droit qui ont lu des milliers de pages de débats politiques pour apprendre à repérer les mensonges. Le meilleur d'entre eux s'appelle RoBERTa-large. Sur les tests publics (les questions qu'ils connaissaient un peu), il était le champion, battant presque tout le monde.

• Les "Décodeurs" (Les Génies du Moment) :
  Ce sont des modèles très puissants comme GPT-5.2 (un modèle commercial futuriste dans ce scénario). On ne les a pas entraînés spécifiquement sur ce jeu. On leur a juste donné les règles et on a dit : "À vous de jouer !". C'est comme demander à un génie de la cuisine de cuisiner un plat qu'il n'a jamais vu, juste en lisant la recette.

  • Résultat : Sur les tests publics, ils étaient un peu moins bons que les experts entraînés.
  • Le Twist : Mais sur le test secret (les questions finales que personne ne connaissait), GPT-5.2 a surclassé tout le monde ! Il a mieux résisté aux pièges. Cela suggère que les modèles entraînés avaient peut-être un peu trop "mémorisé" les exemples d'entraînement, tandis que le génie du moment a mieux compris l'esprit du jeu.

🎭 Pourquoi c'est si difficile ? (Les Pièges du Langage)

Le papier explique pourquoi c'est un défi de taille, même pour les humains :

• L'ambiguïté est reine : La plupart des réponses politiques sont "ambivalentes" (ni tout à fait claires, ni tout à fait floues). C'est comme essayer de classer une couleur entre le bleu et le vert : tout le monde n'est pas d'accord sur la nuance exacte.
• Les désaccords des juges : Même les humains qui annotent les données ne sont pas toujours d'accord. Parfois, un annotateur dit "C'est une évasion", et un autre dit "C'est juste une réponse vague". L'ordinateur doit donc apprendre à naviguer dans cette zone grise.
• Les noms propres : L'équipe a essayé de cacher les noms des politiciens (remplacer "Trump" par "Personne X") pour voir si l'ordinateur se basait sur la réputation de la personne plutôt que sur ses mots. Résultat : ça n'a pas aidé. L'ordinateur doit vraiment écouter ce qui est dit, pas qui le dit.

🏁 La Conclusion en Bref

L'article nous dit que :

1. Détecter quand un politicien esquive une question est très difficile, même pour les machines.
2. Les modèles "entraînés" (comme RoBERTa) sont excellents quand ils connaissent bien le terrain.
3. Les modèles "génériques" (comme GPT-5.2) sont plus robustes quand ils tombent sur des situations inattendues.
4. Il n'y a pas de solution magique unique : le meilleur système est souvent un mélange de ces approches.

En résumé, l'équipe KCLarity a construit des outils très performants pour aider les citoyens à ne pas se faire avoir par les pirouettes verbales de leurs dirigeants. C'est une arme puissante pour la transparence démocratique ! 🗣️✨

Résumé technique

Résumé Technique : Détection de l'Évasion Politique via des Approches Encodeur et Zero-Shot

1. Problématique et Contexte

La tâche CLARITY vise à développer des méthodes de traitement du langage naturel (NLP) pour détecter et classifier l'ambiguïté et les stratégies d'évasion dans le discours politique. Le problème central réside dans la difficulté pour les observateurs (journalistes, public) de distinguer les réponses claires des réponses évasives lors d'interviews télévisées.

Le jeu de données QEvasion, utilisé pour cette tâche, est composé d'extraits d'interviews de présidents américains. Il présente deux niveaux de classification hiérarchiques :

• Niveau 1 (Clarté) : Trois classes (Réponse Claire, Réponse Ambivalente, Non-réponse Claire). La classe "Ambivalente" est fortement surreprésentée (59,2 %), créant un déséquilibre de classes majeur.
• Niveau 2 (Évasion) : Neuf stratégies spécifiques (ex: Évocation explicite, Contournement, Généralisation, Détournement, etc.).

Un défi majeur est l'accord inter-annotateurs (IAA) : les annotateurs s'accordent rarement sur la distinction entre les réponses claires et ambivalentes, et les instances de test sont annotées par trois personnes différentes, nécessitant une évaluation robuste face à l'incertitude.

2. Méthodologie

L'équipe KCLarity a évalué deux approches principales : le fine-tuning de modèles encodeurs et l'évaluation zero-shot de modèles décodeurs.

A. Modélisation Encodeur (Fine-tuning)

• Architectures : Utilisation de RoBERTa (base et large) et DeBERTa-v3 (base et large).
• Formulations de prédiction :
  1. Clarté directe : Prédiction directe des 3 labels de clarté.
  2. Clarté basée sur l'évasion : Prédiction des 9 labels d'évasion, puis inférence du label de clarté via la taxonomie hiérarchique. Cette approche a été privilégiée car elle permet d'entraîner un seul modèle pour les deux tâches.
• Représentation d'entrée : Comparaison de deux formats :
  • Segmenté : [CLS] réponse [SEP] question [SEP].
  • Marqué : [QUESTION] question [ANSWER] réponse. Ce format, plaçant la question en premier, s'est avéré supérieur.
• Stratégies d'entraînement :
  • Gestion du déséquilibre de classes via pondération de la perte (Unweighted, Balanced, Sqrt).
  • Expérimentation du masquage des noms propres (naïf et "entity-aware"), qui n'a pas apporté d'amélioration significative.
  • Transfert de domaine (calls financiers) et signaux auxiliaires (distorsions cognitives), tous deux jugés inefficaces ou instables.

B. Modélisation Décodeur (Zero-Shot)

• Modèles : Évaluation de modèles open-weight (Llama 3, Qwen, Gemma 3) et d'un modèle commercial (GPT-5.2).
• Prompting : Utilisation d'un prompt structuré en "zero-shot" (sans fine-tuning) demandant au modèle de prédire le niveau d'évasion en suivant une "échelle de décision" logique. La clarté est ensuite déduite de la prédiction d'évasion.

3. Résultats Clés

Sur l'ensemble de test public (Développement) :

• Meilleur Encodeur : RoBERTa-large (formulation basée sur l'évasion) a obtenu les meilleurs résultats avec un Macro-F1 de 0,661 pour la clarté et un F1 moyen de 0,371 pour l'évasion.
• Meilleur Décodeur Zero-Shot : GPT-5.2 a surpassé tous les autres modèles décodeurs (F1 clarté = 0,626), mais a légèrement sous-performé par rapport à RoBERTa-large sur cet ensemble.
• Observation : Les modèles encodeurs fine-tunés ont généralement surpassé les modèles décodeurs en zero-shot sur les données publiques.

Sur l'ensemble de test caché (Évaluation officielle) :

• Inversion de tendance : Le système Zero-Shot GPT-5.2 a obtenu les meilleurs résultats globaux, se classant 22ème sur 44 pour la Tâche 1 (Clarté, F1 = 0,74) et 13ème sur 33 pour la Tâche 2 (Évasion, F1 = 0,50).
• Comparaison : Le modèle encodeur (RoBERTa-large en ensemble de 5 graines) a obtenu un F1 de 0,72 pour la clarté.
• Analyse de la généralisation : L'amélioration significative de GPT-5.2 sur l'ensemble caché (par rapport au public) suggère une meilleure capacité de généralisation hors distribution, tandis que les modèles encodeurs pourraient avoir souffert d'un léger surapprentissage aux spécificités de la distribution d'entraînement publique.

Analyse des Erreurs :

• La classe "Réponse Ambivalente" est la mieux reconnue (Recall élevé), tandis que "Réponse Claire" et "Non-réponse Claire" posent plus de difficultés.
• Au niveau de l'évasion, les stratégies Implicit, Générale, Détournement et Partielle sont fortement confondues, reflétant les désaccords des annotateurs humains et le chevauchement sémantique de ces stratégies.

4. Contributions Principales

1. Comparaison systématique : Évaluation rigoureuse de deux paradigmes (encodeur fine-tuné vs décodeur zero-shot) sur une tâche de détection d'évasion politique complexe.
2. Validation de l'approche hiérarchique : Démonstration que prédire l'évasion puis déduire la clarté est une stratégie compétitive, voire supérieure en termes de stabilité, par rapport à la prédiction directe de la clarté.
3. Analyse de la robustesse : Mise en évidence du fait que les modèles zero-shot (GPT-5.2) peuvent surpasser les modèles fine-tunés sur des ensembles de test cachés, suggérant un compromis entre performance in-domain et robustesse hors-domaine.
4. Reproductibilité : Publication du code complet, des prompts utilisés et des détails d'hyperparamètres, avec une analyse approfondie des ablations (masquage, pondération, split des données).

5. Signification et Limites

• Signification : Ce travail montre que la détection automatique de l'évasion politique reste un défi difficile, limité par la subjectivité humaine (désaccord des annotateurs). Cependant, l'utilisation de LLMs commerciaux en zero-shot offre une voie prometteuse pour une généralisation rapide sans besoin de données d'entraînement massives.
• Limites :
  • Conflit dans l'analyse d'entrée : L'ablation sur le format d'entrée (question avant réponse vs réponse avant question) n'a pas isolé l'effet du marqueur de frontière de celui de l'ordre des champs.
  • Supervision : L'utilisation d'une seule étiquette agrégée pour l'entraînement (malgré la disponibilité de multiples annotateurs en test) sous-estime l'incertitude inhérente à la tâche.
  • Zero-Shot strict : Les modèles décodeurs n'ont pas été fine-tunés, ce qui ne reflète pas leur potentiel maximal avec un entraînement spécifique (ex: LoRA).

En conclusion, l'équipe KCLarity démontre que si les modèles encodeurs traditionnels sont performants sur des données proches de l'entraînement, les grands modèles de langage (LLM) en mode zero-shot offrent une meilleure capacité de généralisation pour détecter les nuances subtiles de l'évasion politique.