AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

Ce papier présente un pipeline innovant d'agents LLM pour la tâche 10 de SemEval-2026, qui combine une extraction de marqueurs psycholinguistiques via une chaîne de pensée discriminative dynamique et une détection d'adhésion aux théories du complot grâce à une architecture « Anti-Chambre d'Écho », permettant d'atteindre des performances significativement supérieures aux modèles de base.

L'essentiel

🕵️‍♂️ L'Enquête : Comment les IA ont appris à débusquer les théories du complot

Imaginez que vous êtes un éditeur de journal. Vous recevez des milliers de messages chaque jour. Certains sont de vraies nouvelles, d'autres sont des rumeurs, et certains sont de véritables théories du complot. Le problème ? Ces théories sont souvent cachées dans des phrases qui semblent normales.

L'équipe AILS-NTUA (du laboratoire de l'École Polytechnique d'Athènes) a créé un système d'intelligence artificielle très spécial pour trier ce bazar. Au lieu de donner un seul "super-ordinateur" la tâche de tout lire d'un coup, ils ont construit une équipe de détectives qui travaillent ensemble.

Voici comment ça marche, étape par étape :

1. Le Problème : Le Piège du "Journaliste" 📰

Avant, les IA faisaient une erreur classique : elles pensaient que si un texte parlait d'un complot, c'était que la personne y croyait.

• Exemple : Si quelqu'un écrit "Le journal dit que le gouvernement a caché des documents", une IA bête pourrait penser : "Ah ! Il parle de documents cachés, c'est un complotiste !".
• La réalité : La personne rapporte juste une information neutre. C'est ce qu'on appelle le "Piège du Journaliste" (Reporter Trap). L'IA confond le fait de parler d'un complot avec le fait de le croire.

2. La Solution : Une Équipe de Détectives (Agents) 🕵️‍♀️🕵️‍♂️

Pour éviter cette erreur, l'équipe a créé deux équipes spécialisées qui travaillent en tandem.

Équipe A : Les Chasseurs de Indices (Pour la tâche 1)
Leur travail est de trouver les petits morceaux de texte qui sentent le complot.

• L'outil magique : La "Chaîne de Pensée Discriminante" (DD-CoT).
  Imaginez un détective qui ne se contente pas de dire "C'est un indice !". Il doit aussi dire : "Pourquoi ce n'est PAS un autre type d'indice ?".
  • Analogie : C'est comme un juge qui demande au suspect : "Vous avez dit que vous étiez innocent. Mais pourquoi n'êtes-vous pas le coupable ?". En forçant l'IA à se justifier et à contredire ses propres erreurs, elle devient beaucoup plus précise.
  • Ils cherchent 5 types d'indices : Qui (l'auteur), Quoi (l'action), Contre qui (la victime), Pourquoi (l'effet), et La preuve (l'argument).

Équipe B : Le Conseil Anti-Écho (Pour la tâche 2)
Une fois les indices trouvés, il faut décider : "Est-ce que l'auteur croit vraiment au complot ou raconte-t-il juste une histoire ?".
Pour cela, ils ont créé un "Conseil de Juges" qui ne se parlent pas entre eux (pour éviter qu'ils ne s'influencent mutuellement, comme dans une chambre d'écho).

• Le Procureur : Il cherche tout ce qui prouve que l'auteur croit au complot. Il est très méfiant.
• L'Avocat de la Défense : Il cherche tout ce qui prouve que l'auteur est neutre (ex: "selon le journal", "on dit que"). Il est très sceptique.
• Le Literaliste : Il lit mot à mot. Si ce n'est pas écrit clairement, il dit "Non".
• Le Profiler : Il analyse le ton et l'émotion (est-ce que ça sent la colère ? la peur ?).

Ensuite, un Juge Calibré écoute les arguments de tous. Si le Procureur et l'Avocat se battent, le Juge regarde les détails fins (comme le ton de la voix) pour trancher. Cela permet d'éviter de condamner un innocent juste parce qu'il a parlé d'un complot.

3. Les Résultats : Une Victoire Éclatante 🏆

Grâce à cette méthode "d'équipe" :

• Pour trouver les indices (Tâche 1), ils ont doublé leur performance par rapport aux méthodes classiques. C'est comme passer d'un détective amateur à Sherlock Holmes.
• Pour détecter l'adhésion au complot (Tâche 2), ils ont gagné 49% de précision. Ils ne se font plus piéger par les "fausses nouvelles" qui sont en fait de simples rapports d'information.

4. Pourquoi c'est génial ? 💡

Habituellement, pour rendre une IA plus intelligente, on essaie de la rendre plus grosse (plus de données, plus de puissance). Ici, les chercheurs ont dit : "Non, changeons la façon dont elle réfléchit !".

• Au lieu d'un seul cerveau qui se trompe, ils ont créé un système de contrôle où chaque partie vérifie l'autre.
• C'est comme si, au lieu d'avoir un seul juge qui décide tout seul, vous aviez un tribunal complet qui débat avant de rendre un verdict.

En résumé 🎯

Ce papier nous montre que pour détecter les mensonges et les théories du complot, l'IA ne doit pas juste "lire" le texte. Elle doit :

1. Chercher activement les indices cachés (en se posant des questions).
2. Discuter entre plusieurs points de vue (pour ne pas confondre un journaliste avec un complotiste).
3. Vérifier ses propres réponses avant de se décider.

C'est une preuve que la structure de la réflexion est parfois plus importante que la puissance brute de la machine ! 🧠✨

Résumé technique

1. Problématique et Contexte

La tâche 10 de SemEval-2026 (PsyCoMark) vise à adresser deux défis interconnectés dans la détection des théories du complot :

1. Extraction de marqueurs psycholinguistiques (Sous-tâche 1 - S1) : Identifier et localiser précisément des segments de texte (spans) correspondant à des marqueurs spécifiques de la pensée complotiste (Acteur, Action, Effet, Victime, Preuve), basés sur la psychologie évolutionniste.
2. Détection d'adhésion aux théories du complot (Sous-tâche 2 - S2) : Déterminer si un commentaire Reddit exprime une adhésion à une théorie du complot ou s'il s'agit simplement d'un rapport neutre, d'une satire ou d'une réfutation.

Défis majeurs :

• Ambiguïté sémantique : Difficulté à distinguer les rôles sémantiques (ex: qui est l'acteur vs la victime) dans des structures passives.
• Le "Piège du Reporter" (Reporter Trap) : Les modèles classiques confondent souvent la mention d'une théorie du complot (dans un contexte journalistique ou de réfutation) avec une adhésion à celle-ci.
• Fragilité des LLM : Les grands modèles de langage (LLM) sont sujets aux biais cognitifs, aux hallucinations de localisation de caractères (spans) et aux erreurs de positionnement.

2. Méthodologie : Pipeline Agentic Déconplé

L'approche proposée par AILS-NTUA repose sur un pipeline agentic (multi-agents) qui décompose le problème en deux étapes distinctes, séparant le raisonnement sémantique des opérations déterministes.

A. Architecture Globale

Le système utilise une architecture en deux étapes orchestrée via LangGraph, exploitant le modèle GPT-5.2 (avec une validation sur Qwen-3-8B).

• S1 (Extraction) : Combine un mécanisme de réflexion itérative (Self-Refine) avec une localisation déterministe.
• S2 (Détection) : Utilise une architecture de "Chambre Anti-Écho" (Anti-Echo Chamber) basée sur un conseil parallèle et un juge calibré.

B. Sous-tâche 1 : Extraction via DD-CoT et Ancrage Déterministe

Pour résoudre l'ambiguïté sémantique et les erreurs de localisation :

1. DD-CoT (Dynamic Discriminative Chain-of-Thought) : Une extension du Chain-of-Thought adaptatif. Pour chaque candidat de marqueur, le modèle doit non seulement justifier son étiquette, mais aussi fournir un contre-argument explicite contre les étiquettes confusibles (ex: "Pourquoi ce segment est un Acteur et non une Victime ?"). Cela force le modèle à définir des frontières décisionnelles claires.
2. Boucle Self-Refine : Un cycle de quatre agents (Générateur, Critique, Affineur, Vérificateur) qui itère sur les extraits pour corriger les erreurs de granularité et d'étiquetage.
3. Vérificateur Déterministe : Une étape post-traitement non-LLM qui ancre les chaînes de caractères générées aux offsets exacts du texte source via une cascade de correspondance (exacte, insensible à la casse, floue). Cela élimine les "hallucinations de spans" et les erreurs de décalage de caractères.

C. Sous-tâche 2 : Détection via la "Chambre Anti-Écho"

Pour surmonter le "Piège du Reporter" :

1. Forensic Profiler : Un nœud déterministe calcule des signaux linguistiques légers (densité d'attribution, intensité émotionnelle, détection du "JAQing" - Just Asking Questions) avant la délibération du LLM.
2. Conseil Parallèle (Parallel Council) : Quatre personas indépendants délibèrent sans voir les sorties des autres :
   • Procureur : Identifie les preuves d'adhésion.
   • Avocat de la Défense : Cherche des preuves de neutralité, de satire ou de réfutation.
   • Literaliste : Vérifie l'implication littérale et la charge de la preuve.
   • Profiler de Stance : Analyse les indices de certitude et de dynamique de groupe.
3. Juge Calibré : Agrège les votes avec des règles conservatrices. Si les preuves sont ambiguës ou contradictoires, le système bascule par défaut sur "Non-conspiration" pour minimiser les faux positifs.
4. Rétroaction Contrastive (Contrastive Retrieval) : Le système récupère des exemples "négatifs difficiles" (des textes contenant du vocabulaire complotiste mais ayant une stance opposée) pour entraîner le modèle à distinguer le sujet de la position.

3. Contributions Clés

1. Première méthode agentic LLM dédiée à l'extraction de marqueurs psycholinguistiques et à la détection d'adhésion aux théories du complot.
2. DD-CoT : Introduction d'une étape de discrimination explicite (contre-arguments) pour résoudre les ambiguïtés sémantiques (ex: Acteur vs Victime).
3. Architecture Hybride : Découplage du raisonnement sémantique (LLM) et de la localisation de spans (déterministe) pour une précision au niveau du caractère.
4. Chambre Anti-Écho : Une architecture de conseil adversaire pour séparer le rapport neutre de l'adhésion, résolvant efficacement le "Piège du Reporter".
5. Analyse Empirique Complète : Études d'ablation, profilage de latence et validation de la transférabilité vers des modèles open-weights (Qwen-8B).

4. Résultats Expérimentaux

Les performances sont évaluées sur le jeu de données de développement (Dev) et de test (Test) de SemEval-2026.

• Sous-tâche 1 (Extraction) :

  • F1 Macro : 0.24 sur le jeu de développement (vs 0.12 pour la base zero-shot), soit une amélioration de +100%.
  • Classement : 3ème sur le leaderboard de développement.
  • Gain spécifique : Amélioration de +2.7 points F1 pour la détection des Acteurs grâce au DD-CoT.

• Sous-tâche 2 (Détection) :

  • F1 Macro : 0.79 sur le jeu de développement (vs 0.53 pour la base), soit une amélioration de +49%.
  • Réduction des Faux Positifs : Le taux de faux positifs sur les "négatifs difficiles" a été réduit de 50% (de 0.160 à 0.080) grâce à la récupération contrastive et au Conseil.
  • Classement : 10ème sur le jeu de test (à moins de 0.05 F1 du système leader).

• Analyse d'Ablation :

  • La boucle Self-Refine apporte le plus grand gain en S1 (+6.7% F1).
  • Le Conseil Parallèle améliore le rappel de +16% en S2.
  • La récupération contrastive est cruciale pour supprimer les erreurs de type "Reporter Trap".

• Coût et Latence :

  • Le pipeline complet augmente la latence (environ 30s/document vs 10s pour la base) et l'utilisation de tokens, mais reste constant par document grâce à un nombre fixe d'appels LLM, évitant l'explosion récursive.

5. Signification et Conclusion

Ce travail démontre que l'ingénierie de flux de travail agentic peut compenser le manque de mise à l'échelle des modèles pour des tâches NLP psycholinguistiques complexes.

• Paradigme Interprétable : En forçant le modèle à articuler des contre-arguments et en utilisant des agents spécialisés, le système offre une transparence sur la décision (contrairement aux classificateurs boîte noire).
• Robustesse : La séparation entre le raisonnement sémantique et la localisation déterministe résout un problème fondamental des LLM (la précision des offsets).
• Limites : Les défis principaux restent l'ironie à haut contexte et le sarcasme (Loi de Poe), qui nécessitent souvent un contexte de discussion plus large (fil de discussion, historique utilisateur) non disponible dans l'analyse d'un seul document.

En conclusion, l'approche AILS-NTUA établit un nouveau standard pour la détection des théories du complot en combinant la puissance des LLM avec des mécanismes de vérification rigoureuse et de délibération structurée, offrant une voie prometteuse pour des outils de modération de contenu plus précis et interprétables.