💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

Les systèmes de l'équipe NLP de l'UCSC pour la tâche 10 de SemEval-2026 (PsyCoMark) emploient l'extraction de segments sensible aux frontières avec un échantillonnage de négatifs difficiles et une classification basée sur RoBERTa pour détecter les marqueurs et les documents de conspiration, atteignant respectivement les 7e et 11e places tout en mettant en évidence une détection robuste des rôles de type entité par rapport à la sensibilité des frontières de rôles abstraits.

Auteurs originaux : Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu de chercher des empreintes digitales, vous cherchez les « ingrédients » spécifiques qui font qu'une histoire ressemble à une théorie du complot. Ce document décrit comment une équipe de l'UC Santa Cruz a conçu un programme informatique pour faire exactement cela pour une compétition appelée SemEval-2026.

Voici la décomposition de leur travail, en utilisant des analogies simples :

Les deux missions principales

La compétition comportait deux défis distincts, que l'équipe a abordés avec deux « agents détectives » différents (modèles d'IA).

1. Le Chasseur d'Ingrédients (Sous-tâche 1)

L'Objectif : Trouver les parties spécifiques d'une phrase qui jouent un rôle dans une histoire de complot. Les rôles sont :
- L'Acteur : Qui fait la mauvaise chose ?
- La Victime : Qui est blessée ?
- L'Action : Quelle est la mauvaise chose ?
- La Preuve : Quelle « preuve » est offerte ?
- L'Effet : Quel est le résultat effrayant ?
Le Défi : Il ne suffit pas de trouver le mot « Jeffrey ». L'ordinateur doit savoir exactement où la phrase commence et se termine. Par exemple, l'« Action » est-elle simplement « a craché le morceau » ou est-ce toute la phrase « a craché le morceau sur l'opération du Mossad » ?
L'Astuce : L'équipe a appris à l'ordinateur à être un « perfectionniste des limites ». Ils lui ont dit : « Si tu devines le début ou la fin de la phrase, même légèrement de travers, cela ne compte pas. » Ils ont également utilisé une technique appelée Hard-Negative Mining (recherche de négatifs difficiles). Imaginez un professeur montrant la photo d'un chat à un élève et disant : « C'est un chat. » Puis, ils montrent la photo d'un chien très duveteux qui ressemble à un chat et disent : « Ce n'est PAS un chat. » Cela aide l'élève à comprendre la limite fine entre les deux. L'ordinateur a appris à distinguer un véritable marqueur de complot d'une phrase qui ressemble presque à l'un, mais qui ne l'est pas tout à fait.

2. Le Juge de l'Histoire (Sous-tâche 2)

L'Objectif : Lire l'ensemble du document et décider : Est-ce une théorie du complot ? Est-ce définitivement non ? Ou est-ce impossible à dire ?
L'Astuce : Ce modèle n'a pas regardé les ingrédients spécifiques trouvés par le premier détective. À la place, il a lu toute l'histoire comme un lecteur humain, en cherchant la « vibe » ou le ton général. Il a appris à distinguer un rapport d'actualité critique (qui peut mentionner un acteur et une victime, mais qui n'est pas un complot) d'un récit de complot véritable (qui utilise ces mêmes rôles mais avec un ton suspect et secret).

Comment ils ont procédé

L'équipe a utilisé un cerveau d'IA puissant appelé RoBERTa. Considérez cela comme un bibliothécaire très cultivé qui a lu presque tout sur Internet et comprend comment les mots s'assemblent.

Pour le Chasseur d'Ingrédients : Ils n'ont pas simplement demandé au bibliothécaire d'étiqueter les mots un par un. Au lieu de cela, ils lui ont demandé d'examiner chaque segment de texte possible (jusqu'à 32 mots de long) et de demander : « Est-ce que ce segment correspond à la définition de 'Preuve' ? » Ils ont entraîné le bibliothécaire à être extrêmement exigeant sur les dates de début et de fin de ces segments.
Pour le Juge de l'Histoire : Ils ont soumis toute l'histoire au bibliothécaire et lui ont demandé un verdict simple : Oui, Non ou Peut-être.

Les Résultats

Lorsque l'équipe a lancé ses détectives dans la compétition officielle :

Le Chasseur d'Ingrédients s'est classé 7ème de toutes les équipes. Il était très bon pour trouver l'« Acteur » et la « Victime » (comme les noms de personnes), mais il avait parfois du mal avec les parties plus abstraites comme l'« Action » ou l'« Effet », où les limites de la phrase sont plus floues.
Le Juge de l'Histoire s'est classé 12ème. Il était assez bon pour faire la différence entre une histoire de complot et une information régulière.

Ce qu'ils ont appris (Les moments « Eurêka ! »)

La précision est difficile : La plus grande erreur de l'ordinateur a été de se tromper légèrement sur le début et la fin d'une phrase. Si la « Preuve » était le mot « rapport », l'ordinateur prédisait parfois « un rapport » ou « selon un rapport ». Les règles de la compétition étaient strictes : si vous ne donniez pas les mots exacts, vous obteniez zéro point.
Deux têtes valent mieux qu'une (séparément) : L'équipe a décidé de ne pas laisser les deux détectives communiquer entre eux pendant leur travail. Ils se sont dit : « Si le premier détective fait une erreur, nous ne voulons pas que le second détective soit confus par cette erreur. » Ils les ont gardés séparés et n'ont combiné leurs réponses qu'à la toute fin.
Le problème du « Impossible de dire » : La compétition proposait une troisième option appelée « Impossible de dire ». Cependant, les règles de notation finales ignoraient cette catégorie. Cela signifie que la performance de l'ordinateur a semblé différente le jour du test par rapport à sa performance pendant l'entraînement, simplement parce que les règles ont légèrement changé à la ligne d'arrivée.

En résumé

L'équipe de l'UC Santa Cruz a construit un système qui agit comme un éditeur très précis et un observateur avisé. Ils ont montré que, bien que les ordinateurs deviennent meilleurs pour repérer les ingrédients des théories du complot, ils ont toujours du mal avec les limites exactes de ces ingrédients. Cependant, ils sont assez doués pour ressentir l'ambiance générale d'une histoire afin de décider s'il s'agit d'un complot ou non.

Résumé technique : UCSC NLP à SemEval-2026 Task 10 (PsyCoMark)

Définition du problème

Le document traite de la tâche 10 de SemEval-2026 (PsyCoMark), qui porte sur la détection de récits de conspiration au sein de textes en anglais. La tâche est divisée en deux sous-tâches distinctes :

Sous-tâche 1 (Extraction de marqueurs de conspiration) : Identifier et extraire des segments de texte correspondant à cinq rôles sémantiques spécifiques : Acteur (Actor), Action, Effet (Effect), Preuve (Evidence) et Victime (Victim). Le défi réside dans le fait que ces structures de rôles apparaissent à la fois dans les discours conspirationnistes et non conspirationnistes (critiques) ; la distinction repose sur le cadrage et la posture épistémique plutôt que sur la simple présence de ces rôles.
Sous-tâche 2 (Détection de la conspiration au niveau du document) : Classer des documents entiers dans l'une des trois catégories suivantes : Oui (conspiration), Non (non-conspiration) ou Impossible à dire (Can't tell).

Le jeu de données se compose de plus de 4 100 soumissions Reddit. Une difficulté clé notée est l'annotation dense des marqueurs et le déséquilibre modéré des classes, particulièrement pour les étiquettes au niveau du document.

Méthodologie

Les auteurs proposent deux systèmes indépendants basés sur RoBERTa-large, entraînés séparément sans partage de paramètres ni transfert de caractéristiques entre les tâches.

Sous-tâche 1 : Extraction de segments sensible aux frontières

Plutôt qu'un étiquetage au niveau du jeton (token), les auteurs formulent la tâche comme une classification de segments multi-labels sur des segments candidats énumérés.

Architecture : Le modèle énumère tous les segments candidats jusqu'à une longueur maximale de $L=32$ $L = 32$ jetons. Pour chaque segment $(i, j)$ $(i, j)$ , une représentation contextuelle est construite par la concaténation de :
- Les plongements (embeddings) des jetons de début et de fin ( $h_i, h_j$ ).
- Les plongements moyennés (mean-pooled) des jetons à l'intérieur du segment ( $\bar{h}_{i:j}$ ).
- Un plongement appris codant la largeur du segment ( $w_{emb}$ ).
- Les plongements contextuels des jetons immédiatement à gauche et à droite ( $h_{i-1}, h_{j+1}$ ).
  Ce vecteur à 6 composantes (dimension 6144) est passé à travers un MLP à deux couches pour prédire les cinq rôles.
Stratégie d'entraînement :
- Étiquetage : Pour imposer un apprentissage précis des frontières, un segment candidat est étiqueté comme positif uniquement si son intersection sur union (IoU) avec un segment d'or (gold span) est $\ge 0,95$ .
- Échantillonnage : Une stratégie d'échantillonnage à trois niveaux est utilisée pour gérer le nombre écrasant de segments négatifs : (1) tous les segments alignés sur l'or, (2) les négatifs difficiles (segments avec un chevauchement partiel, IoU $\in [0,50, 0,75)$ ), et (3) les négatifs aléatoires sans chevauchement.
- Perte (Loss) : Entropie croisée binaire avec logits, pondérée par rôle pour traiter le déséquilibre des classes.
Décodage : Les prédictions subissent un post-traitement impliquant un seuillage de probabilité par rôle (ajusté sur la validation) et une suppression des non-maxima (NMS) basée sur le confinement. La NMS élimine les segments qui se chevauchent en fonction des ratios de confinement et des seuils d'IoU, suivie d'une fusion des segments adjacents du même rôle séparés par de petits écarts de caractères.

Sous-tâche 2 : Classification de documents

Architecture : Une approche standard de classification de séquence utilisant la représentation du jeton [CLS] de RoBERTa-large.
Entraînement : Le modèle est affiné (fine-tuned) avec une perte d'entropie croisée et un lissage d'étiquette (label smoothing) ( $\alpha=0,05$ ) pour réduire le sur-apprentissage de la confiance. Un découpage stratifié 90/10 train-validation est utilisé.
Indépendance : Ce modèle opère uniquement sur le texte brut, ignorant les prédictions de segments de la sous-tâche 1 pendant l'entraînement et l'inférence.

Résultats clés

Sous-tâche 1 : Le système s'est classé 7ème parmi les équipes participantes avec un F1 macro de 0,2251 sur l'ensemble de test officiel (évalué avec une IoU au niveau du jeton $\ge 0,5$ $\geq 0, 5$ ).
- Validation interne : Le modèle a atteint un F1 micro décodé de 0,6501 sur l'ensemble de validation (utilisant une IoU au niveau du caractère $\ge 0,3$ ).
- Disparité de performance : La chute de performance est attribuée à la métrique d'évaluation plus stricte au niveau du jeton et à la sensibilité des rôles abstraits (Action, Effet) aux critères de frontières. Les rôles de type entité (Acteur, Victime) ont montré une plus grande robustesse.
Sous-tâche 2 : Le système s'est classé 12ème avec un F1 pondéré de 0,7694 sur l'ensemble de test officiel.
- Note : L'évaluation officielle a exclu les instances "Impossible à dire", calculant les métriques sur 608 échantillons, ce qui diffère de la configuration de validation à trois classes.

Signification et affirmations

Le papier affirme que sa principale contribution réside dans la formulation spécifique de l'extraction de segments pour les marqueurs de conspiration et l'analyse de la sensibilité aux frontières.

Échantillonnage de négatifs difficiles (Hard Negative Mining) : Les auteurs identifient l'utilisation de négatifs difficiles (segments à chevauchement partiel) comme étant cruciale pour empêcher le modèle de prédire des segments trop larges, affinant ainsi la localisation des frontières.
Indépendance vs Couplage : Le système démontre que bien que l'extraction de marqueurs et la classification de documents soient intrinsèquement liées, elles peuvent être modélisées indépendamment. Le classificateur de documents a obtenu une performance compétitive sans caractéristiques explicites de rôles, suggérant que les signaux de conspiration peuvent être appris directement à partir du texte brut.
Alignement de l'évaluation : Le papier souligne que la performance est hautement sensible à l'alignement entre les métriques de développement et le protocole d'évaluation officiel. La disparité entre les scores de validation et de test est largement attribuée au passage d'un critère d'IoU au niveau du caractère plus souple lors du développement à un critère d'IoU au niveau du jeton plus strict lors de l'évaluation finale.
Limites : Les auteurs reconnaissent modestement que les rôles abstraits restent difficiles en raison de l'abstraction sémantique et de la variabilité de la longueur des segments. Ils notent que la longueur maximale fixe des segments ( $L=32$ ) peut imposer un plafond de rappel pour les marqueurs plus longs et multi-clauses.

Le travail conclut que si les systèmes actuels peuvent apprendre les signaux de conspiration, les améliorations futures pourraient nécessiter une modélisation conjointe des rôles et de la classification, un décodage de segments structuré, et l'intégration de caractéristiques psycholinguistiques pour mieux distinguer le cadrage conspirationniste du récit critique.