SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking
Le système SciClaimSeekers présenté dans cet article répond au défi de la vérification des affirmations scientifiques sur les réseaux sociaux en employant un pipeline de recherche hybride combinant BM25 et E5 multilingue avec la fusion de rangs réciproques (Reciprocal Rank Fusion), suivi d'un reclassement par Qwen2.5-14B-Instruct, lequel a atteint un MRR@5 de 64,39 % sur l'ensemble de test de la tâche 1 de CLEF-2026 CheckThat! et a démontré que de tels pipelines soigneusement construits peuvent rivaliser avec les approches de fine-tuning.
Auteurs originaux :Mohotarema Rashid, Nansu Baniya, Anirban Saha Anik, Xiaoying Song, Lingzi Hong
Imaginez l'internet comme une bibliothèque géante et chaotique où n'importe qui peut crier un « fait » depuis le sommet d'une tour. Parfois, ces cris sont vrais, mais souvent, ce ne sont que des rumeurs ou des malentendus de la science réelle. Le problème est que lorsque les gens partagent ces idées scientifiques sur les réseaux sociaux, ils apportent rarement avec eux le livre original ou le rapport de l'expert. C'est comme si quelqu'un disait : « J'ai lu que manger du brocoli donne une force surhumaine », mais refusait de vous dire dans quel livre il l'a lu. Cela rend difficile la vérification de savoir si l'histoire est vraie ou s'il s'agit d'un mythe inventé. Les scientifiques et les vérificateurs de faits ont besoin d'un moyen de trouver le « code source » original de ces affirmations — le véritable article de recherche caché dans la vaste bibliothèque de l'écriture académique. C'est le défi de la « recherche de source » : prendre un post de réseau social désordonné et informel et trouver le papier scientifique formel et spécifique dont il essayait de parler.
Le document que vous allez lire, intitulé « SciClaimSeekers at CheckThat! 2026 », décrit un nouveau système ingénieux conçu pour résoudre ce puzzle exact. Les chercheurs ont créé une équipe de détectives numériques appelée SciClaimSeekers. Considérez ce système comme un processus en trois étapes pour trouver le bon livre dans une bibliothèque de 10 000 articles scientifiques. Premièrement, il utilise deux différents « moteurs de recherche » simultanément : un qui recherche des correspondances de mots exacts (comme trouver un livre parce que le titre contient le mot « brocoli ») et un autre qui comprend le sens de la phrase (comme trouver un livre parce qu'il parle de « force surhumaine » même si le mot « brocoli » n'y figure pas). Deuxièmement, il combine les listes des deux moteurs de recherche pour créer une liste unique et plus courte des candidats les plus probables. Enfin, et surtout, il utilise un cerveau d'Intelligence Artificielle (IA) puissant pour lire le post des réseaux sociaux et les meilleurs candidats un par un, en demandant : « Est-ce le papier dont ce post parle ? » et en lui attribuant un score.
L'équipe a découvert que cette étape du « cerveau d'IA » était la véritable magie. Tandis que les deux premières étapes ont aidé à réduire le champ des recherches, l'étape de reclassement par l'IA a considérablement augmenté le taux de réussite du système. Sur un ensemble de test de publications de réseaux sociaux, leur système a correctement identifié le bon article scientifique parmi les cinq meilleures suppositions dans 64,39 % des cas. Ce fut un bond énorme — environ 13,6 points de pourcentage de mieux qu'en utilisant simplement le moteur de recherche de correspondance de mots simple. Les résultats suggèrent que l'utilisation de ces grands modèles d'IA pré-entraînés dans un pipeline soigneux et par étapes est un moyen très solide de vérifier les affirmations scientifiques, même sans avoir besoin d'entraîner une IA personnalisée à partir de zéro. Le système est si efficace qu'il s'est classé 11e sur 37 équipes lors d'une compétition internationale majeure, prouvant que ce mélange de recherche simple et de lecture intelligente par l'IA fonctionne bien pour connecter le bruit des réseaux sociaux à la vérité scientifique.
Résumé technique : SciClaimSeekers à CheckThat! 2026
Énoncé du problème Les affirmations scientifiques se propagent souvent sur les réseaux sociaux plus rapidement qu'elles ne peuvent être vérifiées, pourtant les publications sur les réseaux sociaux ne renvoient que rarement à leurs sources académiques originales. Cela crée un défi majeur pour les systèmes de vérification des faits automatisés. La difficulté est accentuée par le « biais de confirmation », où les utilisateurs favorisent les informations s'alignant sur leurs croyances préexistantes, ainsi que par le décalage structurel entre le discours informel et jargonneux des réseaux sociaux et la littérature scientifique formelle. De plus, le contenu généré par les utilisateurs paraphrase souvent les résultats ou les mentionne de manière lâche sans citations standardisées, ce qui rend difficile l'identification des sources scientifiques originales. La tâche 1 de CheckThat! 2026 traite spécifiquement de la récupération de sources scientifiques pour des affirmations issues des réseaux sociaux, exigeant que les systèmes associent une publication de réseau social au bon article parmi un pool fixe de 10 000 articles scientifiques.
Méthodologie Les auteurs proposent SciClaimSeekers, un pipeline de type « recherche puis reclassement » (retrieve-then-rerank) en trois étapes, conçu pour combler le fossé entre les messages bruyants des réseaux sociaux et les résumés scientifiques formels. Le système fonctionne comme suit :
Récupération de premier niveau (Hybride) : Deux récupérateurs complémentaires opèrent en parallèle sur un corpus indexé de 10 000 articles (représentés par la concaténation du titre et du résumé) :
Récupération parcimonieuse (Sparse Retrieval) : Utilise BM25 (Okapi) pour capturer les signaux lexicaux, tels que les entités nommées et les valeurs numériques. L'entrée est prétraitée pour supprimer le bruit (URLs, mentions, ponctuation) et normalisée.
Récupération dense (Dense Retrieval) : Utilise le modèle multilingual-e5-large-instruct (basé sur XLM-RoBERTa). Ce modèle emploie des préfixes d'instruction pour différencier les requêtes des documents, traitant le post des réseaux sociaux comme une requête pour récupérer l'article scientifique correspondant. Il utilise le pooling moyen sur les états cachés finaux et la normalisation L2 pour une correspondance de similitude cosinus via un index FAISS.
Fusion : Les deux récupérateurs renvoient leurs 100 meilleurs candidats. Ces listes sont fusionnées à l'aide de la fusion de rang réciproque (RRF) avec une constante de lissage k=60, produisant un ensemble unifié de 50 candidats.
Reclassement de second niveau (LLM) : Les 50 meilleurs candidats fusionnés sont reclassés à l'aide de Qwen2.5-14B-Instruct, un grand modèle de langage (LLM) open-source.
Approche : Le modèle est utilisé comme un réencodeur croisé (cross-encoder) ponctuel (pointwise) zero-shot. Contrairement aux approches de liste (listwise), chaque paire (post de réseau social, article candidat) est scorée indépendamment.
Prompting : Le système instruit le LLM d'agir comme un identificateur de source scientifique, produisant un score de pertinence entier entre 0 et 10 selon la probabilité que le post fasse référence à l'article spécifique.
Sortie : Les candidats sont triés par le score du LLM (les égalités étant départagées par le score RRF de l'étape 2), et les 5 meilleurs sont renvoyés comme prédiction finale.
Contributions clés
Performance du pipeline hybride : Les auteurs présentent un pipeline hybride de recherche et de reclassement qui a obtenu la 11ème place sur 37 équipes participantes dans l'ensemble de test anglais de la tâche 1 de CheckThat! 2026. Le système a atteint un MRR@5 de 64,39 % sur l'ensemble de test officiel.
Dominance du LLM dans le reclassement : L'étude isole la contribution de chaque étape, identifiant le réencodeur croisé LLM comme le principal moteur de performance. Le reclasseur Qwen2.5-14B a apporté environ +10 points de MRR@5, qu'il soit appliqué aux candidats BM25 seuls ou aux candidats fusionnés hybrides. Cela représente environ les trois quarts de l'amélioration totale de +13,67 points par rapport à la ligne de base BM25.
Généralisation : Le système a démontré une forte capacité de généralisation, avec un écart négligeable de 0,03 point de pourcentage entre le score de l'ensemble de développement (64,36 %) et le score de l'ensemble de test (64,39 %), suggérant que les décisions de réglage se transfèrent proprement aux données non vues.
Résultats et analyse L'évaluation, basée sur le rang réciproque moyen (MRR@5), le Hit@1 et le Hit@5, révèle ce qui suit :
Lignes de base : BM25 seul a atteint environ 50 % de MRR@5. Le récupérateur dense E5 a amélioré ce résultat d'environ 2 points, et la fusion RRF hybride a ajouté environ 1,5 point supplémentaire.
Comparaison de reclassement : Un réencodeur croisé traditionnel (bge-reranker-v2-m3) a montré des gains modestes sur l'ensemble de développement mais a souffert de surapprentissage (overfitting), perforant moins bien que la ligne de base hybride sur l'ensemble de test. En revanche, le reclasseur génératif LLM (Qwen2.5-14B) a délivré des gains substantiels et constants.
Efficacité vs Performance : Bien que le reclasseur LLM soit le goulot d'étranglement computationnel (prenant environ 11 heures pour l'ensemble de test sur deux GPU A40), les auteurs notent que le pipeline est modulaire et s'exécute de bout en bout sur un seul nœud, ce qui le rend pratique pour des déploiements hors ligne ou sensibles à la confidentialité.
Signification et affirmations L'article affirme que les grands modèles pré-entraînés, lorsqu'ils sont intégrés dans un pipeline rigoureux, peuvent être compétitifs avec les approches de fine-tuning pour la recherche de sources scientifiques. Plus précisément, les auteurs soutiennent que le scoring ponctuel avec un LLM puissant aux poids ouverts sert de substitut fiable à l'entraînement d'un réencodeur spécifique à la tâche. Ce travail souligne que si la recherche hybride (combinant les signaux parcimonieux et denses) fournit une base nécessaire pour le rappel (recall), le saut significatif dans la qualité du classement est piloté par les capacités de compréhension sémantique du LLM lors de l'étape de reclassement. Le système est présenté comme une solution open-source et modulaire qui répond efficacement aux décalages linguistiques et structurels inhérents à la liaison des affirmations des réseaux sociaux aux preuves scientifiques.
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.