💻 computer science

SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

Das in dieser Arbeit vorgestellte SciClaimSeekers-System adressiert die Herausforderung der Verifizierung wissenschaftlicher Behauptungen in sozialen Medien durch den Einsatz einer hybriden Retrieval-Pipeline, die BM25 und multilinguales E5 mittels Reciprocal Rank Fusion kombiniert, gefolgt von einem Qwen2.5-14B-Instruct Reranking, welches einen MRR@5 von 64,39 % auf dem CLEF-2026 CheckThat! Task 1 Testdatensatz erreichte und demonstrierte, dass derart sorgfältig konstruierte Pipelines mit fein abgestimmten Ansätzen konkurrieren können.

Ursprüngliche Autoren: Mohotarema Rashid, Nansu Baniya, Anirban Saha Anik, Xiaoying Song, Lingzi Hong

Veröffentlicht 2026-07-29

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohotarema Rashid, Nansu Baniya, Anirban Saha Anik, Xiaoying Song, Lingzi Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in der jeder von einem Turm aus eine „Fakt“ herausschreien kann. Manchmal sind diese Schreie wahr, aber oft sind es nur Gerüchte oder Missverständnisse echter Wissenschaft. Das Problem ist, dass Menschen, wenn sie diese wissenschaftlichen Ideen in den sozialen Medien teilen, selten das ursprüngliche Buch oder den Bericht des Experten mitbringen. Es ist so, als würde jemand sagen: „Ich habe gelesen, dass das Essen von Brokkoli Superkräfte verleiht“, aber sich weigern, Ihnen zu sagen, in welchem Buch er das gelesen hat. Dies macht es schwierig zu überprüfen, ob die Geschichte wahr ist oder nur ein ausgedachter Mythos. Wissenschaftler und Faktenchecker brauchen einen Weg, um den ursprünglichen „Quellcode“ dieser Behauptungen zu finden – die eigentlichen Forschungsarbeiten, die in der gewaltigen Bibliothek der akademischen Texte verborgen sind. Dies ist die Herausforderung der „Quellenrecherche“ (Source Retrieval): eine ungeordnete, informelle Social-Media-Nachricht zu nehmen und das eine spezifische, formale wissenschaftliche Papier zu finden, auf das sie sich bezieht.

Das Papier, das Sie gleich lesen werden, mit dem Titel „SciClaimSeekers at CheckThat! 2026“, beschreibt ein kluges neues System, das genau dieses Rätsel lösen soll. Die Forscher haben ein digitales Detektivteam namens SciClaimSeekers erschaffen. Betrachten Sie dieses System als einen dreistufigen Prozess, um das richtige Buch in einer Bibliothek von 10.000 wissenschaftlichen Arbeiten zu finden. Zuerst nutzt es gleichzeitig zwei verschiedene „Suchmaschinen“: eine, die nach exakten Wortübereinstimmungen sucht (wie das Finden eines Buches, weil der Titel das Wort „Brokkoli“ enthält) und eine andere, die die Bedeutung des Satzes versteht (wie das Finden eines Buches, weil es über „Superstärke“ spricht, auch wenn das Wort „Brokkoli“ nicht darin vorkommt). Zweitens kombiniert es die Listen beider Suchmaschinen zu einer einzigen, kürzeren Liste der wahrscheinlichsten Kandidaten. Schließlich, und das ist am wichtigsten, nutzt es ein leistungsstarkes KI-Gehirn (Künstliche Intelligenz), um den Social-Media-Post und die Top-Kandidaten nacheinander zu lesen und die Frage zu stellen: „Ist dies das Papier, von dem dieser Post spricht?“ und ihm eine Punktzahl zu geben.

Das Team fand heraus, dass dieser Schritt mit dem „KI-Gehirn“ die wahre Magie war. Während die ersten beiden Schritte halfen, die Auswahl einzugrenzen, steigerte der KI-Reranking-Schritt die Erfolgsrate des Systems erheblich. Bei einem Testdatensatz von Social-Media-Posts identifizierte ihr System das richtige wissenschaftliche Papier in etwa 64,39 % der Fälle unter den Top-Fünf-Tipps. Dies war ein riesiger Sprung – etwa 13,6 Prozentpunkte besser als die Verwendung der einfachen Wortabgleich-Suchmaschine. Die Ergebnisse legen nahe, dass die Verwendung dieser großen, vortrainierten KI-Modelle in einer sorgfältigen, schrittweisen Pipeline ein sehr starker Weg ist, um wissenschaftliche Behauptungen zu verifizieren, selbst ohne die Notwendigkeit, eine eigene KI von Grund auf neu zu trainieren. Das System ist so effektiv, dass es bei einem großen internationalen Wettbewerb den 11. Platz von 37 Teams belegte, was beweist, dass diese Mischung aus einfacher Suche und intelligentem KI-Lesen gut funktioniert, um das Rauschen der sozialen Medien mit wissenschaftlicher Wahrheit zu verbinden.

Technisches Resümee: SciClaimSeekers bei CheckThat! 2026

Problemstellung
Wissenschaftliche Behauptungen verbreiten sich in sozialen Medien häufig schneller, als sie verifiziert werden können, doch Social-Media-Beiträge verlinken selten auf ihre ursprünglichen wissenschaftlichen Quellen. Dies stellt eine erhebliche Herausforderung für automatisierte Faktencheck-Systeme dar. Die Schwierigkeit wird durch den „Confirmation Bias“ (Bestätigungsfehler) verschärft, bei dem Nutzer Informationen bevorzugen, die mit ihren bestehenden Überzeugungen übereinstimmen, sowie durch die strukturelle Diskrepanz zwischen informeller, jargonreicher Social-Media-Diskussion und formeller wissenschaftlicher Literatur. Darüber hinaus erstellt der nutzergenerierte Inhalt oft Paraphrasen von Befunden oder bezieht sich lose auf diese, ohne standardisierte Zitate zu verwenden, was die Identifizierung der ursprünglichen wissenschaftlichen Quellen erschwert. Die CheckThat! 2026 Task 1 adressiert spezifisch das Abrufen wissenschaftlicher Quellen für Social-Media-Behauptungen und erfordert Systeme, die einen Social-Media-Beitrag der korrekten Publikation aus einem festen Pool von 10.000 wissenschaftlichen Arbeiten zuordnen können.

Methodik
Die Autoren schlagen SciClaimSeekers vor, eine dreistufige „Retrieve-then-Rerank“-Pipeline (Abrufen-dann-Neuordnen), die darauf ausgelegt ist, die Lücke zwischen verrauschten Social-Media-Beiträgen und formellen wissenschaftlichen Abstracts zu schließen. Das System arbeitet wie folgt:

Erste Stufe: Retrieval (Hybrid): Zwei komplementäre Retriever arbeiten parallel auf einem indizierten Korpus von 10.000 Papern (dargestellt durch konkatenierte Titel und Abstracts):
- Sparse Retrieval (Dünnbesetzte Suche): Verwendet BM25 (Okapi, um lexikalische Signale wie benannte Entitäten und numerische Werte zu erfassen. Der Input wird vorverarbeitet, um Rauschen (URLs, Erwähnungen, Interpunktion) zu entfernen und zu normalisieren.
- Dense Retrieval (Dichte Suche): Verwendet das Modell multilingual-e5-large-instruct (basierend auf XLM-RoBERTa). Dieses Modell nutzt Instruktions-Präfixe, um Anfragen von Dokumenten zu unterscheiden, wobei der Social-Media-Beitrag als Query behandelt wird, um das entsprechende wissenschaftliche Paper abzurufen. Es nutzt Mean Pooling über die finalen Hidden States und L2-Normalisierung für das Matching mittels Cosinus-Ähnlichkeit über einen FAISS-Index.
- Fusion: Beide Retriever liefern jeweils die Top-100-Kandidaten zurück. Diese Listen werden mittels Reciprocal Rank Fusion (RRF) mit einem Glättungsparameter $k=60$ zusammengeführt, was einen vereinheitlichten Top-50-Kandidatensatz ergibt.
Zweite Stufe: Reranking (LLM): Die fusionierten Top-50-Kandidaten werden unter Verwendung von Qwen2.5-14B-Instruct, einem Open-Source Large Language Model, neu geordnet.
- Ansatz: Das Modell wird als Zero-Shot Pointwise Cross-Encoder eingesetzt. Im Gegensatz zu Listwise-Ansätzen wird jedes Paar (Social-Media-Beitrag, Kandidaten-Paper) unabhängig voneinander bewertet.
- Prompting: Das System weist das LLM an, als Identifikationswerkzeug für wissenschaftliche Quellen zu agieren, und gibt einen ganzzahligen Relevanzwert zwischen 0 und 10 aus, der die Wahrscheinlichkeit angibt, dass sich der Beitrag auf das spezifische Paper bezieht.
- Output: Die Kandidaten werden nach dem LLM-Score sortiert (wobei Gleichstände durch den Stage-2-RRF-Score gebrochen werden), und die Top 5 werden als finale Vorhersage zurückgegeben.

Wesentliche Beiträge

Leistung der Hybrid-Pipeline: Die Autoren präsentieren eine hybride Retrieve-then-Rerank-Pipeline, die im englischen Testset der CheckThat! 2026 Task 1 den 11. Platz von 37 teilnehmenden Teams erreichte. Das System erzielte ein MRR@5 von 64,39 % auf dem offiziellen Testset.
Dominanz des LLM beim Reranking: Die Studie isoliert den Beitrag jeder Stufe und identifiziert den LLM-Cross-Encoder als primären Leistungstreiber. Der Qwen2.5-14B Reranker lieferte etwa +10 MRR@5 Punkte, unabhängig davon, ob er auf BM25-Kandidaten allein oder auf die hybriden fusionierten Kandidaten angewendet wurde. Dies macht etwa drei Viertel der gesamten Verbesserung von +13,67 Punkten gegenüber der BM25-Baseline aus.
Generalisierung: Das System zeigte eine starke Generalisierungsfähigkeit mit einer vernachlässigbaren Differenz von lediglich 0,03 Prozentpunkten zwischen dem Score des Development-Sets (64,36 %) und dem Testset-Score (64,39 %), was darauf hindeutet, dass die Tuning-Entscheidungen sauber auf die gehaltenen Daten übertragbar sind.

Ergebnisse und Analyse
Die Auswertung, basierend auf Mean Reciprocal Rank (MRR@5), Hit@1 und Hit@5, zeigt Folgendes:

Baselines: BM25 allein erreichte ~50 % MRR@5. Der dichte E5-Retriever verbesserte dies um ~2 Punkte, und die hybride RRF-Fusion fügte weitere ~1,5 Punkte hinzu.
Vergleich des Rerankings: Ein traditioneller Cross-Encoder (bge-reranker-v2-m3) zeigte moderate Gewinne auf dem Development-Set, litt jedoch unter Overfitting und schnitt auf dem Testset schlechter ab als die hybride Baseline. Im Gegensatz dazu lieferte der generative LLM-Reranker (Qwen2.5-14B) substanzielle, konsistente Gewinne.
Effizienz vs. Leistung: Während der LLM-Reranker der Rechenengpass ist (er benötigt ca. 11 Stunden für das Testset auf zwei A40-GPUs), merken die Autoren an, dass die Pipeline modular ist und auf einem einzelnen Node läuft, was sie praktikabel für Offline- oder datenschutzrelevante Einsätze macht.

Bedeutung und Behauptungen
Das Paper behauptet, dass große vortrainierte Modelle, wenn sie in eine sorgfältige Pipeline integriert werden, mit fein abgestimmten Ansätzen konkurrieren können, wenn es um die Suche nach wissenschaftlichen Quellen geht. Insbesondere argumentieren die Autoren, dass das Pointwise-Scoring mit einem starken Open-Weight-LLM ein zuverlässiger Ersatz für das Training eines aufgabe-spezifischen Rerankers ist. Die Arbeit hebt hervor, dass während das hybride Retrieval (die Kombination aus Sparse- und Dense-Signalen) eine notwendige Grundlage für den Recall bietet, der signifikante Sprung in der Ranking-Qualität durch die semantischen Verständnisfähigkeiten des LLM in der Reranking-Phase getrieben wird. Das System wird als Open-Source-Lösung präsentiert, die effektiv die linguistischen und strukturellen Diskrepanzen adressiert, die mit der Verknüpfung von Social-Media-Behauptungen mit wissenschaftlichen Belegen einhergehen.

Technisches Resümee: SciClaimSeekers bei CheckThat! 2026

Mehr davon