SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

Technische Samenvatting: SciClaimSeekers bij CheckThat! 2026

Probleemstelling
Wetenschappelijke claims verspreiden zich op sociale media vaak sneller dan ze geverifieerd kunnen worden, maar berichten op sociale media linken zelate vaak naar hun oorspronkelijke wetenschappelijke bronnen. Dit vormt een aanzienlijke uitdaging voor geautomatiseerde factchecking-systemen. De moeilijkheid wordt versterkt door "bevestigingsvooroordeel" (confirmation bias), waarbij gebruikers informatie verkiezen die aansluit bij hun bestaande overtuigingen, en de structurele mismatch tussen informele, jargonrijke discussies op sociale media en formele wetenschappelijke literatuur. Bovs de inhoud die door gebruikers wordt gegenereerd, parafraseert vaak bevindingen of verwijst er zijdelings naar zonder gestandaardiseerde citaties, wat de identificatie van de oorspronkelijke wetenschappelijke bronnen bemoeilijkt. De CheckThat! 2026 Taak 1 richt zich specifiek op het ophalen van wetenschappelijke bronnen voor claims op sociale media, waarbij systemen een sociale media-post moeten koppelen aan de juiste publicatie uit een vaste pool van 10.000 wetenschappelijke artikelen.

Methodologie
De auteurs stellen SciClaimSeekers voor, een driefasige "retrieve-then-rerank" pijplijn ontworpen om de kloof tussen ruisachtige berichten op sociale media en formele wetenschappelijke abstracts te overbruggen. Het systeem werkt als volgt:

1. Eerste fase: Retrieval (Hybride): Twee complementaire retrievers werken parallel op een geïndexeerde corpus van 10.000 artikelen (gerepresenteerd door geconcateneerde titel en abstract):

   • Sparse Retrieval: Gebruikt BM25 (Okapi) om lexicale signalen te vangen, zoals benoemde entiteiten en numerieke waarden. De input wordt voorbewerkt om ruis (URL's, mentions, interpunctie) te verwijderen en genormaliseerd.
   • Dense Retrieval: Gebruikt het multilingual-e5-large-instruct model (gebaseerd op XLM-RoBERTa). Dit model maakt gebruik van instructie-prefixes om queries van documenten te onderscheiden, waarbij de sociale media-post wordt behandeld als een query om de bijbehorende wetenschappelijke paper te ophalen. Het maakt gebruik van mean pooling over de finale hidden states en L2-normalisatie voor cosine similarity matching via een FAISS-index.
   • Fusie: Beide retrievers leveren hun top-100 kandidaten terug. Deze lijsten worden samengevoegd met behulp van Reciprocal Rank Fusion (RRF) met een smoothing constant $k=60$, wat resulteert in een verenigde top-50 kandidaatenset.

2. Tweede fase: Reranking (LLM): De gefuseerde top-50 kandidaten worden opnieuw gerangschikt met behulp van Qwen2.5-14B-Instruct, een open-source Large Language Model.

   • Benadering: Het model wordt gebruikt als een zero-shot pointwise cross-encoder. In tegenstelling tot listwise benaderingen wordt elk paar (social media-post, kandidaat-paper) onafhankelijk gescoord.
   • Prompting: Het systeem instrueert het LLM om op te treden als een identificeerder van wetenschappelijke bronnen, waarbij een geheel getal tussen 0 en 10 wordt uitgegeven als relevantiescore op basis van de waarschijnlijkheid dat de post naar de specifieke paper verwijst.
   • Output: Kandidaten worden gesorteerd op basis van de LLM-score (waarbij gelijke scores worden doorbroken door de Stage 2 RRF-score), en de top 5 wordt geretourneerd als de definitieve voorspelling.

Belangrijkste Bijdragen

1. Prestaties van de Hybride Pijplijn: De auteurs presenteren een hybride retrieve-then-rerank pijplijn die de 11e plaats behaalde van de 37 deelnemende teams in de Engelse testset van de CheckThat! 2026 Taak 1. Het systeem behaalde een MRR@5 van 64,39% op de officiële testset.
2. Dominantie van LLM in Reranking: De studie isoleert de bijdrage van elke fase en identificeert de LLM cross-encoder als de primaire drijfveer van de prestaties. De Qwen2.5-14B reranker zorgde voor ongeveer +10 MRR@5 punten, of deze nu werd toegepast op enkel de BM25-kandidaten of de hybride gefuseerde kandidaten. Dit beslaat ongeveer drie kwart van de totale +13,67-punt verbetering ten opzichte van de BM25-baseline.
3. Generalisatie: Het systeem vertoonde een sterke generalisatie, met een verwaarloosbaar verschil van 0,03 procentpunt tussen de score van de development set (64,36%) en de testset score (64,39%), wat suggereert dat de tuning-beslissingen zuiver worden overgedragen naar de held-out data.

Resultaten en Analyse
De evaluatie, gebaseerd op Mean Reciprocal Rank (MRR@5), Hit@1 en Hit@5, laat het volgende zien:

• Baselines: BM25 alleen behaalde ~50% MRR@5. De dense E5 retriever verbeterde dit met ~2 punten, en de hybride RRF-fusie voegde nog eens ~1,5 punt toe.
• Vergelijking van Reranking: Een traditionele cross-encoder (bge-reranker-v2-m3) vertoonde bescheiden winst op de development set maar leed aan overfitting, waardoor deze slechter presteerde dan de hybride baseline op de testset. In contrast hiermee leverde de generatieve LLM reranker (Qwen2.5-14B) substantiële, consistente winst op.
• Efficiëntie versus Prestaties: Hoewel de LLM reranker de computationele bottleneck vormt (het duurt ~11 uur voor de testset op twee A40 GPU's), merken de auteurs op dat de pijplijn modulair is en end-to-end op een enkele node draait, wat het praktisch maakt voor offline of privacygevoelige implementaties.

Betekenis en Claims
Het artikel beweert dat grote pre-trained modellen, wanneer ze geïntegreerd worden in een zorgvuldige pijplijn, competitief kunnen zijn met fine-tuned benaderingen voor het ophalen van wetenschappelijke bronnen. Specifiek betogen de auteurs dat pointwise scoring met een sterke open-weight LLM dient als een betrouwbaar substituut voor het trainen van een taakspecifieke reranker. Het werk benadrukt dat hoewel hybride retrieval (het combineren van sparse en dense signalen) een noodzakelijke basis biedt voor recall, de significante sprong in rangorde-kwaliteit wordt gedreven door het semantische begrip van de LLM in de reranking-fase. Het systeem wordt gepresenteerd als een open-source, modulaire oplossing die de linguïstische en structurele mismatches die inherent zijn aan het koppelen van sociale media-claims aan wetenschappelijk bewijs effectief aanpakt.