🤖 AI

DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation

DeepSciVerify is een tweestaps, door een LLM aangedreven proces dat de nauwkeurigheid en efficiëntie van de verificatie van wetenschappelijke claims en citaten verbetert door redenering op abstractniveau te combineren met selectieve escalatie naar volledige tekstbewijsvoering alleen wanneer dit noodzakelijk is.

Oorspronkelijke auteurs: Shaghayegh Sadeghi, Khashayar Khajavi, Rise Adhikari, Alexander Tessier

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shaghayegh Sadeghi, Khashayar Khajavi, Rise Adhikari, Alexander Tessier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die een gewaagde bewering in een nieuw boek moet verifiëren. De auteur zegt: "Deze studie bewijst dat koffie hoofdpijn geneest," en wijst als bewijs naar een specifiek onderzoeksartikel.

Jouw taak is om te controleren of dat onderzoeksartikel de bewering daadwerkelijk ondersteunt. Dit is het kernprobleem dat het artikel DEEPSCIVERIFY probeert op te lossen.

Het Probleem: De Valstrik van de "Vage Foto"

Meestal kijken we bij het controleren van een verwijzing alleen naar het abstract (de korte samenvatting aan het begin van een artikel). Denk aan het abstract als een vage miniatuurfoto van een schilderij. Het geeft je het algemene idee, maar mist vaak de fijne details, de specifieke cijfers of de beperkingen die cruciaal zijn om te weten of de bewering daadwerkelijk waar is.

Als je alleen naar de miniatuur kijkt, kun je raden dat het schilderij een zonsondergang voorstelt, maar wanneer je eindelijk het hele beeld ziet, besef je dat het eigenlijk een storm is. In wetenschappelijk schrijven leidt dit tot "hallucinaties", waarbij AI of auteurs een artikel citeren dat klinkt als relevant, maar hun punt niet daadwerkelijk bewijst.

De Oplossing: Een Tweestaps-Detectivesysteem

De auteurs hebben een systeem gebouwd dat DEEPSCIVERIFY heet en fungeert als een slimme, tweestaps-detective. In plaats van direct het volledige 50 pagina's tellende onderzoeksartikel te lezen (wat traag en duur is), gebruikt het een "lui maar slim" aanpak:

Fase 1: De Snelle Blik (Abstract-niveau)

Eerst kijkt het systeem naar de "vage miniatuur" (het abstract).

De Detective: Het gebruikt een specifiek AI-model (laten we het "De Voorzichtige" noemen) dat zeer goed is in zeggen: "Ik weet het nog niet zeker."
De Beslissing:
- Als het abstract de bewering duidelijk bewijst, zegt de detective: "Ja, dit is waar!" en stopt.
- Als het abstract de bewering duidelijk weerlegt, zegt het: "Nee, dit is onwaar!" en stopt.
- De Magie: Als het abstract te vaag of verwarrend is, zegt de detective: "Ik kan dit niet zien op deze foto," en escalateert de zaak. Het raadt niet; het vraagt om meer bewijs.

Fase 2: De Diepe Duik (Passage-niveau)

Alleen wanneer de eerste detective het niet zeker weet, wordt het tweede team wakker gemaakt.

De Detective: Het haalt het volledige onderzoeksartikel op (het hoog-resolutie schilderij).
De Zoektactie: In plaats van elk enkel woord te lezen, gebruikt het een slim zoekhulpmiddel (als een high-tech markeerstift) om de specifieke alinea's te vinden die over de bewering gaan.
Het Oordeel: Een tweede AI-model (laten we het "De Gebalanceerde" noemen) leest alleen die specifieke alinea's en doet het definitieve oordeel: Waar, Onwaar of "Nog steeds niet genoeg informatie."

Waarom Dit Werkt: De "Persoonlijkheid" van de AI

Het artikel ontdekte dat verschillende AI-modellen verschillende "persoonlijkheden" hebben wanneer ze het niet zeker weten:

De Voorzichtige AI (GPT-5.4): Dit model is als een nerveuze bibliothecaris. Als het zelfs maar een klein gat in het bewijs ziet, zegt het direct: "Ik weet het niet!" Dit is irritant als je gewoon een snel antwoord wilt, maar perfect voor Fase 1. Je wil dat het "Ik weet het niet" zegt, zodat je geen tijd verspilt aan het onnodig lezen van het hele boek.
De Beslissende AI (Claude Sonnet): Dit model is als een zelfverzekerde detective die graag een oordeel velt. Het is geweldig voor het definitieve oordeel zodra het alle feiten heeft, maar het kan te snel gokken als het alleen de vage miniatuur heeft.

DEEPSCIVERIFY gebruikt de Voorzichtige AI voor de snelle check en de Beslissende AI voor de uiteindelijke diepe duik. Ze werken samen als een perfect team.

De Resultaten

Het systeem is getest op een dataset genaamd SCITANCE (een verzameling van wetenschappelijke beweringen en hun verwijzingen).

Efficiëntie: Het loste 67% van de gevallen op door alleen naar de abstracts te kijken. Het hoefde alleen de "diepe duik" te doen voor de resterende 33%. Dit bespaart veel tijd en rekenkracht.
Nauwkeurigheid: Door deze tweestaps-methode te gebruiken, was het 4,5 punten nauwkeuriger dan systemen die alleen naar abstracts keken. Het sloeg ook de vorige recordhouders met een aanzienlijke marge.

De Conclusie

Het artikel betoogt dat we om wetenschappelijke beweringen betrouwbaar te verifiëren, niet zomaar het hele boek naar een AI moeten gooien en hopen op het beste. In plaats daarvan moeten we een gestructureerde aanpak gebruiken:

Controleer eerst de samenvatting.
Als de samenvatting duidelijk is, stop dan daar.
Als de samenvatting vaag is, dan ga je op zoek naar de specifieke pagina's in de volledige tekst die er toe doen.

Deze methode maakt wetenschappelijke verificatie sneller, goedkoper en veel betrouwbaarder, en zorgt ervoor dat wanneer een bewering wordt gedaan, het bewijs erachter daadwerkelijk aanwezig is.

Technische Samenvatting: DEEPSCIVERIFY

Probleemdefinitie
Het artikel behandelt het kritieke probleem van misalignement tussen wetenschappelijke beweringen en hun geciteerde bewijs in rapporten die zijn gegenereerd door Large Language Models (LLM's). Hoewel een citatie bibliografisch geldig kan zijn, kan deze semantisch de specifieke bewering waaraan deze is gekoppeld niet ondersteunen. Bestaande verificatiesystemen, zoals SciFact en SCIVER, vertrouwen voornamelijk op bewijs op abstractniveau. Abstracten missen echter vaak cruciale methodologische details, kwantitatieve resultaten of beperkingen die nodig zijn om te bepalen of een geciteerd werk een bewering werkelijk ondersteunt. Bijgevolg kan verificatie op basis van alleen abstracten ontoereikend zijn, zelfs wanneer de volledige tekst het relevante bewijs bevat. Het doel is om te verifiëren of een paar $(c, r)$ —een wetenschappelijke bewering $c$ en een geciteerde referentie $r$ —wordt ondersteund, weerlegd, of of er onvoldoende informatie (NEI) is om een beslissing te nemen.

Methodologie: DEEPSCIVERIFY
De auteurs stellen DEEPSCIVERIFY voor, een tweestapsproces dat is ontworpen om efficiëntie en nauwkeurigheid in evenwicht te brengen door redenering op abstractniveau te combineren met selectieve escalatie naar bewijs uit de volledige tekst.

Fase 1: Verificatie op abstractniveau met vroege exit
- Retrieval: Het systeem parseert de invoercitatie naar gestructureerde signalen (arXiv-ID, DOI, URL, titel) met behulp van een op LLM gebaseerde parser. Vervolgens voert het een multi-source retrievalcascade uit (arXiv-API, Semantic Scholar, OpenAlex, enz.) om het abstract van het artikel op te halen.
- Verificatie: Een LLM-verificator analyseert de bewering tegen het opgehaalde abstract.
- Beslissingslogica: Als het model een definitief label output (ONDERSTEUNT of WEERLEGT), geeft het systeem dit resultaat onmiddellijk terug (vroege exit). Als het model vaststelt dat het bewijs ontoereikend is (NEI), escalateert het systeem naar Fase 2. Dit ontwerp maakt gebruik van de observatie dat sommige LLM's van nature conservatiever zijn, waardoor ze geschikt zijn voor het identificeren van gevallen waarin abstracten ontoereikend zijn.
Fase 2: Verificatie op passage-niveau (selectieve escalatie)
- Trigger: Deze fase wordt alleen geactiveerd wanneer Fase 1 een NEI-uitspraak oplevert.
- Retrieval van volledige tekst: Het systeem haalt het volledige artikel op met een vergelijkbare cascade-strategie (Directe URL, arXiv, open-access repositories of door LLM ondersteunde webzoekopdracht).
- Extractie van passages: Met behulp van een Retrieval-Augmented Generation (RAG)-benadering wordt de volledige tekst opgedeeld in chunks. Het systeem embedt de bewering en de tekstchunks, en haalt de top- $k$ meest relevante passages op op basis van cosinusgelijkenis.
- Einduitspraak: Een tweede LLM-verificator analyseert de opgehaalde passages tegen de bewering om het definitieve label te produceren.

Belangrijkste bijdragen

Tweestapsproces: De introductie van een systeem dat verificatie op abstractniveau uitvoert met een vroege-exit-mechanisme, en alleen escalatie naar bewijs op passage-niveau toepast wanneer dit noodzakelijk is.
Robuuste retrieval-cascades: Ontwikkeling van multi-source retrievalstrategieën voor het parseren van citaties, het ophalen van abstracten en het ophalen van volledige teksten, waardoor verificatie mogelijk is zelfs bij onzuivere of onvolledige metadata.
Analyse van modelkalibratie: Een gedetailleerde analyse die aantoont dat verschillende LLM's onder onzekerheid verschillende biases vertonen. Specifiek wordt GPT-5.4 te voorzichtig bevonden (vaak standaardend naar NEI), terwijl Claude Sonnet 4.6 overmoedig is (neigt tot het vastleggen van ONDERSTEUNT/WEERLEGT zelfs bij onvolledig bewijs). Het proces maakt gebruik van deze complementaire gedragingen door het conservatieve model te gebruiken voor de initiële filter en een gebalanceerd model voor definitieve beslissingen.
Bewijs van selectieve escalatie: Aantonen dat het selectief escaleren van alleen onzekere gevallen zowel de nauwkeurigheid als de efficiëntie verbetert in vergelijking met baselines die uitsluitend vertrouwen op abstracten of naïef volledige teksten verwerken.

Experimentele resultaten
Het systeem werd geëvalueerd op de SCITANCE-benchmark, een dataset van 656 instanties afgeleid van citatiezinnen.

Prestaties: DEEPSCIVERIFY behaalde 86,7 Micro-F1 en 81,5 Macro-F1 in de drie-klasseninstelling. Dit presteert beter dan de sterkste baseline op abstractniveau alleen (GPT-4) met +4,5 Micro-F1 en verbetert het beste tot nu toe behaalde resultaat op SCITANCE met +6,6 Micro-F1.
Efficiëntie: Het systeem lost 67,0% van de instanties op op abstractniveau, waardoor volledige tekst-retrieval voor de meeste gevallen wordt vermeden.
Ablatiestudies:
- RAG versus LLM-extractie: De op RAG gebaseerde methode voor het extraheren van passages (met behulp van embedding-gelijkenis) presteerde aanzienlijk beter dan een op LLM gebaseerde extractiemethode. De RAG-benadering verbeterde de Micro-F1 met 4,5 punten ten opzichte van de baseline op abstractniveau alleen, terwijl de LLM-extractor slechts een winst van 1,1 punt opleverde en de metric "Ondersteuning versus Geen ondersteuning" verslechterde, waarschijnlijk door het selecteren van semantisch relevante maar bewijskrachtig zwakke passages.
- Gebruik van volledige tekst: Naïef gebruik van volledige tekst door enkele modellen (zonder het gestructureerde proces) resulteerde in beperkte of negatieve winsten, wat benadrukt dat de methode van bewijsselectie even belangrijk is als de hoeveelheid bewijs.

Betekenis en claims
Het artikel beweert dat selectieve bewijsescalatie een veelbelovende richting is voor het verbeteren van de alignement tussen wetenschappelijke beweringen en citaties. De auteurs betogen dat de primaire uitdaging niet alleen het ophalen van meer informatie is, maar het identificeren van de specifieke delen van een document die het meest informatief zijn voor een bewering. Door de complementaire kalibratiegedragingen van verschillende LLM's te combineren met een gefaseerd verificatieproces, bereikt DEEPSCIVERIFY een hogere betrouwbaarheid zonder de computatiekosten van volledige tekstverwerking voor elke instantie. De resultaten suggereren dat deze benadering effectief de beperkingen van verificatie op abstractniveau alleen mitigeert, terwijl het de ruis die gepaard gaat met het ongedifferentieerd verwerken van volledige documenten vermijdt. De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat hun evaluatie beperkt is tot de SCITANCE-dataset en een enkel domein, maar de bevindingen bieden een generaliseerbare strategie voor wetenschappelijke verificatie met hoge stakes.