Technische Samenvatting: Auxiliaire Onzekerheidssignalen voor LLM-ondersteunde Systematische Review Screening

1. Probleemstelling

Systematische reviews vormen de gouden standaard voor evidence synthesis in de gezondheidszorg, maar de fase van titel- en abstractscreening blijft een belangrijke bottleneck, die vaak honderden uren aan expertise vereist. Hoewel Large Language Models (LLMs) veelbelovend zijn als geautomatiseerde screeners, lijden ze aan een kritieke beperking: hun beslissingen missen gekalibreerde onzekerheid. Een LLM dat "INCLUDE" (INCLUSIE) output met voorzichtige taal (bijv. "dit zou relevant kunnen zijn") is in de downstream actie niet te onderscheiden van een zekere beslissing. De afwezigheid van gestructureerde onzekerheid voorkomt dat reviewers ambigue records efficiënt naar menselijke verificatie kunnen routeren en laat de LLM zonder mechanisme om extra bewijs op te vragen wanneer de beoordeling ambigu is.

2. Methodologie

2.1 Experimenteel Ontwerp

De studie evalueert vijf prompt-leveringscondities over acht drug-class datasets uit de Cohen (2006) benchmark collectie. De evaluatie maakt gebruik van 3 random seeds en 5-voudige gestratificeerde cross-validatie, wat resulteert in 600 fold-level experimentele runs.

2.2 Het Auxiliaire Onzekerheidssignaal (BERT+GCN)

Een hybride BERT+GCN (Graph Convolutional Network) model wordt per fold getraind om gestructureerde onzekerheidssignalen te genereren. De pipeline representeert papers via:

• Inhoud: PubMedBERT embeddings van de titel en abstract.
• Relationele Context: GCN embeddings geleerd over een $k$-nearest-neighbor similarity graph met optionele citatie-edges, gebruikmakend van Relational Graph Convolution (RGCNConv).

Het model classificeert papers in drie staten: INCLUDE, EXCLUDE (EXCLUSIE), of MAYBE (MISSCHIEN). De MAYBE staat wordt getriggerd door twee complementaire spectrale tests:

1. Algebraic Radical Test: Vlagt onzekerheid als de kloof tussen de include- en exclude-logits onder een drempelwaarde ligt ($|P(\text{Include}) - P(\text{Exclude})| < \epsilon$, waarbij $\epsilon=0.15$).
2. Categorical Paradox Test: Vlagt onzekerheid als de cosinus-gelijkenis tussen de BERT (inhoud) en GCN (relationele) embeddings laag is ($\cos(b, g) < \delta$, waarbij $\delta=0.0$), wat duidt op een discrepantie tussen tekstuele inhoud en de citatie-omgeving.

2.5 Prompt-Leveringscondities

De studie onderzoekt hoe spectrale context in de LLM-prompt wordt geïnjecteerd:

1. Baseline: Alleen titel en abstract.
2. Full Spectral: Titel, abstract en volledige spectrale context (label, confidence gap, model confidence, paradox type) voor elk paper.
3. Decision Only: Titel, abstract en de spectrale label (INCLUDE/EXCLUDE/MAYBE) zonder numerieke scores.
4. MAYBE Only: Volledige spectrale context toegevoegd alleen wanneer de BERT+GCN het paper als MAYBE markeert; baseline prompt voor alle anderen.
5. Two-Pass: Eerst wordt een baseline prompt verzonden. Als de LLM-respons voorzichtige taal of lage confidence bevat, wordt een tweede pass uitgevoerd waarbij de volledige spectrale context wordt verzonden om de beslissing te "heroverwegen".

2.6 Modellen en Metrieken

• LLMs: De primaire screener is gpt-5.4-mini (snapshot Jan–Apr 2026); een cross-model pilot gebruikt gpt-4.1-mini.
• Metrieken: Recall, AUC-ROC (gebruikmakend van LLM confidence scores), F1, Work Saved over Sampling bij 95% recall (WSS@95), en token kosten.
• Analyse: Een vooraf geregistreerde cross-model pilot test de signaal-portabiliteit. Een per-paper ablatie (20.796 observaties) analyseert de bijdrage van de duale paradox-test.

3. Belangrijkste Resultaten

3.1 Efficiëntiewinst met Volledige Context

Het leveren van volledige spectrale context levert statistisch significante verbeteringen op ten opzichte van de baseline:

• F1 Score: +0.011 verbetering ($p=0.008$).
• WSS@95: +0.050 verbetering ($p=0.039$), wat betekent dat de screening-last met 5% wordt verminderd terwijl 95% recall behouden blijft.
• Kosten: Dit gaat gepaard met een 1.28× token-kostenpremie.
• Recall: Recall blijft behouden over alle condities ($p \ge 0.12$), wat aangeeft dat er geen veiligheidsoffer wordt gebracht.

3.2 De Pareto-Optimale Strategie: MAYBE-Only

De MAYBE-only routeringsstrategie wordt geïdentificeerd als de meest kosteneffectieve configuratie:

• Prestaties: Bereikt de hoogste gemiddelde recall (0.92) en AUC-ROC (0.54) van alle condities.
• Kosten: Brengt slechts 1.05× baseline kosten met zich mee (één zesde van de overhead van full-context levering).
• Statistische Notitie: Hoewel full-context levering significante winsten laat zien in F1 en WSS@95, verschilt MAYBE-only niet significant van de baseline of full-context op deze specifieke metrieken, maar domineert het de cost–quality frontier.

3.3 Falen van LLM Zelf-Triage (Two-Pass)

Het Two-Pass ontwerp, bedoeld om de LLM zelf de onzekere records te laten triëren, leverde een beslissend negatief resultaat op:

• Escalatie: 22.2% ± 8.8% van de records triggerde een tweede pass vanwege gedetecteerde voorzichtige taal.
• Flip Rate: 0.0% van de geëscaleerde papers veranderde van beslissing tijdens de tweede pass.
• Implicatie: Huidige instruction-tuned LLMs kunnen niet effectief zelf triëren; ze blijven verankerd in hun initiële beslissing, zelfs wanneer ze worden geconfronteerd met nieuwe onzekerheidssignalen.

3.4 Cross-Model Portabiliteit

Een pilot studie die gpt-4.1-mini en gpt-5.4-mini vergelijkt op drie datasets toonde een identieke +0.8% recall-stijging door volledige spectrale context voor beide generaties. Dit suggereert dat de BERT+GCN-signaal fungeert als een stabiele, model-agnostische hulp-classifier in plaats van een capability-dependent crutch die alleen zwakkere modellen ten goede komt.

3.5 Bevindingen van de Classifier Ablatie

Een ablatie-studie op de spectrale engine toonde aan dat de Categorical Paradox Test (cosinus-gelijkenis) niet werd geactiveerd op enkel een paper in de 8-dataset corpus bij de standaard drempelwaarde ($\delta=0.0$), aangezien alle BERT/GCN cosinus-gelijkenissen positief waren. Bijgevolg reduceert de duale test empirisch tot een enkele Logit-Gap criterion ($|P(\text{Include}) - P(\text{Exclude})| < 0.15$) voor deze specifieke benchmark.

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen en betekenis:

1. Praktische Richtlijnen voor Kostenefficiënte Screening: Het identificeert MAYBE-only routing als de aanbevolen configuratie voor kostengevoelige implementaties. Het vangt het spectrale voordeel (hoge recall en AUC-ROC) op tegen bijna de baseline API-kosten, waardoor de 28% premie van full-context levering wordt vermeden.
2. Gekwantificeerd Voordeel van Spectrale Context: Het levert bewijs dat gestructureerde onzekerheid van een hulp-classifier de screeningsefficiëntie (F1 en WSS@95) aanzienlijk verbetert zonder de recall in gevaar te brengen.
3. Definitief Negatief Resultaat over Zelf-Triage: Het levert "beslissend empirisch bewijs" dat instruction-tuned LLMs niet zelf kunnen triëren. De 0% flip rate in het two-pass ontwerp sluit een klasse van pipeline-ontwerpen uit die vertrouwen op LLMs om hun eigen onzekerheid te herkennen en gericht te her-evalueren.
4. Stabiel Hulp-Signaal: De cross-model pilot ondersteunt de interpretatie van de BERT+GCN output als een stabiel extern signaal dat overdraagbaar is naar andere LLM-generaties, in plaats van een oplossing voor de reasoning gaps in zwakkere modellen.
5. Reproduceerbare Implementatie: De auteurs dragen een volledig reproduceerbare 600-run benchmark bij, een deterministisch analyse-script, en een publiekelijk beschikbare pipeline die in minder dan een uur kan worden afgespeeld vanaf gecachte responses.

5. Beperkingen en Reikwijdte

De auteurs merken expliciet de volgende scope-condities op:

• Domein: De resultaten zijn gebaseerd op biomedische drug-class reviews; generalisatie naar sociale wetenschappen of milieuwetenschappen is niet getest.
• Model Dekking: De hoofdmatrix gebruikt gpt-5.4-mini; resultaten kunnen verschillen voor grotere frontier modellen (bijv. GPT-4o) of open-source alternatieven, met name wat betreft numerieke redeneerkracht.
• Drempelwaarden: Spectrale drempels waren vastgesteld en niet per dataset getuned; adaptieve drempels (bijv. percentile-gebaseerde cosinus-drempels) blijven een toekomstige richting.
• Human-in-the-loop: De studie evalueert tegen ground-truth labels, niet tegen de beslissingen van menselijke reviewers onder tijdsdruk.
• Deterministische Output: Temperatuur 0 werd gebruikt, wat analyse van inter-run variantie voorkomt.

Concluderend stelt het artikel dat hoewel LLMs effectieve screeners zijn, ze het meeste baat hebben bij een gerichte, kostenefficiënte integratie van hulp-onzekerheidssignalen (specifiek MAYBE-only routing), in plaats van te vertrouwen op hun eigen zelf-assessment of brede context-injectie.