Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit

Technische Samenvatting: Kunnen Large Language Models Tegenspraak in Biomedisch Bewijs Detecteren?

Probleemstelling
Systemen voor het beantwoorden van biomedische vragen (QA) vertrouwen steeds vaker op Retrieval-Augmented Generation (RAG) om antwoorden te funderen in de opgehaalde literatuur. Er bestaat echter een kritieke foutmodus waarbij gegenereerde antwoorden ofwel niet worden ondersteund door de opgehaalde bewijslast, ofwel er actief mee in strijd zijn. Deze studie adresseert twee specifieke hiaten in de huidige evaluatie: (1) of het integreren van Knowledge Graph (KG) signalen in de retrieval de nauwkeurigheid van het antwoord verbetert, en (2) of geautomatiseerde verificateurs (LLM's en classificators) betrouwbaar kunnen detecteren wanneer bewijs in strijd is met een gegenereerd antwoord. De auteurs merken op dat hoewel nauwkeurigheid op antwerpniveau een standaardmetriek is, dit onvoldoende is om de betrouwbaarheid van een systeem te beoordelen als de onderliggende bewijslast de conclusie niet ondersteunt.

Methodologie
De studie maakte gebruik van een tweeledig experimenteel ontwerp met de PubMedQA-dataset:

1. KG-Gestuurde Retrieval Audit (KG-RRAG):

   • Opzet: Een reranking-module (KG-RRAG) werd vergeleken met standaard vector-gelijkenis RAG op 300 gestratificeerde PubMedQA-vragen.
   • Mechanisme: KG-RRAG construeerde query-specifieke biomedische grafen (die entiteiten koppelen aan UMLS-concepten) en fuseerde drie signalen voor reranking: vector-gelijkenis ($\alpha$), entiteitsoverlap ($\beta$) en graafstructuur-centraliteit ($\gamma$).
   • Generatie: Beide systemen gebruikten glm-5.1 als generator. De studie controleerde voor generatievariabelen om de impact van de bewijslast-ranking te isoleren.

2. Evidence-Answer Verificatie Benchmark:

   • Dataset: Een uitgesloten set (Set B, $n=150$) werd geconstrueerd met menselijke labels als gouden standaard: Ondersteund (81), Onvoldoende (46) en Tegenspraak (23).
   • Verificateurs: De studie evalueerde een spectrum aan architecturen:
     • LLM-gebaseerd: GPT-5.5, DeepSeek-v4-pro en glm-5.1 met twee prompt-strategieën: een eenvoudige directe classificatie (E1) en een "contradiction-first" gestructureerde prompt (V2.1).
     • Classifier-gebaseerd: DistilBERT-MNLI (algemeen domein) en PubMedBERT-MedNLI (biomedisch domein).
     • Baselines: Regelgebaseerde heuristieken (V1.6), hybride regel/LLM-fusie (V3.1) en een meerderheidsklasse-proxy.
   • Menselijke Kalibratie: Een tweede menselijke annotator (Human2) voerde twee protocollen uit: een blinde eerste pass op een steekproef van 30 items en een gerichte review van alle 23 bekende gevallen van tegenspraak om de sensitiviteit van het protocol te beoordelen.

Belangrijkste Resultaten

• KG-RRAG Null-resultaat: De integratie van KG-signalen verbeterde de nauwkeurigheid van het antwoord niet. KG-RRAG behaalde een nauwkeurigheid van 0,500 tegenover 0,510 voor standaard RAG ($\Delta = -0,010$, McNemar $p=0,766$). Het 95%-betrouwbaarheidsinterval voor het verschil was $[-0,053, +0,033]$, wat wijst op geen statistisch significant voordeel.
• Systemische Onderdetectie van Tegenspraak: Alle geautomatiseerde verificateurs hadden aanzienlijke problemen met de klasse "Tegenspraak".
  • Beste Geautomatiseerde Prestatie: De E1-glm-5.1 configuratie detecteerde slechts 5 van de 23 gouden tegenspraxen (Recall $\approx$ 21,7%).
  • Andere Modellen: GPT-5.5 detecteerde 4/23; DeepSeek-varianten detecteerden 1–3/23; gespecialiseerde NLI-classificators (PubMedBERT-MedNLI) detecteerden slechts 2/23.
  • Foutmodus: Het dominante foutpatroon was het absorberen van gevallen van tegenspraak in de categorie "Onvoldoende", in plaats van ze te identificeren als actieve conflicten.
• Protocolsensitiviteit van Menselijke Annotatie:
  • In een blinde eerste pass detecteerde Human2 0/7 gevallen van tegenspraak in een steekproef.
  • In een gerichte review waarbij de annotator wist dat de items gouden tegenspraxen waren, detecteerde Human2 13/23 (Recall $\approx$ 56,5%).
  • Dit geeft aan dat detectie van tegenspraak niet spontaan is, maar expliciete, criteriumgestuurde protocollen vereist.
• Model vs. Prompt Effecten: Effecten van prompt engineering waren modelafhankelijk. Een prompt die beter presteerde op glm-5.1 presteerde slechter op DeepSeek-v4-pro, wat suggereert dat modelselectie een significantere factor is dan promptontwerp binnen het geteste bereik.

Belangrijkste Bijdragen

1. Gecontroleerd Null-resultaat voor KG-RAG: De studie levert empirisch bewijs dat het toevoegen van KG-afgeleide signalen (entiteitsoverlap en graafcentraliteit) aan standaard vector-retrieval de nauwkeurigheid van het antwoord in de PubMedQA-setting niet verbeterde, wat de aanname uitdaagt dat gestructureerde kennis de RAG-prestaties altijd verbetert.
2. Audit van Onderdetectie van Tegenspraak: Het stelt vast dat huidige state-of-the-art LLM's en NLI-classificators er niet in slagen om tegenspraak in biomedische bewijs-antwoordparen betrouwbaar te detecteren, waarbij ze gevallen vaak onterecht als "onvoldoende" classificeren.
3. Bewijs van Protocolsensitiviteit: Het onderzoek toont aan dat de detectie van tegenspraak zeer gevoelig is voor annotatieprotocollen. Het verschil tussen blinde en gerichte menselijke review suggereert dat het vaststellen van de "ground truth" bij tegenspraak moeilijk is zonder expliciete, gerichte criteria.

Betekenis en Claims
De auteurs claimen bescheiden dat hun werk dient als een audit van de huidige capaciteiten in plaats van een demonstratie van een opgelest probleem.

• Klinische Gereedheid: De resultaten geven aan dat huidige LLM-gebaseerde verificatie niet klaar is voor autonome screening op tegenspraak in hoog-risico biomedische contexten. Het falen om actieve tegenspraken te detecteren vormt een veiligheidsrisico.
• Evaluatieverschuiving: De studie betoogt dat antwoordnauwkeurigheid alleen een incomplete metriek is voor biomedische RAG. Systemen kunnen correcte antwoorden genereren op basis van onjuiste of niet-ondersteunde bewijslast; daarom moet de consistentie tussen bewijs en antwoord apart worden geëvalueerd.
• Praktisch Nut: Hoewel nog niet klaar voor autonome inzet, kan LLM-gebaseerde verificatie nog steeds dienen als een instrument voor offline auditing en systeemvergelijking, mits de hoge mate van fout-negatieven (gemiste tegenspraken) wordt erkend.

De paper concludeert dat de moeilijkheid van tegenspraakdetectie standhoudt over modelgroottes, architecturen en promptingstrategieën, waarschijnlijk door de inherente ambiguïteit van biomedische tekst, gespecialiseerde terminologie en het onderscheid tussen "afwezigheid van bewijs" en "bewijs van afwezigheid".