Technisch overzicht: Gezondere LLM's: Retrieval-Augmented Generation voor vragenbeantwoording in de publieke gezondheidszorg

Probleemstelling

Large Language Models (LLM's) tonen veelbelovende resultaten bij medische vragenbeantwoording, maar kampen met kritieke beperkingen in toepassingen voor de publieke gezondheidszorg: hallucinaties en het onvermogen om het tempo van snel evoluerende officiële richtlijnen bij te houden. In tegen tegenstelling tot klinische besluitvorming, die zich vaak richt op individuele patiënten, is publieke gezondheidszorg populatiegericht, voorzichtig en frequent geüpdatet. Het uitsluitend vertrouwen op parametrische geheugen brengt het risico met zich mee dat verouderde of onjuiste adviezen worden verspreid, wat kan leiden tot schadelijke individuele besluitvorming of gevaarlijk gedrag op populatieniveau. Hoewel Retrieval-Augmented Generation (RAG) een oplossing biedt door responsen te funderen in een externe corpus, hangt de end-to-end prestatie in de publieke gezondheidszorg sterk af van specifieke retrieval-configuraties en evaluatiemethoden die verder gaan dan standaard meerkeuzeformaten.

Methodologie

De auteurs breiden PubHealthBench uit, een benchmark bestaande uit 7.929 meerkeuzevragen (MCQA) en 760 vrije vragen afgeleid van Britse overheidsrichtlijnen voor de publieke gezondheid, naar een retrieval-augmented setting.

1. Dataset en Corpus

• Bron: 687 Britse overheidsdocumenten over publieke gezondheid, verdeeld over 10 themagebieden.
• Corpusconstructie: Documenten werden omgezet naar Markdown en opgedeeld in chunks gebaseerd op de hiërarchie van koppen, wat resulteerde in 5.358 chunks.
• Corpusvarianten:
  • CF (Full Corpus): Originele chunks.
  • CS (Summary-only): Chunks samengevat door GPT-4o-mini voor retrieval.
  • CR (Reduced Corpus): Chunks >512 tokens vervangen door samenvattingen om de contextlimieten van embedding-modellen te respecteren.

2. Retrieval Strategieën

De studie evalueerde systematisch vijf retrieval-configuraties over meerdere embedding-modellen (bijv. NV-Embed-v2, Multilingual-E5, ModernBERT) en sparse indices (BM25, TF-IDF):

• Dense-only: Cosine similarity met behulp van dense embeddings.
• Sparse-only: Keyword overlap (BM25/TF-IDF).
• Hybrid: Gewogen Reciprocal Rank Fusion (RRF) van dense en sparse resultaten.
• Summary-based Hybrid: Hybrid retrieval uitgevoerd op samenvattingen, waarbij volledige chunks worden doorgegeven aan de generator.
• Reduced-corpus Hybrid: Hybrid retrieval op een corpus waar lange chunks zijn samengevat.

3. Generatie en Evaluatie

• Modellen: 11 LLM's variërend van 1B tot 70B parameters (bijv. Llama 3.3, Phi-4, Gemma-3, MedGemma).
• MCQA Evaluatie: Gemeten nauwkeurigheid op PubHealthBench-Full met variërende aantallen context-chunks ($k \in \{1, 3, 5, 10\}$).
• Vrije vorm Evaluatie: Introduceerde een rubriek-gebaseerde LLM-als-Judge (GPT-OSS-120B) om responsen te evalueren op vier criteria: Trouw (geen nieuwe claims), Volledigheid (alle kernpunten), Feitelijke Consistentie (nauwkeurigheid ten opzichte van de richtlijn) en Helderheid.
• Validatie: De LLM-judge werd gevalideerd tegen duale menselijke expert-annotaties op een steekproef van 100 responsen met behulp van Cohen's $\kappa$ en macro-F1.

Belangrijkste Resultaten

Retrieval Prestaties

• Superioriteit van Hybride Modellen: Hybride retrieval presteerde consistent beter dan dense-only en sparse-only methoden over alle metrieken (Recall@k, MRR, nDCG@10).
• Modelgevoeligheid: Hoewel NV-Embed-v2 het sterkste dense model was, verkleinde hybride retrieval de prestatiekloof tussen grote en kleine embedding-modellen aanzienlijk (bijv. door kleinere encoders met 5–10 procentpunten te verbeteren).
• Impact van Chunklengte: De rankingkwaliteit (Precision@1, MRR) degradeerde scherp naarmate de doel-chunklengte de 700–800 woorden overschreed. Samenvattingsgebaseerde retrieval verzachtte dit gedeeltelijk, maar elimineerde het niet.
• Variantie per Thema: Hoewel de recall grotendeels onafhankelijk was van het thema, vertoonde de rankingkwaliteit systematische afwijkingen per onderwerp (bijv. Tuberculose versus Bloedveiligheid), wat suggereert dat thema-specifieke taal of structuur de embedding-prestaties beïnvloedt.

Generatie Prestaties (MCQA)

• Impact van Retrieval: Het verstrekken van de retrieved context verhoogde de MCQA-nauwkeurigheid aanzienlijk. Kleinere open-weight modellen (bijv. Phi-4-14B, Gemma-3-12B) met hoogwaardige retrieval evenaarden of overtroffen de prestaties van grotere modellen (bijv. GPT-4.5) die zonder retrieval werkten.
• Optimale Context: Maximale nauwkeurigheid werd doorgaans bereikt met $k=3$ tot $k=5$ chunks. Het verhogen van $k$ naar 10 introduceerde ruis met afnemende meeropbrengsten.
• Rank Gevoeligheid: Het ophalen van de juiste chunk op rang 1 leverde de grootste winst op. Kleinere modellen waren gevoeliger voor de rangpositie dan grotere modellen, die informatie uit ruisiger contexten konden extraheren.

Vrije vorm Evaluatie & Judge Validatie

• Betrouwbaarheid van de Judge: De LLM-judge vertoonde sterke overeenstemming met mensen op Trouw ($\kappa \approx 0.64$) en Volledigheid ($\kappa \approx 0.59$). De overeenstemming was zwak voor Feitelijke Consistentie ($\kappa \approx 0.06$) en Helderheid, wat aangeeft dat deze dimensies moeilijk betrouwbaar te automatiseren zijn.
• Modelgedrag: Medium en grote modellen behaalden een hoge volledigheid en helderheid, maar hadden moeite met Trouw; zelfs topmodellen voldeden slechts in ~64% van de gevallen aan het criterium van trouw, vaak door extrinsieke richtlijnen op te nemen.
• Effect van Rank op Trouw: De trouw daalde scherp naarmate de doel-chunk rang toenam, wat bevestigt dat modellen zwaar leunen op vroege context en hallucineren wanneer het meest relevante bewijs dieper begraven ligt.

Betekenis en Claims

Het artikel stelt dat de retrieval-configuratie een primaire hefboom is voor betrouwbare publieke gezondheids-QA, vaak impactvoller dan modelgrootte alleen.

1. RAG als Stabilisator: Het funderen van LLM's in een expliciet onderhouden corpus van officiële richtlijnen vermindert hallucinaties en verouderd advies, waardoor systemen in lijn kunnen blijven met evoluerende publieke gezondheidsrichtlijnen zonder modeltraining.
2. Efficiëntie via RAG: Een goed ontworpen retrieval-stack stelt kleinere, open-weight modellen in staat om grotere, gesloten modellen te overtreffen die enkel op parametrisch geheugen vertrouwen. Dit biedt een praktisch pad voor instellingen voor de publieke gezondheid met budgettaire en infrastructurele beperkingen.
3. Nuance in Evaluatie: De studie benadrukt dat standaard MCQA-benchmarks capaciteiten kunnen overschatten door antwoordoptie-hints. Vrije vorm evaluatie is noodzakelijk maar vereist zorgvuldige rubriekontwerpen; momenteel blijft de geautomatiseerde evaluatie van "feitelijke consistentie" onbetrouwbaar, wat menselijk toezicht of verdere methodeontwikkeling noodzakelijk maakt.
4. Praktische Richtlijnen: Voor implementatie raden de auteurs hybride retrieval aan, zorgvuldige chunking (het vermijden van excessieve lengte) en het beperken van de context tot de top 3–5 chunks voor optimale prestatie-prijsverhoudingen.

De studie concludeert dat hoewel RAG de betrouwbaarheid aanzienlijk verbetert, toekomstige benchmarks de ondersteuning door meerdere bewijsstukken (multi-evidence support) en queries buiten de corpus moeten adresseren om de robuustheid van systemen in reële publieke gezondheidsscenario's volledig te testen.