💬 NLP

HEAD-QA v2: Expanding a Healthcare Benchmark for Reasoning

Dit paper introduceert HEAD-QA v2, een uitgebreid meertalig dataset voor medisch redeneren op basis van Spaanse beroepsexamens, en toont aan dat modelgrootte en intrinsieke redeneervermogen bepalender zijn voor prestaties dan complexe inferentiestrategieën.

Oorspronkelijke auteurs: Alexis Correa-Guillén, Carlos Gómez-Rodríguez, David Vilares

Gepubliceerd 2026-03-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexis Correa-Guillén, Carlos Gómez-Rodríguez, David Vilares

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏥 HEAD-QA v2: De "Harde Proef" voor AI in de Medische Wereld

Stel je voor dat je een AI wilt testen om te zien of hij echt slim is, of dat hij alleen maar goed kan raden. Hoe doe je dat? Je kunt hem niet vragen of de lucht blauw is; dat weet hij al. Je moet hem een vraag stellen waarvoor hij echt moet nadenken, net als een arts die een diagnose moet stellen.

Dat is precies wat dit paper doet. De auteurs hebben een nieuwe versie gemaakt van een bestaand testpakket, genaamd HEAD-QA v2.

1. Wat is het eigenlijk? (De "Oude" vs. De "Nieuwe" Examens)

In het verleden (versie 1) hadden ze een verzameling van ongeveer 6.700 vragen uit Spaanse medische examens. Het was al lastig, maar voor de moderne, super-snelle AI's (Large Language Models of LLMs) was het misschien net te makkelijk of te klein.

Voor versie 2 hebben ze de bak met vragen flink opgeblazen:

Meer vragen: Ze hebben nu meer dan 12.750 vragen.
Meer jaren: De vragen komen uit examens van de afgelopen 10 jaar (in plaats van 5).
Meer vakken: Het dekt niet alleen geneeskunde, maar ook verpleegkunde, biologie, chemie, psychologie en farmacie.

De analogie:
Stel je voor dat versie 1 een zwembad was waar je in kon zwemmen. Versie 2 is een oceaan. Het is groter, dieper en bevat meer variatie. Als een AI het in dit grote water kan overleven, is hij echt goed.

2. Hoe hebben ze het gemaakt? (De "Vertaal- en Schoonmaakmachine")

De originele examens zaten in saaie PDF-bestanden met soms plaatjes en chemische formules. Dat is lastig voor een computer om te lezen.

Ze hebben de PDF's omgezet in tekst.
Chemische formules (zoals C6H12O6) zijn omgezet in een code die computers beter begrijpen (SMILES-notatie).
Ze hebben de Spaanse vragen vertaald naar het Engels (en ook naar Italiaans, Russisch en Galicisch) zodat AI-modellen uit de hele wereld het kunnen testen.

De analogie:
Het is alsof ze een oude, stoffige bibliotheek hebben opgeruimd. Ze hebben de boeken uit elkaar gehaald, de pagina's genummerd, de tekst vertaald naar een taal die iedereen spreekt, en ze netjes in een nieuwe, glimmende kast gelegd.

3. Wat hebben ze getest? (De "AI-Sportdag")

De auteurs hebben verschillende moderne AI-modellen (zoals Llama 3.1 en Mistral) tegen elkaar op laten treden in een soort olympiade. Ze hebben gekeken naar drie manieren waarop de AI de vragen kon beantwoorden:

Directe vraag (Zero-shot): "Hier is een vraag, geef het antwoord."
Met voorbeelden (Few-shot): "Kijk eerst naar dit voorbeeld, en doe dan dit."
Met uitleg (Chain-of-Thought): "Denk eerst stap voor stap na, en geef dan het antwoord."
Met naslagwerk (RAG): De AI mag eerst een boek opzoeken in een digitale bibliotheek voordat hij antwoordt.
Rekenen met kansen (Log-probability): De AI berekent puur op basis van wiskunde welke optie het meest waarschijnlijk is, zonder tekst te genereren.

4. Wat was het verrassende resultaat? (De "Grote Verwachting vs. De Realiteit")

Je zou denken: "Als de AI eerst een boek opzoekt (RAG) of eerst stap voor stap uitlegt (Chain-of-Thought), moet hij toch beter worden?"

Nee, niet echt. Dat was de grote verrassing.

Grootte telt het meest: Het belangrijkste was niet hoe de AI antwoordde, maar hoe groot het brein van de AI was. De grootste modellen (zoals Llama-3.1-70B) deden het veruit het beste. Kleine modellen bleven steken.
Complexiteit helpt niet altijd: Het toevoegen van extra instructies ("denk na") of het laten opzoeken van informatie (RAG) maakte de resultaten soms zelfs slechter. Het lijkt erop dat de AI's hun eigen kennis al zo goed hebben opgeslagen dat ze verward raken door extra informatie.
Taalverschil: De AI's deden het iets beter in het Engels dan in het Spaans, vooral de kleinere modellen. Maar de grootste modellen maakten dit verschil bijna helemaal weg.

De analogie:
Stel je voor dat je een wiskundepuzzel moet oplossen.

De kleine AI is een leerling die de formules niet kent. Of hij nu een boek mag opzoeken of een voorbeeld krijgt, hij raakt in paniek en maakt fouten.
De grote AI is een professor. Hij hoeft geen boek op te zoeken; hij weet het antwoord al uit zijn hoofd. Als je hem dwingt om eerst een boek te lezen of stap-voor-stap uit te leggen, vertraagt hij alleen maar en maakt hij onnodige fouten door de extra druk.

5. Waarom is dit belangrijk? (De "Toekomst")

Dit paper is belangrijk omdat het laat zien dat we niet hoeven te focussen op steeds ingewikkelder trucs om AI slimmer te maken. Als we echt goede medische AI willen, moeten we focussen op het vergroten van de modellen en het verbeteren van hun onderliggende kennis.

Het is een betrouwbaar meetlat (benchmark) geworden. Als een AI HEAD-QA v2 goed haalt, weten we dat hij echt medisch kan redeneren en niet alleen maar gissen.

Kort samengevat:
De auteurs hebben een enorme, nieuwe "medische examenbank" gemaakt. Ze hebben getest of slimme trucs (zoals zoeken in boeken of stap-voor-stap denken) helpen. Het antwoord? Nee, niet echt. Grootte en interne kennis zijn de sleutels tot succes. De grootste AI's winnen, en de trucjes maken het soms zelfs lastiger.

Probleemstelling

Het oorspronkelijke HEAD-QA-dataset (v1), uitgebracht in 2019, was een waardevol hulpmiddel voor het evalueren van redeneervermogen in de gezondheidszorg, maar had beperkingen die niet meer aansloten bij de huidige staat van de kunst in Large Language Models (LLMs). De belangrijkste beperkingen waren:

Beperkte omvang en tijdsbestek: Het dataset bevatte slechts 6.765 vragen uit examens van 2013-2017, wat onvoldoende was om generalisatie, kennisretentie en temporele effecten grondig te testen.
Verouderde benchmarks: De opkomst van krachtige instructie-geoptimaliseerde LLMs en technieken zoals Retrieval-Augmented Generation (RAG) en Chain-of-Thought (CoT) redeneren heeft de lat voor benchmarks aanzienlijk verhoogd. Bestaande datasets waren vaak te klein om de complexiteit van deze nieuwe modellen te testen.
Behoefte aan meertaligheid: Hoewel de oorspronkelijke dataset Spaans/Engels was, ontbrak er een gestructureerde, meertalige basis voor toekomstig onderzoek in andere talen.

Methodologie

1. Dataset Constructie (HEAD-QA v2)

De auteurs hebben HEAD-QA v2 ontwikkeld door officiële, openbare examens van het Spaanse Ministerie van Volksgezondheid te verzamelen en te verwerken.

Uitbreiding: Het dataset is verdubbeld naar 12.751 meerkeuzevragen uit een periode van tien jaar (2013–2022).
Domeinen: De vragen dekken zes disciplines: Geneeskunde (MIR), Verpleegkunde (EIR), Biologie (BIR), Chemie (QIR), Psychologie (PIR) en Farmacie (FIR).
Preprocessing:
- Conversie van PDF naar tekst met behoud van de lay-out.
- Automatische koppeling van afbeeldingen (hoewel visuele verwerking in dit werk niet centraal staat).
- Filtering van vragen zonder officieel antwoord (omstreden items).
- Conversie van chemische formules naar SMILES-notatie om verwerking door tekst-gebaseerde ML-modellen te vergemakkelijken.
- Opslag in Parquet-formaat voor efficiëntie.
Meertalige Versies: Naast het originele Spaans en een Engelstalige versie, zijn ook Italiaanse, Galicische en Russische versies gegenereerd met behulp van LLaMA-3.1-8B (instructie-gefine-tuned). De kwaliteit is gevalideerd via back-translation (RTT) en metrische analyse (BLEU en BERTScore).

2. Experimenteel Opzet

De auteurs hebben vier open-source, instructie-geoptimaliseerde LLMs geëvalueerd:

Modellen: Llama 3.1 (8B en 70B parameters), Mistral v0.3 (7B) en Mixtral v0.1 (8x7B, een MoE-architectuur).
Inferentie Strategieën:
1. Prompting: Zero-shot, Few-shot (met voorbeelden uit USMLE) en Chain-of-Thought (CoT).
2. Retrieval-Augmented Generation (RAG): Gebruik van een corpus van 18 medische handboeken (USMLE-gerelateerd) en de MedCPT-retriever om relevante passages aan de prompt toe te voegen.
3. Log-probabiliteit: Directe selectie van het antwoord op basis van de log-probabiliteit die het model toekent aan elke optie, zonder autoregeneratieve tekstgeneratie.

3. Evaluatiemetrics

Accuracy: Het percentage correcte antwoorden.
Genormaliseerde Examscore: Gebaseerd op het officiële Spaanse straffsysteem (3 fouten annuleren 1 juist antwoord).
Niet-beantwoord ratio: Het percentage vragen zonder geldig antwoord.

Belangrijkste Bijdragen

HEAD-QA v2 Dataset: Een schaalvergroting van het dataset naar >12k vragen met een dekking van 10 jaar, inclusief meertalige varianten en gestructureerde metadata.
Uitgebreide Baselines: Systematische evaluatie van moderne open-source LLMs op dit specifieke domein, wat een referentiepunt biedt voor toekomstig onderzoek.
Analyse van Inferentie Strategieën: Een grondig onderzoek naar de effectiviteit van RAG, CoT en probabilistische selectie in de context van medisch redeneren.
Openbare Beschikbaarheid: Het dataset is vrij beschikbaar via Hugging Face, wat reproduceerbaarheid en verdere ontwikkeling stimuleert.

Resultaten

De experimentele resultaten tonen duidelijke trends:

Modelgrootte is cruciaal: De prestaties worden primair gedreven door de schaal van het model. Llama-3.1-70B behaalde consistent de beste resultaten (ca. 83% nauwkeurigheid in het Engels), terwijl kleinere modellen (zoals Mistral-7B) aanzienlijk minder goed presteerden.
Taalverschillen: Over het algemeen presteerden modellen beter in het Engels dan in het Spaans, tenzij het model zeer groot was (bij Llama-3.1-70B waren de resultaten gelijk). Dit suggereert dat kleinere modellen minder robuust zijn in meertalige representaties of tokenisatie-efficiëntie.
Beperkte winst van geavanceerde strategieën:
- CoT (Chain-of-Thought): Verwachtte verbetering door expliciete redenering trad niet op; CoT leidde vaak tot een daling in nauwkeurigheid en een toename in niet-beantwoorde vragen, vooral bij kleinere modellen.
- RAG: Het toevoegen van externe context via RAG leverde geen consistente verbetering op en resulteerde soms zelfs in lagere scores. De correlatie tussen de relevantie van de opgehaalde tekst en het juiste antwoord was zeer zwak ( $r = 0.07$ ). Dit suggereert dat modellen in dit domein meer vertrouwen op hun interne kennis dan op externe bronnen.
- Log-probabiliteit: Deze methode, die geen tekst genereert, presteerde aanzienlijk slechter dan generatieve methoden, waarschijnlijk omdat het model geen vergelijkend redeneren kan toepassen tussen de opties.
Stabiliteit: De prestaties waren stabiel over de verschillende examenjaren heen, wat aangeeft dat het dataset een betrouwbare maatstaf blijft voor redeneervermogen.

Betekenis en Conclusie

Het paper concludeert dat voor gespecialiseerde biomedische vraag-antwoordtaken de intrinsieke kennis en het redeneervermogen van het taalmodel veel belangrijker zijn dan de complexiteit van de inferentiestrategie.

Schalingswetten: Het verbeteren van prestaties op HEAD-QA v2 hangt meer samen met het vergroten en verfijnen van de onderliggende modellen dan met het toevoegen van complexe inferentielaagjes zoals RAG of CoT.
Voorzichtigheid bij complexe methoden: Technieken die in andere domeinen succesvol zijn, kunnen in de medische context zelfs contraproductief werken door ruis toe te voegen of het model af te leiden van zijn interne kennis.
Toekomstgericht: HEAD-QA v2 dient als een robuust en betrouwbaar hulpmiddel om de evolutie van LLM's in gespecialiseerde domeinen te bestuderen, met name wat betreft generalisatie en kennisretentie over tijd.

De auteurs benadrukken ook ethische overwegingen: hoewel de dataset gebaseerd is op openbare examenvragen, mogen de output van deze modellen niet worden geïnterpreteerd als klinisch advies.