Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

Generatievolgende grote taalmodellen, specifiek Claude Opus 4.7 en GPT-5.5, uitgerust met retrieval-augmented generation met domeinspecifieke bronnen voor nucleaire cardiologie, bereikten gemiddelde nauwkeurigheidspercentages van ongeveer 86% op het ASNC-voorbereidingsexamen voor de raad, waarmee ze zowel de geschatte doorgangsdrempel als de gemiddelde prestatie van menselijke fellows in opleiding overtroffen.

De kern

Stel je een examen van het allerhoogste niveau voor voor artsen die gespecialiseerd zijn in het bekijken van afbeeldingen van het hart met behulp van speciale radioactieve tracers. Dit is het "Nuclear Cardiology Board Exam". Jarenlang heeft Kunstmatige Intelligentie (KI) geprobeerd dit examen te halen, maar het bleef falen en scoorde lager dan de gemiddelde medische student.

Dit artikel vertelt het verhaal van hoe twee nieuwe, superintelligente KI-modellen het examen eindelijk met vlag en wimpel haalden, de gemiddelde menselijke student verslaan.

De Opzet: Het Examen en het "Spiekbriefje"

Het examen bestaat uit 168 vragen. Sommige zijn puur tekst (zoals een trivia-quiz), maar ongeveer 27 ervan vereisen het bekijken van complexe medische afbeeldingen van harten.

In het verleden, wanneer KI het examen "koud" probeerde te doen (zonder enige hulp), was het beste resultaat ongeveer 63% goed. Dat is een onvoldoende. De gemiddelde menselijke medische student (een 'fellow-in-training') scoorde 78%.

Voor deze nieuwe studie gaven de onderzoekers de KI een enorm "spiekbriefje". Dit was niet zomaar een snelle Google-zoekopdracht; het was een Retrieval-Augmented Generation (RAG)-systeem. Denk hierbij aan het geven van een perfecte, doorzoekbare digitale bibliotheek aan de KI, met daarin de officiële leerboeken, atlassen en medische richtlijnen voor nucleaire cardiologie. Wanneer de KI een vraag ziet, duikt het direct in deze bibliotheek, vindt het de exacte pagina met het antwoord en gebruikt dat om zijn reactie te formuleren.

De Deelnemers

De onderzoekers testten twee nieuwe, next-generation KI-modellen:

1. Claude Opus 4.7: Een model dat een lokaal, transparant zoeksysteem gebruikt (zoals een bibliothecaris die je precies laat zien welke boeken het uit de kast heeft gehaald).
2. GPT-5.5: Een model dat een cloud-gebaseerd zoeksysteem gebruikt (zoals een bibliothecaris die de boeken voor je vindt, maar het proces niet laat zien).

De Resultaten: KI Verslaat de Gemiddelde Student

Toen deze twee KI's het examen vijf keer elk aflegden, waren de resultaten verrassend:

• De Scores: Beide modellen scoorden rond de 86% tot 87%.
• De Vergelijking: Dit is significant hoger dan de score van de gemiddelde menselijke student van 78%. Sterker nog, als je de 13 menselijke studenten en de 2 KI's naast elkaar zou zetten, zouden de KI's in de top 5 staan, 8 of 9 van de mensen verslaan.
• De Snelheid van Vooruitgang: Dit is een enorme sprong. Slechts 18 maanden geleden scoorde de beste KI 63%. Nu, met het "spiekbriefje" (RAG), maakten ze een sprong van 23 procentpunten.

De Twee Zwakke Plekken

Hoewel de KI's wonnen, hadden ze twee specifieke problemen:

1. Het "Afbeelding"-Probleem: De KI's waren uitstekend in tekstvragen (met een score van bijna 89%), maar struikelden over de afbeeldingsvragen. Ze haalden ongeveer 73–77% goed op afbeeldingen. Mensen waren hier nog steeds beter in, met een score van 81,5%.
   • Analogie: Stel je de KI voor als een briljante professor die het hele leerboek uit zijn hoofd kan opzeggen, maar nog steeds in de war raakt wanneer hij naar een wazige röntgenfoto kijkt. Hij kent de theorie perfect, maar leert nog steeds hoe hij het plaatje moet "zien".
2. De "Veiligheids"-Glitch (alleen bij GPT-5.5): GPT-5.5 weigerde ongeveer 7% van de vragen te beantwoorden. Het zou zeggen: "Het spijt me, ik kan hier niet mee helpen", terwijl de vragen gewoon standaard medische examenvragen waren over hartmedicijnen of stralingsveiligheid.
   • Analogie: Het is als een zeer voorzichtige bibliothecaris die weigert je een boek te geven over "hoe je een bom bouwt", zelfs als je een natuurkundestudent bent die een legitieme examenvraag stelt over kernenergie. De veiligheidsfilters van de KI waren te gevoelig, waardoor het punten miste. Claude Opus 4.7 had dit probleem niet; het beantwoordde alles.

Wat de Auteurs Eigenlijk Zeggen (en Niet Zeggen)

Het artikel is zeer voorzichtig over wat dit betekent:

• Wat het IS: Het bewijst dat KI met de juiste referentiematerialen de feiten en regels van nucleaire cardiologie beter kan leren dan de gemiddelde trainee. De auteurs suggereren dat deze hulpmiddelen kunnen worden gebruikt als educatieve hulpmiddelen om studenten te helpen studeren, of als referentiehulpmiddelen om feiten in een leeszaal te verifiëren.
• Wat het NIET IS: De auteurs stellen expliciet dat het halen van een meerkeuzetoets niet betekent dat de KI klaar is om arts te worden. Echt medisch handelen omvat het praten met patiënten, omgaan met onzekerheid en het maken van complexe oordelen die een meerkeuzetoets niet kan meten. De KI is een krachtig naslagwerk, geen vervanging voor een menselijk arts.

De Conclusie

In de loop van anderhalf jaar is KI gegaan van het zakken voor het nuclear cardiology board-examen naar het verslaan van de gemiddelde menselijke student, mits het toegang heeft tot de juiste leerboeken. Het worstelt echter nog steeds met het interpreteren van medische afbeeldingen, en een van de modellen is te "bang" om bepaalde legitieme vragen te beantwoorden. Hoewel het een enorme stap voorwaarts is voor hulpmiddelen in medisch onderwijs, concludeert het artikel dat deze machines assistenten zijn, geen vervangingen, voor menselijke artsen.

Technische samenvatting

Technische Samenvatting: Retrieval-Augmented LLMs Presteren Beter dan Mensen op Examens voor Hartkankerinfectie

Probleemstelling
Eerdere evaluaties van Large Language Models (LLM's) op het Board Preparation Exam van de American Society of Nuclear Cardiology (ASNC) onthulden een aanzienlijke prestatiekloof tussen AI en menselijke trainees. In eerdere studies bereikte het best presterende model zonder domeinspecifieke context (GPT-4o) een mediane nauwkeurigheid van 63,1%, wat onder de geschatte 65% bestaansdrempel en de gemiddelde score van 78,0% van menselijke fellows-in-training (FIT's) bleef. Hoewel het verstrekken van tekstboekcontext de prestaties van GPT-4o op tekstonly-vragen verbeterde tot 73,8%, bleef dit onder het menselijke gemiddelde en was het beperkt tot tekstgebaseerde vragen. Het centrale probleem dat door deze studie wordt aangepakt, is of next-generation LLM's uitgerust met Retrieval-Augmented Generation (RAG) deze prestatiekloof kunnen dichten of zelfs kunnen overtreffen over het volledige spectrum van het examen, inclusief complexe vragen op basis van afbeeldingen.

Methodologie
De studie hanteerde het volledige ASNC Board Preparation Exam van 2023 (168 meerkeuzevragen: 141 tekstonly, 27 op afbeeldingen gebaseerd) voor twee next-generation modellen: Claude Opus 4.7 en GPT-5.5. De evaluatie werd uitgevoerd over 5 iteraties voor elk model.

• Retrieval-Augmented Generation (RAG) Pijplijnen: Beide modellen waren gebaseerd op hetzelfde gezaghebbende domeinspecifieke corpus: Nuclear Cardiac Imaging: Principles and Applications (tekstboek), de bijbehorende atlas en de ASNC Clinical Practice Guidelines.
  • Claude Opus 4.7: Gebruikte een transparante, lokale FAISS-gebaseerde retrievalpijplijn. PDF-documenten werden opgedeeld in 3-pagina segmenten, ingebed met de all-MiniLM-L6-v2 sentence-transformer, en geïndexeerd via IndexFlatIP (exacte inner-product zoekopdracht). Voor elke query werden de top 5 semantisch vergelijkbare chunks opgehaald en aan de prompt toegevoegd.
  • GPT-5.5: Gebruikte een cloud-gehoste Azure Vector Store toegankelijk via de Azure OpenAI Responses API. Het retrievalmechanisme (embeddingmodel, vergelijkingsmetriek, aantal chunks) werd beheerd door de infrastructuur van Azure en was niet direct configureerbaar door de onderzoekers.
• Experimentele Opstelling: Beide modellen ontvingen een gestandaardiseerde systeemprompt waarin hen werd gevraagd op te treden als een student in nucleaire cardiologie en de twee meest waarschijnlijke antwoorden met uitleg te selecteren. Vragen op basis van afbeeldingen werden verwerkt via vision-API's (base6-gecodeerd voor Claude, data URI's voor GPT-5.5).
• Scorebepaling: Het primaire door het model geselecteerde antwoord werd vergeleken met het correcte ASNC-antwoord. Veiligheidsweigeringen (bijv. "Ik kan u niet helpen met dit verzoek") en lege reacties werden als onjuist gescoord.
• Vergelijkingsgroepen: De resultaten werden vergeleken met historische data uit eerdere studies (GPT-4o zonder context, GPT-4o met context) en een cohort van 13 menselijke FIT's die het examen aflegden met onbeperkte tijd en middelen.

Belangrijkste Resultaten

• Algemene Prestaties: Beide modellen presteerden beter dan het menselijke FIT-gemiddelde (78,0%) en de geschatte bestaansdrempel (65%).
  • Claude Opus 4.7: Bereikte een gemiddelde nauwkeurigheid van 86,3% (SD 1,4%).
  • GPT-5.5: Bereikte een gemiddelde nauwkeurigheid van 86,7% (SD 2,2%).
  • Dit vertegenwoordigt een verbetering van ongeveer 23 procentpunten ten opzichte van het beste eerdere LLM-resultaat (GPT-4o op 63,1% zonder context) in ongeveer 18 maanden.
• Opdeling per Vraagtype:
  • Tekstonly: Beide modellen behaalden een hoge nauwkeurigheid (Claude: 88,8%; GPT-5.5: 88,5%).
  • Op Afbeeldingen Gebaseerd: De prestaties daalden aanzienlijk maar bleven boven de bestaansdrempel (Claude: 73,3%; GPT-5.5: 77,0%). Dit wijst op een aanhoudende kloof waar menselijke trainees (81,5% op afbeeldingen) de modellen nog steeds overtreffen in visuele interpretatie.
• Veiligheidsweigeringen: Er werd een kritiek operationeel verschil waargenomen. GPT-5.5 weigerde gemiddeld 12,2 vragen per iteratie (7,3%) te beantwoorden, waarbij deze als onjuist werden gescoord. Deze weigeringen betroffen legitieme medische inhoud (radiofarmaca, stralingsveiligheid, klinische protocollen). Claude Opus 4.7 had nul weigeringen.
• Modellengelijkheid: De twee modellen toonden een aanzienlijke overeenstemming, waarbij ze in 78,0–83,0% van de gevallen per iteratie dezelfde vragen correct beantwoordden. Meningsverschillen betroffen vaak genuanceerde onderscheidingen in technische definities.

Belangrijkste Bijdragen

1. Aantonen van Menselijk Vakmanschap: Dit is de eerste studie die aantoont dat RAG-versterkte LLM's de gemiddelde prestaties van menselijke fellows-in-training in nucleaire cardiologie op een uitgebreid board preparation examen kunnen overtreffen.
2. Kwantificering van RAG-impact: De studie isoleert de impact van next-generation modellen gecombineerd met RAG, en toont een dramatische sprong van 63,1% (zonder context) naar ~86,5% (met RAG) binnen een korte periode.
3. Identificatie van Veiligheidsbeperkingen: Het artikel benadrukt een significante praktische barrière in GPT-5.5, waar overmatig conservatieve veiligheidsclassificatoren legitieme medische examenvragen weigeren te beantwoorden, wat de waargenomen nauwkeurigheid kunstmatig verlaagt en de bruikbaarheid in educatieve contexten beperkt.
4. Aanhouding van de Afbeeldingskloof: De studie bevestigt dat hoewel kennisopvraging op basis van tekst is uitgegroeid, medische beeldinterpretatie (SPECT, PET, multimodaliteit) een uitdagend domein blijft waar LLM's (73–77%) nog steeds achterblijven bij menselijke trainees (~81,5%).

Betekenis en Beweringen
Het artikel beweert dat RAG-versterkte LLM's een niveau van kennis in nucleaire cardiologie hebben bereikt dat voldoende is om te dienen als educatieve hulpmiddelen voor board preparation en kennisreferentietools in klinische settings. De auteurs suggereren dat deze modellen kunnen helpen bij het verifiëren van trainingsbronnen en het aanvullen van onderwijs.

Echter, de auteurs behouden een bescheiden houding ten aanzien van klinische implementatie. Zij stellen expliciet dat examenprestaties niet gelijkstaan aan klinische competentie. Wereldwijde nucleaire cardiologie vereist het integreren van patiëntspecifieke context, het beheersen van onzekerheid en het uitoefenen van oordeelsvorming – vaardigheden die niet worden getoetst door meerkeuzevragen. Bijgevolg concludeert het artikel dat LLM's moeten worden beschouwd als aanvullende tools om de expertise van artsen te versterken in plaats van deze te vervangen. De studie merkt ook op dat de aanhoudende kloof in beeldinterpretatie suggereert dat deze modellen nog niet klaar zijn om menselijke expertise te vervangen bij het lezen van diagnostische beelden.