Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

Nächste Generationen großer Sprachmodelle, insbesondere Claude Opus 4.7 und GPT-5.5, ausgestattet mit retrieval-augmentierter Generierung unter Verwendung domänenspezifischer Ressourcen der Nuklearcardiologie, erreichten auf der ASNC-Prüfung zur Vorbereitung auf die Facharztanerkennung eine durchschnittliche Genauigkeit von etwa 86 %, wodurch sowohl die geschätzte Bestehensschwelle als auch die durchschnittliche Leistung von Human-Fellows in der Weiterbildung übertroffen wurden.

Das Wesentliche

Stellen Sie sich eine hochriskante Abschlussprüfung für Ärzte vor, die sich auf die Betrachtung von Herzbildern mit speziellen radioaktiven Tracern spezialisiert haben. Dies ist die „Prüfung für Nuklearkardiologie". Seit Jahren versucht Künstliche Intelligenz (KI), diese Prüfung abzulegen, scheiterte jedoch immer wieder und erzielte niedrigere Punktzahlen als der durchschnittliche Medizinstudent.

Dieser Artikel erzählt die Geschichte, wie zwei neue, supersmart KI-Modelle die Prüfung schließlich mit Bravour bestanden und den durchschnittlichen menschlichen Studenten schlugen.

Das Setup: Die Prüfung und der „Spickzettel"

Die Prüfung umfasst 168 Fragen. Einige sind rein textbasiert (wie ein Quiz zum Allgemeinwissen), aber etwa 27 erfordern die Betrachtung komplexer medizinischer Herzbilder.

In der Vergangenheit, als die KI diese Prüfung „kalt" (ohne jegliche Hilfe) ablegte, lag ihre beste Leistung bei etwa 63 % richtigen Antworten. Das ist eine Durchfallnote. Der durchschnittliche menschliche Medizinstudent (ein „Weiterbildender") erzielte 78 %.

Für diese neue Studie gaben die Forscher der KI einen massiven „Spickzettel". Dies war keine einfache Google-Suche; es handelte sich um ein Retrieval-Augmented Generation (RAG)-System. Stellen Sie sich vor, man gibt der KI eine perfekte, durchsuchbare digitale Bibliothek, die die offiziellen Lehrbücher, Atlanten und medizinischen Leitlinien für die Nuklearkardiologie enthält. Wenn die KI eine Frage sieht, taucht sie sofort in diese Bibliothek ein, findet die exakte Seite mit der Antwort und nutzt diese, um ihre Antwort zu formulieren.

Die Kandidaten

Die Forscher testeten zwei neue KI-Modelle der nächsten Generation:

1. Claude Opus 4.7: Ein Modell, das ein lokales, transparentes Suchsystem verwendet (wie ein Bibliothekar, der Ihnen genau zeigt, welche Bücher er vom Regal genommen hat).
2. GPT-5.5: Ein Modell, das ein cloudbasiertes Suchsystem verwendet (wie ein Bibliothekar, der die Bücher für Sie findet, Ihnen den Prozess aber nicht zeigt).

Die Ergebnisse: KI schlägt den durchschnittlichen Studenten

Als diese beiden KIs die Prüfung jeweils fünf Mal ablegten, waren die Ergebnisse überraschend:

• Die Punktzahlen: Beide Modelle erzielten etwa 86 % bis 87 %.
• Der Vergleich: Dies liegt deutlich über der durchschnittlichen Punktzahl des menschlichen Studenten von 78 %. Tatsächlich würden, wenn man die 13 menschlichen Studenten und die 2 KIs in eine Reihe aufstellte, die KIs unter die Top 5 fallen und 8 oder 9 der Menschen schlagen.
• Das Tempo des Fortschritts: Dies ist ein massiver Sprung. Noch vor 18 Monaten erzielte die beste KI 63 %. Jetzt, mit dem „Spickzettel" (RAG), sprangen sie um 23 Prozentpunkte.

Die zwei Schwachstellen

Obwohl die KIs gewannen, hatten sie zwei spezifische Schwierigkeiten:

1. Das „Bild"-Problem: Die KIs waren bei Textfragen hervorragend (mit fast 89 %), stolperten jedoch bei den Bildfragen. Bei Bildern erzielten sie etwa 73–77 % richtige Antworten. Menschen waren hier immer noch besser und erzielten 81,5 %.
   • Analogie: Stellen Sie sich vor, die KI ist ein brillanter Professor, der das gesamte Lehrbuch auswendig aufsagen kann, aber immer noch verwirrt ist, wenn er auf ein unscharfes Röntgenbild schaut. Sie kennt die Theorie perfekt, lernt aber immer noch, das „Bild" zu „sehen".
2. Der „Sicherheits"-Fehler (nur GPT-5.5): GPT-5.5 weigerte sich, etwa 7 % der Fragen zu beantworten. Es sagte: „Es tut mir leid, ich kann dabei nicht helfen", obwohl es sich nur um Standardfragen einer medizinischen Prüfung über Herzmedikamente oder Strahlensicherheit handelte.
   • Analogie: Es ist wie ein sehr vorsichtiger Bibliothekar, der sich weigert, Ihnen ein Buch über „wie man eine Bombe baut" auszuhändigen, selbst wenn Sie einen Physikstudenten nach einer legitimen Prüfungsfrage über Kernenergie fragen. Die Sicherheitsfilter der KI waren zu empfindlich, was dazu führte, dass sie Punkte verpasste. Claude Opus 4.7 hatte dieses Problem nicht; es beantwortete alles.

Was die Autoren tatsächlich sagen (und was nicht)

Der Artikel ist sehr vorsichtig bezüglich der Bedeutung dieser Ergebnisse:

• Was es IST: Es beweist, dass KI mit den richtigen Referenzmaterialien die Fakten und Regeln der Nuklearkardiologie besser lernen kann als der durchschnittliche Auszubildende. Die Autoren schlagen vor, dass diese Werkzeuge als Lernhilfen verwendet werden könnten, um Studenten beim Lernen zu unterstützen, oder als Referenzwerkzeuge, um Fakten in einem Lesesaal zu überprüfen.
• Was es NICHT IST: Die Autoren stellen ausdrücklich fest, dass das Bestehen eines Multiple-Choice-Tests nicht bedeutet, dass die KI bereit ist, Ärztin oder Arzt zu sein. Echte Medizin beinhaltet das Sprechen mit Patienten, den Umgang mit Unsicherheit und das Treffen komplexer Urteile, die eine Multiple-Choice-Prüfung nicht messen kann. Die KI ist ein leistungsfähiges Nachschlagewerk, kein Ersatz für einen menschlichen Arzt.

Das Fazit

Innerhalb eineinhalb Jahren ist die KI vom Durchfallen bei der Prüfung für Nuklearkardiologie zum Schlagen des durchschnittlichen menschlichen Studenten gelangt, vorausgesetzt, sie hat Zugang zu den richtigen Lehrbüchern. Dennoch hat sie immer noch Schwierigkeiten mit der Interpretation medizinischer Bilder, und eines der Modelle ist zu „ängstlich", um bestimmte legitime Fragen zu beantworten. Obwohl dies ein großer Schritt nach vorne für Werkzeuge der medizinischen Ausbildung ist, kommt der Artikel zu dem Schluss, dass diese Maschinen Assistenten und keine Ersatzteile für menschliche Ärzte sind.

Technische Zusammenfassung

Technisches Fazit: Retrieval-Augmented LLMs übertreffen die menschliche Leistung bei Prüfungen zur Facharztausbildung in der Nuklearmedizin

Problemstellung
Vorherige Evaluierungen von Large Language Models (LLMs) an der Board-Vorbereitungsprüfung der American Society of Nuclear Cardiology (ASNC) zeigten eine signifikante Leistungslücke zwischen KI und menschlichen Auszubildenden. In früheren Studien erreichte das am besten abschneidende Modell ohne domänenspezifischen Kontext (GPT-4o) eine mediane Genauigkeit von 63,1 %, was unter der geschätzten Bestehensgrenze von 65 % und dem Durchschnittsergebnis von 78,0 % der menschlichen Fellow-in-Training (FIT) lag. Obwohl die Bereitstellung von Lehrbuchkontext die rein textbasierte Leistung von GPT-4o auf 73,8 % verbesserte, blieb sie unter dem menschlichen Durchschnitt und war auf textbasierte Fragen beschränkt. Das zentrale Problem, das diese Studie adressiert, ist, ob Next-Generation-LLMs, die mit Retrieval-Augmented Generation (RAG) ausgestattet sind, diese Leistungslücke über das gesamte Spektrum der Prüfung hinweg schließen oder sogar überwinden können, einschließlich komplexer bildbasierter Fragen.

Methodik
Die Studie verabreichte die vollständige ASNC-Board-Vorbereitungsprüfung 2023 (168 Multiple-Choice-Fragen: 141 rein textbasiert, 27 bildbasiert) an zwei Next-Generation-Modelle: Claude Opus 4.7 und GPT-5.5. Die Evaluierung wurde über 5 Iterationen für jedes Modell durchgeführt.

• Retrieval-Augmented Generation (RAG)-Pipelines: Beide Modelle basierten auf demselben autoritativen domänenspezifischen Korpus: Nuclear Cardiac Imaging: Principles and Applications (Lehrbuch), dessen begleitender Atlas und die ASNC-Clinical-Practice-Guidelines.
  • Claude Opus 4.7: Nutzte eine transparente, lokale FAISS-basierte Retrieval-Pipeline. PDF-Dokumente wurden in 3-seitige Segmente unterteilt, mit dem Sentence-Transformer all-MiniLM-L6-v2 eingebettet und über IndexFlatIP (exakte Suche nach innerem Produkt) indiziert. Für jede Abfrage wurden die 5 semantisch ähnlichsten Segmente abgerufen und dem Prompt vorangestellt.
  • GPT-5.5: Nutzte einen cloud-gehosteten Azure Vector Store, der über die Azure OpenAI Responses API abgerufen wurde. Der Retrieval-Mechanismus (Embedding-Modell, Ähnlichkeitsmetrik, Chunk-Anzahl) wurde von der Azure-Infrastruktur verwaltet und war von den Forschern nicht direkt konfigurierbar.
• Experimenteller Aufbau: Beide Modelle erhielten einen standardisierten Systemprompt, der sie anwies, als Student der Nuklearmedizin zu agieren und die zwei wahrscheinlichsten Antworten mit Erklärungen auszuwählen. Bildbasierte Fragen wurden über Vision-APIs verarbeitet (base6-kodiert für Claude, Data URIs für GPT-5.5).
• Bewertung: Die primäre vom Modell ausgewählte Antwort wurde mit der korrekten ASNC-Antwort verglichen. Sicherheitsverweigerungen (z. B. „Ich kann bei dieser Anfrage nicht helfen") und leere Antworten wurden als falsch gewertet.
• Vergleichsgruppen: Die Ergebnisse wurden mit historischen Daten aus früheren Studien (GPT-4o ohne Kontext, GPT-4o mit Kontext) und einer Kohorte von 13 menschlichen FIT verglichen, die die Prüfung mit unbegrenzter Zeit und Ressourcen ablegten.

Hauptergebnisse

• Gesamtleistung: Beide Modelle übertrafen den menschlichen FIT-Durchschnitt (78,0 %) und die geschätzte Bestehensgrenze (65 %).
  • Claude Opus 4.7: Erreichte eine mittlere Genauigkeit von 86,3 % (SD 1,4 %).
  • GPT-5.5: Erreichte eine mittlere Genauigkeit von 86,7 % (SD 2,2 %).
  • Dies stellt eine Verbesserung von ~23 Prozentpunkten gegenüber dem besten vorherigen LLM-Ergebnis (GPT-4o bei 63,1 % ohne Kontext) innerhalb von etwa 18 Monaten dar.
• Aufschlüsselung nach Fragetypen:
  • Rein textbasiert: Beide Modelle erreichten eine hohe Genauigkeit (Claude: 88,8 %; GPT-5.5: 88,5 %).
  • Bildbasiert: Die Leistung sank signifikant, blieb jedoch über der Bestehensgrenze (Claude: 73,3 %; GPT-5.5: 77,0 %). Dies deutet auf eine anhaltende Lücke hin, in der menschliche Auszubildende (81,5 % bei Bildern) die Modelle bei der visuellen Interpretation immer noch übertreffen.
• Sicherheitsverweigerungen: Es wurde ein kritischer operationeller Unterschied beobachtet. GPT-5.5 verweigerte im Durchschnitt 12,2 Fragen pro Iteration (7,3 %) die Antwort und werte diese als falsch. Diese Verweigerungen betrafen legitime medizinische Inhalte (Radiopharmaka, Strahlenschutz, klinische Protokolle). Claude Opus 4.7 hatte keine Verweigerungen.
• Modellübereinstimmung: Die beiden Modelle zeigten eine erhebliche Übereinstimmung und beantworteten in 78,0–83,0 % der Fälle pro Iteration dieselben Fragen korrekt. Uneinigkeiten betrafen oft nuancierte Unterscheidungen in technischen Definitionen.

Hauptbeiträge

1. Nachweis menschlicher Kompetenz: Dies ist die erste Studie, die zeigt, dass RAG-gestützte LLMs die durchschnittliche Leistung menschlicher Fellow-in-Training in der Nuklearmedizin bei einer umfassenden Board-Vorbereitungsprüfung übertreffen können.
2. Quantifizierung des RAG-Einflusses: Die Studie isoliert den Einfluss von Next-Generation-Modellen in Kombination mit RAG und zeigt einen dramatischen Sprung von 63,1 % (ohne Kontext) auf ~86,5 % (mit RAG) innerhalb eines kurzen Zeitraums.
3. Identifizierung von Sicherheitsbeschränkungen: Der Artikel hebt eine signifikante praktische Hürde bei GPT-5.5 hervor, bei der übermäßig konservative Sicherheitsklassifikatoren die Beantwortung legitimer medizinischer Prüfungsfragen verweigern, was die beobachtete Genauigkeit künstlich drückt und den Nutzen in Bildungskontexten einschränkt.
4. Bestehen der Bildlücke: Die Studie bestätigt, dass, während die textbasierte Wissensabrufung ausgereift ist, die Interpretation medizinischer Bilder (SPECT, PET, Multimodalität) nach wie vor ein herausforderndes Feld bleibt, in dem LLMs (73–77 %) hinter menschlichen Auszubildenden (~81,5 %) zurückbleiben.

Bedeutung und Behauptungen
Der Artikel behauptet, dass RAG-gestützte LLMs ein Niveau an nuklearmedizinischem Wissen erreicht haben, das ausreicht, um als Bildungshilfen für die Prüfungsvorbereitung und als Wissensreferenz-Tools in klinischen Umgebungen zu dienen. Die Autoren schlagen vor, dass diese Modelle helfen können, Trainingsressourcen zu verifizieren und den Unterricht zu ergänzen.

Die Autoren nehmen jedoch eine bescheidene Haltung bezüglich des klinischen Einsatzes ein. Sie stellen ausdrücklich fest, dass Prüfungsergebnisse nicht mit klinischer Kompetenz gleichzusetzen sind. Die reale Nuklearmedizin erfordert die Integration patientenspezifischer Kontexte, das Management von Unsicherheit und die Ausübung von Urteilsvermögen – Fähigkeiten, die durch Multiple-Choice-Fragen nicht bewertet werden. Folglich kommt der Artikel zu dem Schluss, dass LLMs als ergänzende Tools betrachtet werden sollten, um die ärztliche Expertise zu erweitern, anstatt sie zu ersetzen. Die Studie stellt auch fest, dass die anhaltende Lücke bei der Bildinterpretation darauf hindeutet, dass diese Modelle noch nicht bereit sind, menschliche Expertise bei der diagnostischen Bildlesung zu ersetzen.