RheumBench: A Specialist-Validated Rubric-Based Benchmark for Evaluating Large Language Models in Rheumatology

Technische Samenvatting: RheumBench

Probleemstelling
Large Language Models (LLMs) worden steeds vaker ingezet voor klinische besluitvormingsondersteuning in de reumatologie, een specialisme dat wordt gekenmerkt door complexe diagnostische redenering en een groeiende mismatch tussen de capaciteit van het personeel en de patiëntvraag. Hoewel vroege studies suggereren dat LLM's de prestaties van gecertificeerde reumatologen kunnen benaderen, is er een kritiek gebrek aan schaalbare, specialisme-specifieke evaluatiekaders. Bestaande medische benchmarks sluiten de reumatologie ofwel volledig uit, ofwel falen in het systematisch beoordelen van de relatie tussen zelfgerapporteerd vertrouwen en prestaties, het potentieel voor patiëntschade en de effectiviteit van Retrieval-Augmented Generation (RAG)-systemen versus algemene modellen. Bov�elijke blijft het onduidelijk of medische productcertificering superieure veiligheid of nauwkeurigheid garandeert. Huidige evaluatiemethoden kunnen het tempo van snelle modeliteraties moeilijk bijhouden, omdat ze vaak vertrouwen op arbeidsintensieve expertbeoordeling van vrije tekstantwoorden of verzadigde meerkeuzevragen die klinische redenering incompleet vastleggen.

Methodologie
De auteurs hebben RheumBench ontwikkeld, de eerste op een rubric gebaseerde, door specialisten gevalideerde benchmark specifiek voor de reumatologie. De methodologie bestond uit drie kerncomponenten:

1. Casuscuratie: Een panel van gecertificeerde reumatologen cureerde 100 klinische casussen: 70 diagnostische casussen (inclusclusief 60 eerder gepubliceerde gevallen van zeldzame ziekten en 10 gedeïdentificeerde nieuwe casussen van het Universiteitsziekenhuis Hamburg om de potentiële impact van modelcontaminatie door het eerder gepubliceerde materiaal te verminderen) en 30 diverse klinische managementcasussen.
2. Rubric Constructie: Voor elke managementcasus genereerde een ensemble van frontier LLM's conceptantwoorden, die werden gesynthetiseerd tot één referentieantwoord door een aangewezen consolidatiemodel. Twee reumatologen verfijnden deze vervolgens tot vaste rubric-criteria. Voor diagnostische casussen richtte de rubric zich op de rangschikking van de correcte diagnose en de inclusie van belangrijke differentiaaldiagnoses.
   • Weging: Elk van de 1.020 totale criteria werd onafhankelijk gewogen door twee reumatologen op een schaal van −10 (ongepast/schadelijk) tot +10 (gepast), met specifieke beoordelingen voor potentieel letsel (ernstig, matig, mild, onzeker).
   • Domeinen: De criteria omvatten diagnostische evaluatie, medicatie, counseling, follow-up en procedureel management.
3. Systeemevaluatie: Tien systemen werden geëvalueerd: drie propriëtaire frontier general-purpose LLM's, één open-weight general-purpose LLM, en zes klinische RAG-systemen (waaronder twee CE-gemarkeerde medische hulpmiddelen en één reumatologie-specifiek systeem in ontwikkeling).
   • Prompts: Systemen werden getest met zowel beknopte als grondige prompts.
   • LLM-as-a-Judge: Een panel van drie LLM's evalueerde de systeemantwoorden tegen de bevroren rubric. Om de validiteit te waarborgen, evalueerden reumatologen onafhankelijk een steekproef van 100 casussen, waarbij zij een hoge mate van overeenstemming (Cohen's κ = 0,91) bereikten met de LLM-consensus, wat de geautomatiseerde scoringsaanpak valideerde.
   • Metrieken: De studie mat de algehele antwoordkwaliteit, promptgevoeligheid, potentieel letsel (omissie versus commissie fouten), diagnostische nauwkeurigheid (top-1 en top-3) en diagnostische kalibratie (Brier-scores en over-underconfidence indices).

Belangrijkste Resultaten

• Algehele Prestaties: De systeemprestaties varieerden aanzienlijk, waarbij geen enkel systeem een score boven de 54,0% behaalde. Claude Fable 5 behaalde de hoogste algehele score (54,0%), gevolgd door GPT-5.6 Sol. Opvallend genoeg presteerden frontier general-purpose LLM's over het algemeen beter dan alle klinische RAG-systemen, inclusief gecertificeerde medische producten (Prof. Valmed, DR.INFO) en het reumatologie-specifieke systeem (RHELA, dat 17,8% scoorde).
• Promptgevoeligheid: Grondige prompting verbeterde de gemiddelde managementscores voor 9 van de 10 systemen. De piekscore voor management werd bereikt met 72,9% door GPT-5.6 Sol met een grondige prompt.
• Diagnostische Nauwkeurigheid: De top-1 diagnostische nauwkeurigheid bereikte 57,1% (GPT-5.6 Sol), terwijl de top-3 nauwkeurigheid 67,1% bereikte (Claude Fable 5).
• Letsel en Fouten: Potentieel ernstige fouten kwamen bij alle systemen voor. Omissiefouten (het niet ondernemen van noodzakelijke acties) waren aanzienlijk frequenter dan commissiefouten. De grondige prompt verminderde het totaal aantal ernstige fouten voor de meeste systemen.
• Kalibratie en Vertrouwen: Alle systemen vertoonden systematische overmoed. Zelfgerapporteerd vertrouwen (83,4%–96,5%) overtrof consequent de werkelijke top-1 nauwkeurigheid. Claude Fable 5 vertoonde de beste kalibratie (laagste Brier-score van 0,203), terwijl RHELA de slechtste vertoonde.
• Certificering versus Prestaties: Medische productcertificering en reumatologie-specifieke specialisatie correleerden niet met hogere prestaties, betere kalibratie of grotere veiligheid vergeleken met algemene frontier-modellen.

Significantie en Claims
Het artikel beweert dat RheumBench het eerste toegewijde kader biedt om LLM's in de reumatologie te evalueren met behulp van een door specialisten gevalideerd, gewogen rubric-systeem. De primaire significantie ligt in het aantonen dat:

1. Huidige Beperkingen: Huidige LLM-gebaseerde klinische besluitvormingsinstrumenten, zelfs als ze gecertificeerd of gespecialiseerd zijn, hebben substantiële beperkingen, waarbij geen enkel systeem een hoge beheersing (scores >54%) bereikt.
2. Certificering is Geen Garantie: Medische productcertificering of klinische specialisatie alleen garandeert geen superieure prestaties of veiligheid; frontier general-purpose modellen presteren momenteel beter dan deze gespecialiseerde systemen.
3. Veiligheidsrisico's: Systematische overmoed en de prevalentie van ernstige omissiefouten benadrukken significante risico's voor de patiëntveiligheid en het gevaar van automatisering-bias.
4. Menselijk Toezicht: De bevindingen onderstrepen het cruciale belang van menselijk toezicht bij de inzet van klinische AI, aangezien hoog vertrouwen niet gelijkstaat aan juistheid.
5. Schaalbare Evaluatie: De studie valideert de "LLM-as-a-judge"-aanpak voor schaalbare, hoog-overeenkomende evaluatie van open-ended klinische reacties, wat een pad biedt voor continue veiligheidsanalyse en systeemverbetering.

De auteurs concluderen dat hoewel promptontwerp de prestaties aanzienlijk kan verbeteren, de huidige staat van LLM's in de reumatologie rigoureuze, voortdurende evaluatie en menselijk toezicht vereist voordat brede klinische integratie kan plaatsvinden. RheumBench is bedoeld om continu uitgebreid te worden ter ondersteuning van deze lopende veiligheidsanalyses.