Technische Samenvatting: Capaciteiten van Claude Fable 5 bij Biomedische Uitdagingen

Probleemstelling

De evaluatie van frontier taalmodellen in de biomedische wetenschap wordt momenteel ondermijnd door twee kritieke problemen:

1. Benchmark Verzadiging: Legacy benchmarks (bijv. USMLE-stijl examens) hebben een bijna-plafond bereikt, waardoor ze niet langer in staat zijn om state-of-the-art systemen van elkaar te onderscheiden.
2. Onbetrouwbare Beoordeling: Open eind antwoorden worden frequent geëvalueerd door andere taalmodellen, wat de eigen biases en foutmodi van de beoordelaar in de resultaten introduceert.

Bovendien confunderen standaard evaluatiemetrieken vaak "weigering om te antwoorden" met "incorrecte antwoorden". In hoog-risico domeinen zoals de geneeskunde is een model dat weigert te antwoorden vanwege veiligheidsafstemming fundamenteel anders dan een model dat zelfverzekerd maar incorrect antwoordt. Het behandelen van deze als identieke uitkomsten vertroebelt de werkelijke capaciteit van een model en geeft een onjuist beeld van de bruikbaarheid ervan in klinische of onderzoekssettings.

Methodologie

Deze studie evalueert Claude Fable 5 (Anthropic's meest capabele publiekelijk beschikbare model per medio 2026) tegen drie baselines: zijn voorgangers Claude Opus 4.6 en Opus 4.8, en GPT-5 (OpenAI).

Experimenteel Ontwerp:

• Benchmarks: Acht biomedische benchmarks werden gebruikt, verdeeld in tekst-only en multimodale categorieën:
  • Tekst: MedQA, PubMedQA, MedXpertQA (Tekst), en RareBench.
  • Multimodaal: MedXpertQA MM, VQA-RAD, SLAKE, en PathVQA.
• Protocol: Alle evaluaties werden uitgevoerd onder zero-shot, direct-answer prompting. Er werden geen few-shot voorbeelden, chain-of-thought instructies of retrieval augmentation gebruikt.
• Scoring: Een cruciale methodologische beperking was het gebruik van deterministische scoring tegen vaste antwoordsleutels. Geen enkele benchmark vertrouwde op LLM-gebaseerde beoordeling voor de scoring.
• Weigeringsregistratie: Weigeringen werden bijgehouden als een afzonderlijke uitkomst. Ze werden uit de noemer verwijderd bij het berekenen van de "scored-subset nauwkeurigheid" (prestaties op items die het model daadwerkelijk probeerde te beantwoorden), maar werden opgenomen in de "raw accuracy" om het totale systeemgedrag te reflecteren.
• Afbeeldingsverwerking: Afbeeldingen werden verwerkt als base64 content blocks of data URI's, waarbij meerdere afbeeldingen in één geval gezamenlijk werden ingediend.

Belangrijkste Bijdragen

1. Uitgebreide Evaluatie: De eerste onafhankelijke evaluatie van de biomedische capaciteiten van Claude Fable 5 over acht diverse benchmarks.
2. Generationele Trace: Een gecontroleerde vergelijking van Fable 5 met Opus 4.6 en Opus 4.8 onder identieke protocollen om veranderingen in capaciteit versus alignment-gedrag te isoleren.
3. Weigerings-gecentreerde Analyse: De introductie van weigeringspercentages als een primaire metriek, waarbij veiligheidsgestuurde niet-interactie wordt gescheiden van redeneerfouten.
4. Benchmark Selectie: De inclusie van MedXpertQA en RareBench, die nog steeds uitdagend blijven voor frontier modellen, naast legacy benchmarks om progressie en verzadiging te meten.

Resultaten

1. De "Weigeringskloof" (The Refusal Gap)

De centrale bevinding van het paper is dat Claude Fable 5 een hoog weigeringspercentage vertoont (8,0% tot 99,4% afhankelijk van de benchmark), een patroon dat afwezig is bij zowel zijn voorgangers als GPT-5.

• Raw vs. Scored Accuracy: Wanneer weigeringen als fouten worden geteld, lijkt Fable 5 vaak minder goed te presteren of te regrederen vergeleken met Opus 4.8 en GPT-5. Echter, wanneer weigeringen uit de noemer worden verwijderd, behaalt Fable 5 op elke benchmark een nauwkeurigheid die gelijk is aan of hoger is dan die van alle andere modellen.
• MedQA: Fable 5's raw score was 79,7% (17% weigerde), maar de scored-subset nauwkeurigheid was 96,6%, waarmee het alle andere modellen overtrof.
• RareBench: Fable 5 weigerde 99,4% van de items (1.115 van de 1.122) onder de primaire klinische rol-prompt. De weinige items die het beantwoordde (6) leverden een Recall@1 op van 0,36%, een metriek die de auteurs opmerken als een reflectie van de "weigeringsmuur" in plaats van diagnostische capaciteit.

2. Distinctieve Weigeringspatronen

De studie identificeert twee duidelijke, niet-geünificeerde patronen van weigering:

• Concentratie op Basic Science/Mechanisme: Op MedQA en MedXpertQA MM waren weigeringen sterk geconcentreerd op preklinische, basiswetenschappelijke inhoud (bijv. Step 1 vragen, anatomie, fysiologie, receptor farmacologie). Op MedQA waren 92,3% van de weigeringen Step 1 vragen, ondanks dat Step 1 slechts 45,1% van de beantwoordde vragen uitmaakte.
• Ziekte-domein Specificiteit (RareBench): Weigeringen correleerden sterk met de bron-dataset en het ziekte-domein. Presentaties van aangeboren metabole ziekten (bijv. fenylketonurie, glutarische acidemie) werden bijna universeel geweigerd (99,7% in RAMEDIS), terwijl presentaties van auto-immuunziekten bij volwassenen met een veel hogere frequentie werden beantwoord.
• Prompt Framing: Een herloop van de "neutrale framing" op RareBench (waarbij de "clinical decision support system" persona werd verwijderd) herstelde slechts 9,3% van de oorspronkelijk geweigerde items, wat aangeeft dat prompt engineering geen betrouwbare mitigatie is voor dit gedrag.

3. Multimodale Prestaties

• MedXpertQA MM: Fable 5 behaalde een scored-subset nauwkeurigheid van 80,2%, waarmee het GPT-5 (67,2%) en zijn voorgangers beslist overtrof, met niet-overlappende betrouwbaarheidsintervallen.
• PathVQA: Fable 5 weigerde 41,5% van de items. Op de items die het beantwoordde, behaalde het 29,3% nauwkeurigheid, waarmee het GPT-5 (5,3%) en Opus 4.6 (8,8%) overtrof.
• VQA-RAD & SLAKE: Fable 5 leidde op VQA-RAD (45,8%) en was statistisch niet te onderscheiden van andere modellen op SLAKE.

4. Generationele Trends

De studie concludeert dat de schijnbare "regressie" in de raw scores van Fable 5 vergeleken met Opus 4.6/4.8 een artefact is van verhoogd weigeringsgedrag, en niet van een afname in de onderliggende capaciteit. Waar Fable 5 interactie aangaat, vertoont het superieure of gelijke redeneercapaciteiten.

Betekenis en Claims

Het paper stelt dat de primaire beperking voor de biomedische bruikbaarheid van Claude Fable 5 de bereidheid tot interactie is, en niet de competentie zodra er interactie plaatsvindt.

• Misleidende Raw Scores: Standaard nauwkeurigheidstabellen die weigeringen als "incorrect" meerekenen, presenteren een misleidend narratief van achteruitgang in capaciteit. De auteurs argumenteren dat voor implementatie de "scored-subset" nauwkeurigheid de meer relevante metriek is voor capaciteit, terwijl het weigeringspercentage de relevante metriek is voor veiligheids-/alignment-beperkingen.
• Veiligheid vs. Nut: De geobserveerde weigeringspatronen (met name op basiswetenschappen en zeldzame metabole ziekten) komen niet overeen met de gedocumenteerde safeguards van Anthropic met betrekking tot dual-use content (bijv. pathogeenontwerp). Dit suggereert ofwel dat de classifier te vaak triggert op onschuldige inhoud, of dat het weigeringsmechanisme wordt gedreven door een ongedocumenteerde factor.
• Evaluatie Rigor: De studie benadrukt dat toekomstige evaluaties weigeringen als afzonderlijke uitkomsten moeten bijhouden en deterministische scoring moeten gebruiken om de "LLM-als-judge" bias te vermijden, vooral naarmate benchmarks bewegen naar open-eind taken.

De auteurs concluderen dat hoewel Fable 5 "selectief voorzichtig" is, de onderliggende biomedische redeneercapaciteiten tot de sterkste behorend die getest zijn, mits de weigeringsbarrière wordt omzeild via casusselectie of fallback-routing.