Generative Artificial Intelligence for Opportunistic Osteoporosis Screening Using Lumbar Spine Imaging: Diagnostic Performance, Reproducibility, Effects of Few-Shot Prompting, and Comparison with Physicians

Technische Samenvatting: Generatieve AI voor Opportunistische Osteoporose-screening

Probleemstelling
Osteoporose blijft aanzienlijk ondergediagnosticeerd en onderbehandeld, ondanks de beschikbaarheid van effectieve therapieën en de routinematige verkrijging van lumbale radiografieën en computertomografie (CT)-scans voor andere indicaties. Hoewel Dual-energy X-ray absorptiometrie (DXA) de gouden standaard is voor diagnose, ondergaan veel patiënten geen botmineraliteitsmeting (BMD) tijdens de reguliere zorg. Hoewel artsen een intuïtieve indruk vormen van de botkwaliteit op basis van spinale beelden, wijzen eerdere studies uit dat de nauwkeurigheid van dergelijke visuele beoordelingen slechts gemiddeld is, zelfs bij ervaren orthopedisch chirurgen. Hoewel deep learning-algoritmen veelbelovend zijn gebleken, vereisen zij taakspecifieke ontwikkeling. In tegenstelling hiertoe biedt multimodale generatieve kunstmatige intelligentie (AI) een breed toegankelijk alternatief dat in staat is medische beelden te interpreteren zonder specifieke modeltraining. De diagnostische prestaties van deze modellen voor opportunistische osteoporose-screening, hun reproduceerbaarheid en de impact van "few-shot" prompting (het verstrekken van voorbeeldcasussen om reacties te sturen) blijven echter onvoldoende begrepen.

Methodologie
Deze beeldgebaseerde vergelijkende studie evalueerde de diagnostische prestaties van multimodale generatieve AI tegenover artsen met behulp van een dataset van 45 laterale lumbale radiografieën en 45 sagittale gereconstrueerde lumbale CT-beelden.

• Referentiestandaard: Osteoporose en lage botmassa werden gedefinieerd met behulp van de WHO DXA T-score drempelwaarden van −2,5 en respectievelijk −1,0.
• Deelnemers:
  • Artsen: 42 gecertificeerde orthopedisch chirurgen en 50 niet-specialistische artsen (gegevens afkomstig van een eerdere studie).
  • AI-modellen: Drie publiekelijk beschikbare multimodale generatieve AI-systemen: ChatGPT (OpenAI, GPT-5, geraadpleegd januari 2026), Claude 4 Opus en Gemini 3.1 Pro.
• Evaluatieprotocol:
  • Zero-shot vs. Few-shot: AI-modellen evalueerden beelden onder zero-shot condities (alleen instructies) en few-shot condities (voorzien van 20 gelabelde referentiegevallen inclusief beelden, classificaties en YAM-waarden).
  • Reproduceerbaarheid: Elk AI-model evalueerde de volledige dataset vijf keer in onafhankelijke chat-sessies. De uiteindelijke classificaties werden bepaald door meerderheidsstemming (≥3 van de 5 reacties).
  • Mens-AI Combinatie: Een exploratieve post-hoc analyse combineerde de meerderheidsstemmen van specialisten met de meerderheidsstemmen van Claude met behulp van "OR" (positief als één van beiden positief is) en "AND" (positief alleen als beide positief zijn) regels om complementaire diagnostische fouten te beoordelen.
• Metrieken: Primaire uitkomsten omvatten diagnostische nauwkeurigheid, sensitiviteit, specificiteit en intra-model reproduceerbaarheid (Cohen's κ).

Belangrijkste Resultaten

• Diagnostische Nauwkeurigheid:
  • Bij de −1,0 T-score cutoff voor radiografie bereikte Claude de hoogste nauwkeurigheid (73,3%), gevolgd door Gemini (64,4%), specialisten (57,4%), ChatGPT (55,6%) en niet-specialisten (44,0%). Specialisten presteerden significant beter dan niet-specialisten (P<0,001).
  • Bij de conventionele −2,5 cutoff werd geen significant verschil gevonden tussen specialisten en niet-specialisten voor radiografie, hoewel specialisten significant nauwkeuriger waren voor CT-beelden (P<0,001).
  • AI-modellen vertoonden breed vergelijkbare nauwkeurigheid met specialisten in beschrijvende vergelijkingen voor CT-beelden.
• Impact van Prompting:
  • Nauwkeurigheid: Few-shot prompting verbeterde de diagnostische nauwkeurigheid niet consistent voor noch voor artsen, noch voor AI-modellen. Veranderingen varieerden per model en conditie, variërend van een afname van 24,4 procentpunt tot een toename van 11,1 procentpunt.
  • Reproduceerbaarheid: Few-shot prompting verbeterde de intra-model reproduceerbaarheid in verschillende modellen, het meest opvallend bij Claude (κ steeg van 0,543 naar 0,855 voor radiografie). Deze dissociatie tussen verbeterde consistentie en onveranderde nauwkeurigheid was een kernbevinding.
• Mens-AI Complementariteit:
  • De "OR"-regel (combinatie van specialist en Claude) verhoogde de sensitiviteit voor radiografie bij de −1,0 cutoff van 66,7% naar 80,0% en voor CT van 83,3% naar 90,0%, hoewel de specificiteit afnam.
  • De error-rescue analyse bevestigde gedeeltelijk niet-overlappende fouten: Claude classificeerde 40–50% van de fout-negatieve gevallen van specialisten correct, en specialisten corrigeerden een deel van de fouten van Claude.

Belangrijkste Bijdragen

1. Vergelijkende Prestaties: De studie levert direct bewijs dat geselecteerde generatieve AI-modellen een diagnostische prestatie kunnen leveren die vergelijkbaar is met, of onder bepaalde omstandigheden superieur aan, die van artsen voor opportunistische osteoporose-screening met lumbale beeldvorming.
2. Effecten van Prompting: Het toont aan dat few-shot prompting de diagnostische nauwkeurigheid niet gegarandeerd verbetert, maar de intra-model reproduceerbaarheid (consistentie) aanzienlijk kan verhogen, een cruciale factor voor integratie in de klinische workflow.
3. Complementariteit: Het onderzoek biedt kwantitatief bewijs van diagnostische complementariteit, waarbij wordt aangetoond dat menselijke en AI-fouten gedeeltelijk niet-overlappend zijn. Dit suggereert dat het combineren van oordelen het aantal gemiste gevallen (fout-negatieven) zou kunnen verminderen in screeningsscenario's, zij het ten koste van een toename van fout-positieven.
4. Modelvariabiliteit: De bevindingen benadrukken de substantiële variabiliteit in prestaties en reproduceerbaarheid tussen verschillende generatieve AI-modellen, wat aangeeft dat zij niet uitwisselbare diagnostische instrumenten zijn.

Betekenis en Claims
Het artikel concludeert dat generatieve AI moet worden beschouwd als een potentieel beslissingsondersteunend instrument in plaats van een autonoom systeem voor opportunistische osteoporose-screening. De auteurs stellen dat hoewel AI artsen niet universeel overtreft, de mogelijkheid om complementaire diagnostische oordelen te geven kan helpen bij het identificeren van patiënten die een formele BMD-beoordeling vereisen, waardoor het probleem van onderdiagnose wordt aangepakt.

De studie benadrukt dat de klinische waarde van generatieve AI ligt in de integratie ervan in klinische workflows naast het oordeel van de arts. De auteurs waarschuwen dat eenvoudige combinatie-regels een afweging inhouden tussen sensitiviteit en specificiteit en dat de schijnbaar complementaire effecten prospectieve validatie in onafhankelijke cohorten vereisen. Bovendien merken zij op dat verbeterde reproduceerbaarheid via few-shot prompting niet noodzakelijkerwijs gelijkstaat aan verbeterde diagnostische validiteit, wat onderstreept dat nauwkeurigheid en consistentie als afzonderlijke dimensies van AI-prestaties moeten worden geëvalueerd.