High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

Technische Samenvatting: Cross-sectionele Evaluatie van ChatGPT bij Pathologische Fracturen bij Plasmacytoom

Probleemstelling
Large Language Models (LLM's) worden steeds vaker door patiënten gebruikt om toegang te krijgen tot medische informatie; echter blijft hun prestatie in complexe, multidisciplinaire oncologische scenario's ondergewaardeerd. Hoewel eerdere studies de AI hebben beoordeeld binnen single-specialty kaders, bestaat er een gat in het begrip van hoe deze modellen omgaan met de gecoördineerde besluitvorming die vereist is bij pathologische fracturen geassocieerd met plasmacytomen (bijv. solitair plasmacytoom en multipel myeloom). Deze aandoeningen vereisen een complexe samenwerking tussen orthopedisch chirurgen en radiotherapeuten met betrekking tot chirurgische stabilisatie, de timing van radiotherapie en de volgorde van behandeling. De studie adresseert de noodzaak om te bepalen of door AI gegenereerde antwoorden accuraat en consistent kunnen inspelen op patiëntgerichte vragen over deze uiteenlopende klinische domeinen.

Methodologie
Deze cross-sectionele studie evalueerde de prestaties van ChatGPT-5.1 (OpenAI) met behulp van een gestructureerd kader:

• Vraaggeneratie: Een multidisciplinair panel van vier senior specialisten (twee orthopedisch chirurgen en twee radiotherapeuten, elk met >20 jaar ervaring) ontwikkelde 25 patiëntgerichte vragen. Deze waren afgeleid van real-world poliklinische consulten en tumorboard-discussies, en gecategoriseerd in vijf domeinen: (1) Diagnose en Begrip, (2) Chirurgische Stabilisatie, (3) Radiotherapie, (4) Behandelvolgorde, en (5) Herstel en Follow-up.
• Antwoordgeneratie: Vragen werden individueel aan de AI voorgelegd via een gestandaardiseerde neutrale prompt ("Beantwoord de volgende vraag op een manier die een patiënt gemakkelijk kan begrijpen") in aparte tijdelijke chatsessies om geheugeneffecten te minimaliseren. Alleen het eerste gegenereerde antwoord werd geregistreerd.
• Evaluatie: Vier deskundige artsen (hetzelfde panel) evalueerden de antwoorden onafhankelijk aan de hand van een 5-puntige Likert-schaal over vijf criteria: Wetenschappelijke Accuraatheid, Informatieve Volledigheid, Patiëntbegrijpelijkheid, Klinische Relevantie en Actualiteit van Informatie. Evaluatoren waren voor elkaars beoordelingen geblindeerd.
• Statistische Analyse: Inter-beoordelaarbetrouwbaarheid werd beoordeeld met behulp van Intraclass Correlation Coefficients (ICC) gebaseerd op een two-way random-effects model. Verschillen tussen evaluatoren en criteria werden geanalyseerd met de Friedman-toets. Leesbaarheid werd beoordeeld met Flesch–Kincaid metrieken.

Belangrijkste Resultaten

• Algemene Prestaties: De AI behaalde een hoge gemiddelde score van 21,90 ± 0,83 van de 25, wat wijst op een over het algemeen hoge prestatie in nauwkeurigheid en helderheid.
• Variabiliteit per Domein: De prestaties waren het hoogst in "Diagnose en Begrip" (22,55 ± 0,62) en "Radiotherapie" (22,15 ± 0,74). Iets lagere scores werden waargenomen in multidisciplinaire domeinen die complexe redenering vereisen, specif kinderlijk "Chirurgische Stabilisatie" (21,60 ± 0,72) en "Behandelvolgorde" (21,65 ± 0,42).
• Evaluatiecriteria: "Patiëntbegrijpelijkheid" ontving consequent de hoogste scores (tot 4,80 ± 0,21), terwijl "Informatieve Volledigheid" consequent het laagst beoordeelde criterium was (gemiddeld ≈ 3,95), met name in chirurgische en sequentiële contexten. Dit suggereert dat reacties duidelijk zijn, maar mogelijk een gebrek aan technische diepgang hebben.
• Inter-beoordelaarbetrouwbaarheid: De overeenstemming tussen de deskundige evaluatoren was over het algemeen laag, met ICC-waarden variërend van negatief tot matig. Opvallend genoeg werden negatieve ICC-waarden waargenomen in "Chirurgische Stabilisatie" en "Behandelvolgorde", wat aangeeft dat de oordelen van de evaluatoren aanzienlijk uiteenliepen, vaak boven de kansverwachting uit.
• Leesbaarheid: Het Flesch–Kincaid Grade Level werd berekend op 8,05, wat overeenkomt met een leesniveau van de 10e tot 12e klas.

Belangrijkste Bijdragen

1. Multidisciplinair Kader: In tegen tegenstelling tot eerdere single-specialty evaluaties, heeft deze studie expliciet de AI-prestaties getest op het snijvlak van orthopedische chirurgie en radiotherapie, waarbij wordt benadrukt hoe disciplinaire verwachtingen de beoordeling van AI-output beïnvloeden.
2. Identificatie van Variabiliteit als Kenmerk: De studie herkadert de geobserveerde lage inter-beoordelaarbetrouwbaarheid niet louter als een statistisch gebrek, maar als een reflectie van de inherente complexiteit en contextafhankelijkheid van multidisciplinaire klinische oordeelsvorming. De divergentie in scoring onderstreept dat "klinische adequaatheid" verschillend wordt geïnterpreteerd door verschillende specialismen.
3. Differentiatie van Capaciteiten: Het onderzoek maakt een duidelijk onderscheid tussen de kracht van de AI in het synthetiseren van algemene, patiëntvriendelijke informatie en de relatieve zwakte in het bieden van de genuanceerde, actiegerichte diepgang die vereist is voor complexe behandelvolgorde en chirurgische besluitvorming.

Betekenis en Claims
Het artikel concludeert dat hoewel ChatGPT heldere, over het algemeen accurate en patiëntvriendelijke reacties genereert die geschikt zijn voor algemene educatie en conceptuele uitleg, het momenteel functioneert als een "generalistische uitlegger" in plaats van een "specialistisch besluitvormingsinstrument". De auteurs stellen dat AI in de context van pathologische fracturen bij plasmacytomen moet worden beschouwd als een aanvullend informatiemiddel om de patiëntgeletterdheid te ondersteunen, maar dat het onvoldoende is om het deskundige klinische oordeel in complexe multidisciplinaire scenario's te vervangen. De studie benadrukt dat de variabiliteit in deskundige evaluatie de realiteit van de complexiteit van multidisciplinaire zorg weerspiegelt, wat suggereert dat toekomstige AI-integratie rekening moet houden met deze specialisme-specifieke nuances in plaats van te vertrouwen op een enkele samengestelde score van prestaties.