Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
Deze geblindeerde multi-rater benchmarkstudie evalueerde vier grote taalmodellen op basis van AAOS-richtlijngebaseerde vragen met betrekking tot knieartrose en totale knieprothese, waarbij werd vastgesteld dat hoewel GPT de hoogste algehele kwaliteit en consistentie vertoonde, de prestatieranking varieerde per evaluatiedomein en gevoelig was voor de gebruikte statistische methoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer iemand te maken krijgt met een pijnlijke, stijve knie, is de weg naar verlichting vaak geplaveid met complex medisch advies. Artsen vertrouwen op gevestigde richtlijnen om te beslissen of een patiënt fysieke therapie moet proberen, medicatie moet nemen of een operatie voor het vervangen van het gewricht moet ondergaan. Deze regels zijn gebouwd op jaren van onderzoek en zijn ontworpen om patiënten veilig te houden terwijl ze de beste kans op herstel bieden. In de afgelopen jaren hebben mensen steeds vaker de kunstmatige intelligentie geraadpleegd om deze informatie begrijpelijk te maken, waarbij ze computerprogramma's vragen om behandelopties, risico's en hersteltijden in eenvoudige taal uit te leggen. Echter, alleen omdat een computer vloeiend spreekt, betekent dit niet dat hij de waarheid spreekt of consistent blijft. Als een machine telkens een ander antwoord geeft wanneer je dezelfde vraag stelt, of als het vol vertrouwen een behandeling voorstelt die experts als gevaarlijk beschouwen, wordt het hulpmiddel een bron van verwarring in plaats van hulp.
Een team van onderzoekers in China begon te testen hoe goed vier verschillende systemen van kunstmatige intelligentie deze cruciale medische vragen afhandelen. Ze richtten zich op knieartrose en totale knievervanging, twee van de meest voorkomende aandoeningen die door orthopedisch chirurgen worden behandeld. Het team stelde de computers niet simpelweg om hun meningen; ze creëerden een rigoureuze test gebaseerd op officiële richtlijnen van de American Academy of Orthopaedic Surgeons. Ze schreven vierentwintig specifieke vragen die alles beslaan, van niet-chirurgische behandelingen zoals gewichtsverlies en lichaamsbeweging tot chirurgische details over het beheersen van risico's tijdens een operatie. Om een eerlijke test te garanderen, vroegen ze elk van de vier AI-modellen om elke vraag drie afzonderlijke keren te beantwoorden, waarbij elk poging werd behandeld als een nieuw gesprek zonder geheugen van de vorige interactie. Deze aanpak stelde hen in staat om niet alleen te zien of de antwoorden correct waren, maar ook of de machines erop vertrouwd konden worden om steeds weer hetzelfde betrouwbare advies te geven.
De gegenereerde antwoorden van de computers werden vervolgens overhandigd aan acht menselijke experts die gespecialiseerd zijn in knieaandoeningen en gewrichtschirurgie. Deze artsen en specialisten lazen de reacties zonder te weten welke computer ze had geschreven. Ze beoordeelden elk antwoord op een schaal van één tot vijf op basis van vier belangrijke kwaliteiten: hoe relevant het antwoord was voor de vraag, hoe medisch accuraat het was, hoe gemakkelijk het te begrijpen was en of het veilig was. Veiligheid was een groot punt van zorg, wat betekende dat de experts keken of de computer gevaarlijk advies vermeed of belangrijke risico's naliet te vermelden. De experts gaven ook een aparte score voor consistentie, waarbij ze beoordeelden of de drie antwoorden van dezelfde computer voor dezelfde vraag in essentie hetzelfde verhaal waren of dat ze elkaar tegenstreden.
De resultaten toonden aan dat de vier systemen van kunstmatige intelligentie verschillend presteerden, en geen enkel systeem de duidelijke winnaar was in elke categorie. Eén model, bekend als GPT, produceerde de hoogste algemene scores. Het was bijzonder sterk in het verstrekken van accurate medische informatie, het bij het onderwerp blijven en het opnemen van noodzakelijke veiligheidswaarschuwingen. Een ander model, DeepSeek, scoorde iets lager op algemene kwaliteit, maar werd door de experts beoordeeld als het meest begrijpelijk, wat betekent dat de taal het duidelijkst en het makkelijkst te volgen was. De andere twee modellen, ERNIE en Kimi, ontvingen lagere scores over de hele linie, met name op het gebied van nauwkeurigheid en veiligheid. De studie vond dat de kloof tussen de beste presteerder en de op één na beste klein was en afhing van hoe de gegevens werden geanalyseerd, wat suggereert dat hoewel één machine een lichte voorsprong kan hebben, het verschil geen massief, onwrikbaar feit is.
Misschien wel even belangrijk als de kwaliteit van de antwoorden, was de consistentie van de machines. De onderzoekers vonden dat de top twee modellen veel beter waren in het geven van hetzelfde antwoord wanneer ze drie keer achter elkaar dezelfde vraag kregen. Het leidende model was het meest consistent, gevolgd door het op één na beste model. De andere twee systemen waren eerder geneigd van mening te veranderen of hun advies tussen de pogingen door aan te passen. Dit is van belang omdat een patiënt die vandaag om advies vraagt, morgen een ander antwoord kan krijgen als hij een minder stabiel systeem gebruikt, wat kan leiden tot verwarring of slechte besluitvorming. De experts merkten op dat hoewel de computers over het algemeen goed waren in het uitleggen van de richtlijnen, ze niet perfect waren, en dat hun prestaties varieerden afhankelijk van of de vraag over niet-chirurgische zorg of over de details van chirurgie ging.
De studie concludeert dat hoewel deze instrumenten van kunstmatige intelligentie veelbelovend zijn voor het helpen van patiënten bij het begrijpen van hun kniecondities, ze nog niet klaar zijn om het oordeel van een arts te vervangen. De best presterende modellen boden hoogwaardige, veilige en duidelijke informatie, maar de verschillen tussen hen waren subtiel en specifiek voor bepaalde sterktes. De ene machine kan beter zijn in feiten, terwijl een andere beter is in duidelijke taal. De onderzoekers benadrukten dat deze bevindingen weerspiegelen hoe de computers presteerden op een schriftelijke test en niet bewijzen dat het gebruik ervan de werkelijke gezondheid of het herstel van een patiënt zal verbeteren. Voor nu is de meest betrouwbare aanpak om deze tools te beschouwen als behulpzame assistenten die een startpunt voor een gesprek kunnen bieden, maar waarvan het advies altijd gecontroleerd moet worden door een medische professional voordat er beslissingen over de behandeling worden genomen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.