Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Een door experts gebaseerde beoordeling die ChatGPT en Gemini vergeleek voor postoperatieve tonsillectomie-educatie in het Turks, vond geen statistisch significant verschil in de algehele kwaliteit of veiligheid tussen beide modellen, wat de noodzaak onderstreept van klinische beoordeling voordat door AI gegenereerde patiëntinformatie wordt gebruikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar ondergaan miljoenen mensen een tonsillectomie, een veelvoorkomende operatie om de amandelen achter in de keel te verwijderen. Hoewel de procedure routinematig is, is het herstel vaak moeilijk. Patiënten worden wakker met aanzienlijke pijn, problemen met slikken en een constante zorg over bloedingen of uitdroging. Omdat het grootste deel van dit herstel thuis plaatsvindt, vertrouwen families op duidelijke instructies om te weten wat normaal is en wanneer ze een arts te hulp moeten roepen. In de afgelopen jaren hebben velen zich tot kunstmatige intelligentietools gericht om deze antwoorden direct te krijgen. Deze computerprogramma's, bekend als grote taalmodellen, kunnen gesprekken voeren en tekst genereren die heel menselijk klinkt. Ze beloven vierentwintig uur per dag beschikbaar te zijn om medische termen uit te leggen of advies te geven. Maar omdat deze programma's antwoorden genereren op basis van patronen in data in plaats van een diep begrip van de geneeskunde, bestaat het risico dat ze advies geven dat verwarrend, verouderd of zelfs gevaarlijk is. De vraag die artsen en patiënten bezighoudt is simpel: kunnen we deze machines vertrouwen om een familie door een moeilijk herstel te begeleiden, of hebben ze een menselijke expert nodig om hun werk te controleren?
Om dit te beantwoorden, heeft een team van onderzoekers in Turkije een zorgvuldige test opgezet waarbij twee van de meest geavanceerde beschikbare systemen voor kunstmatige intelligentie werden gebruikt: ChatGPT en Gemini. Ze stelden de computers niet voor willekeurige vragen. In plaats daarvan begonnen ze met echte mensen. De onderzoekers verzamelden vragen van veertig patiënten die onlangs hun amandelen hadden laten verwijderen. Deze patiënten schreven precies op wat ze wilden weten over hun herstel, variërend van pijnbestrijding en dieet tot wanneer ze medische hulp in noodsituaties moesten zoeken. Een panel van tien deskundige artsen verfijnde deze vervolgens tot vijftien heldere vragen in het Turks. Op een enkele dag vroegen de onderzoekers aan zowel ChatGPT als Gemini om deze vijftien vragen te beantwoorden. De computers genereerden hun reacties en de onderzoekers sloegen deze exact op zoals ze verschenen, zonder een enkel woord te veranderen.
Vervolgens lieten de onderzoekers zestien verschillende specialisten in keel-, neus- en oorheelkunde optreden als rechters. Deze artsen wisten niet welk computerprogramma welk antwoord had geschreven. Ze zagen simpelweg twee sets reacties, gelabeld als slechts "Antwoord A" en "Antwoord B". Elke arts las de antwoorden op alle vijftien vragen en beoordeelde ze op vier specifieke zaken: hoe wetenschappelijk accuraat de informatie was, of het advies gepast was voor een echte patiënt, hoe gemakkelijk het te begrijpen was en, het belangrijkste, of het antwoord veilig was of dat het iets bevatte dat een patiënt misleidend tot schade zou kunnen brengen. De artsen gaven een score van één tot vijf voor elke categorie, waarbij vijf de best mogende beoordeling was. In totaal verzamelde het team bijna tweeduizend individuele beoordelingen om de twee systemen zij aan zij te vergelijken.
De resultaten toonden aan dat beide programma's voor kunstmatige intelligentie over het algidelijk goed presteerden. Ze leverden informatie die over het algemeen accuraat en klinisch gepast was, en kregen hoge cijfers voor het juist weergeven van de medische feiten. Wanneer de onderzoekers naar de totale scores keken, ontving ChatGPT een iets hogere gemiddelde beoordeling dan Gemini, maar het verschil was zo klein dat het gemakkelijk door toeval had kunnen gebeien. In feite waren de twee programma's in de specifieke categorieën bijna identiek in hun vermogen om correcte medische feiten te verstrekken. Geen van beide systemen bleek duidelijk beter te zijn dan het andere op een manier die de data met zekerheid kon bevestigen. Het onderzoek vond geen bewijs dat het ene model superieur was aan het andere voor deze specifieke taak.
Een nadere blik onthulde echter een belangrijker verhaal over veiligheid. Beide programma's ontvingen hun laagste scores in de categorie patiëntveiligheid. Dit betekent dat hoewel de antwoorden vaak feitelijk juist waren, de experts nog steeds potentiële risico's opmerkten, zoals het missen van waarschuwingen over bloedingen of het geven van vaag advies over medicatie. Hoewel ChatGPT iets hoger scoorde dan Gemini op het gebied van veiligheid, was het verschil niet significant genoeg om het de veiligere keuze te verklaren. De experts merkten ook op dat de artsen het niet altijd met elkaar eens waren bij het beoordelen van veiligheid, wat suggereert dat het opsporen van een verborgen gevaar in een paragraaf tekst zelfs voor professionals moeilijk is. Dit gebrek aan perfecte overeenstemming benadrukt dat veiligheid een complexe beoordeling is, en niet slechts een eenvoudige controle van feiten.
De studie concludeert dat hoewel deze instrumenten voor kunstmatige intelligentie indrukwekkend zijn en nuttige informatie kunnen genereren, ze nog niet klaar zijn om het advies van een arts te vervangen. Het feit dat beide systemen lagere veiligheidsscores ontvingen, suggereert dat een menselijke expert de informatie altijd moet controleren voordat deze aan een patiënt wordt gegeven. Het onderzoek toont niet aan dat het ene programma de duidelijke winnaar is, noch bewijst het dat ze veilig genoeg zijn om zelfstandig te gebruiken. In plaats daarvan suggereert het dat deze hulpmiddelen het beste werken als assistenten die een conceptversie van informatie leveren, die een medisch professional vervolgens controleert en corrigeert. Totdat de technologie verbeterd is tot het punt waarop het consistent alle potentiële risico's kan identificeren en vermijden zonder menselijke hulp, blijft de veiligste weg voor patiënten een gesprek met hun eigen arts.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.