ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

In de wereld van de veterinaire geneeskunde genereert het dagelijkse werk bij de zorg voor dieren een enorme oceaan aan informatie. Elke keer dat een hond wordt onderzocht, schrijft een dierenarts aantekeningen op over de symptomen, de resultaten van bloedtesten en de bevindingen van echo-onderzoeken. Deze gegevens worden in digitale systemen opgeslagen, maar de informatie daarin is vaak geschreven als vrije tekst, vergelijkbaar met een verhaal of een dagboekfragment. Hoewel deze narratieve stijl natuurlijk is voor artsen om te schrijven, is het voor computers moeilijk te lezen of voor onderzoekers om te analyseren. Om deze verhalen om te zetten in bruikbare gegevens voor wetenschappelijke studies — zoals het volgen van ziektepatronen of het begrijpen van hoe behandelingen werken — moet iemand eerst elke individuele aantekening lezen en specifieke feiten eruit halen, zoals een temperatuurmeting of een diagnose, en deze in een nette, georganiseerde tabel plaatsen. Dit proces, bekend als data-extractie, is essentieel voor de moderne wetenschap, maar wanneer dit met de hand wordt gedaan, is het traag, eentonig en gevoelig voor menselijke fouten.

Kunstmatige intelligentie is naar voren gekomen als een potentiële oplossing voor deze flessenhals. Specifiek zijn grote taalmodellen computerprogramma's die zijn getraind op enorme hoeveelheden tekst en die menselijke taal kunnen begrijpen en genereren. Deze hulpmiddelen beloven medische dossiers te lezen en de noodzakelijke feiten in seconden te extraheren, wat experts potentieel de ruimte geeft om zich op complexere taken te concentreren. Er blijft echter een kritische vraag bestaan: kunnen deze digitale hulpmiddelen het werk daadwerkelijk net zo goed doen als een getraind mens, of maken ze fouten die onderzoek kunnen ruïneren? Bovendien, hoe staan de mensen die deze hulpmiddelen uiteindelijk zullen gebruiken, zoals toekomstige dierenartsen, tegenover het uitbesteden van dit werk aan een machine? Om deze vragen te beantwoorden, voerden onderzoekers aan de Texas A&M University een directe vergelijking uit tussen menselijke studenten en een systeem van kunstmatige intelligentie, waarbij ze niet alleen de snelheid en nauwkeurigheid van het werk maten, maar ook de gedachten en gevoelens van de betrokken studenten.

De studie richtte zich op tien tweedejaars veterinaire studenten die waren ingeschreven voor een cursus over kunstmatige intelligentie. De onderzoekers vroegen deze studenten om informatie te extraheren uit de medische dossiers van drie honden die verdacht werden van pancreatitis, een pijnlijke ontsteking van de alvleesklier. De studenten voerden deze taak twee keer uit. Eerst lazen ze de dossiers handmatig en vulden ze een spreadsheet in met drieënzestig verschillende gegevenspunten, variërend van de leeftijd en het gewicht van het dier tot specifieke laboratoriumwaarden en echoscopische beschrijvingen. Na een pauze van een maand om ervoor te zorgen dat ze niet simpelweg de antwoorden nog wisten, voerden dezelfde studenten exact dezelfde taak uit, maar dit keer gebruikten ze een chatbot, een type kunstmatige intelligentie, om hen te helpen. Ze kregen de instructie om de medische dossiers in de chatbot te plakken en de chatbot te vragen de gegevens te extraheren, waarbij zij de tijd per methode registreerden.

De resultaten toonden een dramatisch verschil in snelheid. Wanneer ze alleen werkten, deden de studenten er gemiddeld acht en een halve minuut over om de extractie voor één geval te voltooien. Bij het gebruik van de chatbot duurde het proces slechts vijftien seconden per geval. Dit betekent dat de kunstmatige intelligentie vierendertig keer sneller was dan de menselijke studenten. Ondanks dit enorme gat in snelheid, bleef de nauwkeurigheid van het werk opmerkelijk hoog voor beide methoden. De studenten behaalden een nauwkeurigheidspercentage van meer dan negentig procent, en de kunstmatige intelligentie evenaarde deze prestatie, eveneens met een nauwkeurigheid van meer dan negentig procent. Deze bevinding suggereert dat de snelheid van de machine niet ten koste ging van de kwaliteit; het hulpmiddel was in staat de informatie net zo betrouwbaar te verwerken als de getrainde studenten.

De aard van de fouten die door mensen en machines werden gemaakt, verschilde echter aanzienlijk. De studenten maakten vaker fouten gerelateerd aan vermoeidheid en herhaling, zoals het onjuist typen van een getal of het verkeerd uitlijnen van een rij met gegevens. Ze hadden ook moeite met ambigue beschrijvingen in de medische aantekeningen, waarbij ze soms informatie afleidden die niet expliciet werd vermeld. Als een dossier bijvoorbeeld melding maakte van een kleine hoeveelheid vocht maar niet expliciet "abnormaal" zei, kon een student de ernst ervan inschatten, terwijl de kunstmatige intelligentie de neiging had om conservatiever te zijn en zich strikt aan wat er geschreven stond te houden. Interessant genoeg maakte de kunstmatige intelligentie een ander soort fout: het faalde soms in het opvolgen van strikte formatteringinstructies, door een volledige zin terug te geven wanneer een eenvoudige code werd gevraagd. Hoewel het hulpmiddel de medische inhoud begreep, miste het af en toe de specifieke regels van de taak, een type fout dat bij de menselijke studenten niet voorkwam.

Buiten de cijfers om wilden de onderzoekers begrijpen hoe de studenten over het gebruik van deze technologie dachten. Via enquêtes en interviews uitten de studenten een duidelijke voorkeur voor de kunstmatige intelligentie. Ze beschreven het handmatige proces als mentaal uitputtend en repetitief, en merkten op dat het hulpmiddel hen hielp de cognitieve last te vermijden van het doorzoeken van lange, rommelige narratieven. De studenten hadden het gevoel dat de kunstmatige intelligentie de saaie, repetitieve delen van het werk kon afhandelen, waardoor zij zich konden concentreren op de complexere aspecten van klinische redenering. Toch was dit vertrouwen niet blind. De studenten benadrukten dat ze het werk dat door de machine was gedaan, nog steeds zouden moeten controleren. Ze erkenden dat hoewel het hulpmiddel efficiënt was, de uiteindelijke verantwoordelijkheid voor de gegevens en de medische beslissingen die daarop gebaseerd zijn, nog steeds bij de menselijke dierenarts lag.

De studie concludeert dat kunstmatige intelligentie een krachtige en efficiënte partner is voor het extraheren van gegevens uit veterinaire dossiers, in staat om op een snelheid te werken die mensen niet kunnen evenaren terwijl een hoge nauwkeurigheid behouden blijft. De technologie blinkt uit in het verminderen van de sleur van repetitieve taken, maar vervangt niet de noodzaak van menselijk toezicht. De studenten in de studie zagen de waarde in het integreren van deze hulpmiddelen in hun toekomstige carrières, mits ze worden gebruikt om menselijk oordeel te ondersteunen in plaats van te vervangen. Naarmate de veterinaire geneeskunde vooruitgaat, biedt de combinatie van menselijke expertise en kunstmatige snelheid een veelbelovend pad voor het beheren van de groeiende hoeveelheid medische gegevens, waardoor de verhalen in de dossiers kunnen worden omgezet in kennis die dieren overal helpt.