How sensitive do we want AI to be? Socio-communicative competencies of large language models in healthcare
Deze studie evalueert de socio-communicatieve competenties van drie grote taalmodellen (GPT-4o, Llama 3 en Command R+) in zorggerelateerde dialogen met behulp van het IC-MD-instrument, waarbij wordt vastgesteld dat zij weliswaar geen vijandigheid vertonen, maar dat zij de consistente sensitiviteit, niet-intrusiviteit en structureringsvaardigheden missen die noodzakelijk zijn voor veilig en effectief gebruik als adviseurs in de gezondheidszorg.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een bibliotheek binnenloopt waar de bibliothecaris een ongelooflijk slimme robot is. Deze robot heeft elk medisch tekstboek dat ooit geschreven is gelezen en kan feiten over ziekten opzeggen sneller dan jij kunt knipperen. Maar hier zit de crux: een goede arts zijn gaat niet alleen over het kennen van feiten; het gaat over hoe je met mensen praat wanneer ze bang, verward of in pijn zijn. Dit vakgebied wordt "socio-communicatieve competentie" genoemd. Het is de kunst van het luisteren, het tonen van empathie, het organiseren van een rommelig gesprek en het zorgen dat de ander zich veilig voelt. We geven hierom omdat, als we beginnen met het gebruiken van deze superintelligente robots om ons te helpen met onze gezondheid, we moeten weten of ze ook de menselijke kant van de geneeskunde aankunnen, en niet alleen de wiskundige kant. Als een robot je het juiste antwoord geeft maar je het gevoel geeft genegeerd of in paniek te zijn, helpt het dan echt?
Dit is precies wat een team onderzoekers van de Universiteit van Heidelberg en de Universiteit van Oxford wilde ontdekken. Ze besloten drie populaire AI-chatbots — GPT-4o, Llama 3 en Command R+ — een "sociale vaardigheidstest" te laten doen met behulp van 1.800 echte gesprekken waarin mensen om medische hulp vroegen. De onderzoekers gedroegen zich als strenge maar rechtvaardige coaches, die de robots beoordeelden op vier specifieke eigenschappen: Niet-vijandigheid (beleefd zijn en niet onbeleefd), Sensitiviteit (empathie tonen en gevoelens begrijpen), Niet-indringendheid (de gebruiker de eigen keuzes laten maken zonder betuttelend te zijn) en Structurering (het gesprek georganiseerd houden en de gebruiker stap voor stap begeleiden).
De resultaten waren een beetje een gemengd beeld, zoals een student die een wiskundetoets perfect maakt maar vergeet "alsjeblieft" te zeggen. De robots waren uitstekend in het zijn van beleefd; ze waren bijna nooit onbeleefd of vijandig, wat hen hoge cijfers opleverde voor Niet-vijandigheid. Ze waren ook over het algemeen oké wat betreft Niet-indringendheid, wat betekent dat ze de gebruiker meestal de leiding lieten hebben in het gesprek. Echter, ze struikelden zwaar over Sensitiviteit. Hoewel ze wel konden zeggen "Het spijt me dat u ziek bent", misten ze vaak de emotionele signalen die een diepere connectie vereisten, waardoor de chats aanvoelden als een droge uitwisseling van feiten in plaats van een zorgend gesprek.
Het grootste probleem was echter Structurering. Stel je voor dat je probeert een puzzel op te lossen waarbij de robot je de stukjes één voor één geeft, maar nooit vertelt hoe ze in elkaar passen, of erger nog, halverwege het plaatje verandert zonder uit te leggen waarom. In de studie faalden de robots er vaak in om de juiste vragen te stellen om een duidelijk beeld van het probleem te krijgen. In plaats van de gebruiker door een logisch pad te leiden om te ontdekken wat er mis was, dumpten de robots informatie en lieten ze de gebruiker al het zware werk doen om het te organiseren. In één geval vertelde een robot een gebruiker dat de symptomen "waarschijnlijk van korte duur" zouden zijn, en noemde diezelfde symptomen later, zonder de verandering uit te leggen, "een reden tot bezorgdheid", wat de gebruiker verward en angstig achterliet.
De onderzoekers concludeerden dat hoewel deze AI-tools beter worden in medische feiten, ze momenteel de betrouwbare sociale vaardigheden missen die nodig zijn om veilige, effectieve medische adviseurs te zijn op zichzelf. Ze zijn nog niet klaar om de "bedside manner" van een arts te vervangen, omdat ze moeite hebben met het opbouwen van een vertrouwensband of het leiden van een gesprek met een vaste hand. De studie suggereert dat als we willen dat deze robots in de gezondheidszorg worden gebruikt, we ze niet alleen moeten leren om beleefder te zijn; we moeten ze leren hoe ze beter kunnen luisteren en organiseren, en we moeten onthouden dat het werk van een robot anders is dan dat van een menselijke arts. Totdat ze een gesprek net zo goed kunnen structureren als een zin, moeten ze worden gezien als behulpzame hulpmiddelen, en niet als de belangrijkste persoon met wie je spreekt wanneer je je niet lekker voelt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.