How sensitive do we want AI to be? Socio-communicative competencies of large language models in healthcare
Diese Studie evaluiert die sozio-kommunikativen Kompetenzen von drei großen Sprachmodellen (GPT-4o, Llama 3 und Command R+) in Gesundheitsdialogen unter Verwendung des IC-MD-Instruments und stellt fest, dass sie zwar Nicht-Hostilität aufweisen, es ihnen jedoch an der konsistenten Sensibilität, Nicht-Intrusivität und den Strukturierungsfähigkeiten mangelt, die für eine sichere und effektive Nutzung als Gesundheitsberater notwendig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine Bibliothek, in der der Bibliothekar ein unglaublich intelligenter Roboter ist. Dieser Roboter hat jedes jemals geschriebene medizinische Lehrbuch gelesen und kann Fakten über Krankheiten rezitieren, schneller als Sie blinzeln können. Aber hier ist der Haken: Ein guter Arzt zu sein, bedeutet nicht nur, Fakten zu kennen; es geht darum, wie man mit Menschen spricht, wenn diese verängstigt, verwirrt oder in Schmerz sind. Dieses Studienfeld wird „sozio-kommunikative Kompetenz“ genannt. Es ist die Kunst des Zuhörens, des Zeigens von Empathie, des Strukturierens eines ungeordneten Gesprächs und des Gebens von Sicherheit. Wir kümmern uns darum, weil wir wissen müssen, ob diese Roboter den menschlichen Aspekt der Medizin bewältigen können, nicht nur den mathematischen, wenn wir anfangen, diese superintelligenten Roboter zur Unterstützung unserer Gesundheit einzusetzen. Wenn ein Roboter Ihnen die richtige Antwort gibt, Sie aber gleichzeitig das Gefühl gibt, ignoriert oder in Panik versetzt zu werden – hilft er dann wirklich?
Genau das wollten ein Team von Forschern der Universität Heidelberg und der Universität Oxford herausfinden. Sie beschlossen, drei populäre KI-Chatbots – GPT-4o, Llama 3 und Command R+ – durch einen „Sozialkompetenz-Test“ zu schicken, indem sie 1.800 echte Gespräche analysierten, in denen Menschen medizinische Hilfe suchten. Die Forscher agierten wie strenge, aber faire Trainer und bewerteten die Roboter nach vier spezifischen Merkmalen: Nicht-Hostilität (höflich zu sein und nicht unhöflich zu sein), Sensibilität (Empathie zeigen und Gefühle verstehen), Nicht-Intrusivität (den Nutzer seine eigenen Entscheidungen treffen lassen, ohne herrisch zu sein) und Strukturierung (das Gespräch organisiert halten und den Nutzer Schritt für Schritt führen).
Die Ergebnisse waren ein wenig gemischt, wie ein Schüler, der die Mathearbeit mit Bestnoten besteht, aber vergisst, „Bitte“ zu sagen. Die Roboter waren exzellent darin, höflich zu sein; sie waren fast nie unhöflich oder feindselig und erhielten hohe Punktzahlen für Nicht-Hostilität. Sie waren auch im Allgemeinen ganz ordentlich bei der Nicht-Intrusivität, was bedeutete, dass sie den Nutzer meistens das Gespräch lenken ließen. Sie stolperten jedoch schwerlich bei der Sensibilität. Sie konnten zwar sagen „Es tut mir leid, dass Sie krank sind“, aber sie übersahen oft die emotionalen Hinweise, die eine tiefere Verbindung erforderten, wodurch die Chats eher wie ein trockener Austausch von Fakten als wie ein fürsorgliches Gespräch wirkten.
Das größte Problem war jedoch die Strukturierung. Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, bei dem der Roboter Ihnen die Teile einzeln reicht, aber nie sagt, wie sie zusammenpassen, oder schlimmer noch, mitten im Prozess das Bild ändert, ohne zu erklären, warum. In der Studie versäumten es die Roboter oft, die richtigen Fragen zu stellen, um ein klares Bild des Problems zu erhalten. Anstatt den Nutzer durch einen logischen Pfad zu führen, um herauszufinden, was nicht stimmte, lieferten die Roboter Informationen aus und überließen dem Nutzer die ganze schwere Arbeit der Organisation. In einem Fall sagte ein Roboter zu einem Nutzer, die Symptome seien „wahrscheinlich kurzlebig“, und nannte dieselben Symptome später, ohne die Änderung zu erklären, „einen Grund zur Besorgnis“, was den Nutzer verwirrte und verunsicherte.
Die Forscher kamen zu dem Schluss, dass diese KI-Werkzeuge zwar besser in medizinischen Fakten werden, ihnen derzeit aber die zuverlässigen sozialen Fähigkeiten fehlen, die für sich allein genommen sichere und effektive medizinische Berater wären. Sie sind noch nicht bereit, das „bedside manner“ (das zwischenmenschliche Geschick am Krankenbett) eines Arztes zu ersetzen, da sie Schwierigkeiten haben, eine Vertrauensbeziehung aufzubauen oder ein Gespräch mit einer stetigen Hand zu führen. Die Studie legt nahe, dass wir diese Roboter, wenn wir sie in der Gesundheitsversorgung nutzen wollen, nicht nur lehren müssen, höflicher zu sein; wir müssen sie lehren, bessere Zuhörer und Organisatoren zu sein, und wir müssen uns daran erinnern, dass die Aufgabe eines Roboters eine andere ist als die eines menschlichen Arztes. Bis sie lernen, ein Gespräch ebenso gut zu strukturieren wie einen Satz, sollten sie als hilfreiche Werkzeuge betrachtet werden, nicht als die Hauptperson, mit der man spricht, wenn man sich unwohl fühlt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.