ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

In der Welt der Veterinärmedizin erzeugt die tägliche Arbeit bei der Pflege von Tieren eine riesige Flut an Informationen. Jedes Mal, wenn ein Hund untersucht wird, schreibt ein Tierarzt Notizen über seine Symptome, die Ergebnisse von Bluttests und die Befunde von Ultraschalluntersuchungen auf. Diese Aufzeichnungen werden in digitalen Systemen gespeichert, aber die Informationen darin sind oft als freier Fließtext verfasst, ähnlich wie eine Geschichte oder ein Tagebucheintrag. Während dieser narrative Stil für Ärzte natürlich zu schreiben ist, ist er für Computer schwer zu lesen oder für Forscher schwer zu analysieren. Um diese Geschichten in nützliche Daten für wissenschaftliche Studien zu verwandeln – etwa um Krankheitsmuster zu verfolgen oder zu verstehen, wie Behandlungen wirken – muss zuerst jemand jede einzelne Notiz lesen und spezifische Fakten, wie etwa einen Temperaturwert oder eine Diagnose, herausziehen und sie in eine ordentliche, strukturierte Tabelle übertragen. Dieser Prozess, bekannt als Datenextraktion, ist essenziell für die moderne Wissenschaft, aber wenn er von Hand durchgeführt wird, ist er langsam, mühsam und anfällig für menschliche Fehler.

Künstliche Intelligenz hat sich als potenzielle Lösung für diesen Engpass herausgestellt. Insbesondere große Sprachmodelle sind Computerprogramme, die auf massiven Mengen von Text trainiert wurden und in der Lage sind, menschliche Sprache zu verstehen und zu generieren. Diese Werkzeuge versprechen, medizinische Berichte zu lesen und die notwendigen Fakten in Sekundenschnelle herauszuziehen, was Experten potenziell dazu freimachen könnte, sich auf komplexere Aufgaben zu konzentrieren. Es bleibt jedoch eine entscheidende Frage: Können diese digitalen Werkzeuge die Aufgabe tatsächlich so gut erfüllen wie ein geschulter Mensch, oder machen sie Fehler, die die Forschung ruinieren könnten? Zudem stellt sich die Frage, wie die Menschen, die diese Werkzeuge letztendlich nutzen werden, wie etwa zukünftige Tierärzte, darüber denken, diese Arbeit an eine Maschine zu übergeben. Um diese Fragen zu beantworten, führten Forscher der Texas A&M University einen direkten Vergleich zwischen menschlichen Studenten und einem System der künstlichen Intelligenz durch, wobei sie nicht nur die Geschwindigkeit und Genauigkeit der Arbeit, sondern auch die Gedanken und Gefühle der beteiligten Studenten maßen.

Die Studie konzentrierte sich auf zehn Studenten des zweiten Studienjahres der Veterinärmedizin, die in einem Kurs über künstliche Intelligenz eingeschrieben waren. Die Forscher baten diese Studenten, Informationen aus den Krankenakten von drei Hunden zu extrahieren, bei denen der Verdacht auf Pankreatitis bestand, eine schmerzhafte Entzündung der Bauchspeicheldrüse. Die Studenten führten diese Aufgabe zweimal durch. Zuerst lasen sie die Unterlagen manuell und füllten eine Tabelle mit dreiundsechzig verschiedenen Datenpunkten aus, die von Alter und Gewicht des Tieres bis hin zu spezifischen Laborwerten und Ultraschallbeschreibungen reichten. Nach einer einmonatigen Pause, um sicherzustellen, dass sie die Antworten nicht einfach nur aus dem Gedächtnis abriefen, führten dieselben Studenten exakt dieselbe Aufgabe erneut durch, diesmal jedoch unter Verwendung eines Chatbots, einer Art von künstlicher Intelligenz, um ihnen zu helfen. Sie erhielten die Anweisung, die medizinischen Berichte in den Chatbot einzufügen und ihn mit der Extraktion der Daten zu beauftragen, wobei sie die Zeit für jede Methode aufzeichneten.

Die Ergebnisse zeigten einen dramatischen Unterschied in der Geschwindigkeit. Wenn sie alleine arbeiteten, benötigten die Studenten durchschnittlich acht und eine halbe Minuten, um die Extraktion für einen einzelnen Fall abzuschließen. Bei der Verwendung des Chatbots dauerte der Prozess nur fünfzehn Sekunden pro Fall. Das bedeutet, dass die künstliche Intelligenz fünfunddreißigmal schneller war als die menschlichen Studenten. Trotz dieser massiven Geschwindigkeitsdifferenz blieb die Genauigkeit der Arbeit für beide Methoden bemerkenswert hoch. Die Studenten erreichten eine Genauigkeitsrate von über neunzig Prozent, und die künstliche Intelligenz erreichte diese Leistung ebenfalls und lag ebenfalls bei über neunzig Prozent Genauigkeit. Dieser Befund deutet darauf an, dass die Geschwindigkeit der Maschine nicht zu Lasten der Qualität ging; das Werkzeug war in der Lage, die Informationen genauso zuverlässig zu verarbeiten wie die geschulten Studenten.

Die Art der Fehler, die Menschen und Maschinen machten, war jedoch sehr unterschiedlich. Die Studenten neigten zu Fehlern im Zusammenhang mit Ermüdung und Repetition, wie etwa das falsche Tippen einer Zahl oder das falsche Zuordnen einer Zeile in einer Tabelle. Sie hatten auch Schwierigkeiten mit mehrdeutigen Beschreibungen in den medizinischen Notizen und folgerten manchmal Informationen, die nicht explizit angegeben waren. Wenn beispielsweise in einem Bericht von einer geringen Menge an Flüssigkeit die Rede war, ohne explizit „abnormal“ zu sagen, könnte ein Student die Schwere der Lage vermutet haben, während die künstliche Intelligenz eher konservativ vorging und sich strikt an das Geschriebene hielt. Interessanterweise machte die künstliche Intelligenz eine andere Art von Fehler: Sie versäumte es manchmal, strikte Formatierungsvorschriften einzuhalten, indem sie beispielsweise einen ganzen Satz zurückgab, obwohl ein einfacher Code angefordert worden war. Während das Werkzeug den medizinischen Inhalt verstand, missachtete es gelegentlich die spezifischen Regeln der Aufgabe – eine Art von Fehler, die bei den menschlichen Studenten nicht auftrat.

Jenseits der Zahlen wollten die Forscher auch verstehen, wie die Studenten über den Einsatz dieser Technologie empfanden. Durch Umfragen und Interviews äußerten die Studenten eine klare Präferenz für die künstliche Intelligenz. Sie beschrieben den manuellen Prozess als geistig erschöpfend und repetitiv und merkten an, dass das Werkzeug ihnen half, die kognitive Belastung des Durchsuchens langer, ungeordneter Narrative zu vermeiden. Die Studenten hatten das Gefühl, dass die künstliche Intelligenz die langweiligen, repetitiven Teile der Arbeit bewältigen könne, was es ihnen erlaube, sich auf die komplexeren Aspekte der klinischen Argumentation zu konzentrieren. Dennoch war dieses Vertrauen nicht blind. Die Studenten betonten, dass sie die Arbeit der Maschine dennoch überprüfen müssten. Sie erkannten an, dass das Werkzeug zwar effizient sei, die letztendliche Verantwortung für die Daten und die auf ihnen basierenden medizinischen Entscheidungen jedoch weiterhin beim menschlichen Tierarzt liege.

Die Studie kommt zu dem Schluss, dass künstliche Intelligenz ein leistungsstarker und effizienter Partner für die Extraktion von Daten aus veterinärmedizinischen Akten ist, der in der Lage ist, in einer Geschwindigkeit zu arbeiten, die Menschen nicht erreichen können, während gleichzeitig eine hohe Genauigkeit gewahrt bleibt. Die Technologie zeichnet sich dadurch aus, die Mühsal repetitiver Aufgaben zu reduzieren, ersetzt jedoch nicht die Notwendigkeit menschlicher Aufsicht. Die Studenten der Studie sahen den Wert darin, diese Werkzeuge in ihre zukünftigen Berufe zu integrieren, sofern sie dazu genutzt werden, die menschliche Urteilskraft zu unterstützen, statt sie zu ersetzen. Während die Veterinärmedizin voranschreitet, bietet die Kombination aus menschlicher Expertise und künstlicher Geschwindigkeit einen vielversprechenden Weg, um das wachsende Volumen medizinischer Daten zu bewältigen und sicherzustellen, dass die Geschichten in den Akten in Wissen umgewandelt werden können, das Tieren überall hilft.