Errors in AI-Assisted Retrieval of Medical Literature: A Comparative Study
Die Studie zeigt, dass große Sprachmodelle bei der Suche nach medizinischer Fachliteratur häufig fehlerhafte Referenzen liefern, wobei die Genauigkeit je nach Plattform und Quelle erheblich variiert und eine sorgfältige Überprüfung der bibliografischen Daten unerlässlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Wenn KI-Bibliothekare halluzinieren: Eine Untersuchung zu Fehlern beim Suchen von medizinischen Artikeln
Stellen Sie sich vor, Sie beauftragen fünf verschiedene, extrem intelligente, aber noch sehr junge Bibliothekare, Ihnen eine Liste von zehn wichtigen Büchern zu einem bestimmten medizinischen Thema zu besorgen. Sie geben ihnen den Titel und eine kurze Zusammenfassung Ihres Themas. Die Aufgabe klingt einfach, oder? Doch was passiert, wenn diese Bibliothekare nicht nur Bücher suchen, sondern manchmal auch Bücher erfinden, deren Titel und Autoren sie sich einfach aus den Fingern saugen?
Genau das haben Jenny Gao und ihr Team in dieser Studie untersucht. Sie haben fünf der beliebtesten kostenlosen Künstlichen Intelligenzen (KI) – wie ChatGPT, Google Gemini und andere – getestet. Ihr Ziel war es, herauszufinden, wie gut diese digitalen Assistenten tatsächlich medizinische Fachartikel finden und ob die Daten (wie die ISBN-Nummer oder der Link zum Artikel) stimmen.
Das Experiment: Ein Testlauf im medizinischen Dschungel
Die Forscher wählten 40 echte, aktuelle medizinische Artikel aus vier der renommiertesten medizinischen Zeitschriften der Welt (BMJ, JAMA, Lancet und NEJM) aus. Dann gaben sie den KI-Bibliothekaren die Zusammenfassungen dieser Artikel und baten sie: „Finden Sie 10 relevante Referenzen dazu und geben Sie mir alle Details (Titel, Jahr, DOI-Nummer, Links)."
Das Ergebnis war eine Mischung aus Faszination und Schreck.
Die Ergebnisse: Ein wilder Ritt durch die Daten
Stellen Sie sich die Leistung der KI wie einen Wettkampf vor, bei dem es nicht um Geschwindigkeit, sondern um Genauigkeit geht.
- Die „Vollständige Pechsträhne": Fast in jeder zweiten Anfrage (47,8 %) lieferte die KI eine Referenz, die komplett falsch war. Das ist, als würde ein Bibliothekar Ihnen ein Buch geben, das es gar nicht gibt, oder ein Buch, das zwar existiert, aber völlig das falsche Thema hat.
- Der Gewinner und der Verlierer: Nicht alle KI-Modelle waren gleich schlecht.
- Grok war der „Klassenbeste". Er machte am wenigsten Fehler und lieferte die genauesten Daten.
- Google Gemini hingegen war der „Klassenletzte". Er halluzinierte am häufigsten. Bei Artikeln aus dem New England Journal of Medicine (NEJM) fand Gemini fast gar keine korrekten Daten.
- Das Journal-Problem: Interessanterweise hing der Erfolg auch davon ab, wo der ursprüngliche Artikel veröffentlicht wurde. Artikel aus dem NEJM waren für die KIs besonders schwer zu finden. Die Forscher vermuten, dass kürzere Zusammenfassungen (Abstracts) in diesen Zeitschriften den KI-Modellen weniger „Futter" geben, um die richtigen Bücher zu finden.
Was bedeutet das für uns?
Die Studie zeigt uns eine wichtige Wahrheit: KI ist wie ein sehr gut ausgebildeter, aber manchmal etwas verwirrter Assistent.
- Sie kann den Inhalt verstehen: Wenn Sie nach einem Thema fragen, weiß die KI oft, worum es geht. Sie findet oft Artikel, die thematisch passen.
- Aber sie lügt bei den Details: Das ist das Tückische. Die KI kann Ihnen einen Artikel empfehlen, der perfekt zum Thema passt, aber wenn Sie auf den Link klicken oder die Nummer nachschlagen, ist er nicht existent oder gehört einem ganz anderen Autor. Das nennt man „Referenz-Halluzination".
Die Lehre für den Alltag
Die Forscher geben uns drei einfache Ratschläge, wie wir mit diesen digitalen Assistenten umgehen sollten:
- Niemals blind vertrauen: Wenn eine KI Ihnen eine Liste von Quellen gibt, müssen Sie diese wie ein Detektiv überprüfen. Klicken Sie auf die Links, prüfen Sie die Nummern. Verlassen Sie sich nicht auf das, was auf dem Bildschirm steht.
- Mehrere Meinungen einholen: Da die KI-Modelle unterschiedlich gut sind, könnte es helfen, zwei oder drei verschiedene KIs zu fragen und die Ergebnisse zu vergleichen. Wenn alle drei denselben Link nennen, ist er vielleicht echt. Wenn einer einen unmöglichen Link liefert, wissen Sie, dass da etwas faul ist.
- Die KI als Werkzeug, nicht als Autorität: KI ist toll, um Ideen zu sammeln oder einen ersten Überblick zu bekommen. Aber sie sollte nicht der letzte Schritt sein, bevor man eine medizinische Entscheidung trifft oder eine wissenschaftliche Arbeit schreibt.
Fazit:
Die Zukunft der KI in der Medizin ist vielversprechend, aber aktuell ist sie noch nicht reif genug, um allein die Bibliothek zu verwalten. Sie ist wie ein junger Praktikant, der voller Energie ist, aber noch viel Anleitung braucht. Bis die KI lernt, nicht zu halluzinieren, müssen wir Menschen die Brille aufsetzen und genau hinsehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.