Authority Signals in AI Cited Health Sources: A Framework for Evaluating Source Credibility in ChatGPT Responses
Diese Studie führt ein Authority Signals Framework ein, um die Glaubwürdigkeit von Quellen in den Gesundheitsantworten von ChatGPT zu bewerten, wobei festgestellt wurde, dass über 75 % der 615 zitierten Quellen in einer Stichprobe von 100 Fragen von etablierten institutionellen Organisationen anstelle von alternativen Gesundheitsinformationsanbietern stammen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, chaotische Bibliothek, in der der Bibliothekar ein unglaublich intelligenter Roboter namens ChatGPT ist. Sie fragen ihn: „Wie bekomme ich meine Kopfschmerzen weg?“ oder „Was verursacht Diabetes?“ Der Roboter rät nicht einfach nur; er rennt zu den Regalen, schnappt sich einen Stapel Bücher und liest diese, um Ihnen zu antworten.
Dieses Papier ist wie ein Detektivbericht, der untersucht, welche Bücher dieser Roboter tatsächlich aus dem Regal zieht und warum er sich für sie entscheidet.
Das Problem: Dem Bücherregal des Roboters vertrauen
Immer mehr Menschen fragen Roboter um Gesundheitsratschläge. Einige nutzen sie sogar, um sich selbst zu diagnostizieren. Das Problem ist, dass wir nicht immer wissen, ob der Roboter ein Buch von einem weltberühmten Arzt oder einen Flyer von jemandem ohne medizinische Ausbildung aufschlägt.
Die Autoren dieser Studie wollten eine „Vertrauens-Checkliste“ erstellen, um zu sehen, ob der Roboter die zuverlässigsten Quellen auswählt. Sie nannten diese Checkliste das Authority Signals Framework. Man kann sich das wie eine vierteilige Inspektion für jedes Buch vorstellen, das der Roboter aus dem Regal zieht:
- Wer hat es geschrieben? (Autoritätsnachweise/Credentials) – Steht ein Name eines Arztes auf dem Cover oder ist es anonym?
- Wer hat es veröffentlicht? (Institutionelle Zugehörigkeit) – Stammt es von einer berühmten Klinik wie der Mayo Clinic, einer Regierungsbehörde oder einem wahllosen Blog?
- Wie wurde es geprüft? (Qualitätssicherung) – Haben Experten die Fakten überprüft? Gibt es Verweise auf andere Studien? Sind die Informationen auf dem neuesten Stand?
- Wie findet der Roboter es? (Digitale Autorität) – Hat das Buch spezielle „digitale Etiketten“ (wie einen Barcode), die es dem Roboter leicht machen, es zu entdecken?
Die Untersuchung
Die Forscher agierten wie Bibliothekare. Sie nahmen 100 gängige Gesundheitsfragen (wie „Was sind die Symptome einer Grippe?“) und baten ChatGPT, diese zu beantworten. Dann untersuchten sie jede einzelne Website, die der Roboter in seinen Antworten zitierte. Insgesamt analysierten sie 615 verschiedene Quellen.
Was sie fanden: Die „Big Three“-Strategien
Die Studie ergab, dass der Roboter im Allgemeinen auf Nummer sicher geht, aber verschiedene Arten von Websites nutzen unterschiedliche Tricks, um Aufmerksamkeit zu erregen.
1. Die „Berühmte Namen“-Strategie (75 % der Zeit)
Die meiste Zeit (über 75 %) greift der Roboter zu Büchern von etablierten Institutionen. Dies sind die Schwergewichte: Mayo Clinic, Cleveland Clinic, der NHS, Wikipedia und staatliche Gesundheitsseiten.
- Die Analogie: Dies sind die Prominenten der Gesundheitswelt. Sie müssen nicht schreien oder auffällige Kostüme tragen, um Aufmerksamkeit zu erregen; ihr Ruf erledigt die Arbeit für sie. Selbst wenn sie nicht auf jeder einzelnen Seite einen Arztnamen oder die neuesten „digitalen Etiketten“ haben, vertraut der Roboter ihnen, weil sie berühmt und etabliert sind.
2. Die „Harte Arbeit“-Strategie (Kommerzielle Seiten)
Die verbleibenden Quellen waren hauptsächlich kommerzielle Gesundheitswebsites (wie Gesundheitsblogs oder Produktseiten). Diese Seiten haben nicht den berühmten Ruf eines Krankenhauses und müssen daher härter arbeiten, um die Aufmerksamkeit des Roboters zu gewinnen.
- Die Analogie: Dies sind die Underdogs, die versuchen, auf die Bühne zu gelangen. Um den Roboter zu gewinnen, tragen sie „digitale Kostüme“ (technische Tags namens Schema Markup), schreiben sehr lange, detaillierte Artikel und kleben große Aufkleber auf ihre Seiten mit der Aufschrift „Medizinisch geprüft“. Sie versuchen zu beweisen, dass sie genauso gut sind wie die berühmten Krankenhäuser, indem sie jedes Kästchen auf der Vertrauens-Checkliste abhaken.
3. Die „Frische“-Strategie (Praxis-Websites)
Einige Quellen waren Websites einzelner Ärzte oder kleiner Kliniken.
- Die Analogie: Diese Seiten verlassen sich darauf, das „frische Gemüse“ zu sein. Sie haben oft die aktuellsten Daten bei ihren Artikeln. Der Roboter scheint das zu schätzen, dass sie auf dem neuesten Stand sind, auch wenn sie nicht die größten Namen in der Bibliothek sind.
Die überraschenden Details
- Anonymität ist verbreitet: Bei etwa zwei Dritteln der Quellen konnte der Roboter nicht einmal feststellen, wer den Artikel geschrieben hatte. Es war kein Autorenname aufgeführt.
- Referenzen sind selten: Nur etwa 40 % der Quellen führten tatsächlich die Studien oder Daten auf, die sie zur Untermauerung ihrer Behauptungen verwendeten.
- **Der „KI-Faktor“: ** Als die Forscher prüften, ob der Inhalt von einem Menschen oder einer anderen KI geschrieben wurde, schien etwa 23 % der analysierten Inhalte KI-generiert zu sein.
Das Fazit
Die Studie kommt zu dem Schluss, dass ChatGPT sich derzeit hauptsächlich auf Ruhm und Reputation (institutionelle Autorität) verlässt, um seine Gesundheitsquellen auszuwählen. Er bevorzugt die „großen Namen“ gegenüber dem Rest.
Die Arbeit warnt jedoch davor, dass sich mit der Entwicklung des Internets kleinere oder kommerzielle Websites damit beginnen könnten, „Tricks“ anzuwenden (wie bessere digitale Tags oder sehr aktuelle Daten), um den Roboter dazu zu bringen, sie anstelle der vertrauenswürdigen Krankenhäuser auszuwählen. Diese Studie setzt einen „Baselinewert“ – eine Momentaufnahme der Bibliothek, wie sie heute ist – damit wir beobachten können, ob der Roboter in Zukunft andere Bücher auswählt.
Wichtiger Hinweis: Die Autoren betonen, dass es sich hierbei um ein Preprint (einen Entwurf) handelt, der noch nicht von Experten geprüft (peer-reviewed) wurde. Sie stellen zudem klar, dass diese Forschung nicht dazu verwendet werden sollte, tatsächliche medizinische Entscheidungen zu treffen. Sie ist lediglich eine Karte davon, wie der Roboter die Bibliothek derzeit liest.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.