Attitudes and Perceptions Toward the Use of Artificial Intelligence Chatbots for Peer Review in Medical Journals: A Large-Scale, International Cross-Sectional Survey

Eine große internationale Umfrage unter medizinischen Peer-Reviewern zeigt, dass trotz hoher Bekanntheit von KI-Chatbots deren Einsatz im Begutachtungsprozess noch begrenzt ist und vor einer breiteren Implementierung ethische Bedenken sowie der Mangel an Schulungen adressiert werden müssen.

Das Wesentliche

Titel: Wenn Roboter das Korrekturlesen übernehmen: Was Ärzte und Forscher dazu denken

Stell dir vor, du hast einen riesigen Stapel mit wissenschaftlichen Artikeln vor dir, die wie komplexe Bauanleitungen für neue Medikamente oder Heilmethoden sind. Bevor diese Anleitungen veröffentlicht werden können, müssen erfahrene Experten sie genau durchlesen und prüfen, ob alles stimmt. Das nennt man „Peer Review" (das ist wie ein Qualitäts-Check von Kollegen).

Heutzutage gibt es neue digitale Helfer: Künstliche Intelligenz (KI) und Chatbots. Diese sind wie super-schnelle, aber manchmal etwas verwirrte Praktikanten, die dir beim Lesen helfen können. Sie können Grammatikfehler finden, prüfen, ob die Zitate stimmen, oder sogar auf methodische Schwachstellen hinweisen.

Aber die Frage ist: Trauen sich die Experten, diesen digitalen Praktikanten auch wirklich zu vertrauen?

Was haben die Forscher untersucht?

Ein großes Team hat eine Umfrage unter fast 1.300 medizinischen Experten gemacht. Sie haben sich vorgestellt, wie ein großer Festsaal voller Wissenschaftler ist, und jeden gefragt: „Kennt ihr diese KI-Helfer? Nutzt ihr sie schon? Und würdet ihr ihnen vertrauen, wenn es um eure wichtigste Arbeit geht?"

Die wichtigsten Entdeckungen (in einfachen Worten):

1. Die Bekanntheit ist riesig, die Nutzung aber klein:
   Fast alle Befragten (über 86 %) kennen diese KI-Tools und haben sie schon mal benutzt, um E-Mails zu schreiben oder Rezepte zu suchen. Aber wenn es darum geht, einen wissenschaftlichen Artikel zu prüfen? Da halten die meisten die Hände vor die Augen. Etwa 70 % haben die KI noch nie für die eigentliche Qualitätskontrolle eingesetzt. Es ist, als würde jeder einen Rasenmäher besitzen, aber niemand traut sich, damit den Rasen zu mähen, aus Angst, er könnte das Haus anfahren.

2. Niemand hat eine Anleitung:
   Die meisten Experten (fast 70 %) sagen: „Niemand hat uns beigebracht, wie man diese KI im Job richtig benutzt." Es ist wie ein neues Auto ohne Fahrlehrer. Man sitzt am Steuer, aber man weiß nicht genau, welche Knöpfe man drücken darf und welche nicht. Trotzdem wollen viele (über 60 %) gerne lernen, wie es geht.

3. Die Angst vor dem „Blindekuh-Spiel":
   Die größte Sorge ist die Fairness. Die Experten haben Angst, dass die KI Vorurteile hat (wie ein Richter, der nur bestimmte Leute mag). Fast 80 % befürchten, dass die KI Dinge falsch bewertet, weil sie auf verzerrten Daten trainiert wurde.
   Außerdem gibt es das Problem des Vertrauens: Wenn die KI einen Fehler findet, wie können wir sicher sein, dass sie nicht gerade halluziniert und etwas erfunden hat? Es ist wie bei einem Koch, der behauptet, er habe ein neues Rezept erfunden, aber niemand weiß, ob er wirklich gekocht hat oder nur die Zutatenliste vorgelesen hat.

4. Datenschutz und Geheimhaltung:
   Viele haben Angst, dass sie ihre geheimen Forschungsdaten in die KI hineinstellen und diese Daten dann woanders landen könnten. Das wäre, als würde man sein Tagebuch in eine öffentliche Bibliothek legen, nur um eine Frage zu beantworten.

Das Fazit

Die Botschaft der Studie ist klar: Die Technologie ist da, und die Leute kennen sie. Aber sie sind noch nicht bereit, sie als vollwertigen Partner an der Seite zu haben.

Die Experten sagen im Grunde: „Wir sind offen für die Hilfe, aber bitte erst mal:

1. Gebt uns eine gute Schulung (Fahrstunden!).
2. Stellt sicher, dass die KI fair und ehrlich ist (kein Betrug!).
3. Schützt unsere Daten (kein Einbruch in unser Tagebuch!).

Solange diese Fragen nicht geklärt sind, werden die KI-Chatbots eher wie ein nützliches Werkzeug im Werkzeugkasten bleiben, aber nicht als der Chef, der entscheidet, ob ein Artikel veröffentlicht wird oder nicht."

Technische Zusammenfassung

Technische Zusammenfassung: Einstellungen und Wahrnehmungen gegenüber KI-Chatbots im Peer-Review-Prozess medizinischer Fachzeitschriften

1. Problemstellung (Problem)

Der Einsatz von generativer Künstlicher Intelligenz (KI), insbesondere KI-Chatbots (AICs), gewinnt im wissenschaftlichen Peer-Review-Prozess zunehmend an Bedeutung. Potenzielle Anwendungsbereiche umfassen die Identifizierung methodischer Mängel, die Verifizierung von Referenzen und die Verbesserung der sprachlichen Klarheit. Trotz dieser potenziellen Effizienzsteigerungen bestehen erhebliche Bedenken hinsichtlich der Zuverlässigkeit, ethischer Implikationen und der Transparenz dieser Systeme. Bisher fehlt es jedoch an empirischen Daten darüber, wie medizinische Fachzeitschriften-Reviewer die Rolle und den Einfluss von AICs tatsächlich wahrnehmen. Die Studie zielt darauf ab, diese Wissenslücke zu schließen, indem sie die Vertrautheit, die wahrgenommenen Vor- und Nachteile sowie die ethischen Bedenken der Reviewer untersucht.

2. Methodik (Methodology)

Die Studie wurde als groß angelegte, internationale Querschnittsbefragung (Cross-Sectional Survey) konzipiert.

• Stichprobenziehung: Die Zielgruppe waren Peer-Reviewer medizinischer Fachzeitschriften. Die Kontaktdaten (korrespondierende Autoren) wurden automatisiert aus MEDLINE-indizierten Artikeln extrahiert, die innerhalb eines zwei Monate dauernden Zeitraums in PubMed veröffentlicht wurden.
• Datenerhebung:
  • Rekrutierung: Insgesamt wurden 72.851 Autoren per E-Mail eingeladen; nur diejenigen, die sich selbst als Peer-Reviewer identifizierten, waren zur Teilnahme berechtigt.
  • Instrument: Ein 29-Punkte-Fragebogen wurde über die Plattform SurveyMonkey erstellt.
  • Zeitraum: Die Datenerhebung lief vom 28. April bis zum 16. Juni 2025. Zwei Erinnerungsmails wurden während dieses Zeitraums versendet.
  • Inhalt: Der Fragebogen erfasste die Vertrautheit mit AICs, die wahrgenommenen Vorteile und Grenzen im Peer-Review-Kontext sowie ethische Bedenken.

3. Wichtige Beiträge (Key Contributions)

• Umfangreiche Datenbasis: Mit einer Stichprobe von 1.260 vollständig ausgefüllten Fragebögen liefert die Studie eine der bisher größten empirischen Grundlagen zu den Einstellungen von medizinischen Reviewern gegenüber KI.
• Identifikation der Lücke zwischen Nutzung und Potenzial: Die Studie hebt hervor, dass trotz hoher Bekanntheit und allgemeiner Nutzung von KI-Tools (z. B. ChatGPT) für andere Zwecke, die spezifische Anwendung im Peer-Review-Prozess noch kaum stattfindet.
• Bedarf an Schulung: Ein wesentlicher Beitrag ist die Identifizierung eines deutlichen Bedarfs an institutioneller Unterstützung. Die Studie zeigt, dass die meisten Institutionen keine Schulungen anbieten, während gleichzeitig eine hohe Nachfrage der Reviewer nach solchen Leitlinien besteht.

4. Ergebnisse (Results)

• Vertrautheit vs. Anwendung:
  • 86,2 % der Teilnehmer waren mit AICs vertraut.
  • 87,7 % hatten Tools wie ChatGPT bereits für allgemeine Zwecke genutzt.
  • Kritischer Befund: 70,3 % der Befragten hatten AICs nicht für den Peer-Review-Prozess eingesetzt.
• Schulungsbedarf:
  • 69,5 % gaben an, dass ihre Institution keine Schulungen zur Nutzung von AICs im Peer-Review anbietet.
  • Dennoch äußerten 60,7 % der Teilnehmer Interesse an einer solchen Schulung.
• Wahrgenommene Risiken und Bedenken:
  • Die Wahrnehmung der Vorteile war gemischt.
  • Die Bedenken waren jedoch weit verbreitet und spezifisch:
    • Algorithmische Verzerrung (Bias): 80,3 % der Teilnehmer zeigten sich besorgt.
    • Vertrauen und Nutzerakzeptanz: 73,3 % äußerten Bedenken in diesem Bereich.
  • Weitere kritische Punkte waren ethische Fragen, Datenschutz und die Integrität der Forschung.

5. Bedeutung und Implikationen (Significance)

Die Studie kommt zu dem Schluss, dass die hohe Vertrautheit medizinischer Reviewer mit KI-Technologien nicht automatisch zu deren Integration in den Peer-Review-Prozess führt. Es besteht eine klare Diskrepanz zwischen der technischen Verfügbarkeit und der tatsächlichen Anwendung, getrieben durch anhaltende ethische und praktische Bedenken.

Die Bedeutung der Studie liegt in ihrer klaren Empfehlung: Bevor eine breitere Implementierung von KI-Chatbots im Peer-Review erfolgen kann, müssen institutionelle Rahmenbedingungen geschaffen werden. Dies umfasst die Entwicklung von klaren Leitlinien, Schulungsprogrammen und Strategien zur Bewältigung von Datenschutz- und Integritätsfragen. Nur durch die Adressierung dieser Hindernisse kann das Vertrauen der wissenschaftlichen Gemeinschaft gestärkt und das volle Potenzial von KI zur Unterstützung der Qualitätssicherung in medizinischen Publikationen ausgeschöpft werden.