LLM assisted writing deserves empirical evaluation

Die Wissenschaft war schon immer ein Gespräch, das darauf angewiesen ist, durch klares Schreiben Erkenntnisse über Grenzen und Sprachen hinweg zu teilen. Jahrzehntelang haben sich Forscher auf Mentoren, professionelle Lektoren und Übersetzungsdienste verlassen, um sicherzustellen, dass ihre Arbeit von der weltweiten Gemeinschaft verstanden wird. Heute ist ein neuer Teilnehmer in dieses Gespräch eingetreten: große Sprachmodelle. Dies sind Computerprogramme, die mit riesigen Mengen an Text trainiert wurden und in der Lage sind, menschliche Sprache mit bemerkenswerter Flüssigkeit zu lesen, zusammenzufassen und umzuschreiben. Da diese Werkzeuge in Laboren und Büros immer häufiger zum Einsatz kommen, ist eine Debatte über ihre Rolle in der Wissenschaft entstanden. Viele befürchten, dass die Verwendung dieser Modelle den wahren Urheber einer Idee verbergen, Fehler einführen oder die Qualität der Forschung senken könnte. Folglich konzentriert sich der aktuelle Diskurs primär darauf, wie festzustellen ist, wann eine Maschine beim Schreiben eines Papers geholfen hat, wobei das Thema vor allem als eine Angelegenheit der Überwachung betrachtet wird. Dieser Fokus auf die Detektion übersieht jedoch eine wichtigere Frage: Wie verändert der tatsächliche Einsatz dieser Werkzeuge die Art und Weise, wie Wissenschaft kommuniziert wird und wer daran teilhaben kann?

Um dies zu beantworten, beschloss ein Team von Forschern der Weill Cornell Medicine und der Columbia University, sich an der Evidenz statt an der Theorie zu orientieren. Sie untersuchten eine massive Sammlung von 69.209 wissenschaftlichen Arbeiten auf dem Gebiet der Gesundheitsinformatik, die sich damit befasst, wie Daten und Technologie in der Medizin und im öffentlichen Gesundheitswesen eingesetzt werden. Die Forscher unterteilten diese Arbeiten in drei Gruppen, um zu sehen, wie sie sich unterschieden. Die erste Gruppe enthielt Arbeiten, die vor Ende 2022 geschrieben wurden, also vor der Veröffentlichung der fortschrittlichsten Chatbots. Die zweite Gruppe umfasste Arbeiten nach diesem Datum, die keine Anzeichen für die Nutzung dieser Werkzeuge zeigten. Die dritte Gruppe bestand aus Arbeiten aus demselben jüngeren Zeitraum, bei denen die Forscher eine Unterstützung durch große Sprachmodelle identifiziert hatten. Um diese assistierten Arbeiten zu finden, verwendeten sie ein spezialisiertes Computerprogramm, das darauf trainiert war, die subtilen Unterschiede zwischen menschlichem Schreiben und Texten zu erkennen, die von einer KI umgeschrieben oder generiert worden waren.

Die Analyse ergab, dass die durch diese Werkzeuge unterstützten Arbeiten nicht die qualitativ minderwertigen, weniger ernsthaften Arbeiten waren, die Kritiker oft befürchten. Stattdessen deuteten die Daten auf eine andere Realität hin. Diese Arbeiten neigten dazu, in ihrer Präsentation fokussierter zu sein. Während eine typische wissenschaftliche Arbeit möglicherweise durch verschiedene Themen wandert, hielten sich die KI-gestützten Arbeiten enger an ein einzelnes, klares Subjekt. Ihre Titel und Zusammenfassungen waren eng mit dem Hauptthema der Forschung abgestimmt, was es den Lesern erleichterte, genau zu verstehen, worum es in der Studie ging und wo sie innerhalb des breiteren Feldes einzuordnen war. Diese Klarheit bedeutete nicht, dass die Ideen weniger originell waren; vielmehr deutete es darauf hin, dass die Werkzeuge den Autoren halfen, ihre Arbeit präziser innerhalb etablierter wissenschaftlicher Gespräche zu positionieren.

Eine weitere signifikante Veränderung zeigte sich in der Art und Weise, wie diese Arbeiten andere Werke referenzierten. Die KI-gestützten Arbeiten zitierten mehr Quellen als die ohne Unterstützung geschriebenen Arbeiten, und diese Quellen deckten ein breiteres Spektrum an Themen ab. Dieser Befund stellt die Vorstellung infrage, dass Maschinen die Arbeit einfach nur schneller machen, ohne einen Mehrwert zu bieten. Er legt nahe, dass Forscher diese Werkzeuge nutzen, um Literatur zu erkunden, die sie sonst vielleicht nicht gefunden hätten, etwa indem sie komplexe Texte zusammenfassen oder neue Suchbegriffe generieren. Die Forscher merkten jedoch an, dass eine längere Liste von Referenzen nicht automatisch bedeutet, dass die Forschung tiefer oder besser ist. Ein Literaturverzeichnis kann breit, aber oberflächlich sein, oder es kann Zitate enthalten, die nur lose mit dem Hauptargument verbunden sind. Die Werkzeuge erleichtern es, ein breites Netz an Informationen einzufangen, aber die Verantwortung für die Auswahl der relevantesten und genauesten Quellen verbleibt weiterhin beim menschlichen Autor.

Der vielleicht auffälligste Unterschied wurde darin gefunden, wer diese Arbeiten schrieb. Die Studie zeigte, dass KI-gestützte Arbeiten eher einen Erstautor hatten, der in einem Land ansässig war, in dem Englisch nicht die Primärsprache ist. Sie wiesen auch ein höheres Maß an Kollaboration zwischen Forschern auf verschiedenen Kontinenten auf und beinhalteten mehr Autoren aus Ländern mit niedrigem oder mittlerem Einkommen. Dieses Muster deutet darauf hin, dass diese Werkzeuge als Brücke fungieren können, die Wissenschaftlern hilft, die Sprachbarrieren zu überwinden, die das Publizieren in internationalen Fachzeitschriften oft schwierig und teuer machen. Indem sie eine Unterstützung bei der Bearbeitung und Übersetzung auf Abruf bieten, kann die Technologie die Chancen angleichen und es ermöglichen, dass vielfältigere Stimmen in das globale wissenschaftliche Gespräch einfließen.

Trotz dieser Verschiebungen in Fokus, Zitiergewohnheiten und Autorenschaft stellte die Studie fest, dass die Sichtbarkeit und Wirkung der Arbeit stabil blieben. Eine häufige Sorge ist, dass Arbeiten, die mit KI-Hilfe geschrieben wurden, ignoriert oder seltener zitiert werden könnten. Die Daten stützten dies nicht. Als die Forscher verglichen, wie schnell die Arbeiten nach der Veröffentlichung Zitate erhielten, schnitten die KI-gestützten Arbeiten genauso gut ab wie jene, die ohne Hilfe geschrieben wurden. Sie wurden auch in Zeitschriften mit hohem Prestige veröffentlicht, ähnlich wie die anderen Gruppen. Dies deutet darauf hin, dass die wissenschaftliche Gemeinschaft diese Arbeiten nicht ablehnt; stattdessen werden sie mit der gleichen Rate gelesen und anerkannt wie traditionelle Arbeiten.

Die Forscher kamen zu dem Schluss, dass sich das Gespräch über künstliche Intelligenz in der Wissenschaft ändern muss. Anstatt sich darauf zu konzentrieren, Menschen beim Gebrauch dieser Werkzeuge zu überführen oder zu versuchen, „echte“ Gelehrsamkeit von „assistierter“ Arbeit zu trennen, sollte sich die wissenschaftliche Gemeinschaft auf die Qualität der Forschung selbst konzentrieren. Die Studie legt nahe, dass diese Werkzeuge nicht von Natur aus gut oder schlecht sind; sie sind lediglich ein neuer Teil des Schreibprozesses, vergleichbar mit einer Rechtschreibprüfung oder einer Statistiksoftware. Ihr Effekt hängt vollständig davon ab, wie sie verwendet werden. Wenn sie Autoren helfen, klarer zu kommunizieren und vielfältigere Perspektiven einzubeziehen, können sie eine kraftvolle positive Kraft sein. Wenn sie dazu genutzt werden, Abkürzungen zu nehmen oder Fehler zu verbergen, können sie schädlich sein. Die Evidenz zeigt, dass die Werkzeuge bereits die Art und Weise, wie Wissenschaft geschrieben wird, und wer sie schreibt, umgestalten, und der beste Weg nach vorn besteht darin, die Arbeit nach ihrer Genauigkeit und Integrität zu beurteilen, nicht nach der Software, mit der sie entworfen wurde.