Frontier language models recover scientific quality but predictably diverge from human reviewers
Während führende Sprachmodelle erfolgreich etablierte wissenschaftliche Qualitätshierarchien rekonstruieren und eine höhere Übereinstimmung zwischen den Modellen als menschliche Gutachter erzielen, gewichten sie Originalität systematisch unter und weisen eine schwache Übereinstimmung mit Menschen bei der Identifizierung von Schwächen in Arbeiten auf, was strukturelle Asymmetrien im Begutachtungsprozess offenbart.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Wissenschaft stützt sich auf einen Prozess namens Peer-Review, bei dem Experten neue Forschungsarbeiten lesen und entscheiden, ob die Arbeit gut genug ist, um veröffentlicht zu werden. Dieses System fungiert als Filter und stellt sicher, dass nur qualitativ hochwertige Ideen in den wissenschaftlichen Rekord eingehen. Die Anzahl der geschriebenen Arbeiten ist jedoch explodiert, insbesondere in dem schnelllebigen Bereich der künstlichen Intelligenz. Das schiere Volumen der Einreichungen hat die menschlichen Freiwilligen überfordert, was viele dazu veranlasst hat, sich zu fragen, ob Computer helfen könnten. Große Sprachmodelle, dieselben leistungsstarken KI-Systeme, die Aufsätze schreiben oder Fragen beantworten können, werden nun daraufhin getestet, ob sie als Reviewer fungieren können. Die große Frage ist nicht nur, ob diese Maschinen eine Arbeit lesen können, sondern ob sie verstehen können, was eine Arbeit wirklich gut macht, und ob ihr Urteil mit dem von menschlichen Experten übereinstimmt.
Ein Team von Forschern setzte sich zum Ziel, dies zu beantworten, indem sie drei der fortschrittlichsten KI-Modelle einem Test unterzogen. Sie sammelten über tausend Machine-Learning-Arbeiten von großen Konferenzen und Fachzeitschriften, darunter solche, die weitgehend akzeptiert wurden, und andere, die es weniger waren. Sie baten die drei KI-Systeme, jede Arbeit zu lesen und sie auf einer einfachen vierstufigen Skala in vier Kategorien zu bewerten: wie fundiert die Wissenschaft war, wie klar sie geschrieben war, wie wichtig die Arbeit schien und wie neu oder originell die Ideen waren. Die Forscher kombinierten dann die Bewertungen aller drei KIs, um für jede Arbeit ein einzelnes, konsensbasiertes Urteil zu erstellen. Dies taten sie, ohne der KI mitzuteilen, welche Arbeiten angenommen oder abgelehnt worden waren, um sicherzustellen, dass die Maschinen allein den Inhalt bewerteten.
Die Ergebnisse zeigten, dass die KI-Systeme überraschend gut darin waren, Qualität zu erkennen. Als die Forscher die Bewertungen betrachteten, vergab die KI konsequent höhere Noten für Arbeiten von erstklassigen Konferenzen als für solche aus kleineren Workshops. Sie vergab auch höhere Punktzahlen für Zeitschriftenartikel, die von anderen Wissenschaftlern häufiger zitiert worden waren, im Vergleich zu ähnlichen Artikeln, die seltener zitiert wurden. Selbst ohne darüber informiert zu sein, bewertete die KI Arbeiten, die als Vorträge (Oral Talks) präsentiert wurden, höher als solche, die als Poster präsentiert wurden. Dies deutet darauf an, dass die KI die subtilen Signale wissenschaftlicher Qualität erkennen kann, die menschliche Experten seit Jahrzehnten nutzen, um exzellente Arbeit von durchschnittlicher Arbeit zu unterscheiden.
Die Studie fand jedoch auch einen klaren und konsistenten Fehler in der Art und Weise, wie die KI denkt. Während Menschen und Maschinen bei der Gesamtqualität einer Arbeit übereinstimmten, bewertete die KI die Originalität systematisch unter. Im Bewertungssystem sollte die Originalität genauso viel zählen wie die technische Genauigkeit oder die Klarheit, aber die KI-Modelle gewichteten sie konsequent geringer. Sie neigten dazu, Arbeiten zu bevorzugen, die methodisch solide und gut geschrieben waren, selbst wenn die Ideen nicht besonders neu waren, während sie Arbeiten herabstuften, die zwar neuartige Konzepte boten, aber vielleicht etwas weniger poliert waren. Diese Voreingenommenheit trat in allen drei verschiedenen KI-Modellen auf, was darauf hindeutet, dass es sich um ein tief verwurzeltes Muster handelt, wie diese Systeme wissenschaftliche Texte bewerten, und nicht um einen Fehler in einem einzelnen Programm.
Die Forscher untersuchten auch genau, was die KI über die Stärken und Schwächen der Arbeiten sagte, und verglichen diese Kommentare mit denen der menschlichen Reviewer. Sie fanden eine seltsame Spaltung in der Art und Weise, wie KI und Menschen übereinstimmten. Wenn es darum ging, die guten Punkte einer Arbeit zu identifizieren, waren die KI und die Menschen oft in starker Übereinstimmung. Wenn es jedoch darum ging, Schwächen oder Mängel aufzuspüren, übersah die KI oft Dinge, die Menschen bemerkten, oder wies auf Probleme hin, die Menschen nicht sahen. Diese Lücke war nicht einzigartig für die KI; selbst menschliche Reviewer waren untereinander oft uneiniger über Schwächen als über Stärken. Dies deutet darauf hin, dass das Aufspüren von Fehlern in einem wissenschaftlichen Argument eine schwierige Fähigkeit ist, die für niemanden, weder Mensch noch Maschine, perfekt zu meistern ist.
Letztendlich zeigt die Studie, dass KI zwar ein leistungsfähiges Werkzeug sein kann, um große Mengen an Forschung zu sortieren und qualitativ hochwertige Arbeit zu identifizieren, sie aber kein perfekter Ersatz für menschliches Urteilsvermögen ist. Die Maschinen sind exzellent darin, etablierten Verdienst und technische Solidität zu erkennen, aber sie haben Schwierigkeiten mit derselben schwierigen Aufgabe, vor der auch Menschen stehen: die subtilen, kritischen Schwächen in einem Argument aufzuspüren. Die Forscher kommen zu dem Schluss, dass diese Werkzeuge, falls sie in Zukunft eingesetzt werden, mit menschlicher Aufsicht gepaart werden sollten, insbesondere um sicherzustellen, dass das Streben nach technischer Perfektion nicht versehentlich wirklich originelle und kreative Ideen verdrängt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.