Local AI pre-screening for human triple-blind peer review in health sciences
Dieses Paper schlägt ein transparentes, dreifach-blindes Framework für das Peer-Review in den Gesundheitswissenschaften vor, das lokal gehostete Open-Weight-LLMs für ein mehrstufiges Pre-Screening nutzt, um die mit nicht offengelegter KI-Nutzung und dem Mangel an Gutachtern verbundenen Risiken zu mildern, während gleichzeitig sichergestellt wird, dass menschliche Experten die endgültige Entscheidungsgewalt behalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Wissenschaft stützt sich auf ein stilles, essentielles Ritual: Bevor eine neue Entdeckung mit der Welt geteilt wird, müssen andere Experten sie sorgfältig lesen, um sicherzustellen, dass sie fundiert ist. Dieser Prozess, bekannt als Peer-Review, ist die Art und Weise, wie die wissenschaftliche Gemeinschaft entscheidet, welche Arbeit es wert ist, veröffentlicht zu werden. Jahrzehntelang funktionierte dieses System dadurch, dass ein eingereichtes Paper mit einer Handvoll menschlicher Experten zusammengebracht wurde, die es im Geheimen lasen und ihr Urteil darüber abgaben, ob die Methoden korrekt sind und die Schlussfolgerungen Bestand haben. Doch das System bricht derzeit unter seinem eigenen Gewicht zusammen. In den letzten Jahren ist die Zahl der eingereichten Paper an großen Konferenzen explodiert und erreichte Zahlen wie 21.575 für eine einzige Veranstaltung, während die Zahl der qualifizierten Experten, die bereit sind, diese zu lesen, nicht Schritt gehalten hat. Das Ergebnis ist ein Flaschenhals, in dem gute Wissenschaft monatelang wartet, und der Druck ist so groß geworden, dass einige Forscher im Stillen begonnen haben, künstliche Intelligenz zu schreiben, um diese Reviews zu verfassen – oft ohne es jemanden zu sagen. Diese verborgene Verschiebung bringt neue Risiken mit sich, wie etwa Computer, die gefälschte Referenzen erfinden oder von Autoren getäuscht werden, die Anweisungen in ihren Text einbauen, um eine positive Bewertung zu erzwingen.
Als Reaktion auf diese wachsende Krise hat ein Forscher namens Rodrigo M. Boos einen neuen Weg vorgeschlagen, den Review-Prozess zu organisieren, der den Einsatz künstlicher Intelligenz in das Offene bringt, während die menschlichen Experten fest in der Hand behält. Die Arbeit skizziert ein System, das speziell für gesundheitswissenschaftliche Fachzeitschriften entwickelt wurde, in denen die Einsätze für die Patientensicherheit und die Integrität der Forschung außergewöhnlich hoch sind. Der Kern der Idee besteht darin, ein Team aus drei Programmen der künstlichen Intelligenz einzusetzen, um eine erste Sichtung jedes Papers vorzunehmen, bevor überhaupt ein menschlicher Gutachter es sieht. Diese Programme treffen nicht die endgültige Entscheidung über die Veröffentlichung oder Ablehnung eines Papers; stattdessen fungieren sie als Filter, der prüft, ob ein Manuskript überhaupt bereit für die menschliche Aufmerksamkeit ist. Entscheidend ist, dass das System darauf ausgelegt ist, die Privatsphäre der unveröffentlichten Arbeit zu schützen. Im Gegensatz zu vielen kommerziellen Tools, die Daten ins Internet senden, erfordert dieser Vorschlag, dass die künstliche Intelligenz auf den eigenen lokalen Computern der Fachzeitschrift läuft, wodurch sichergestellt wird, dass der Text einer neuen medizinischen Studie niemals die sichere Infrastruktur der Fachzeitschrift verlässt. Dieses Design spricht direkt die Bedenken großer Förderorganisationen an, die ihre Gutachter derzeit daran hindern, externe KI-Tools zu verwenden, weil sie nicht garantieren können, wo diese unveröffentlichten Daten gespeichert werden.
Das System funktioniert, indem es ein eingereichtes Manuskript durch fünf verschiedene Stadien leitet. Zuerst wird das Paper automatisch bereinigt, um versteckten Text oder geheime Anweisungen zu entfernen, die versuchen könnten, den Computer zu täuschen. Als Nächstes lesen drei unabhängige Modelle der künstlichen Intelligenz das anonymisierte Paper und bewerten es anhand eines spezifischen Satzes von Kriterien, wie etwa, ob das Studiendesign die Schlussfolgerungen stützt oder ob die Statistik fundiert ist. Diese Modelle dürfen keine endgültige Entscheidung treffen; sie liefern lediglich einen Score und eine strukturierte Erklärung. Wenn die Scores zu niedrig sind, wird das Paper mit Feedback an den Autor zurückgesendet, was repariert werden muss. Wenn die Scores hoch genug sind, bewegt sich das Paper zum nächsten Stadium, in dem drei menschliche Experten es lesen. Diese menschlichen Gutachter sind blind gegenüber den von der künstlichen Intelligenz vergebenen Scores; sie wissen nur, dass das Paper die erste Computerprüfung bestanden hat. Diese Trennung ist entscheidend, um zu verhindern, dass die Menschen einfach der Meinung des Computers zustimmen. Schließlich prüft ein Editor die Arbeit sowohl der künstlichen Intelligenz als auch der Menschen, um die endgültige Entscheidung über die Veröffentlichung zu treffen.
Ein besonders neuartiger Teil dieses Vorschlags ist eine Funktion, die es Autoren ermöglicht zu wählen, wie sie behandelt werden möchten, falls das Paper noch nicht bereit ist. In einem Standard-Review erhält ein Autor einen Ablehnungsbrief von einem menschlichen Editor, was eine schmerzhafte und stigmatisierende Erfahrung sein kann, die sie davon abhält, ihre Arbeit fortzusetzen. Dieses neue System bietet eine Option, bei der ein Autor im Voraus zustimmen kann, dass, falls alle drei Modelle der künstlichen Intelligenz übereinstimmen, dass das Paper nicht bereit ist, das Paper zur Überarbeitung an ihn zurückgegeben wird, ohne dass jemals ein Mensch es gesehen hat. Dies schafft eine private, „unbeobachtete“ Ablehnung, die den Autor vor der sozialen Scham bewahrt, dass ein Mensch seine Arbeit beurteilt, bevor sie poliert ist. Der Autor der Arbeit räumt ein, dass dies eine Hypothese ist, die getestet werden muss; es ist noch nicht bewiesen, dass dieser Ansatz die emotionale Last der Ablehnung verringert, aber es ist ein bewusster Versuch, eine bekannte psychologische Belastung im aktuellen System anzugehen.
Die Arbeit stellt sorgfältig klar, dass dies ein Designvorschlag ist und kein fertiges Produkt, das noch nicht an echten medizinischen Fachzeitschriften getestet wurde. Der Autor gibt zu, dass die spezifischen Scores, die entscheiden, ob ein Paper die Computerprüfung besteht, Arbeitshypothesen sind, die kalibriert werden müssen, sobald das System tatsächlich eingesetzt wird. Es gibt auch bekannte Einschränkungen: Die Modelle der k Künstlichen Intelligenz, die in diesem lokalen System verwendet werden, sind etwas weniger leistungsfähig als die fortschrittlichsten kommerziellen Modelle im Internet – ein Kompromiss, der gemacht wurde, um totale Privatsphäre zu gewährleisten. Darüber hinaus merkt der Autor an, dass das System zwar darauf ausgelegt ist, offensichtliche Fehler zu finden, aber noch nicht garantieren kann, dass es niemals einen subtilen Fehler übersehen oder durch einen ausgeklügelten Angriff getäuscht wird. Der Vorschlag beansprucht nicht, das menschliche Urteil zu ersetzen, welches weiterhin der obligatorische letzte Schritt bleibt, sondern vielmehr als eine strukturierte, transparente Ebene zu fungieren, die hilft, das überwältigende Volumen der Einreichungen zu bewältigen. Durch die Sichtbarmachung und Kontrolle der Rolle der künstlichen Intelligenz argumentiert der Autor, dass die wissenschaftliche Gemeinschaft diese Werkzeuge nutzen kann, um den Prozess zu beschleunigen, ohne das Vertrauen und die Integrität zu opfern, die das Peer-Review schützen soll.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.