ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
Dieses Paper stellt ARISMA vor, ein umfassendes Leitlinien-Framework, das Prinzipien, eine Lebenszyklus-Taxonomie und Berichterstattungsstandards für die Integration von KI und großen Sprachmodellen als prüfbare, menschlich überwachte Assistenten in systematischen Reviews, Scoping-Reviews und Mapping-Studien etabliert, um methodische Strenge und Rechenschaftspflicht zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der wissenschaftlichen Forschung gibt es eine spezielle Art von Arbeit, die als systematischer Review bekannt ist. Stellen Sie sich ein Expertenteam vor, das versucht, eine komplexe Frage zu beantworten, etwa ob ein neues Medikament besser wirkt als ein altes oder was der aktuelle Wissensstand zum Klimawandel ist. Um dies zu tun, können sie nicht einfach nur ein paar interessante Artikel lesen; sie müssen jede einzelne relevante Studie finden, die jemals zu diesem Thema veröffentlicht wurde, sie alle lesen und ihre Ergebnisse zu einem einzigen, vertrauenswürdigen Schluss zusammenführen. Dieser Prozess bildet das Fundament der modernen Medizin und Politik, aber er ist unglaublich schwierig. Da die Zahl der wissenschaftlichen Arbeiten jedes Jahr wächst, ist die Aufgabe, sie alle zu finden und zu lesen, langsamer, teurer und schwieriger auf dem Laufenden zu halten geworden.
Kürzlich sind leistungsstarke Computerprogramme, bekannt als künstliche Intelligenz, auf den Plan getreten. Diese Werkzeuge können Texte lesen, Sprache verstehen und Informationen zusammenfassen – und das in einer Geschwindigkeit, die kein Mensch erreichen kann. Forscher begannen, sie einzusetzen, um beim Finden von Papern, beim Entscheiden, welche davon beibehalten werden sollen, und beim Herausziehen wichtiger Zahlen zu helfen. Diese neue Geschwindigkeit brachte jedoch ein Problem mit sich. Niemand hatte klare Regeln dafür festgelegt, wie man diese Werkzeuge sicher einsetzt. Wenn ein Computerprogramm eine entscheidende Studie übersieht oder einen Fehler beim Lesen einer Zahl macht, könnte der gesamte Review falsch sein, und die Ärzte oder Entscheidungsträger, die sich darauf verlassen, könnten Fehlentscheidungen treffen. Die Frage war nicht mehr nur, ob diese Werkzeuge funktionieren können, sondern wie man sie nutzt, ohne die Kontrolle über die Wissenschaft zu verlieren.
Ein Team von Forschern der Universität Süddänemark hat nun einen neuen Leitfaden namens ARISMA vorgeschlagen, um dieses Problem zu lösen. Ihre Arbeit betrachtet künstliche Intelligenz nicht als Ersatz für menschliche Wissenschaftler. Stattdessen rahmen sie sie als einen hochqualifizierten Assistenten ein, der bei jedem Schritt überwacht, getestet und protokolliert werden muss. Der Kern der Idee ist einfach, aber streng: Jede wichtige Entscheidung in einem wissenschaftlichen Review muss nachvollziehbar, überprüfbar und letztlich die Verantwortung eines Menschen bleiben. Die Forscher argumentieren, dass Maschinen zwar die schwere Arbeit erledigen können, aber nicht stillschweigend darüber entscheiden dürfen, was als Evidenz zählt.
Das Paper skizziert einen vollständigen Lebenszyklus dafür, wie ein Review durchgeführt werden sollte, wenn diese Werkzeuge zum Einsatz kommen. Es beginnt mit der Planungsphase, in der das menschliche Team klar definen muss, wonach es sucht, bevor überhaupt ein Computer involviert wird. Die Leitlinien legen nahe, dass künstliche Intelligenz sehr hilfreich beim Brainstorming von Suchbegriffen oder beim Vorschlagen von Synonymen für ein Thema sein kann, aber die endgültige Suchstrategie muss von einem menschlichen Experten überprüft werden. Die Forscher betonen, dass die Suchstrategie als gescheitert gilt und korrigiert werden muss, bevor sie auf die echten Daten angewendet wird, falls der Computer während eines Testlaufs eine bekannte, wichtige Studie übersieht. Dies stellt sicher, dass die Suche nicht nur schnell, sondern auch vollständig ist.
Sob� nachdem die Suche abgeschlossen ist, steht das Team vor der gewaltigen Aufgabe, tausende Titel und Abstracts zu sichten, um zu entscheiden, welche Arbeiten im Volltext gelesen werden sollen. Hier hat künstliche Intelligenz das größte Potenzial gezeigt, aber auch hier ist die Richtlinie am vorsichtigsten. Das Paper erklärt, dass ein Computer dazu verwendet werden kann, Paper zu ranken oder vorzuschlagen, welche auszuschließen sind, aber er kann die endgültige Auswahl nicht allein treffen. Die Forscher schlagen ein System von „Vertrauensstufen“ vor. In einem Szenario mit geringem Vertrauen ordnet der Computer lediglich eine Reihenfolge für Menschen vor. In einem Szenario mit mittlerem Vertrauen kann er Ausschlüsse empfehlen, aber ein Mensch muss jede einzelne dieser Empfehlungen überprüfen. Bei hochsensiblen Reviews, wie jenen, die medizinische Behandlungen leiten, fungiert der Computer nur als ein zweites Paar Augen, und das menschliche Team trifft die endgültige Entscheidung. Entscheidend ist, dass der Computer nicht erlaubt ist, irgendetwas davon zu tun, bevor er an einer kleinen Menge von Papern getestet wurde, die bereits von Menschen bewertet wurden. Wenn der Computer bei diesem Test zu viele Fehler macht, darf er nicht fortfahren.
Die Leitlinien befassen sich auch mit der kniffligen Aufgabe der Datenextraktion, bei der Forscher spezifische Zahlen wie Patientenzahlen oder Behandlungsergebnisse aus dem Text eines Papers ziehen. Hier sind die Forscher noch konservativer. Sie stellen fest, dass Computer zwar gut darin sind, allgemeine Beschreibungen zu finden, aber oft Schwierigkeiten mit exakten Zahlen haben, die in Tabellen oder komplexen Sätzen verborgen sind. Das Paper schlägt vor, dass ein Computer einen Entwurfsformular mit beschreibenden Details ausfüllen kann, aber jede einzelne Zahl, die zur Berechnung eines Endergebnisses verwendet wird, muss von einem Menschen Zeile für Zeile überprüft werden. Wenn ein Mensch die Quelle einer Zahl nicht verifiziert, darf diese Zahl nicht in den endgültigen Review aufgenommen werden. Diese Regel schützt vor dem „Halluzinieren“ des Computers oder dem Erfinden von Fakten, die plausibel klingen, aber nicht im Originaltext enthalten sind.
Während des gesamten Prozesses fordern die Leitlinien eine lückenlose Dokumentation. Jedes Mal, wenn ein Computerwerkzeug eingesetzt wird, müssen die Forscher aufzeichnen, welches Tool verwendet wurde, welche Softwareversion es war, welche Anweisungen gegeben wurden und was das Ergebnis war. Wenn der Computer einen Fehler macht oder wenn das menschliche Team entscheidet, die Arbeitsweise des Computers zu ändern, muss diese Änderung datiert und erklärt werden. Dies schafft eine Historie des Reviews, die es jedem Leser des fertigen Berichts ermöglicht, genau zu sehen, wo der Computer geholfen hat und wo die Menschen übernommen haben. Das Paper thematisiert auch die rechtliche und ethische Seite und erinnert die Teams daran, dass sie vorsichtig sein müssen, wenn sie private oder unveröffentlichte Daten an öffentliche Computerdienste senden, da diese Daten auf Wege gespeichert oder verwendet werden könnten, die das Team nicht beabsichtigt hat.
Die Forscher entwickelten diese Leitlinien durch Gespräche mit einundzwanzig Experten auf diesem Gebiet, darunter Wissenschaftler und Informationsspezialisten. Sie testeten ihre Ideen und verfeinerten sie basierend auf Feedback, wobei der Fokus darauf lag, die Regeln praktisch und klar zu gestalten. Das Ergebnis ist ein Rahmenwerk, das es Teams ermöglicht, die Geschwindigkeit der künstlichen Intelligenz zu nutzen, ohne die Genauigkeit und Vertrauenswürdigkeit zu opfern, die wissenschaftliche Reviews erfordern. Das Paper kommt zu dem Schluss, dass das Ziel nicht darin besteht, Reviews vollautomatisch zu machen, sondern sie auditierbarer zu gestalten. Indem sie künstliche Intelligenz als ein Werkzeug behandeln, das inspiziert und begrenzt wird, statt als autonomen Entscheidungsträger, stellen die Leitlinien sicher, dass die endgültigen Schlussfolgerungen eines Reviews in verifizierter Evidenz verwurzelt bleiben, wobei immer ein Mensch in den Prozess eingebunden ist, um die Verantwortung für die Wahrheit zu übernehmen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.