Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Diese Studie bewertet das KI-Tool Elicit für die Synthese von Politikevidenz und stellt fest, dass es zwar die vorläufige Themenabgrenzung effektiv beschleunigt, es jedoch derzeit an der Präzision und Zuverlässigkeit mangelt, die für komplexe Rapid Reviews ohne signifikante menschliche Aufsicht erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der öffentlichen Gesundheit und der Regierungspolitik beruhen Entscheidungen darüber, welche Behandlungen oder Programme finanziert werden, auf einer Grundlage aus Evidenz. Bevor eine neue Regelung verfasst wird, müssen Experten die gesamte existierende Forschung zu einem Thema sammeln, sie sorgfältig lesen und zusammenfassen, was funktioniert und was nicht. Dieser Prozess, bekannt als Evidenzsynthese, ist essenziell für das Treffen fairer und effektiver Entscheidungen, aber er ist auch unglaublich zeitaufwendig. Traditionell verbringen Teams von Forschern Monate damit, Tausende von wissenschaftlichen Artikeln zu durchsuchen, zu prüfen, ob jeder einzelne zur spezifischen Fragestellung passt, und die Daten zu extrahieren, um ein klares Bild aufzubauen. Da die Bedürfnisse der politischen Entscheidungsträger immer dringlicher und komplexer werden, wächst der Wunsch, diese Arbeit zu beschleunigen, ohne an Genauigkeit zu verlieren. Hier tritt die Künstliche Intelligenz auf den Plan und verspricht, als leistungsstarke Assistentin zu fungieren, die Informationen in einer Geschwindigkeit lesen und sortieren kann, die kein Mensch erreichen könnte.
Ein Team von Forschern aus Universitäten im Vereinigten Königreich beschloss, eines dieser neuen KI-Werkzeuge auf die Probe zu stellen. Sie wollten sehen, ob ein Softwareprogramm namens Elicit den politischen Forschern wirklich dabei helfen kann, ihre Arbeit schneller und besser zu erledigen. Die Forscher entschieden sich, das Werkzeug auf zwei verschiedene Arten zu evaluieren. Erstens fragten sie, ob die KI als hilfreicher Wegweiser dienen kann, um einen schnellen Überblick über ein breites Thema zu erhalten – ein Schritt, der oft als „Scoping“ bezeichnet wird und vor Beginn einer vollständigen Übersicht stattfindet. Zweitens testeten sie, ob die KI die Rolle menschlicher Forscher bei der Durchführung einer vollständigen, schnellen Evidenzprüfung zu einem komplexen Thema übernehmen kann. Das Thema, das sie wählten, war ein schwieriges: herauszufinden, welche Programme erfolgreich körperliche Aktivität bei älteren Menschen fördern, die mit sozialen und wirtschaftlichen Benachteiligungen konfrontiert sind. Dieses Thema wurde gewählt, weil es viele bewegliche Teile beinhaltet, darunter verschiedene Arten von Menschen, verschiedenste Arten von Aktivitäten und spezifische Erfolgsmaße, was einen rigorosen Test für jedes automatisierte System darstellt.
Die Forscher begannen damit, die KI eine schnelle Durchmusterung der Literatur durchführen zu lassen, um ihnen zu helfen, die Landschaft der Werkzeuge zur körperlichen Aktivität in der Primärversorgung zu verstehen. In dieser Rolle erwies sich die Software als recht nützlich. Sie erstellte in nur sechs Minuten eine Zusammenfassung der verfügbaren Evidenz und bot eine breite Sicht auf das Thema, die die Experten hilfreich fanden, um ihr Denken zu strukturieren. Das Ergebnis war nicht perfekt und es mangelte an einer detaillierten Erklärung darüber, wie die Informationen gefunden wurden, aber es diente gut als Ausgangspunkt. Es gab dem Team ein Gefühl dafür, was es gibt und wo die Lücken sein könnten, und fungierte effektiv als schnelle, vorläufige Karte, bevor sie die schwerere Arbeit begannen, das gesamte Territorium zu zeichnen.
Als die Forscher die KI jedoch baten, die vollständige, rigorose Aufgabe einer schnellen Übersicht (Rapid Review) zu übernehmen, waren die Ergebnisse weitaus weniger ermutigend. Sie fütterten das System mit derselben komplexen Frage über körperliche Aktivität in benachteiligten älteren Bevölkerungsgruppen und beobachteten, wie es die Aufgabe bewältigte. Der Prozess dauerte über drei Stunden, während der die menschlichen Forscher beträchtliche Zeit damit verbringen mussten, die Fragen zu verfeinern und die Annahmen der KI zu korrigieren. Als der endgültige Bericht erstellt wurde, enthielt er eine Liste von vierzig Studien, von denen die KI behauptete, sie seien relevant. Doch als die menschlichen Experten diese Studien gegen die strengen Regeln der Übersicht prüften, stellten sie fest, dass sechsunddreißig davon tatsächlich nicht dazugehörten. Die KI hatte Studien einbezogen, die die falschen Ergebnisse betrachteten, sich auf die falschen Personengruppen konzentrierten oder Interventionen untersuchten, die nicht den Kriterien entsprachen. Tatsächlich übersah die Software vierunddreißig Studien, die das menschliche Team erfolgreich gefunden und in ihre eigene Übersicht aufgenommen hatte.
Das Kernproblem schien darin zu liegen, dass die KI mit der Nuancierung der Sprache in wissenschaftlichen Arbeiten Schwierigkeiten hatte. Sie konnte problemlos Wörter wie „älter“ oder „körperliche Aktivität“ identifizieren, scheiterte jedoch daran, die tiefere Bedeutung zu verstehen, ob eine Studie tatsächlich das Richtige für die richtige Gruppe von Menschen testete. Zum Beispiel konnte sie nicht zwischen einem Programm zur allgemeinen Gesundheitsverbesserung und einem, das speziell darauf ausgelegt ist, die körperliche Aktivität zu steigern, unterscheiden, selbst wenn die Wortwahl ähnlich war. Aufgrund dieser Fehler war die von der KI erstellte endgültige Zusammenfassung voller Informationen, die die ursprüngliche Frage nicht beantworteten. Sie diskutierte Ergebnisse, die nicht relevant waren, und zog Schlussfolgerungen auf der Grundlage von Belegen, die nicht für die Übersicht infrage kamen. Die menschlich geleitete Übersicht war hingegen in der Lage, das Rauschen herauszufiltern und sich nur auf die Studien zu konzentrieren, die wirklich wichtig waren, was zu einem viel genaueren und vertrauenswürdigeren Ergebnis führte.
Die Forscher untersuchten auch, wie die Software mit den Daten umging, die sie tatsächlich fand. Während die KI in der Lage war, grundlegende Details wie das Land, in dem eine Studie stattfand, oder die Anzahl der Teilnehmer zu extrahieren, war sie inkonsistent, wenn es um die Extraktion spezifischer Ergebnisse ging, wie etwa, wie sehr eine Intervention die Gesundheit einer Person verbesserte. In einigen Fällen fand sie die Daten gar nicht; in anderen Fällen war unklar, was sie gefunden hatte. Darüber hinaus besaß die Software nicht die Fähigkeit, die Qualität der Studien zu beurteilen, was bedeutete, dass sie ein schwaches, schlecht konzipiertes Experiment genauso behandelte wie ein starkes, gut durchgeführtes. Dieser Mangel an Qualitätskontrolle ist ein erhebliches Risiko, da dies dazu führen könnte, dass politische Entscheidungsträger sich auf fehlerhafte Belege verlassen.
Letztlich legt die Studie nahe, dass Künstliche Intelligenz zwar ein wertvolles Werkzeug für einen schnellen Überblick auf hoher Ebene über ein Thema sein kann, aber noch nicht bereit ist, menschliche Forscher bei der kritischen Aufgabe einer vollständigen Evidenzprüfung zu ersetzen, insbesondere wenn die Fragen komplex sind. Die KI kann die frühen Phasen der Forschung beschleunigen, aber sie macht in den späteren Phasen immer noch zu viele Fehler, um allein vertraut werden zu können. Die Forscher kamen zu dem Schluss, dass der beste Ansatz derzeit darin besteht, die Software als Helfer einzusetzen, der Hand in Hand mit einem menschlichen Experten arbeitet, der jede Entscheidung der Maschine überprüfen muss. Der Zeitgewinn durch die Nutzung der KI ist derzeit unklar, da der menschliche Aufwand, der zur Korrektur ihrer Fehler erforderlich ist, die anfänglichen Zeitgewinne zunichtemachen könnte. Während diese Werkzeuge sich weiterentwickeln, besteht die Hoffnung, dass sie besser im Verständnis der subtilen Details der menschlichen Sprache und der Forschung werden, aber im Moment bleibt der menschliche Geist essenziell, um sicherzustellen, dass die die öffentliche Politik leitende Evidenz genau und zuverlässig ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.