Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
Diese Arbeit zeigt auf, dass die Kombination von Self-Prompting und modellübergreifendem Konsens mit großen Sprachmodellen eine reproduzierbare, skalierbare Datenextraktion aus wissenschaftlicher Literatur ermöglicht, während gleichzeitig durch eine praktische Arbeitsteilung eine Expertenaufsicht gewahrt bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Wissenschaft stützt sich auf eine riesige Bibliothek vergangener Entdeckungen, aber das Auffinden der spezifischen Fakten, die in diesen alten Arbeiten verborgen sind, ist eine langsame, mühsame Aufgabe. Stellen Sie sich einen Forscher vor, der genau wissen muss, wie sich ein Herzmuskelprotein unter bestimmten Bedingungen verhält. Er muss Dutzende von Artikeln durchlesen, einige davon, die vor Jahrzehnten geschrieben wurden, um winzige Details wie Temperatur, chemische Konzentrationen und Messmethoden zu finden. Diese Details sind oft in dichten Text eingebettet oder über Tabellen verstreut, und selbst wenn eines fehlt, kann dies zu Fehlern in der neuen Forschung führen. Jahrelang hofften Wissenschaftler, dass Computerprogramme diese schwere Arbeit übernehmen könnten, aber bis vor kurzem waren diese Werkzeuge zu unzuverlässig, um ihnen solch präziser Arbeit zu vertrauen. Sie übersahen oft den entscheidenden Kontext oder erfanden Fakten, die nie existierten.
Eine neue Studie von Forschern des Imperial College London und der University of Cambridge testet, ob die neueste Generation der künstlichen Intelligenz dieses Problem endlich lösen kann. Das Team bat den Computer nicht einfach nur, ein Papier zu lesen; sie behandelten den Computer wie einen Junior-Forschungsassistenten, der eine sorgfältige Ausbildung und Aufsicht benötigt. Sie richteten eine Reihe von Experimenten ein, um zu sehen, wie gut diese Programme spezifische Daten aus wissenschaftlichen Artikeln extrahieren können – reichend von einfachen Aufgaben, bei denen ein Mensch eine klare Anweisung gab, bis hin zu komplexen Aufgaben, bei denen der Computer die Artikel selbst finden musste. Das Ziel war es, genau abzubilden, wo diese Maschinen erfolgreich sind und wo sie noch eine menschliche Hand benötigen, um sie zu führen.
Die Forscher begannen mit einer geradlinigen Herausforderung: Konnte ein Computer präzise Zahlen darüber extrahieren, wie Kalzium an Herzproteine bindet, aus achtzehn verschiedenen wissenschaftlichen Arbeiten? Sie gaben sieben der fortschrittlichsten Computerprogramme eine detaillierte, von Experten geschriebene Anweisung und baten sie, für jedes Experiment sieben spezifische Informationen zu finden, wie etwa die Art des verwendeten Tieres, die Temperatur und die chemischen Werte. Die Ergebnisse waren überraschend stark. Die besten Programme trafen die Zahlen in mehr als neunzig Prozent der Fälle richtig. Tatsächlich waren die Computer, wenn sie nur nach den Rohzahlen gefragt wurden, in fast einhundert Prozent der Fälle korrekt. Die Maschinen hatten jedoch Schwierigkeiten, wenn sie gebeten wurden, die Geschichte hinter den Zahlen zu verstehen. Sie scheiterten oft daran, genau zu identifizieren, welche Version des Proteins getestet wurde oder unter welchen spezifischen Bedingungen die Messung durchgeführt wurde. Dies zeigte, dass die Computer zwar exzellent darin waren, Ziffern zu finden, aber noch dabei waren, den wissenschaftlichen Kontext zu verstehen, der diese Ziffern bedeutungsvoll macht.
Um zu sehen, ob die Computer besser abschneiden könnten, ohne dass ein Mensch die Anweisungen schreibt, ließen die Forscher die Programme ihre eigenen Leitfäden schreiben. Sie baten jeden Computer, nach den besten Wegen zu suchen, Fragen zu stellen, und dann ein Master-Anleitungsblatt für die Aufgabe zu erstellen. Die Computer schafften es zwar, nützliche Leitfäden zu erstellen, aber die Daten, die sie mit diesen selbst geschriebenen Anweisungen extrahierten, waren etwas weniger genau als unter dem ursprünglichen Plan des menschlichen Experten. Die Lücke war gering bei den Top-Programmen, wurde aber größer bei anderen. Dies deutete darauf hin, dass Computer zwar lernen können, gute Fragen zu stellen, ein menschlicher Experte aber immer noch am besten weiß, wie man die spezifischen Nuancen eines wissenschaftlichen Problems formuliert.
Das Team trieb die Computer dann weiter voran, indem es sie aufforderte, als autonome Forscher zu agieren. In diesem Szenario mussten die Programme die relevanten wissenschaftlichen Arbeiten selbst finden, sie lesen und die Daten extrahieren, ohne dass ein Mensch ihnen helfen musste, in die richtige Richtung zu zeigen. Hier stießen die Systeme an eine Wand. Selbst die fortschrittlichsten Programme übersehen mehr als die Hälfte der korrekten Arbeiten, die sie eigentlich finden sollten. Einige von ihnen erfanden Zitate für Arbeiten, die nicht existierten – ein Problem, das als Halluzination bekannt ist –, während andere einfach die richtigen Quellen nicht fanden. Die Studie ergab, dass ein Computer wesentlich unzuverlässiger wird, wenn er seine Informationen selbst suchen muss. Es ist, als würde man einen Studenten bitten, einen Bericht zu schreiben, ihm aber keinen Bibliotheksausweis geben; er mag die richtigen Bücher erraten, aber er ist ebenso wahrscheinlich dazu geneigt, die Titel zu erfinden.
Der letzte Teil der Studie untersuchte, wie dieser Prozess in der realen Welt funktionieren kann. Die Forscher testeten eine Methode, bei der sie mehrere Computer einsetzten, die sich gegenseitig kontrollierten. Sie fanden heraus, dass, wenn ein Computer einen Fehler machte, ein anderer ihn oft entdeckte. Indem sie dieselbe Aufgabe fünfmal ausführten und die häufigste Antwort nahmen, konnte das Team die Genauigkeit signifikant verbessern. Sie entdeckten auch, dass es noch besser war, verschiedene Computer an demselben Problem arbeiten zu lassen, als einen einzelnen Computer die Aufgabe fünfmal wiederholen zu lassen. Dieser Ansatz schuf ein Sicherheitsnetz, bei dem die Computer schwierige Fälle zur Überprüfung durch einen Menschen markieren konnten. Die Studie kam zu dem Schluss, dass der beste Weg, diese Werkzeuge zu nutzen, nicht darin besteht, menschliche Wissenschaftler zu ersetzen, sondern eine Partnerschaft zu bilden. In diesem neuen Arbeitsablauf übernimmt der Computer die repetitive Arbeit des Findens und Extrahierens von Daten, während der menschliche Experte einspringt, um die kniffligen Teile zu verifizieren und Unstimmigkeiten zwischen den Maschinen zu klären. Diese Arbeitsteilung ermöglicht es Wissenschaftlern, riesige Mengen an Literatur schnell zu verarbeiten, ohne das sorgfältige Urteilsvermögen zu verlieren, das nur ein Mensch bieten kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.