HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience
HERMES ist ein skalierbares Multi-Agenten-Framework, das ein koordinierendes Large Language Model nutzt, um strukturierte, FAIR-orientierte Kenntnisse aus ultra-langen, unstrukturierten geowissenschaftlichen Dokumenten zu extrahieren und dabei die 55 Bände der „Treatise on Invertebrate Paleontology“ erfolgreich in eine umfassende Datenbank mit hoher Genauigkeit und einem sechsfach höheren Effizienzgewinn gegenüber manuellen Methoden transformiert hat.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Wissenschaft als eine riesige, antike Bibliothek vor, in der die wichtigsten Geschichten nicht auf glänzenden neuen Tablets gespeichert sind, sondern in staubigen, hoch aufragenden Stapeln schwerer Bücher. Diese Bücher sind gefüllt mit Entdeckungen über unseren Planeten – wo Fossilien lebten, wie Gesteine entstanden und wie das Magnetfeld der Erde vor Millionen von Jahren aussah. Das Problem ist, dass diese Geschichten auf eine Weise geschrieben sind, die Computer nicht lesen können. Sie sind in langen Absätzen, unordentlichen Tabellen und Bildern mit winzigen Bildunterschriften gefangen. Es ist, als hätte man eine Schatzkarte, die in einem Geheimcode geschrieben ist, den nur wenige menschliche Experten entschlüsseln können. Um dies zu lösen, bauen Wissenschaftler „digitale Bibliothekare“, die von Künstlicher Intelligenz angetrieben werden. Dies sind keine einfachen Suchmaschinen; es sind intelligente Systeme, die ein Buch lesen, den Unterschied zwischen einer Tabelle und einer Geschichte verstehen und spezifische Fakten extrahieren können, um eine neue, durchsuchbare Datenbank aufzubauen. Die große Frage ist: Kann ein Computer klug genug sein, diese massiven, komplizierten Bücher zu lesen, ohne verwirrt zu werden, Details zu übersehen oder Dinge zu erfinden?
Hier tritt HERMES auf den Plan, ein neues Team von digitalen Detektiven, das genau für diese Herausforderung entwickelt wurde. Betrachten Sie HERMES nicht als einen einzelnen Roboter, sondern als eine gut organisierte Baustelle, die an einem riesigen Puzzle arbeitet. Anstatt dass ein einzelner Arbeiter versucht, ein 500-seitiges Buch auf einmal zu lesen, nutzt HERMES eine „Manager“-KI, um ein Team von Spezialisten zu koordinieren. Ein Spezialist scannt die Seiten und wandelt Bilder in Text um; ein anderer sucht nach spezifischen Namen wie Fossilienarten; ein dritter überprüft die Zahlen, um sicherzustellen, dass sie Sinn ergeben; und ein vierter agiert wie ein Detektiv, der genau aufschreibt, wo in dem Buch jeder Fakt gefunden wurde, damit Menschen die Arbeit überprüfen können. Dieses System wurde am Treatise on Invertebrate Paleontology getestet, einer legendären Serie von 55 Büchern, die tausende Seiten über antike Meerwesen enthält. Die Ergebnisse waren beeindruckend: HERMES extrahierte erfolgreich 32.277 Fossilnamen und fast 452.000 Details über sie und schuf so eine massive, organisierte Datenbank, deren Aufbau von Hand zuvor unmöglich gewesen wäre. Das Team fand heraus, dass dieser KI-Trupp etwa sechsmal schneller arbeitete als ein Team von Menschen, die dieselbe Aufgabe manuell erledigten, während die Genauigkeit gleichzeitig hoch blieb. Noch besser: Das System funktionierte nicht nur bei Fossilien; als die Forscher es mit verschiedenen Arten von Büchern über die Erdmagnetfelder und die Gesteinschemie fütterten, passte es sich dort an und zeigte auch dort eine gute Leistung, was darauf hindeutet, dass dieser „Team-aus-Agenten“-Ansatz helfen könnte, Wissen in vielen verschiedenen Bereichen der Wissenschaft zu erschließen.
Die Arbeit erklärt, dass moderne KI zwar immer besser darin wird, lange Texte zu lesen, aber oft Schwierigkeiten mit der „Mitte“ sehr langer Dokumente hat und dabei wichtige Hinweise übersieht, die zwischen dem Anfang und dem Ende verborgen sind. Sie hat zudem Schwierigkeiten, zu beweisen, woher sie ihre Informationen hat, was für die Wissenschaft entscheidend ist. HERMES löst dies durch eine Aufteilung der Aufgaben. Der „Orchestrator“ (der Manager) liest die Anfrage des Nutzers und leitet das Team an. Der „Parser“ digitalisiert das Buch, indem er Scans in Text und Abbildungen umwandelt. Der „Entity Recognizer“ findet die spezifischen Dinge, nach denen wir suchen, wie etwa einen Dinosauriernamen. Der „Annotator“ erfasst die an diese Namen gekoppelten Details, nutzt dabei aber einen intelligenten Trick namens „Retrieval-Augmented Generation“, um nur die spezifischen Seiten zu betrachten, die für diesen Detail relevant sind, was verhindert, dass er Fakten rät oder halluziniert. Dann prüft ein „Validator“ die Arbeit anhand strenger Regeln (wie etwa sicherzustellen, dass ein Fossilname korrekt geschrieben ist), und ein „Tracer“ markiert die exakte Stelle im ursprünglichen PDF, aus der der Fakt stammt.
Als die Forscher dies an den 55 Bänden des Treatise testeten, erzeugte das System eine Datenbank mit 32.277 Fossil-Entitäten und 451.878 Attributen. Das Team aus menschlichen Experten, die die Arbeit überprüften, stellte fest, dass die KI bemerkenswert genau war, mit einem Durchschnittswert von etwa 0,90 beim Finden der richtigen Fossilien und 0,91 beim Erfassen der Details. Dies ist ein gewaltiger Effizienzsprung: Während ein Team von vier Menschen 45 Tage benötigte, um nur einen einzigen Band manuell zu bearbeiten, half HERMES dem Team, die gesamte Serie in insgesamt 53 Personentagen abzuschließen. Die Autoren merken an, dass sie ohne diese automatisierte Hilfe wahrscheinlich niemals versucht hätten, die gesamte Serie zu organisieren.
Die Arbeit legt zudem nahe, dass diese Methode flexibel ist. Als sie HERMES mit Büchern über Paläomagnetismus (die Untersuchung der magnetischen Geschichte der Erde) und Geochemie (die Chemie von Gesteinen) testeten, musste das System nicht von Grund auf neu trainiert werden. Sie änderten lediglich die Regeln, die der „Validator“ zur Überprüfung der Arbeit verwendete, und das System bewältigte die neuen Datentypen gut. Die Autoren weisen jedoch vorsichtig darauf hin, dass das System nicht perfekt ist. Es übersieht manchmal Details, wenn der Text auf eine verwirrende Weise über mehrere Seiten getrennt ist oder wenn das Originalbuch von einem unscharfen Fotokopierwerkzeug gescannt wurde, was dazu führt, dass der Computer einen Buchstaben falsch liest (wie etwa „Beraunia“ in „Bcraunia“ verwandelt). Sie betonen auch, dass die KI zwar die Hauptarbeit leistet, menschliche Experten jedoch weiterhin benötigt werden, um die Endergebnisse zu verifizieren, insbesondere für die schwierigsten Teile der Bücher. Die Arbeit schließt mit dem Fazit, dass dieser Multi-Agenten-Ansatz eine praktische Möglichkeit bietet, alte, unordentliche wissenschaftliche Archive in saubere, nutzbare Daten zu verwandeln, aber am besten funktioniert, wenn Mensch und Maschine zusammenarbeiten – wobei die KI den Großteil der Extraktion übernimmt und die Menschen die abschließende Qualitätskontrolle durchführen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.