Automating the Open Data Maturity Index with a Multi-Agent LLM System
Diese Dissertation präsentiert ein Multi-Agenten-LLM-System, das die Bewertung des Open Data Maturity Index automatisiert, indem es durch einen kollaborativen Forschungs-, Verifizierungs- und Adjudikations-Workflow eine Genauigkeit von 70,1 % gegenüber den offiziellen Antworten aus dem Jahr 2025 erreicht, während es gleichzeitig die Notwendigkeit hervorhebt, den Fragebogen neu zu formulieren, um nachweisbare Belege gegenüber selbstberichteten Praktiken zu priorisieren, um die Einschränkungen von Open-Web-Daten zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr setzt sich in Brüssel ein Expertenteam zusammen, um zu bewerten, wie gut sechsunddreißig europäische Länder ihre öffentlichen Daten teilen. Sie stellen eine lange Liste von Fragen: Hat die Regierung einen Plan für Open Data? Ist die nationale Website benutzerfreundlich? Funktionieren die Datensätze tatsächlich? Für jedes Land beantwortet das nationale Team diese Fragen selbst, und dann überprüft ein menschlicher Prüfer die Antworten, um sicherzustellen, dass sie wahr sind. Dieser Prozess ist langsam, teuer und beruht stark auf Vertrauen. Die Frage, die Forscher am King's College London stellten, war simpel: Könnte ein Team von künstlichen Intelligenz-Agenten diesen Job stattdessen übernehmen? Sie wollten wissen, ob Maschinen das offene Internet durchforsten, den Beweis finden und die Länder bewerten können, ohne menschliche Hilfe, während sie gleichzeitig vertrauenswürdig genug in Bezug auf Fairness und Genauigkeit bleiben.
Die Forscher bauten ein System, das wie ein kleines Komitee aus drei digitalen Agenten funktioniert. Der erste Agent, der Researcher (Forscher), liest die Frage und sucht im Web nach Beweisen. Wenn er ein Dokument findet, das wie eine Antwort aussieht, schlägt er eine Punktzahl vor. Der zweite Agent, der Verifier (Prüfer), agiert als Skeptiker. Seine einzige Aufgabe ist es, zu versuchen, den Researcher zu widerlegen, indem er nach Beweisen sucht, die der Behauptung widersprechen. Wenn sich die beiden Agenten nicht einig werden, greift ein dritter Agent, der Adjudicator (Schiedsrichter), ein, um die endgültige Entscheidung zu treffen. Entscheidend ist, dass dieses System eine Möglichkeit hat, „Ich weiß es nicht“ zu sagen. Wenn die Agenten nicht genügend Beweise im öffentlichen Netz finden können, sind sie so programmiert, dass sie die Frage ablehnen, anstatt zu raten. Dies ist wichtig, da das Internet voller Lücken ist; nur weil eine Website eine Praxis nicht erwähnt, bedeutet das nicht, dass die Praxis nicht existiert.
Als das Team dieses System an einer Stichprobe von acht Ländern testete, wobei über tausend Fragen beantwortet wurden, fanden sie heraus, dass die Maschinen einen guten Job machen konnten, aber nur unter spezifischen Bedingungen. Das System beantwortete erfolgreich etwa die Hälfte der Fragen und stimmte in etwa sieben von zehn Fällen mit den Antworten der menschlichen Experten für die Fragen überein, die es beantwortete. Es weigerte sich jedoch, die andere Hälfte zu beantworten. Der Grund für diese Weigerung war nicht ein Mangel an Intelligenz, sondern ein Mangel an Beweisen. Das System war sehr gut darin, Beweise dafür zu finden, dass etwas existiert. Wenn ein Land eine Richtlinie oder ein Merkmal auf seiner Website hatte, konnten die Agenten das Dokument finden und zitieren. Aber das System hatte enorme Schwierigkeiten mit Fragen, die danach fragten, ob etwas fehlte. Wenn ein Land eine bestimmte Praxis nicht anwandte, gab es oft kein öffentliches Dokument, das besagte: „Wir tun dies nicht“. Die Agenten konnten nicht zwischen einem Land, das keine solche Praxis hatte, und einem Land, das den Beweis dafür einfach nicht veröffentlicht hatte, unterscheiden.
Diese Einschränkung offenbarte ein tiefer liegendes Problem mit der Art und Weise, wie die Bewertung derzeit gestaltet ist. Die Forscher entdeckten, dass die Genauigkeit des Systems nicht für jedes Land gleich war. Es schnitt am besten bei den Ländern ab, die bereits am meisten zur Weitergabe ihrer Daten beitrugen. Diese Nationen verfügten über reichhaltige, detaillierte Websites und viele öffentliche Dokumente, die der KI viel Material zur Verfügung stellten. Die Länder mit weniger offenen Daten, die über weniger Websites und weniger Dokumente verfügten, waren diejenigen, mit denen das System am meisten zu kämpfen hatte. Tatsächlich war sich das System bei den Ländern mit weniger offenen Daten so unsicher, dass es oft die Antwort verweigerte oder, schlimmer noch, falsch r guesste, weil es unzusammenhängende Informationen für einen Beweis hielt. Die Studie zeigte, dass es für die Maschine einfacher war, ein Land zu bewerten, je offener dieses Land war, was einen Kreislauf schuf, in dem das System für die Länder, die bereits gut abschnitten, am genauesten war.
Die Forscher testeten auch, ob ein „skeptischer“ Agent notwendig war. Sie änderten die Rolle des Verifiers von dem Versuch, die Antwort zu widerlegen, hin zum Versuch, sie zu bestätigen. Überraschenderweise machte diese Änderung fast keinen Unterschied für die endgültige Punktzahl. Das System wurde weder genauer noch ungenauer. Der Nutzen der Zusammenarbeit mehrerer Agenten lag nicht in ihren gegensätzlichen Ansichten, sondern schlichtweg darin, dass sie das Web mehrfach durchsuchten und so mehr Beweise sammelten. Die Debatte zwischen den Agenten löste das Kernproblem nicht: Das Internet enthält schlichtweg nicht die Beweise, die nötig sind, um die Abwesenheit einer Praxis zu beweisen.
Am Ende legt die Studie nahe, dass eine vollständig automatisierte Bewertung für den gesamten Fragebogen noch nicht möglich ist, aber ein hybrider Ansatz funktionieren könnte. Die Forscher schlagen vor, die Fragen so umzuformulieren, dass sie nach öffentlichem Beweis statt nach internen Versprechen fragen. Anstatt ein Regierungsteam zu fragen: „Überwachen Sie Suchbegriffe?“, würde die neue Frage lauten: „Zeigen Sie uns den Bericht, den Sie über das, was Sie durch die Überwachung von Suchbegriffen erfahren haben, veröffentlicht haben.“ Dieser Wechsel würde erzwingen, dass der Beweis im offenen Web existiert, was es den Maschinen ermöglichen würde, ihn zu verifizieren. Für die Teile der Bewertung, die immer noch auf internem Wissen basieren, wären menschliche Experten weiterhin notwendig. Die Maschine könnte die Hälfte der Fragen bearbeiten, die mit öffentlichen Dokumenten beantwortet werden können, und die restlichen für eine menschliche Überprüfung markieren. Dies würde nicht nur den Prozess beschleunigen, sondern auch die Bewertung ehrlicher machen, indem sichergestellt wird, dass die Punktzahl eines Landes auf dem basiert, was es tatsächlich veröffentlicht hat, und nicht nur auf dem, was es behauptet zu tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.