Automating the Open Data Maturity Index with a Multi-Agent LLM System
Deze dissertatie presenteert een multi-agent LLM-systeem dat de beoordeling van de Open Data Maturity Index automatiseert door een nauwkeurigheid van 70,1% te bereiken ten opzichte van de officiële reacties van 2025 via een collaboratieve workflow van onderzoek, verificatie en adjudicatie, terwijl het de noodzaak benadrukt om de vragenlijst te herformuleren om prioriteit te geven aan vindbaar bewijs boven zelfgerapporteerde praktijken om de beperkingen van open web-data te overwinnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar zit een team van experts in Brussel bijeen om te beoordelen hoe goed zesendertig Europese landen hun publieke gegevens delen. Ze stellen een lange lijst met vragen: Heeft de overheid een plan voor open data? Is de nationale website gebruiksvriendelijk? Werken de datasets daadwerkelijk? Voor elk land beantwoordt het nationale team deze vragen zelf, waarna een menselijke controleur de antwoorden controleert om te waarborgen dat ze waar zijn. Dit proces is traag, duur en leunt zwaar op vertrouwen. De vraag die onderzoekers aan King's College London stelden, was simpel: zou een team van kunstmatige intelligentie-agenten dit werk kunnen doen in plaats van mensen? Ze wilden weten of machines het open internet konden afzoeken, het bewijs konden vinden en de landen konden beoordelen zonder menselijke hulp, terwijl ze nog steeds eerlijk en nauwkeurig genoeg zouden zijn om vertrouwd te worden.
De onderzoekers bouwden een systeem dat werkt als een kleine commissie van drie digitale agenten. De eerste agent, de Onderzoeker, leest de vraag en zoekt op het web naar bewijs. Als hij een document vindt dat eruitziet als een antwoord, stelt hij een score voor. De tweede agent, de Verifieerder, treedt op als een scepticus. Zijn enige taak is om te proberen de Onderzoeker ongelijk te bewijzen, door te zoeken naar bewijs dat de bewering tegenspreekt. Als de twee agenten het niet met elkaar eens kunnen worden, stapt een derde agent, de Arbiter, in om de definitieve beslissing te nemen. Cruciaal is dat dit systeem een manier heeft om te zeggen: "Ik weet het niet." Als de agenten niet genoeg bewijs op het openbare web kunnen vinden, zijn ze geprogrammeerd om de vraag te weigeren in plaats van te gokken. Dit is essentieel omdat het internet vol hiaten zit; het feit dat een website een bepaalde praktijk niet vermeldt, betekent niet dat de praktijk niet bestaat.
Toen het team dit systeem testte op een steekproef van acht landen, waarbij meer dan duizend vragen werden beantwoord, kwamen zij tot de conclusie dat de machines een goede baan kunnen doen, maar alleen onder specifieke omstandigheden. Het systeem beantwoordde succesvol ongeveer de helft van de vragen, waarbij het de antwoorden van menselijke experts ongeveer zeven van de tien keer evenaarde voor de vragen die het koos te beantwoorden. Het weigerde echter de andere helft van de vragen te beantwoorden. De reden voor deze weigering was niet een gebrek aan intelligentie, maar een gebrek aan bewijs. Het systeem was erg goed in het vinden van bewijs dat iets bestaat. Als een land een beleid of een functie op zijn website had, konden de agenten het document vinden en citeren. Maar het systeem had enorme moeite met vragen die vroegen of er iets ontbrak. Als een land een bepaalde praktijk niet had, was er vaak geen publiek document dat zei: "wij doen dit niet." De agenten konden niet onderscheiden tussen een land dat geen dergelijke praktijk had en een land dat simpelweg het bewijs dat het wel deed, niet had gepubliceerd.
Deze beperking onthulde een dieper probleem met de huidige vormgeving van de beoordeling. De onderzoekers ontdekten dat de nauwkeurigheid van het systeem niet voor elk land hetzelfde was. Het presteerde het best bij de landen die al het meest deden aan het delen van hun gegevens. Deze landen hadden rijke, gedetailleerde websites en veel publieke documenten, wat de AI voldoende materiaal gaf om mee te werken. De landen met minder open data, die minder websites en minder documenten hadden, waren de landen waar het systeem het meest mee worstelde. Sterker nog, het systeem was zo onzeker over de landen met minder open data, dat het vaak weigerde te antwoorden, of erger nog, onjuist gokte omdat het ongerelateerde informatie voor bewijs aanzag. De studie toonde aan dat hoe opener een land is, hoe gemakkelijker het voor de machine is om het te beoordelen, wat een cyclus creëert waarin het systeem het meest accuraat is voor de landen die het al goed doen.
De onderzoekers testten ook of het hebben van een "sceptische" agent noodzakelijk was. Ze veranderden de rol van de Verifieerder van het proberen te weerleggen van het antwoord naar het proberen te bevestigen ervan. Verrassend genoeg maakte deze verandering vrijwel geen verschil voor de uiteindelijke score. Het systeem werd niet nauwkeuriger, noch minder nauwkeurig. Het voordeel van het hebben van meerdere agenten kwam niet voort uit hun tegengestelde standpunten, maar simpelweg uit het feit dat ze het web meerdere keren doorzochten, waardoor ze meer bewijs verzamelden. Het debat tussen de agenten loste het kernprobleem niet op: het internet bevat simpelweg niet het bewijs dat nodig is om aan te tonen dat een praktijk afwezig is.
Uiteindelijk suggereert de studie dat een volledig geautomatiseerde beoordeling nog niet mogelijk is voor de volledige vragenlijst, maar dat een hybride aanpak zou kunnen werken. De onderzoekers stellen voor om de vragen te herschrijven zodat ze vragen om publiek bewijs in plaats van interne beloften. In plaats van een regeringsorganisatie te vragen: "Controleert u zoektermen?", zouden de nieuwe vragen moeten zijn: "Toon ons het rapport dat u heeft gepubliceerd over wat u heeft geleerd van het monitoren van zoektermen." Deze verschuiving zou het bewijs dwingen om op het openbare web te bestaan, waardoor het voor machines mogelijk wordt om dit te verifiëren. Voor de onderdelen van de beoordeling die nog steeds afhankelijk zijn van interne kennis, blijven menselijke experts noodzakelijk. De machine kan de helft van de vragen afhandelen die met publieke documenten beantwoord kunnen worden, en de rest doorsturen voor menselijke beoordeling. Dit zou niet alleen het proces versnellen, maar de beoordeling ook eerlijker maken, door ervoor te zorgen dat de score van een land gebaseerd is op wat het daadwerkelijk heeft gepubliceerd, en niet alleen op wat het beweert te doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.