Automating the Open Data Maturity Index with a Multi-Agent LLM System
Questa dissertazione presenta un sistema multi-agente basato su LLM che automatizza la valutazione dell'Open Data Maturity Index raggiungendo una precisione del 70,1% rispetto alle risposte ufficiali del 2025 attraverso un flusso di lavoro collaborativo di ricerca, verifica e giudizio, evidenziando al contempo la necessità di riformulare il questionario per dare priorità alle prove reperibili rispetto alle pratiche auto-dichiarate al fine di superare i limiti dei dati presenti sul web aperto.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni anno, un team di esperti a Bruxelles si riunisce per giudicare quanto bene trentasei paesi europei stiano condividendo i propri dati pubblici. Porre una lunga lista di domande: Il governo ha un piano per l'open data? Il sito web nazionale è facile da usare? I dataset funzionano davvero? Per ogni paese, il team nazionale risponde a queste domande autonomamente, e poi un controllore umano esamina le risposte per assicurarsi che siano vere. Questo processo è lento, costoso e si basa fortemente sulla fiducia. La domanda che i ricercatori del King's College London si sono posti è stata semplice: un team di agenti di intelligenza artificiale potrebbe svolgere questo lavoro al loro posto? Volevano sapere se le macchine potessero setacciare l'internet aperto, trovare le prove e dare un voto ai paesi senza l'aiuto umano, pur rimanendo abbastanza giuste e accurate da essere affidabili.
I ricercatori hanno costruito un sistema che funziona come un piccolo comitato di tre agenti digitali. Il primo agente, il Ricercatore, legge la domanda e cerca prove sul web. Se trova un documento che sembra una risposta, propone un punteggio. Il secondo agente, il Verificatore, agisce come uno scettico. Il suo unico compito è cercare di dimostrare che il Ricercatore ha torto, cercando prove che contraddicono l'affermazione. Se i due agenti non riescono a mettersi d'accordo, interviene un terzo agente, l'Adjudicatore, per prendere la decisione finale. Fondamentalmente, questo sistema ha un modo per dire "non lo so". Se gli agenti non riescono a trovare prove sufficienti sul web pubblico, sono programmati per rifiutare la domanda invece di tirare a indovinare. Questo è vitale perché internet è pieno di lacune; il fatto che un sito web non menzioni una pratica non significa che la pratica non esista.
Quando il team ha testato questo sistema su un campione di otto paesi, rispondendo a oltre mille domande, ha scoperto che le macchine potevano fare un buon lavoro, ma solo in condizioni specifiche. Il sistema ha risposto con successo a circa la metà delle domande, corrispondendo alle risposte degli esperti umani circa sette volte su dieci per le domande che sceglieva di affrontare. Tuttavia, ha rifiutato di rispondere all'altra metà. Il motivo di questo rifiuto non era una mancanza di intelligenza, ma una mancanza di prove. Il sistema era molto bravo a trovare prove che qualcosa esistesse. Se un paese aveva una politica o una funzione sul suo sito web, gli agenti potevano trovare il documento e citarlo. Ma il sistema faticava immensamente con le domande che chiedevano se qualcosa mancasse. Se un paese non aveva una determinata pratica, spesso non esisteva un documento pubblico che dicesse "non facciamo questo". Gli agenti non potevano distinguere tra un paese che non aveva tale pratica e un paese che semplicemente non aveva pubblicato la prova che lo facesse.
Questa limitazione ha rivelato un problema più profondo nel modo in cui la valutazione è attualmente progettata. I ricercatori hanno scoperto che l'accuratezza del sistema non era la stessa per ogni paese. Esso performava meglio sui paesi che già facevano di più per condividere i propri dati. Queste nazioni avevano siti web ricchi e dettagliati e molti documenti pubblici, che fornivano all'IA molto materiale su cui lavorare. I paesi con meno open data, che avevano meno siti web e meno documenti, erano quelli con cui il sistema faticava di più. Infatti, il sistema era così incerto riguardo ai paesi con meno open data che spesso declinava la risposta, o peggio, indovinava in modo errato scambiando informazioni non correlate per prove. Lo studio ha dimostrato che più un paese è aperto, più è facile per la macchina valutarlo, creando un ciclo in cui il sistema è più accurato per i paesi che stanno già andando bene.
I ricercatori hanno anche testato se avere un agente "scettico" fosse necessario. Hanno sostituito il ruolo del Verificatore, passando dal tentare di smentire la risposta al tentare di confermarla. Sorprendentemente, questo cambiamento non ha fatto quasi nessuna differenza al punteggio finale. Il sistema non è diventato né più accurato, né meno accurato. Il beneficio di avere più agenti non derivava dai loro punti di vista opposti, ma semplicemente dal fatto che cercavano il web più volte, raccogliendo più prove. Il dibattito tra gli agenti non risolveva il problema centrale: internet semplicemente non contiene le prove necessarie per dimostrare che una pratica sia assente.
In definitiva, lo studio suggerisce che una valutazione completamente automatizzata non è ancora possibile per l'intero questionario, ma un approccio ibrido potrebbe funzionare. I ricercatori propongono di riscrivere le domande affinché chiedano prove pubbliche piuttosto che promesse interne. Invece di chiedere a un team governativo "Monitorate le parole chiave?", le nuove domande chiederebbero "Mostrateci il rapporto che avete pubblicato su ciò che avete appreso dal monitoraggio delle parole chiave". Questo spostamento costringerebbe la prova a esistere sul web aperto, rendendo possibile per le macchine verificarla. Per le parti della valutazione che richiedono ancora conoscenze interne, gli esperti umani rimarrebbero necessari. La macchina potrebbe gestire la metà delle domande che possono essere soddisfatte con documenti pubblici, segnalando le altre per la revisione umana. Questo non solo accelererebbe il processo, ma renderebbe l'accertamento più onesto, garantendo che il punteggio di un paese si basi su ciò che ha effettivamente pubblicato, non solo su ciò che dichiara di aver fatto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.