Automating the Open Data Maturity Index with a Multi-Agent LLM System
Esta dissertação apresenta um sistema de LLM multiagente que automatiza a avaliação do Índice de Maturidade de Dados Abertos ao atingir 70,1% de precisão em relação às respostas oficiais de 2025 por meio de um fluxo de trabalho colaborativo de pesquisa, verificação e adjudicação, ao mesmo tempo em que destaca a necessidade de reformular o questionário para priorizar evidências de fácil descoberta em vez de práticas autorrelatadas para superar as limitações dos dados da web aberta.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os anos, uma equipa de especialistas em Bruxelas reúne-se para avaliar o quão bem trinta e seis países europeus estão a partilhar os seus dados públicos. Eles fazem uma longa lista de perguntas: O governo tem um plano para dados abertos? O site nacional é fácil de usar? Os conjuntos de dados realmente funcionam? Para cada país, a equipa nacional responde a estas perguntas por si mesma e, depois, um verificador humano analisa as respostas para garantir que são verdadeiras. Este processo é lento, caro e depende fortemente da confiança. A questão que os investigadores do King's College London colocaram foi simples: poderia uma equipa de agentes de inteligência artificial fazer este trabalho em vez deles? Eles queriam saber se as máquinas poderiam percorrer a internet aberta, encontrar a prova e classificar os países sem ajuda humana, mantendo-se simultaneamente suficientemente justas e precisas para serem confiáveis.
Os investigadores construíram um sistema que funciona como um pequeno comité de três agentes digitais. O primeiro agente, o Investigador, lê a pergunta e pesquisa na web por evidências. Se encontrar um documento que pareça uma resposta, propõe uma pontuação. O segundo agente, o Verificador, atua como um cético. O seu único trabalho é tentar provar que o Investigador está errado, procurando evidências que contradigam a afirmação. Se os dois agentes não chegarem a um acordo, um terceiro agente, o Adjudicador, intervém para tomar a decisão final. Crucialmente, este sistema tem uma forma de dizer "não sei". Se os agentes não conseguirem encontrar provas suficientes na web pública, são programados para recusar a pergunta em vez de adivinhar. Isto é vital porque a internet está cheia de lacunas; o facto de um website não mencionar uma prática não significa que a prática não exista.
Quando a equipa testou este sistema num grupo de amostra de oito países, respondendo a mais de mil perguntas, descobriu que as máquinas podiam fazer um bom trabalho, mas apenas sob condições específicas. O sistema respondeu com sucesso a cerca de metade das perguntas, coincidindo com as respostas dos especialistas humanos aproximadamente sete em cada dez vezes para as perguntas que escolheu responder. No entanto, recusou responder à outra metade. A razão para esta recusa não foi falta de inteligência, mas sim falta de evidências. O sistema foi muito bom a encontrar provas de que algo existe. Se um país tivesse uma política ou uma funcionalidade no seu website, os agentes conseguiam encontrar o documento e citá-lo. Mas o sistema teve imensas dificuldades com perguntas que perguntavam se algo estava ausente. Se um país não tivesse determinada prática, muitas vezes não havia um documento público a dizer "nós não fazemos isto". Os agentes não consegiam distinguir entre um país que não tinha tal prática e um país que simplesmente não tinha publicado a prova de que a tinha.
Esta limitação revelou um problema mais profundo com a forma como a avaliação é atualmente desenhada. Os investigadores descobriram que a precisão do sistema não era a mesma para todos os países. O sistema funcionava melhor nos países que já estavam a fazer mais para partilhar os seus dados. Estas nações tinham websites detalhados e ricos, e muitos documentos públicos, o que dava à IA bastante material para trabalhar. Os países com menos dados abertos, que tinham menos websites e menos documentos, eram os que o sistema mais tinha dificuldade em avaliar. De facto, o sistema estava tão incerto sobre os países com menos dados abertos que frequentemente recusava responder ou, pior, adivinhava incorretamente porque confundia informações não relacionadas com provas. O estudo mostrou que, quanto mais aberto fosse um país, mais fácil era para a máquina o classificar, criando um ciclo onde o sistema era mais preciso para os países que já estavam a ter um bom desempenho.
Os investigadores também testaram se ter um agente "cético" era necessário. Eles alteraram o papel do Verificador, passando de tentar desmentir a resposta para tentar confirmá-la. Surpreendentemente, esta mudança não fez quase nenhuma diferença na pontuação final. O sistema não se tornou mais preciso, nem menos preciso. O benefício de ter múltiplos agentes não veio das suas visões opostas, mas simplesmente do facto de pesquisarem a web várias vezes, recolhendo mais evidências. O debate entre os agentes não resolveu o problema central: a internet simplesmente não contém as evidências necessárias para provar que uma prática está ausente.
No final, o estudo sugere que uma avaliação totalmente automatizada ainda não é possível para todo o questionário, mas uma abordagem híbrida poderia funcionar. Os investigadores propõem reescrever as perguntas para pedir provas públicas em vez de promessas internas. Em vez de perguntar a uma equipa governamental "Monitorizam termos de pesquisa?", as novas perguntas perguntariam "Mostrem-nos o relatório que publicaram sobre o que aprenderam com a monitorização de termos de pesquisa". Esta mudança forçaria a evidência a existir na web aberta, tornando possível para as máquinas a verificar. Para as partes da avaliação que ainda dependem de conhecimento interno, os especialistas humanos continuariam a ser necessários. A máquina poderia tratar da metade das perguntas que podem ser respondidas com documentos públicos, sinalizando o resto para revisão humana. Isto não só aceleraria o processo, como também tornaria a avaliação mais honesta, garantindo que a pontuação de um país se baseia no que ele realmente publicou, e não apenas no que afirma ter feito.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.