Automating the Open Data Maturity Index with a Multi-Agent LLM System
Cette thèse présente un système multi-agents de LLM qui automatise l'évaluation de l'indice de maturité des données ouvertes en atteignant une précision de 70,1 % par rapport aux réponses officielles de 2025 grâce à un flux de travail collaboratif de recherche, de vérification et d'arbitrage, tout en soulignant la nécessité de reformuler le questionnaire pour donner la priorité aux preuves découvrables plutôt qu'aux pratiques autodéclarées afin de surmonter les limites des données du web ouvert.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque année, une équipe d'experts à Bruxelles se réunit pour évaluer la qualité du partage des données publiques de trente-six pays européens. Ils posent une longue liste de questions : Le gouvernement a-t-il un plan pour les données ouvertes ? Le site national est-il facile à utiliser ? Les ensembles de données sont-ils réellement fonctionnels ? Pour chaque pays, l'équipe nationale répond elle-même à ces questions, puis un vérificateur humain examine les réponses pour s'assurer qu'elles sont exactes. Ce processus est lent, coûteux et repose largement sur la confiance. La question que les chercheurs du King's College London ont posée était simple : une équipe d'agents d'intelligence artificielle pourrait-elle faire ce travail à la place ? Ils voulaient savoir si des machines pouvaient parcourir l'internet ouvert, trouver les preuves et noter les pays sans aide humaine, tout en restant assez équitables et précises pour être dignes de confiance.
Les chercheurs ont construit un système qui fonctionne comme un petit comité de trois agents numériques. Le premier agent, le Chercheur, lit la question et cherche des preuves sur le web. S'il trouve un document qui ressemble à une réponse, il propose un score. Le deuxième agent, le Vérificateur, joue le rôle d'un sceptique. Sa seule mission est de tenter de prouver que le Chercheur a tort, en cherchant des preuves qui contredisent l'affirmation. Si les deux agents ne parviennent pas à se mettre d'accord, un troisième agent, l'Adjudicateur, intervient pour rendre la décision finale. Crucialement, ce système possède un moyen de dire « Je ne sais pas ». Si les agents ne trouvent pas assez de preuves sur le web public, ils sont programmés pour décliner la question plutôt que de deviner. Cela est vital car l'internet est plein de lacunes ; ce n'est pas parce qu'un site web ne mentionne pas une pratique que la pratique n'existe pas.
Lorsque l'équipe a testé ce système sur un échantillon de huit pays, en répondant à plus de mille questions, elle a constaté que les machines pouvaient faire du bon travail, mais seulement sous certaines conditions spécifiques. Le système a répondu avec succès à environ la moitié des questions, correspondant aux réponses des experts humains environ sept fois sur dix pour les questions qu'il choisissait de traiter. Cependant, il a refusé de répondre à l'autre moitié. La raison de ce refus n'était pas un manque d'intelligence, mais un manque de preuves. Le système était très efficace pour trouver la preuve que quelque chose existe. Si un pays avait une politique ou une fonctionnalité sur son site web, les agents pouvaient trouver le document et le citer. Mais le système éprouvait d'immenses difficultés avec les questions demandant si quelque chose manquait. Si un pays n'avait pas une certaine pratique, il n'y avait souvent aucun document public disant « nous ne pratiquons pas cela ». Les agents ne pouvaient pas distinguer un pays qui n'avait pas une telle pratique d'un pays qui n'avait simplement pas publié la preuve qu'il la pratiquait.
Cette limitation a révélé un problème plus profond dans la conception actuelle de l'évaluation. Les chercheurs ont découvert que la précision du système n'était pas la même pour chaque pays. Il performait mieux sur les pays qui faisaient déjà le plus pour partager leurs données. Ces nations possédaient des sites web riches et détaillés ainsi que de nombreux documents publics, ce qui donnait à l'IA beaucoup de matière de travail. Les pays qui partageaient moins de données ouvertes, qui avaient moins de sites web et moins de documents, étaient ceux avec lesquels le système éprouvait le plus de difficultés. En fait, le système était si incertain concernant les pays ayant moins de données ouvertes qu'il refusait souvent de répondre, ou pire, devinait incorrectement en prenant des informations non liées pour des preuves. L'étude a montré que plus un pays est ouvert, plus il est facile pour la machine de le noter, créant un cycle où le système est le plus précis pour les pays qui réussissent déjà bien.
Les chercheurs ont également testé si la présence d'un agent « sceptique » était nécessaire. Ils ont remplacé le rôle du Vérificateur, qui consistait à tenter de disprover la réponse, par celui de tenter de la confirmer. Étonnamment, ce changement n'a fait presque aucune différence au score final. Le système n'est pas devenu plus précis, ni moins précis. Le bénéfice d'avoir plusieurs agents ne provenait pas de leurs points de vue opposés, mais simplement du fait qu'ils effectuaient plusieurs recherches sur le web, recueillant davantage de preuves. Le débat entre les agents n'a pas résolu le problème central : l'internet ne contient tout simplement pas les preuves nécessaires pour prouver l'absence d'une pratique.
En fin de compte, l'étude suggère qu'une évaluation entièrement automatisée n'est pas encore possible pour l'ensemble du questionnaire, mais qu'une approche hybride pourrait fonctionner. Les chercheurs proposent de réécrire les questions pour demander des preuves publiques plutôt que des promesses internes. Au lieu de demander à une équipe gouvernementale « Surveillez-vous les termes de recherche ? », les nouvelles questions demanderaient « Montrez-nous le rapport que vous avez publié sur ce que vous avez appris de la surveillance des termes de recherche ». Ce changement forcerait la preuve à exister sur le web ouvert, rendant possible sa vérification par les machines. Pour les parties de l'évaluation qui reposent encore sur des connaissances internes, les experts humains resteraient nécessaires. La machine pourrait gérer la moitié des questions qui peuvent être répondues par des documents publics, signalant les autres pour une révision humaine. Cela permettrait non seulement d'accélérer le processus, mais aussi de rendre l'évaluation plus honnête, en garantissant que le score d'un pays est basé sur ce qu'il a réellement publié, et non sur ce qu'il prétend avoir fait.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.