Automating the Open Data Maturity Index with a Multi-Agent LLM System
Esta disertación presenta un sistema de LLM multiagente que automatiza la evaluación del Índice de Madurez de Datos Abiertos al alcanzar una precisión del 70,1% frente a las respuestas oficiales de 2025 mediante un flujo de trabajo colaborativo de investigación, verificación y adjudicación, al tiempo que destaca la necesidad de reformular el cuestionario para priorizar la evidencia localizable sobre las prácticas autodeclaradas para superar las limitaciones de los datos de la web abierta.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada año, un equipo de expertos en Bruselas se reúne para juzgar qué tan bien están compartiendo sus datos públicos treinta y seis países europeos. Le hacen una larga lista de preguntas: ¿Tiene el gobierno un plan para los datos abiertos? ¿Es el sitio web nacional fácil de usar? ¿Realmente funcionan los conjuntos de datos? Para cada país, el equipo nacional responde a estas preguntas por sí mismo, y luego un revisor humano verifica las respuestas para asegurarse de que sean ciertas. Este proceso es lento, costoso y depende en gran medida de la confianza. La pregunta que los investigadores del King's College London se hicieron fue simple: ¿podría un equipo de agentes de inteligencia artificial hacer este trabajo en su lugar? Querían saber si las máquinas podrían rastrear el internet abierto, encontrar la prueba y calificar a los países sin ayuda humana, manteniendo al mismo tiempo la suficiente imparcialidad y precisión para ser confiables.
Los investigadores construyeron un sistema que funciona como un pequeño comité de tres agentes digitales. El primer agente, el Investigador, lee la pregunta y busca evidencia en la web. Si encuentra un documento que parece ser una respuesta, propone una puntuación. El segundo agente, el Verificador, actúa como un escéptico. Su único trabajo es intentar probar que el Investigador está equivocado, buscando evidencia que contradiga la afirmación. Si los dos agentes no logran ponerse de acuerdo, un tercer agente, el Adjudicador, interviene para tomar la decisión final. Crucialmente, este sistema tiene una forma de decir "no lo sé". Si los agentes no pueden encontrar suficiente prueba en la web pública, están programados para declinar la pregunta en lugar de adivinar. Esto es vital porque el internet está lleno de vacíos; que un sitio web no mencione una práctica no significa que la práctica no exista.
Cuando el equipo probó este sistema con una muestra de ocho países, respondiendo más de mil preguntas, descubrieron que las máquinas podían hacer un buen trabajo, pero solo bajo condiciones específicas. El sistema respondió con éxito aproximadamente la mitad de las preguntas, coincidiendo con las respuestas de los expertos humanos aproximadamente siete de cada diez veces para las preguntas que eligió responder. Sin embargo, se negó a responder la otra mitad. La razón de este rechazo no fue una falta de inteligencia, sino una falta de evidencia. El sistema era muy bueno encontrando pruebas de que algo existe. Si un país tenía una política o una característica en su sitio web, los agentes podían encontrar el documento y citarlo. Pero el sistema tuvo dificultades inmensas con las preguntas que indagaban si algo faltaba. Si un país no tenía cierta práctica, a menudo no había un documento público que dijera "no hacemos esto". Los agentes no podían distinguir entre un país que no tenía tal práctica y un país que simplemente no había publicado la prueba de que la tenía.
Esta limitación reveló un problema más profundo con el diseño actual de la evaluación. Los investigadores descubrieron que la precisión del sistema no era la misma para todos los países. Funcionaba mejor en los países que ya estaban haciendo más para compartir sus datos. Estas naciones tenían sitios web detallados y ricos, y muchos documentos públicos, lo que le daba a la IA mucho material con el cual trabajar. Los países con menos datos abiertos, que tenían menos sitios web y menos documentos, fueron con los que el sistema tuvo más dificultades. De hecho, el sistema estaba tan inseguro sobre los países con menos datos abiertos que a menudo declinaba responder, o peor aún, adivinaba incorrectamente porque confundía información no relacionada con una prueba. El estudio demostró que cuanto más abierto era un país, más fácil era para la máquina calificarlo, creando un ciclo donde el sistema era más preciso para los países que ya lo estaban haciendo bien.
Los investigadores también probaron si tener un agente "escéptico" era necesario. Cambiaron el rol del Verificador de intentar refutar la respuesta a intentar confirmarla. Sorprendentemente, este cambio no supuso casi ninguna diferencia para la puntuación final. El sistema no se volvió más preciso, ni tampoco menos preciso. El beneficio de tener múltiples agentes no provino de sus puntos de vista opuestos, sino simplemente del hecho de que buscaron en la web varias veces, reuniendo más evidencia. El debate entre los agentes no resolvió el problema central: el internet simplemente no contiene la evidencia necesaria para probar que una práctica está ausente.
Al final, el estudio sugiere que una evaluación totalmente automatizada aún no es posible para todo el cuestionario, pero un enfoque híbrido podría funcionar. Los investigadores proponen reescribir las preguntas para pedir pruebas públicas en lugar de promesas internas. En lugar de preguntar a un equipo gubernamental "¿Monitorean los términos de búsqueda?", las nuevas preguntas preguntarían "Muéstrenos el informe que publicaron sobre lo que aprendieron al monitorear los términos de búsqueda". Este cambio obligaría a que la evidencia exista en la web abierta, haciendo posible que las máquinas la verifiquen. Para las partes de la evaluación que aún dependen del conocimiento interno, los expertos humanos seguirían siendo necesarios. La máquina podría encargarse de la mitad de las preguntas que pueden responderse con documentos públicos, marcando el resto para la revisión humana. Esto no solo aceleraría el proceso, sino que también haría la evaluación más honesta, asegurando que la puntuación de un país se base en lo que realmente ha publicado, no solo en lo que afirma haber hecho.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.