Automating the Open Data Maturity Index with a Multi-Agent LLM System
本論文は、調査、検証、および裁定の協調的なワークフローを通じて、2025年の公式回答に対して70.1%の精度を達成することでオープンデータ成熟度指数の評価を自動化するマルチエージェントLLMシステムを提示し、同時に、オープンウェブデータの限界を克服するために、自己申告型の慣行よりも発見可能な証拠を優先するように質問票を再構成する必要性を強調するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
毎年、ブリュッセルの専門家チームが集まり、36の欧州諸国が公共データをどの程度共有しているかを判定しています。彼らは長い質問リストを提示します。「政府にはオープンデータの計画があるか？」「国のウェブサイトは使いやすいか？」「データセットは実際に機能しているか？」といった内容です。各国ごとに、各国の担当チームがこれらの質問に自ら回答し、その後、人間のチェッカーがその回答が真実であるかを確認します。このプロセスは時間がかかり、コストも高く、信頼性に大きく依存しています。キングス・カレッジ・ロンドンの研究者たちが投げかけた問いはシンプルでした。「人工知能エージェントのチームが、この仕事を代行できるのではないか？」というものです。彼らは、機械が公開されているインターネットを探索し、証拠を見つけ出し、人間による助けなしに各国を採点できるのか、そしてそれが信頼に足るほど公平かつ正確であり得るのかを知りたいと考えました。
研究者たちは、3つのデジタル・エージェントからなる小さな委員会のように機能するシステムを構築しました。最初のエージェントである「リサーチャー（調査員）」は、質問を読み、証拠を探してウェブを検索します。もし答えらしき文書を見つけた場合、スコアを提案します。2番目のエージェントである「ベリファイア（検証者）」は、懐疑派として振る舞います。その唯一の役割は、リサーチャーの主張を否定する証拠を探し、間違いであることを証明することです。もし2つのエージェントの意見が一致しない場合は、3番目のエージェントである「アジュディケーター（裁定者）」が介入し、最終決定を下します。極めて重要なのは、このシステムには「わからない」と言う手段があることです。エージェントたちが公開ウェブ上で十分な証拠を見つけられない場合、推測するのではなく、質問への回答を辞退するようにプログラムされています。これは不可欠なことです。なぜなら、インターネットには空白が存在するからです。ある慣行についてウェブサイトで言及されていないからといって、その慣行が存在しないとは限らないのです。
研究チームがこのシステムを8カ国のサンプルに対してテストし、1,000以上の質問に回答させたところ、機械はうまく機能するものの、特定の条件下でのみ可能であるという結果が出ました。システムは約半数の質問に回答でき、回答を選んだ質問については、人間の専門家の回答とおよそ10回中7回の割合で一致しました。しかし、残りの半数の質問については回答を拒否しました。この拒否の理由は知能の欠如ではなく、証拠の欠如でした。システムは、何かが「存在する」ことの証拠を見つけることには非常に長けていました。もし国が政策やウェブサイト上の機能を持っていれば、エージェントはその文書を見つけ出し、引用することができました。しかし、システムは「何かが欠けている」ことを問う質問に対しては、非常に苦戦しました。ある慣行が行われていない場合、多くの国は「我々はこれを行っていない」という公的な文書を残さないからです。エージェントたちは、ある国にそのような慣行がないのか、それとも単にその証拠を公開していないだけなのかを区別することができませんでした。
この限界は、現在の評価設計におけるより深い問題を明らかにしました。研究者たちは、システムの正確さがすべての国で一様ではないことを発見しました。システムは、すでにデータの共有に最も力を入れている国々において最高のパフォーマンスを発揮しました。これらの国々は、詳細なウェブサイトや多くの公的文書を備えており、AIが活用できる材料が豊富にありました。一方で、オープンデータが少ない国々は、ウェブサイトや文書が少なく、システムが最も苦戦する対象となりました。実際、システムはオープンデータの少ない国々に対して非常に不確実であったため、回答を辞退するか、あるいは最悪の場合、無関係な情報を証拠と誤認して誤った推測をしてしまいました。この研究は、国がよりオープンであればあるほど、機械による採点が容易になるという、一種のサイクルを生み出していることを示しました。
研究者たちはまた、「懐疑的な」エージェントを持つことが必要かどうかについてもテストを行いました。ベリファイアの役割を、答えを否定しようとするものから、答えを肯定しようとするものへと入れ替えてみたのです。驚いたことに、この変更は最終的なスコアにほとんど影響を与えませんでした。システムはより正確になったわけでも、精度が落ちたわけでもありません。複数のエージェントを持つことの利点は、対立する意見を持つことではなく、単にウェブを複数回検索することで、より多くの証拠を集められるという点にありました。エージェント間の議論は、核心的な問題、すなわち「インターネットには、ある慣行が欠如していることを証明するための証拠が含まれていない」という問題を解決するものではありませんでした。
結局のところ、この研究は、全質問に対する完全な自動評価はまだ不可能であるが、ハイブリッドなアプローチであれば機能する可能性があることを示唆しています。研究者たちは、質問の内容を「内部的な約束」ではなく「公開された証拠」を求めるものへと書き換えることを提案しています。例えば、政府のチームに対して「検索ワードをモニタリングしていますか？」と問う代わりに、新しい質問では「モニタリングから得られた知見に関する、公開された報告書を提示してください」と問う形にします。この転換により、証拠が公開ウェブ上に存在することを強制し、機械による検証を可能にします。内部知識に依存する部分については、引き続き人間の専門家が必要となります。機械は、公開文書によって回答可能な半数の質問を処理し、残りの質問を人間に回す役割を担います。これにより、プロセスがスピードアップするだけでなく、評価の誠実さも向上し、国のスコアが単なる「主張」ではなく、実際に「公開されたもの」に基づいていることが保証されるようになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。