Automating the Open Data Maturity Index with a Multi-Agent LLM System
تقدم هذه الأطروحة نظاماً متعدد الوكلاء يعتمد على النماذج اللغوية الكبيرة (LLM) لأتمتة تقييم مؤشر نضج البيانات المفتوحة من خلال تحقيق دقة بنسبة 70.1% مقارنة باستجابات عام 2025 الرسمية عبر سير عمل تعاوني للبحث والتحقق والتحكيم، مع تسليط الض الضوء على الحاجة إلى إعادة صياغة الاستبيان لإعطاء الأولوية للأدلة القابلة للاكتشاف بدلاً من الممارسات المبلغ عنها ذاتياً للتغلب على قيود بيانات الويب المفتوح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل عام، يجتمع فريق من الخبراء في بروكسل لتقييم مدى جودة مشاركة ثلاث وثلاثين دولة أوروبية لبياناتها العامة. يطرحون قائمة طويلة من الأسئلة: هل لدى الحكومة خطة للبيانات المفتوحة؟ هل الموقع الوطني سهل الاستخدام؟ هل تعمل مجموعات البيانات بالفعل؟ لكل دولة، يجيب الفريق الوطني على هذه الأسئلة بأنفسهم، ثم يقوم مدقق بشري بمراجعة الإجابات للتأكد من صحتها. هذه العملية بطيئة، ومكلفة، وتعتمد بشكل كبير على الثقة. والسؤال الذي طرحه الباحثون في "كينجز كوليدج لندن" كان بسيطاً: هل يمكن لفريق من وكلاء الذكاء الاصطناعي القيام بهذه المهمة بدلاً منهم؟ أرادوا معرفة ما إذا كان بإمكان الآلات مسح الإنترنت المفتوح، وإيجاد الدليل، وتقييم الدول دون مساعدة بشرية، مع الحفاظ على القدرة على أن تكون عادلة ودقيقة بما يكفي لتكون موثوقة.
قام الباحثون ببناء نظام يعمل مثل لجنة صغيرة مكونة من ثلاثة وكلاء رقميين. الوكيل الأول، وهو "الباحث"، يقرأ السؤال ويبحث في الويب عن أدلة. إذا وجد وثيقة تبدو وكأنها إجابة، فإنه يقترح درجة. أما الوكيل الثاني، وهو "المتحقق"، فيعمل كمشكك؛ فوظيفته الوحيدة هي محاولة إثبات خطأ الباحث، والبحث عن أدلة تناقض الادعاء. وإذا لم يتفق الوكيلان، يتدخل وكيل ثالث، وهو "المحكم"، لاتخاذ القرار النهائي. والأهم من ذلك، أن هذا النظام لديه وسيلة لقول "لا أعرف". فإذا لم يتمكن الوكلاء من العثور على دليل كافٍ على الويب العام، يتم برمجتهم لرفض السؤال بدلاً من التخمين. وهذا أمر حيوي لأن الإنترنت مليء بالفجوات؛ فمجرد عدم ذكر موقع إلكتروني لممارسة ما، لا يعني أن تلك الممارسة غير موجودة.
عندما اختبر الفريق هذا النظام على عينة من ثماني دول، مجيبين على أكثر من ألف سؤال، وجدوا أن الآلات يمكنها القيام بعمل جيد، ولكن تحت ظروف محددة فقط. نجح النظام في الإجابة على حوالي نصف الأسما، مطابقاً إجابات الخبراء البشر بنحو سبع مرات من أصل عشر في الأسئلة التي اختار الإجابة عليها. ومع ذلك، رفض الإجابة على النصف الآخر. ولم يكن سبب هذا الرفض نقصاً في الذكاء، بل نقصاً في الأدلة. لقد كان النظام بارعاً جداً في إيجاد دليل على وجود شيء ما. فإذا كان لدى دولة ما سياسة أو ميزة على موقعها الإلكتروني، يمكن للوكلاء العث find الوثيقة والاقتباس منها. لكن النظام عانى بشدة مع الأسئلة التي تسأل عما إذا كان هناك شيء مفقود. فإذا لم تكن لدى دولة ما ممارسة معينة، فغالباً لن توجد وثيقة عامة تقول "نحن لا نفعل هذا". لم يستطع الوكلاء التمييز بين دولة ليس لديها مثل هذه الممارسة، ودولة لم تنشر فحسب الدليل على ذلك.
كشف هذا القصور عن مشكلة أعمق في كيفية تصميم التقييم الحالي. اكتشف الباحثون أن دقة النظام لم تكن متساوية لكل دولة؛ فقد كان أداؤه أفضل في الدول التي كانت تبذل بالفعل أكبر قدر من الجهد في مشاركة بياناتها. هذه الأمم تمتلك مواقع إلكترونية غنية ومفصلة والعديد من الوثائق العامة، مما منح الذكاء الاصطناعي مادة وفيرة للعمل معها. أما الدول ذات البيانات المفتوحة الأقل، والتي تمتلك مواقع إلكترونية ووثائق أقل، فكانت هي التي عانى معها النظام أكثر من غيرها. في الواقع، كان النظام غير متأكد جداً بشأن الدول ذات البيانات المفتوحة الأقل، فغالما كان يرفض الإجابة، أو والأسوأ من ذلك، يخمن بشكل خاطئ لأنه خلط بين معلومات غير ذات صلة وبين الدليل. أظهرت الدراسة أن كلما زاد انفتاح الدولة، أصبح من السهل على الآلة تقييمها، مما خلق دورة يكون فيها النظام أكثر دقة للدول التي تؤدي جيداً بالفعل.
اختبر الباحثون أيضاً ما إذا كان وجود وكيل "مشكك" ضرورياً. قاموا باستبدال دور "المتحقق" من محاولة دحض الإجابة إلى محاولة تأكيدها. ومن المثير للدهشة أن هذا التغيير لم يحدث أي فرق يذكر في الدرجة النهائية؛ فلم يصبح النظام أكثر دقة، ولا أقل دقة. ولم تكن فائدة وجود عدة وكلاء نابعة من آرائهم المتعارضة، بل ببساطة من حقيقة أنهم بحثوا في الويب عدة مرات، وجمعوا المزيد من الأدلة. لم يحل الجدل بين الوكلاء المشكلة الأساسية: فالإنترنت ببساطة لا يحتوي على الأدلة اللازمة لإثبات غياب ممارسة ما.
في النهاية، تشير الدراسة إلى أن التقييم المؤتمت بالكامل ليس ممكناً بعد لكامل الاستبيان، ولكن يمكن اتباع نهج هجين. يقترح الباحثون إعادة صياغة الأسئلة لتطلب دليلاً عاماً بدلاً من وعود داخلية. فبدلاً من سؤال فريق حكومي "هل تراقبون مصطلحات البحث؟"، ستسأل الأسئلة الجديدة "أرونا التقرير الذي نشرتموه حول ما تعلمتموه من مراقبة مصطلحات البحث". هذا التحول سيجعل الدليل موجوداً على الويب المفتوح، مما يجعل من الممكن للآلات التحقق منه. وبالنسبة للأجزاء من التقييم التي لا تزال تعتمد على المعرفة الداخلية، سيظل الخبراء البشريون ضروريين. يمكن للآلة التعامل مع نصف الأسئلة التي يمكن الإجابة عليها بوثائق عامة، مع تحديد الأسئلة المتبقية للمراجعة البشرية. لن يؤدي هذا إلى تسريع العملية فحسب، بل سيجعل التقييم أكثر صدقاً أيضاً، مما يضمن أن درجة الدولة تعتمد على ما نشرته بالفعل، وليس فقط على ما تدعي القيام به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.