💻 computer science

The CitizenQuery Benchmark: A Novel Dataset and Evaluation Pipeline for Measuring LLM Performance in Citizen Query Tasks

تقدم هذه الورقة CitizenQuery-UK، وهي مجموعة بيانات مرجعية جديدة تتكون من 22,000 استعلام اصطناعي تم إنشاؤها بناءً على معلومات حكومية بريطانية، وتقيم 11 نموذجاً لغوياً كبيراً من حيث الواقعية، والامتناع عن الإجابة، والإسهاب لتسليط الضوء على تحديات الموثوقية الحرجة والحاجة إلى الإقرار بقابلية الذكاء الاصطناًعي للخطأ في تطبيقات القطاع العام.

المؤلفون الأصليون: Neil Majithia, Rajat Shinde, Zo Chapman, Prajun Trital, Jordan Decker, Manil Maskey, Elena Simperl, Nigel Shadbolt

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Neil Majithia, Rajat Shinde, Zo Chapman, Prajun Trital, Jordan Decker, Manil Maskey, Elena Simperl, Nigel Shadbolt

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شخص عادي يحاول فهم قاعدة حكومية مربكة، مثل كيفية المطالبة بميزة معينة أو ملء نموذج ضريبي. في الماضي، ربما كنت ستتصل بخدمة المساعدة أو تبحث في موقع حكومي. أما اليوم، فقد تسأل روبوت دردشة ذكي للغاية.

هذه الورقة البحثية تدور حول بناء "تقرير درجات" ضخم لاختبار مدى قدرة روبوتات الدردشة هذه على التعامل مع تلك الأسئلة المحددة المتعلقة بالقواعد الحكومية البريطانية. ويطلق المؤلفون على تقرير الدرجات هذا اسم CitizenQuery-UK.

إليك تفصيل لما قاموا به وما وجدوه، باستخدام تشبيهات بسيطة:

١. المشكلة: فخ "ثق بي"

تخيل أنك تسأل روبوت ذكاء اصطناعي واثق وسريع التحدث عن نصيحة بشأن ضرائبك. يعطيك إجابة طويلة ومفصلة. ولكن ماذا لو اخترع قاعدة غير موجودة؟ في الدردشة العادية، قد يكون ذلك مجرد خطأ مضحك. ولكن مع القواعد الحكومية، فإن حقيقة مختلقة قد تكلفك مالاً، أو تضعك في مشكلة مع القانون، أو تدمر حياتك.

يقول المؤلفون: "لا يمكننا فقط الوثوق بالذكاء الاصطعي لأنه يبدو ذكياً. نحن بحاجة إلى دليل على أنه يقول الحقيقة".

٢. الحل: بناء "الامتحان" (مجموعة البيانات)

لاختبار الذكاء الاصطناعي، أنت بحاجة إلى اختبار. لكن لا يمكنك مجرد تأليف أسئلة؛ يجب أن تكون حقيقية.

المصدر: أخذوا آلاف الصفحات من gov.uk (الموقع الرسمي للحكومة البريطانية)، والذي يعد بمثابة "الإنجيل" للقواعد الحكومية.
الأسئلة: لم يكتفوا بكتابة أسئلة آلية؛ بل استخدموا أمثلة حقيقية من أشخاص يطلبون النصيحة على موقع Reddit لجعل الأسئلة تبدو كما يتحدث البشر الحقيقيون فعلياً (بشكل فوضوي، ومحدد، وأحياناً مرتبك).
الشخصيات: أنشأوا "شخصيات" للأسئلة. على سبيل المثال، سؤال حول رعاية الأطفال يتم تخصيصه لشخصية "والد"، وليس "طفل". هذا يضمن اختبار الذكاء الاصطناعي فيما إذا كان يفهم السياق الخاص بالشخص الذي يسأل.
النتيجة: بنوا مجموعة بيانات مكونة من ٢٢,٠٠٠ زوج من الأسئلة والأجوبة. فكر في هذا كأنه امتحان نهائي ضخم مكون من ٢٢,٠٠٠ سؤال حيث "الإجابات الصحيحة" مكتوبة بالفعل في النص الرسمي للحكومة.

٣. نظام التصحيح: كيف تحققوا من العمل

لم يكتفوا بسؤال "هل أصاب الذكاء الاصطناعي؟" بل استخدموا عملية تصحيح مكونة من ثلاث خطوات ليكونوا دقيقين للغاية:

الخطوة ١: فحص "التجاهل الصامت" (الامتناع): هل يقول الذكاء الاصطناعي "لا أعرف" عندما لا يكون متأكداً؟ أم أنه يكتفي بالتخمين؟ أراد المؤلفون معرفة ما إذا كان الذكاء الاصطناعي سيملك الشجاعة للاعتراف بأنه لا يعرف، أم أنه سيكون متلهفاً جداً للكلام.
الخطوة ٢: التفكيك (الذرية): تخيل أن الذكاء الاصطناعي يكتب فقرة طويلة. قام المصححون بتفكيك تلك الفقرة إلى حقائق فردية صغيرة (مثل تفكيك قلعة ليجو إلى قطع منفردة).
الخطوة ٣: "مطابقة الحقيقة" (التحقق): قارنوا كل "قطعة" (حقيقة) قالها الذكاء الاصطناعي مقابل "القطع" الموجودة في الإجابة الحكومية الرسمية.
- الدرجة (F1@K): منحوا الذكاء الاصطناعي درجة بناءً على شيئين: هل تضمن الحقائق الصحيحة؟ وهل تضمن فقط الحقائق الصحيحة (دون إضافة الكثير من الحشو الزائد)؟

٤. النتائج: ماذا قال تقرير الدرجات

اختبروا ١١ نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (مثل النماذج من OpenAI وGoogle وMeta وغيرها) ووجدوا بعض الأشياء المثيرة للاهتمام:

مشكلة "الثرثرة": تقريباً كل نماذج الذكاء الاصطناعي تحدثت أكثر من اللازم. كانوا مثل طالب يكتب مقالاً كاملاً عندما يُسأل سؤالاً بسيطاً. لقد أضافوا حقائق إضافية لم تكن موجودة في النص الحكومي الرسمي. وهذا ما يسمى بالإسهاب (verbosity).
مشكلة "الصمت": نادراً ما قال الذكاء الاصطناعي "لا أعرف". حتى عندما كانوا مخطئين، استمروا في الكلام. نادراً ما "امتنعوا" عن الإجابة.
"الذيل الطويل" للأخطاء: في معظم الأوقات، أصاب الذكاء الاصطناعي النقاط الرئيسية. ولكن عندما أخطأوا، أخطأوا بشكل جسيم جداً. الأمر يشبه طالباً يحصل على درجة (أ) في الأسئلة السهلة ولكنه يرسب تماماً في الأسئلة الصعبة. هذا يجعل النتائج غير قابلة للتنبؤ.
المفتوح مقابل المغلق: بعض النماذج "المفتوحة" (حيث الكود الخاص بها متاح للعامة) قدمت أداءً جيداً تماماً مثل النماذج "المغلقة" المكلفة. لست بحاجة بالضرورة إلى أغلى أنواع الذكاء الاصطناعي للحصول على نتائج جيدة.

٥. الخلاصة الكبرى

تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي، إلا أنه حالياً متلهف جداً للكلام وخائف جداً من الاعتراف بأنه مخطئ بالنسبة للنصائح الحكومية عالية المخاطر.

إذا كان الذكاء الاصطناعي سيصبح دليلك لقواعد الحكومة، فعليه أن يتعلم شيئين:
١. كن موجزاً: التزم بالحقائق الموجودة في الموقع الحكومي؛ ولا تؤلف قصصاً إضافية.
٢. كن متواضعاً: إذا كنت لا تعرف الإجابة، فيجب أن تقول "لا أعرف" بدلاً من التخمين.

لقد بنى المؤلفون هذا "الامتحان" (CitizenQuery-UK) لكي تتمكن الحكومات وشركات التكنولوجيا من الاستمرار في اختبار الذكاء الاصطناعي للتأكد من أنه سيصبح آمناً وموثوقاً بما يكفي لمساعدتهم في مشاكل حياتهم الحقيقية. هم لا يقولون إن الذكاء الاصطناعي جاهز لاستبدال موظفي النصائح البشريين بعد، بل يقولون: "ها هي المسطرة التي نقيس بها مدى اقترابنا من الجاهزية".

ملخص تقني: معيار CitizenQuery

بيان المشكلة

تمثل "استفسارات المواطنين" — وهي الأسئلة الواردة من الجمهور بشأن السياسات الحكومية، أو الخدمات، أو الإرشادات (مثل المزايا، أو الضرائب، أو الهجرة) — حالة استخدام عالية المخاطر للنماذج اللغوية الكبيرة (LLMs). وبينما توفر هذه النماذج إمكانية تقديم خدمات معلوماتية تراعي السياق، وسهلة الوصول، وسريعة، فإن نشرها في القطاع العام يعوقه خطر الهلوسة والمعلومات المضللة. إذ يمكن أن تؤدي الاستجابات غير الدقيقة لاستفسارات المواطنين إلى تداعيات سلبية شديدة، وغالبًا ما تكون غير مرئية، على الأفراد الذين يعتمدون على مثل هذه النصائح. وفي الوقت الحالي، هناك نقص في مجموعات بيانات المعايير القياسية أو أجنحة التقييم المصممة خصيصًا لقياس أداء النماذج اللغوية الكبيرة في سياق استفسارات المواطنين، مما يجعل من الصعب على الحكومات وأصحاب المصلحة تقييم موثوقية دمج الذكاء الاصطناعي في الخدمات العامة.

المنهجية

تنسيق مجموعة البيانات: CitizenQuery-UK

قدم المؤلفون CitizenQuery-UK، وهو معيار جديد يتكون من 22,066 زوجًا من استفسارات المواطنين واستجاباتهم (الاصطناعية).

المادة المصدرية: تم اشتقاق مجموعة البيانات بالكامل من المعلومات النصية الموجودة على موقع gov.uk، وهو الموقع الرسمي للحكومة البريطانية، والذي يعمل كمصدر وحيد للحقيقة الموثوقة لهذا المعيار.
عملية التوليد:
- بناء المتن: تم كشط 2,781 صفحة من موقع gov.uk، وتنظيمها في تصنيف ثلاثي الطبقات (الصفحة الرئيسية $\leftarrow$ المجالات $\leftarrow$ المجالات الفرعية).
- توليد الاستفسارات: لضمان صياغة طبيعية، استند توليد الاستفسارات إلى بيانات واقعية من المنتديات العامة عبر الإنترنت (بشكل أساسي Reddit) لمحاكاة مدخلات المستخدمين ذات السياق الغني واللغة العامية، وتجنب الصياغة الجامدة النموذجية للتوليد الاصطناعي.
- النموذج: تم استخدام نموذج Qwen 2.5 72B-Instruct لتوليد أزواج (السؤال/الجواب)، بناءً على شخصيات محددة (تتفاوت حسب العمر، والتعليم، والقدرة الرقمية، والمهنة، والدخل، والمنطقة) والبيانات الوصفية.
- ضمان الجودة: خضعت عينة طبقية للمراجعة من قبل ثلاثة مدققين وفق بروتوكول تعليق بشري صارم لتنقية مطالبات التوليد، لضمان أن تكون الاستجابات مستندة إلى الحقائق وسهلة الفهم. كما تم إنشاء درجات السمية والتحيز عبر Cleanlab Studio، ولكن اعتُبرت غير ذات صلة إلى حد كبير بالأهداف الأساسية، حيث ظلت السمية منخفضة.
هيكل مجموعة البيانات: تتضمن مجموعة البيانات 139 مجالًا فرعيًا عبر 16 مجالًا رئيسيًا. تُصنف المطالبات إلى: إجرائية، أو إرشادية، أو معلوماتية، أو مقارنة. ويتضمن كل إدخال الاستفسار، والإجابة المتوقعة (الحقيقة الأرضية)، وبيانات وصفية موسعة.

خط التقييم (Evaluation Pipeline)

يقترح المؤلفون منهجية تقييم مقتبسة من FActScore وبنية SAFE، وتتكون من ثلاثة مكونات رئيسية:

كشف الامتناع (AB):
- يستخدم مصنفًا تم ضبطه بدقة (LibrAI/longformer-action-ro) لتحديد ما إذا كان النموذج يرفض الإجابة أو غير قادر على الإجابة على الاستفسار.
- قام المؤلفون بتكييف مخطط التوسيم القياسي لاعتبار "إخلاء المسؤولية" (التسمية 3) بمثابة "نجاح" وليس امتناعًا، إدراكًا منهم بأن إخلاء المسؤولية أمر قياسي ومستحب في النصائح الحكومية.
- يتم تطبيق عتبة ثقة ( $AB_{th} = 0.925$ ) لتقليل الإيجابيات الكاذبة.
توليد الحقائق المذرّاة (AFG):
- يقوم بتفكيك كل من الاستجابة المتوقعة ( $a_i$ ) والاستجابة المولدة من النموذج ( $\hat{a}_i$ ) إلى حقائق/ادعاءات ذرية.
- يستخدم استراتيجية مطالبة (Prompting) قليلة الأمثلة تعتمد على الاسترجاع باستخدام نموذج لغوي كبير مضبوط للتعليمات ( $M_{AFG}$ ) لتفكيك الجمل إلى مكونات دقيقة وقابلة للتحقق.
- يتم حساب الحقائق الذرية للحقيقة الأرضية مسبقًا لضمان وجود نقطة مرجعية ثابتة.
التحقق من الحقائق المذرّاة (AFV):
- يستخدم نموذج لغوي كبير كحكم ( $M_{AFV}$ ) للتحقق مما إذا كانت ادعاءات النموذج مدعومة بحقائق الحقيقة الأرضية.
- المقاييس:
  - F1@K: يحسب المتوسط التوافقي للدقة والاستدعاء بالنسبة لحقائق الحقيقة الأرضية ( $K$ ). وهذا يعاقب النماذج على التكرار (تكرار الحقائق) والإسهاب الزائد، ويكافئ كثافة المعلومات.
  - الإسهاب ( $\Delta K$ ): يقيس الفرق بين عدد الادعاءات التي ولدها النموذج ( $\hat{K}$ ) والحقيقة الأرضية ( $K$ ). القيم الموجبة تشير إلى الإفراط في التوليد؛ والقيم السالبة تشير إلى الحذف.

النتائج الرئيسية

قيم المعيار 11 نموذجًا لغويًا كبيرًا (بما في ذلك عائلات Llama وClaude وGemini وQwen وOpenAI) تحت ظروف كل من التعلم من الصفر (Zero-Shot) والتعلم من أمثلة قليلة (Few-Shot).

ملفات الأداء:
- الواقعية (Factuality): كانت درجات F1@K الوسيطة مرتفعة بشكل عام (غالبًا >0.90)، مما يشير إلى أن النماذج تجيب بشكل صحيح في كثير من الأحيان. ومع ذلك، كانت متوسطات الدرجات أقل من الوسيطات، مما يكشف عن "ذيل طويل" من الأداء الضعيف والتباين العالي (تراوحت الانحرافات المعيارية بين 0.18 و0.36).
- عائلات النماذج: أظهرت النماذج مغلقة المصدر مثل Claude-4.5-Haiku دقة عالية ولكن أيضًا إسهابًا عاليًا. أما النماذج مفتوحة الأوزان (مثل Qwen3-32B وLlama-3.3-70B) فقد قدمت أداءً تنافسيًا مقابل النماذج المغلقة. بينما أظهر Kimi-K2-Instruct واقعية أقل ولكن معدلات امتناع أعلى.
- تأثير الأمثلة القليلة (Few-Shot): خلافًا للتوقعات، أدى تقديم أمثلة قليلة عمومًا إلى خفض متوسط درجات F1@K وزيادة التباين، مع تقليل الإسهاب قليلاً. وفي بعض الحالات، ولدت النماذج معلومات أقل ولكن تلك المعلومات كانت مدعومة بحقائق أقل.
النتائج السلوكية الرئيسية:
- انخفاض الامتناع: نادرًا ما تمتنع النماذج عن الإجابة (المعدلات <1.5%)، حتى عندما تكون غير متأكدة.
- الإسهاب العالي: تولد النماذج باستمرار معلومات زائدة ( $\Delta K$ كانت موجبة وكبيرة، مثل +16.63 لـ Claude-4.5-Haiku في حالة Zero-Shot).
- التباين: يشير الانحراف المعياري العالي إلى أنه بينما تكون النماذج صحيحة غالبًا، فإن أوجه فشلها غير متوقعة، مما يشكل خطرًا على الموثوقية.

الأهمية والادعاءات

يزعم البحث أن CitizenQuery-UK يوفر أول إطار عمل قائم على الأدلة لتقييم موثوقية النماذج اللغوية الكبيرة في مهام استفسارات المواطنين. وتكمن أهميته في:

دليل لاعتماد القطاع العام: يوفر آلية للحكومات لتقييم دقة الذكاء الاصطناعي قبل الدمج، متجاوزًا الافتراضات النظرية إلى الأداء المقاس.
تسليط الضوء على مقايضة "الإسهاب مقابل الموثوقية": تشير النتائج إلى أن النماذج اللغوية الكبيرة الحالية تعطي الأولوية لتوليد المعلومات على الاعتراف بعدم اليقين. في استفسارات المواطنين عالية المخاطر، فإن هذا "التوق للحديث" مقترنًا بالتباين العالي يخلق خطرًا حيث قد يثق المستخدمون بشكل مفرط في معلومات غير دقيقة أو قديمة.
الدعوة إلى الاعتراف بالقابلية للخطأ: يجادل المؤلفون بأن الذكاء الاصطناعي الموثوق في القطاع العام يتطلب نماذج يمكنها الاعتراف بحدودها (القابلية للخطأ) بدلاً من الإفراط في توليد ادعاءات قد تكون غير صحيحة.
أساس للحوكمة المستقبلية: من خلال بنائه بالكامل على بيانات مفتوحة، يضع المعيار حجر الأساس لأجنحة التقييم المركزية التي يمكن أن توجه قرارات السياسة والمشتريات فيما يتعلق بالذكاء الاصطناعي في القطاع العام.

يخلص المؤلفون إلى أنه بينما تبدو النماذج اللغوية الكبيرة واعدة، فإن ميلها الحالي نحو التباين العالي والإفراط في التوليد يجعلها غير مناسبة للنشر المباشر دون تحسينات كبيرة في الموثوقية وآليات الاعتراف بعدم اليقين.