ملخص تقني: LINGUA-AUDIT

بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) كواجهات محادثة للخدمات العامة ومخططات الرعاية المدنية في المجتمعات متعددة اللغات، برز تحدٍ حاسم وهو: عدم المساواة المعلوماتية الناجمة عن الذكاء الاصطناي (AI-mediated information inequality). وتُعرف هذه الظاهرة بأنها التباين المنهجي في المعلومات الجوهرية، والواقعية، والقابلة للتنفيذ المقدمة للمواطنين الذين يسعون للحصول على نفس الاحتياجات المعلوماتية عبر ظروف لغوية مختلفة.

في السياقات المدنية عالية المخاطر (مثل الأهلية للرعاية الصحية، أو الوثائق القانونية، أو مخططات الرعاية الاجتماعية)، لا تقتصر الفوارق في الأداء على الجوانب الأسلوبية أو الطلاقة فحسب؛ بل تتجلى في أضرار جوهرية حيث تؤدي الاستعلامات غير الإنجليزية أو الاستعلامات التي تستخدم "التبديل اللغوي" (مثل الهندية-الإنجليزية أو Hinglish) إلى توجيهات ناقصة، أو قديمة، أو خاطئة واقعياً مقارنة بالاستعلامات الإنجليزية. إن التقييمات متعددة اللغات الحالية تركز غالباً على القدرات السطحية (مثل الارتياب/Perplexity، أو درجات الترجمة، أو الاختبارات متعددة الخيارات) وتفشل في تقييم ما إذا كانت الاحتياجات المعلوماتية المدنية المتطابقة يتم تلبيتها بشكل عادل عبر اللغات المختلفة.

المنهجية

يقدم البحث إطار عمل LINGUA-AUDIT، وهو إطار قابل لإعادة الإنتاج مصمم لتقييم عدم المساواة المعلوماتية الجوهرية بشكل منهجي. وهو عب-ارة عن تصميم معيار (Benchmark) وبروتوكول قياس، وليس مقارنة تجريبية للنماذج الحية.

1. تصميم المعيار وبناء المهام

• النطاق: يرتكز إطار العمل على 150 مهمة إدارية من واقع الحياة موزعة على خمسة مجالات مدنية أساسية في الهند: الرعاية الصحية، التعليم، الخدمات العامة، التمويل، والمعرفة العامة.
• الحقيقة المرجعية (Ground Truth): كل مهمة تستند إلى سلطات قانونية عامة مسجلة في سجل مهام رئيسي (مستمد من الإرشادات الرسمية، والإخطارات الجازمة، والتعميمات الوزارية، والنطاقات القسمية). ومع ذلك، تمثل الحقيقة المرجعية تنسيقاً داخلياً من قبل مؤلف المشروع بناءً على المخططات الإدارية الرسمية، بدلاً من كونها معياراً ذهبياً قانونياً معتمداً بشكل مستقل. يسجل السجل أسماء المخططات وتواريخ الانتهاء، ولكنه يفتقر إلى الروابط المباشرة (URLs)، أو الاقتباسات الحرفية من النصوص القانونية، أو مطابقة البنود للحقائق. يتم فهرسة المهام حسب احتياجات المعلومات الكامنة (UINs)، وهي مواصفات مفاهيمية للنية التواصلية والنطاق الواقعي محايدة لغوياً، مما يلغي التحيز الموجه نحو اللغة الإنجليزية.
• هيكل الحقائق: تتضمن كل مهمة ما يلي:
  • الحقائق الحرجة (CF): 3 معايير قانونية إلزامية لكل مهمة (مثل سقوف الدخل، أو المواعيد النهائية).
  • الحقائق الهامة (IF): سياقان إجرائيان أساسيان لكل مهمة.
  • قيود السلامة: قيد صريح واحد لكل مهمة لمنع الاستغلال المالي.

2. التكوين التجريبي

يحدد إطار العمل مصفوفة عاملية كاملة لجمع البيانات والتسجيل:

• 150 مهمة × 3 ظروف لغوية (الإنجليزية الرسمية، الهندية المكتوبة بـ Devanagari، والهندية-الإنجليزية المكتوبة بالحروف اللاتينية/Hinglish) × 4 خانات مستهدفة للنماذج (Google, OpenAI, Anthropic, Meta) × 3 تكرارات.
• إجمالي الخلايا: 5,400 خلية عاملية.
• الوضع الحالي: يشير البحث إلى وجود تثبيت برمجي حتمي (Synthetic baseline) تم إنشاؤه في الذاكرة للتحقق من سلامة المسار البرمجي (Pipeline). لم يتم تنفيذ أي استعلامات لواجهة برمجة تطبيقات (API) لنماذج حية بعد؛ فالـ 5,400 سجل هي نماذج تثبيت برمجية وليست مخرجات نموذج حقيقية.

3. مقاييس القياس

يقوم إطار العمل بتشغيل 13 مقياساً لجودة الاستجابة عبر خمسة أبعاد:

• الدقة الواقعية: دقة مستوى الادعاء (M1) ودقة التناقض فقط (M1b).
• الاكتمال والحذف: تغطية الحقائق الحرجة (M2a)، الاكتمال الموزون (M2c)، ومعدل حذف الحقائق الحرجة (M3).
• الأخطاء الواقعية: عدد الأخطاء غير المكررة (M4a)، المؤشرات الثنائية للأخطاء (M4b)، ومعدلات الخطأ المعيرة (M4c).
• الأصالة والسلامة: درجات جودة الاستشهاد (M5)، مستويات سلامة النطاق (M6)، والحفاظ الدلالي بالنسبة لـ UINs (M7).
• الاتساق العشوائي: تباين الاكتمال (M8a) واتساق "جاكارد" للحقائق الحرجة (M8b) عبر التكرارات.

4. خطة التحليل الإحصائي

يستخدم خطة إحصائية محددة مسبقاً تعتمد على:

• النماذج المختلطة الخطية المعممة (GLMMs) للنتائج النسبية (Binomial لـ M1 و M2a و M3؛ و Negative Binomial لـ M4a).
• النماذج المختلطة للروابط التراكمية (CLMMs) للتصنيفات الترتيبية (M5, M6, M7).
• نماذج العتبة ذات الجزأين (Two-Part Hurdle models) لمقاييس التباين والاتساق.
• التحكم في تعدد الاختبارات: التحكم في معدل الخطأ العائلي عبر تصحيح Holm–Bonferroni المتدرج لعائلة فرضيات أساسية مكونة من 9 فرضيات (3 نهايات طرفية × 3 تباينات لغوية).

المساهمات الرئيسية

1. تصميم معيار المعلومات المدنية: مجموعة منسقة من 150 مهمة إدارية مفهرسة بواسطة UINs محايدة لغوياً، تتجاوز مجرد ترجمة المتون لتختبر حل المشكلات المحلية الأصيلة.
2. مقاييس تشغيلية متعددة الأبعاد: توصيفات رياضية لـ 13 مقياساً تستهدف تحديداً عدم المساواة المعلوماتية الجوهرية (الحذف، الهلوسة، مخاطر السلامة) بدلاً من الطلاقة السطحية.
3. الحوكمة المنهجية: عزل صريح لآثار التحقق الاصطناعية غير الصالحة السابقة (حيث تم استنساخ المقيمين الآليين ليعملوا كـ "بشر" يمثلون الحقيقة المرجعية) وفصل واضح بين صحة البرمجيات وصلاحية البناء التجريبي.
4. مسار برمجيات قابل لإعادة الإنتاج: بنية برمجية مفتوحة المصدر لتقييم الدرجات تم التحقق منها عبر 115 اختبار وحدة واختبار انحدار ناجح مقابل المصفوفة العاملية المكونة من 5,400 خلية.
5. دمج التبديل اللغوي (Code-Switching): التعامل مع التبديل بين الهندية والإنجليزية (Hinglish) كشرط تقييم أساسي وأولي إلى جانب الإنجليزية الرسمية والهندية.

حالة النتائج والتحقق

ينص البحث صراحة على أنه لا يتم تقديم أي مقارنات تجريبية للنماذج أو ترتيبات لعدم المساواة اللغوية. النتائج المعروضة هي حصرياً عمليات تحقق تقنية للإطار نفسه:

• سلامة المسار البرمجي: نجح البرنامج في إنشاء والتحقق من 5,400 سجل اصطناعي مع تغطية بنسبة 100% عبر المصفوفة العاملية.
• التحقق التشفيري: تم تدقيق ملف تثبيت مجموعة البيانات تشفيرياً باستخدام هاشات SHA-256 الموثقة.
• تشخيصات خط الأساس: أظهرت التثبيتات الاصطناعية صفراً في زمن الاستجابة وصفراً في التباين عبر التكرارات، مما يؤكد قدرة المسار البرمجي على تحليل وتسلسل البيانات بشكل صحيح.
• محددات التحقق: تظل جميع مقاييس الجودة الـ 13 غير متحقق منها تجريبياً بانتظار التوصيف البشري الحقيقي ثنائي اللغة. وقد تم عزل عملية التحقق من مقيم آلي سابق اعتمدت على نسخ المراجع الاصطناعية كحقيقة مرجعية.

الأهمية والادعاءات

يضع البحث LINGUA-AUDIT كبنية تحتية ضرورية لـ الحوكمة الخوارزمية في المجتمعات متعددة اللغات. تكمن أهميته في:

• تغيير نموذج التقييم: الانتقال من "الطلاقة السطحية" إلى "المساواة المعلوماتية الجوهرية"، مع الإدراك بأنه في السياقات المدنية، فإن نقص وثيقة إلزامية أو تاريخ انتهاء قديم يشكل ضرراً إدارياً ملموساً.
• منع التحقق الدائري: من خلال كشف وعزل خطأ "التحقق الذاتي الدائري" (حيث اعتبرت المخرجات الاصطناعية خطأً في تمثيل الحقيقة المرجعية البشرية)، يضع الإطار معياراً صارماً للشفافية المنهجية في تدقيق الذكاء الاصطناعي.
• بنية تحتية جاهزة للمستقبل: يوفر الإطار أدوات القياس المحددة مسبقاً والهندسة الإحصائية المطلوبة لتدقيق النماذج الرائدة بمجرد اكتمال جمع البيانات الحية (استجابات النماذج الحية والتعليقات البشرية).

يخلص المؤلف إلى أن LINGUA-AUDIT لا يجيب بعد على ما إذا كانت نماذج معينة تظهر عدم مساواة، بل يوفر الإطار المفتوح، والقابل لإعادة الإنتاج، والصارم إحصائياً المطلوب للكشف عن عدم المساواة وقياسها بمجرد جمع البيانات التجريبية اللازمة (استجابات النماذج الحية والتعليقات البشرية).