📊 statistics

Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

تقترح هذه الورقة إطار عمل لاعتماد الموثوقية في الصندوق الأسود يجمع بين أخذ عينات الاتساق الذاتي والمعايرة المطابقة لتوفير ضمانات ثقة دقيقة، وذات عينات محدودة، ومستقلة عن التوزيع لمخرجات الوكيل الاصطناعي، مما يمكّن الممارسين من تعيين مستويات موثوقية برقم واحد تتكيف مع صعوبة المهمة وقدرة النموذج مع تقليل تكاليف واجهة برمجة التطبيقات بشكل كبير.

المؤلفون الأصليون: Charafeddine Mouzouni

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Charafeddine Mouzouni

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت موظفاً جديداً، لنسمّه "بوب الذكاء الاصطناعي"، للقيام بمهمة حاسمة مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية. قبل أن تسمح له بالبدء في مشاريع حقيقية، عليك أن تعرف: هل يمكنني الوثوق به؟

يحاول معظم الناس اختبار "بوب" عبر سؤاله سؤالاً واحداً ورؤية ما إذا كان سيجيب بشكل صحيح. لكن الذكاء الاصطناعي أمر مخادع؛ فأحياناً يصيب بالصدفة، وأحياناً أخرى يخطئ حتى عندما يعرف الإجابة. الأمر يشبه رمي قطعة نقدية: إذا رميتها مرة واحدة وظهر "الوجه"، فأنت لا تعرف ما إذا كانت العملة عادلة أم أنها مجرد ضربة حظ.

تقدم هذه الورقة البحثية طريقة جديدة وموثوقة للغاية لاختبار وكلاء الذكاء الاصطناعي. إنها تشبه "مقياس الثقة" (Trust-o-Meter) الذي يمنحك رقماً واحداً مضموناً (مثل "94.6% موثوقية") ليخبرك بالضبط مدى إمكانية الثقة في الذكاء الاصطناعي لمهمة معينة.

إليك كيف يعمل الأمر، مقسماً إلى ثلاث خطوات بسيطة باستخدام تشبيه المخبز:

المشكلة: اختبار "التذوق لمرة واحدة"

تخيل أنك تدير مخبزاً وتريد توظيف خباز جديد.

الطريقة القديمة: تطلب من الخباز صنع رغيف خبز واحد. إذا كان طعمه جيداً، توظفه. وإذا كان طعمه سيئاً، تطرده.
- العيب: ربما كان الخباز محظوظاً فقط في ذلك الرغيف. أو ربما ارتكب خطأً لأنه كان مشتتاً. أنت لا تعرف مستوى مهارته الحقيقي.

الحل: إطار عمل "مقياس الثقة"

تقترح الورقة عملية مكونة من ثلاث خطوات للحصول على درجة موثوقية مضمونة.

الخطوة 1: اختبار تذوق "الاتساق الذاتي" (السؤال 10 مرات)

بدلاً من طلب صنع رغيف واحد من الخباز، تطلب منه صنع 10 أرغفة من نفس نوع الخبز تماماً.

ماذا يحدث: قد يصنع الخباز 8 أرغفة بطعم "الساوردو" ورغيفين بطعم "الراي".
الاستنتاج: إذا كانت 8 من أصل 10 أرغفة بطعم "الساوردو"، فأنت تعلم أن الخباز واثق ومتسق في صنع "الساوردو". أما إذا صنع 10 نكهات مختلفة، فهو مرتبك.
بمصطلحات الذكاء الاصطناعي: يُطلب من الذكاء الاصطناعي نفس السؤال 10 مرات. يقوم النظام بعدّ عدد المرات التي يعطي فيها نفس الإجابة. إذا قال "42" ثماني مرات وقال "37" مرتين، فإن "42" هي الفائزة. هذا يقلل من "الضجيج" وعامل الحظ.

الخطوة 2: "الفحص العشوائي البشري" (المعايرة)

الآن، لديك قائمة تضم 100 سؤال. ليس لديك الوقت لفحصها جميعاً. لذا، تختار مجموعة صغيرة وعشوائية (مثلاً 50 سؤالاً) وتطلب من خبير بشري التحقق مما إذا كانت إجابة الذكاء الاصطناعي الأكثر شيوعاً صحيحة بالفعل.

السر: لست بحاجة إلى مجموعة بيانات "معيار ذهبي" مثالية. تحتاج فقط إلى بشر يقولون بسرعة "نعم، هذا صحيح" أو "لا، هذا خطأ" لهذه العناصر الـ 50.
النتيجة: تعمل هذه المجموعة الصغيرة كأداة معايرة. فهي تخبر النظام: "حسناً، بناءً على هذه التحققات الـ 50، إلى أي مدى يمكننا الوثوق في 'تصويت الأغلبية' للذكاء الاصطناعي؟"

الخطوة 3: "مستوى الموثوقية" (الدرجة النهائية)

يقوم النظام بمعالجة الأرقام من الـ 10 أرغفة ومن عمليات الفحص الـ 50 ليعطيك مستوى الموثوقية.

مثال: "GPT-4.1 موثوق بنسبة 94.6% في المسائل الرياضية."
ماذا يعني هذا: إذا قمت بتشغيل هذا الذكاء الاصطناعي، يمكنك أن تضمن رياضياً أن إجاباته صحيحة بنسبة 94.6% من الوقت.
الجزء الأفضل: إذا كان الذكاء الاصطناعي سيئاً في مهمة معينة (مثل كتابة الكود)، فإن النظام لا يعطيه درجة عالية مزيفة. بدلاً من ذلك، يقول: "مهلاً، هذا الذكاء الاصطناعي موثوق بنسبة 66% فقط في البرمجة". إنه صادق. إنه يخبرك: "لا تستخدم هذا الذكاء الاصطناعي للبرمجة إلا إذا كنت تقبل باحتمالية فشل قدرها 1 من 3".

لماذا يعد هذا أفضل من الطرق الأخرى؟

صديق لـ "الصندوق الأسود": لست بحاجة لرؤية عقل الذكاء الاصطناعي (كوده الداخلي). أنت فقط تتحدث إليه عبر واجهة برمجة التطبيقات (API) الخاصة به (مثل نافذة الدردشة). إنه يعمل مع أي ذكاء اصطناعي، حتى تلك التي تحتفظ بها الشركات سرية.
يتعامل مع "الهلوسة": أحياناً يقول الذكاء الاصطناعي شيئاً خاطئاً بكل ثقة. هذه الطريقة تكتشف ذلك. إذا كان الذكاء الاصطناعي واثقاً ولكنه مخطئ، فإن "مستوى الموثوقية" ينخفض، مما يحذرك من الوثوق به.
يوفر المال: وجدت الورقة أنه من خلال استخدام قاعدة "التوقف المبكر الذكي"، يمكنك تقليل عدد الأسئلة التي تطرحها على الذكاء الاصطناعي إلى النصف (توفير حوالي 50% من تكاليف الـ API) دون فقدان الدقة. إنه يشبه تذوق الخبز بعد 5 أرغفة بدلاً من 10 لأنك عرفت بالفعل أن الخباز متسق.

"مقياس الثقة" في العمل

فكر في مستوى الموثوقية كأنه لوحة تحديد السرعة لنشر الذكاء الاصطناعي.

موثوقية عالية (95%): "آمن للقيادة بسرعات الطريق السريع. يمكنك ترك هذا الذكاء الاصطناعي يتولى خدمة العملاء أو الواجبات الرياضية."
موثوقية منخفضة (60%): "الطريق مغلق. لا تستخدم هذا الذكاء الاصطناعي لهذه المهمة. إنه مخاطرة كبيرة جداً."

الملخص

تمنحنا هذه الورقة طريقة للتوقف عن التخمين بشأن الذكاء الاصطناعي. بدلاً من قول "أعتقد أن هذا الذكاء الاصطناعي جيد جداً"، يمكننا القول: "هذا الذكاء الاصطناعي موثوق بنسبة 94.6%، مع ضمان رياضي." إنها تحول الشعور الغامض بـ "الثقة" إلى رقم ملموس وقابل للتنفيذ يمكن للشركات استخدامه لتقرير متى يكون من الآمن ترك المقود للذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "شهادة الموثوقية للصناديق السوداء للوكلاء الذكيين عبر أخذ عينات الاتساق الذاتي والمعايرة المطابقة" (Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration) للباحث شرف الدين موزوني.

1. بيان المشكلة

تعالج الورقة فجوة حرجة في نشر النماذج اللغوية الكبيرة (LLMs) والوكلاء الذكيين: كيفية قياس الثقة في نظام "الصندوق الأسود" (Black-Box) بضمانات رسمية.

التحدي: يحتاج الممارسون إلى مقياس ملموس، مكون من رقم واحد، لتحديد ما إذا كان النظام الذكي موثوقاً بما يكفي لمهمة محددة (مثل الاستدلال الرياضي أو توليد الأكواد البرمجية).
محدودية الطرق الحالية:
- التقييم أحادي العينة (Single-sample evaluation): غير منحاز ولكنه يعاني من تباين عالٍ (ضجيج).
- الاتساق الذاتي الساذج (اختيار المنوال - Mode Selection): يقلل التباين ولكنه يضخم الانحياز. إذا كان النموذج يهلوس بشكل منهجي، فإن أخذ عينات أكثر سيجعل الإجابة الخاطئة تبدو أكثر تأكيداً.
- استخدام النموذج اللغوي كحكم (LLM-as-Judge): يُدخل انحيازات لا يمكن تجنبها (انحياز الموضع، تفضيل الإطناب) ويفتقر إلى ضمانات موثوقية رسمية.
الهدف: تطوير إطار عمل يوفر مستوى موثوقية (حد ثقة) لزوج (الوكيل-المهمة)، يتطلب فقط الوصول إلى واجهة برمجة التطبيقات (API) (دون الحاجة لأوزان النموذج)، مع ضمانات ذات عينات محدودة وخالية من التوزيعات المسبقة.

2. المنهجية

يجمع إطار العمل المقترح بين أخذ عينات الاتساق الذاتي (Self-Consistency Sampling) والتنبؤ المطابق (Conformal Prediction) لإنشاء "بوابة نشر" للصندوق الأسود.

أ. خط الإنتاج الأساسي

أخذ عينات الاتساق الذاتي: لكل استعلام $x$ ، يقوم النظام بتوليد $K$ من العينات المستقلة.
التقنين والترتيب (Canonicalization & Ranking): يتم تحويل الإجابات إلى صيغ معيارية (مثلاً: "42"، "42.0" $\leftarrow$ 42) وتُرتّب حسب التكرار. الإجابة الأكثر تكراراً هي "المنوال" (Mode).
درجة عدم المطابقة (Nonconformity Scoring): يتم تعيين درجة $s(x, y)$ $s (x, y)$ بناءً على رتبة الإجابة الصحيحة ضمن قائمة الاتساق الذاتي للنموذج.
- إذا كانت الإجابة الصحيحة هي الرتبة الأولى، فإن $s=1$ .
- إذا كانت هي الخامسة من حيث التكرار، فإن $s=5$ .
- إذا لم يقم النموذج أبداً بتوليد الإجابة الصحيحة، فإن $s=\infty$ .
المعايرة المطابقة (Conformal Calibration): تُستخدم مجموعة معايرة صغيرة مصنفة بشرياً ( $n \approx 50-100$ $n \approx 50 - 100$ عنصر) لحساب العتبة $M^*$ $M^{*}$ .
- $M^*$ هي المئوية $(1-\alpha)$ لدرجات عدم المطابقة من مجموعة المعايرة.
بناء مجموعة التنبؤ: بالنسبة لاستعلام الاختبار الجديد، يخرج النظام أفضل $M^*$ $M^{*}$ من الإجابات.
- إذا كان $M^*=1$ ، فإن النظام واثق بما يكفي للوثوق بالمنوال الوحيد.
- إذا كان $M^* > 1$ ، فإن النظام يقر بوجود عدم يقين ويقدم مجموعة من المرشحين.

ب. "مستوى الموثوقية" (Reliability Level)

تُعرف الورقة مستوى الموثوقية ( $1 - \alpha^*$ ) بأنه أعلى مستوى ثقة يمكن من خلاله الوثوق بأن الإجابة الأعلى رتبة (المنوال) صحيحة.

يتم اشتقاقه مباشرة من درجات المعايرة.
يعمل كبوابة "نجاح/فشل" للنشر: "نحن نحتاج إلى موثوقية بنسبة 90%؛ هل هذا النموذج مؤهل؟"

ج. التوقف المتسلسل (Sequential Stopping)

لتقليل تكاليف واجهة برمجة التطبيقات (API)، يستخدم إطار العمل قاعدة توقف متسلسل قائمة على توزيع هوفدينج (Hoeffding-based). بدلاً من توليد $K$ من العينات دائماً، يتوقف النظام مبكراً إذا كان هامش الإجماع بين أعلى إجابتين كبيراً بما يكفي لضمان استقرار المنوال. هذا يقلل التكاليف بنسبة ~50% دون التضحية بالتغطية.

3. المساهمات الرئيسية

شهادة الموثوقية (التعريف 2.4): مقياس ذو رقم واحد لكل (وكيل-مهمة) يجيب على: "بأي مستوى ثقة يمكنني الوثوق بهذا الوكيل؟" وقد تم التحقق من صحته عبر 5 اختبارات معيارية و5 نماذج.
درجة عدم مطابقة الصندوق الأسود: بناء مبتكر لدرجات المطابقة يعتمد كلياً على تكرارات العينات الخارجية (ترتيب الإجماع)، مما لا يتطلب الوصول إلى "اللوجيتس" (logits) أو الاحتمالات الداخلية للنموذج. وهذا يجعلها قابلة للتطبيق على واجهات برمجة التطبيقات المملوكة (Proprietary APIs).
الضمانات النظرية:
- التقليل الأسي للتباين: يقلل أخذ عينات الاتساق الذاتي احتمال خطأ المنوال أسياً مع زيادة $K$ (النظرية 4.4).
- الحصانة ضد الانحياز: ضمان التغطية يظل قائماً بغض النظر عن الأخطاء المنهجية أو الهلوسة التي قد يقع فيها الوكيل (النظرية 7.3).
- شفافية الانحياز: على عكس "الحكام اللغويين" الذين يخفون الانحياز في درجة واحدة، فإن هذه الطريقة تظهر الانحياز من خلال أحجام مجموعات التنبؤ الأكبر. إذا كان النموذج غير موثوق، فإن حجم المجموعة يزدو، مما يعكس القصور بصدق.
- تغطية العينات المحدودة: خطأ التغطية محدود بـ $1/(n+1)$ ، وهو مستقل عن توزيع البيانات.
تشريح الانحياز والتباين (Bias-Variance Anatomy): تفكيك رسمي يوضح كيف تفشل الطرق الحالية في التحكم في كل من الانحياز والتباين في آن واحد، بينما يتحكم هذا الإطار في التباين عبر التجميع ويمتص الانحياز عبر المخرجات ذات القيم المجموعاتية.

4. النتائج التجريبية

تم التحقق من صحة إطار العمل على 5 اختبارات معيارية (HumanEval, TruthfulQA, BigBench, GSM8K, MMLU) باستخدام 5 نماذج من 3 عائلات (GPT-4.1 ladder, Llama 4, Mistral).

صلاحية التغطية:
- في المهام التي يكون النموذج قادراً عليها (العناصر القابلة للحل)، تجاوزت التغطية الشرطية 0.93 في جميع التكوينات.
- تنخفض التغطية الهامشية فقط عندما يعجز النموذج جوهرياً عن حل المشكلة (فجوة القدرة)، وليس بسبب فشل المعايرة.
مستويات الموثوقية:
- GPT-4.1: حقق موثوقية بنسبة 94.6% في GSM8K و96.8% في TruthfulQA.
- GPT-4.1-nano: حقق 89.8% في GSM8K ولكن 66.5% فقط في MMLU، مما حدد بدقة نقطة ضعفه في مهام المعرفة المعقدة.
- النماذج مفتوحة الأوزان: أظهرت نماذج Llama 4 وMistral مستويات موثوقية أقل في المهام الصعبة، مع زيادة حجم المجموعات بشكل مطرد مع انخفاض قدرة النموذج.
المقارنة مع الخطوط المرجعية (Baselines):
- مقابل LLM-as-Judge: في المهام الغامضة (BigBench)، تفوق أسلوب المطابقة (Conformal) على "الحكم اللغوي" (0.792 مقابل 0.736 في التغطية) لأن الحكم عانى من الانحياز. في المهام غير الغامضة، أدى الحكم أداءً جيداً، لكن طريقة المطابقة لم تتطلب نموذج حكم.
- كفاءة التكلفة: قلل التوقف المتسلسل من استدعاءات واجهة برمجة التطبيقات بنسبة ~50% (من $K=20$ إلى $\approx 10$ ) دون فقدان في التغطية.
- حجم المجموعة كأداة تشخيصية: زاد متوسط حجم مجموعة التنبؤ ( $\bar{|S|}$ ) بشكل مطرد مع انخفاض قدرة النموذج، مما يؤكد قدرة الإطار على تشخيص الجودة بشفافية.

5. الأهمية والأثر

بوابة النشر (Deployment Gating): يوفر مقياساً عملياً وصارماً رياضياً لعمليات "الذهاب/عدم الذهاب" لنشر الوكلاء الذكيين في البيئات عالية المخاطر.
قابلية تطبيق الصندوق الأسود: على عكس طرق المطابقة السابقة للنماذج اللغوية التي تتطلب "اللوجيتس" الداخلية (التي غالباً ما تكون غير متاحة في واجهات برمجة التطبيقات)، تعمل هذه الطريقة حصرياً على عينات المخرجات، مما يجعلها قابلة للتطبيق على النماذج التجارية (مثل GPT-4 وClaude).
النزاهة في التقييم: يرفض إطار العمل إخفاء إخفاقات النموذج. إذا لم يستطع النموذج حل مشكلة ما، فإن مجموعة التنبؤ تتوسع أو ينخفض مستوى الموثوقية، بدلاً من تقديم درجة دقة مضللة.
تقليل التكاليف: تجعل آلية التوقف المتسلسل التقييم الصارم ممكناً اقتصادياً على نطاق واسع.

باختاً، تقدم هذه الورقة إطار عمل قوياً وخالياً من التوزيعات، يحول تقييم الذكاء الاصطناعي من مجرد "تخمين أفضل" إلى مقياس موثوقية معتمد، يوازن بين الصرامة الإحصائية وقيود النشر العملية.