🤖 machine learning

Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees

تقدم هذه الورقة البحثية نظام EaaS، وهو بنية خدمات مصغرة سحابية الأصل تعمل على تشغيل مراقبة الذكاء الاصطناعي القابلة للتوسع من خلال دمج التنبؤ المطابق، والمعايرة، وكشف الانحراف، وتقييم العدالة في نظام موحد ومنخفض زمن الوصول، تم التحقق من موثوقيته الإحصائية وتفوقه في اكتمال الميزات مقارنة بالأدوات مفتوحة المصدر الحالية.

المؤلفون الأصليون: Lei Yang

نُشر 2026-07-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lei Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك بنيت للتو دماغاً آلياً يمكنه الإجابة على الأسئلة، أو كتابة القصص، أو تشخيص المشكلات. لقد اختبرته في مختبر هادئ، وبدا مثالياً. ولكن بمجرد إطلاقه في العالم الحقيقي، تصبح الأمور فوضوية. قد يبدأ الروبوت في الارتباك بسبب أنواع جديدة من الأسئلة، أو يصبح مفرط الثقة في إجاباته الخاطئة، أو يعامل مجموعات مختلفة من الناس بشكل غير عادل عن غير قصد. هذا هو عالم مراقبة الذكاء الاصطناعي (AI monitoring). لا يكفي مجرد بناء نموذج ذكي؛ بل يجب عليك إبقاء عين مراقبة مستمرة عليه للتأكد من بقائه صادقاً، ودقيقاً، وعادلاً بينما يتعلم ويتغير.

للقيام بذلك، يستخدم العلماء بعض الأدوات الخاصة. إحداها هي التنبؤ المطابق (conformal prediction)، وهو يشبه شبكة الأمان التي تخبرك: "أنا متأكد بنسبة 95% أن الإجابة تقع ضمن هذه المجموعة المحددة من الخيارات"، مما يمنحك مستوى مضمون من الثقة. والأخرى هي كشف الانزياح (drift detection)، والذي يعمل مثل إنذار الدخان، حيث يشم رائحة التغير عندما تبدأ البيانات التي يراها الذكاء الاصطناعي في الظهور بشكل مختلف عما تدرب عليه. وأخيراً، هناك مراقبة العدالة (fairness monitoring)، التي تتحقق مما إذا كان الذكاء الاصطناعي يعامل الجميع بالتساوي، بغض النظر عن خلفياتهم. التحدي الكبير حالياً هو أن معظم هذه الأدوات إما أنها ضخمة جداً بحيث يصعب استخدامها في الوقت الفعلي، أو أنها محبوسة داخل أنظمة مغلقة ومكلفة يصعب دمجها مع بعضها البعض.

هنا يأيد EAAS (التقييم كخدمة - Evaluation-as-a-Service)، وهو مشروع جديد من تطوير "لي يانغ" يحاول إصلاح هذه الفوضى. فكر في EAAS كـ "مصنع مراقبة جودة" عالي التقنية يعتمد على السحابة، ومبني من ستة روبوتات صغيرة مستقلة (تسمى خدمات مصغرة - microservices) تعمل معاً في خط تجميع مرن. بدلاً من وجود آلة واحدة ضخمة وبطيئة تحاول القيام بكل شيء، يقوم EAAS بتجزئة المهمة: روبوت واحد يتحقق من شبكة الأمان، وآخر يشم رائحة الدخان، وثالث يراقب عدم العدالة، ومدير ذكي (منسق DAG) يخبرهم متى يعملون وكيفية التعامل مع الأخطاء.

تظهر الورقة البحثية أن هذا الإعداد يعمل بالفعل. فعندما اختبر الفريق هذا النظام على بيانات من العالم الحقيقي من نموذج ذكاء اصطناعي قوي (GPT-4O-MINI) يجيب على أسئلة صعبة، صمدت شبكة الأمان بشكل مثالي، حيث أمسكت بالإجابات الصحيحة ضمن مستويات الثقة الموعودة، حتى عندما كان الذكاء الاصطناعي مفرط الثقة في نفسه. كما استطاع إنذار الدخان (كشف الانزياح) رصد التغير في البيانات، ووجد مفتش العدالة فجوات حقيقية وهامة في كيفية معاملة الذكاء الاصطناعي لمجموعات مختلفة في مجموعة بيانات قياسية. كما كان النظام سريعاً للغاية في مهامه الرئيسية، حيث أنهى عمليات التحقق في غضون أجزاء من الثانية فقط، رغم أن "اختبارات الشم" الثقيلة استغرقت حوالي نصف ثانية، مما يجعلها أفضل للفحوصات الدورية بدلاً من الفحوصات الفورية.

والأهم من ذلك، وجد المؤلفون أن هذا هو أول نظام مفتوح المصدر يجمع كل هذه الفحوصات المحددة والصارمة رياضياً في حزمة واحدة قابلة للتوسع. لقد أثبتوا أنه حتى لو أصبحت البيانات الداخلية للذكاء الاصطناعي فوضوية قليلاً أو ناقصة (كما هو محاكى عبر "استكمال القيم - imputing")، فإن النظام لا ينكسر؛ بل يصبح فقط أكثر حذراً، وهو بالضبط ما تريده في نظام سلامة. وبينما لم يختبروه على كل نموذج ذكاء اصطناعي ممكن أو في بيئة سحابية ضخمة متعددة الخوادم بعد، إلا أن تجاربهم على بيانات حقيقية ومحاكاة تشير إلى أن EAAS هو وسيلة قوية وموثوقة لإبقاء الذكاء الاصطناعي صادقاً في الواقع. إنها خطوة نحو ضمان ألا يبدو مساعدو الذكاء الاصطناعي أذكياء فحسب، بل أن يظلوا موثوقين حقاً.

ملخص تقني: التقييم كخدمة سحابية الأصل (EAAS)

بيان المشكلة

إن نشر نماذج الذكاء الاصطناعي ليس سوى نقطة البداية لدورة حياتها؛ إذ تفرض بيئات الإنتاج انزياحاً توزيعياً، وتدهوراً في المعايرة، وانتهاكات ناشئة للعدالة لا يمكن للاختبارات المرجعية الثابتة اكتشافها. تعاني الأدوات الحالية للتقييم المستمر من فجوات تكميلية:

أطر العمل غير المتصلة (Offline Frameworks): توفر أدوات مثل HELM وTrustLLM تقييمات دقيقة متعددة الأبعاد، لكنها مصممة للمعالجة بالدفعات (batch processing)، وتفتقر إلى التكامل مع البنية التحتية لخدمة النماذج في بيئة الإنتاج.
الخدمات المدارة المملوكة (Proprietary Managed Services): تتوسع منصات مثل Amazon SageMaker بشكل جيد ولكنها تفتقر إلى القابلية للتركيب (composability)، والقدرة على التوسع عبر المصادر المفتوحة، والضمانات الإحصائية الرسمية.
الفجوة: تكشف مراجعة الأدبيات والأدوات الحالية عن عدم وجود منصة مفتوحة المصدر توحد التنبؤ المتوافق (conformal prediction)، وكشف الانزياح متعدد المتغيرات، وتقييم المعايرة، ومراقبة العدالة كخدمات مصغرة قابلة للتركيب مع تنسيق قائم على الرسوم البيانية الموجهة غير الحلقية (DAG) على Kubernetes. علاوة على ذلك، فإن تطبيقات التنبؤ المتوافق الموجودة غالباً ما تكتفي بتقرير التغطية لتقسيم واحد دون قياس التباين، كما أن مراقبة العدالة تعتمد غالباً على بيانات اصطناعية بدلاً من مجموعات بيانات حقيقية ذات سمات محمية.

المنهجية: بنية EAAS

يقدم المؤلفون EAAS (التقييم كخدمة)، وهي بنية مرجعية سحابية الأصل تعمل على تشغيل طرق تقييم الذكاء الاصطناعي الصارمة رياضياً كست خدمات مصغرة عديمة الحالة (stateless) تعمل على Kubernetes. يتم تنسيق النظام عبر مسار عمل (DAG) خفيف الوزن.

الخدمات المصغرة الأساسية

خدمة التنبؤ المتوافق (Conformal Prediction Service): تنفذ التنبؤ المتوافق المنقسم باستخدام دالة درجة مجموعة التنبؤ التكيفية (APS). وهي تطبق تصحيح العينة المحدودة ( $\lceil(n+1)(1-\alpha)\rceil/n$ ) لضمان التغطية الهامشية $P(Y_{test} \in C(X_{test})) \ge 1-\alpha$ . وتتضمن التنعيم العشوائي للتعامل مع حالات التساوي (ties).
خدمة تقييم المقاييس (Metrics Assessment Service): تحسب أربعة متغيرات من خطأ المعايرة المتوقع (ECE): الحاويات الثابتة (Fixed-bin)، والحاويات التكيفية (Adaptive-bin)، وحاويات الفئة (Classwise)، وECE منزوع الانحياز (لتصحيح انحياز العينة المحدودة). كما تحسب درجات Brier وفقدان اللوغاريتم (log loss).
خدمة كشف الانزياح (Drift Detection Service): تعتمد استراتيجية ثنائية المسار:
- المسار السريع: اختبارات Kolmogorov–KS لكل ميزة مع تصحيح Benjamini–Hochberg (BH) للتحكم في معدل الاكتشاف الكاذب (FDR)، جنباً إلى جنب مع مؤشر استقرار السكان (PSI).
- المسار العميق: تقريب التباعد الأقصى لمتوسط المربعات (MMD) باستخدام ميزات راوند فورييه العشوائية (RFF) للتعامل مع التضمينات عالية الأبعاد بكفاءة ( $O(n \cdot D \cdot n_{rff})$ مقابل $O(n^2 \cdot D)$ ).
خدمة مراقبة العدالة (Fairness Monitoring Service): تحسب التكافؤ الديموغرافي (DP) والتكافؤ في الفرص (EO) مع فترات ثقة عبر طريقة Bootstrap (1,000 تكرار). وتفرض عتبات الحد الأدنى للعينات لمنع التنبيهات الضوضائية في المجموعات الفرعية الصغيرة.
منسق المسار (Pipeline Orchestrator): منفذ DAG خفيف الوزن يوفر منطق إعادة المحاولة (الانتظار الأسي)، والتحكم في الضغط العكسي (حدود التزامن القائمة على الـ semaphore)، وتخزين النتائج غير المتكرر (idempotent).
واجهة برمجة تطبيقات تخزين النتائج (Result Storage API): واجهة REST لتدقيق المسارات وتحليل الاتجاهات مع استمرارية قائمة على الملفات.

التصميم التجريبي

تم التحقق من صحة النظام باستخدام:

البيانات الاصطناعية: قيم logit وتضمينات محكومة لاختبار الضمانات الإحصائية (التغطية، خطأ النوع الأول، والقوة).
البيانات الحقيقية: مخرجات GPT-4O-MINI على 500 سؤال من MMLU (logprobs) ومجموعة بيانات UCI ADULT INCOME (32,561 عينة) للتحقق من العدالة.
اختبارات المتانة: 50 تقسيماً عشوائياً للمعايرة/الاختبار، ومحاكاة استكمال القيم المفقودة للـ logprobs، ودراسات الحساسية للمعلمات الفائقة لـ RFF-MMD.

النتائج الرئيسية

1. متانة التنبؤ المتوافق

ضمانات التغطية: حققت التغطية التجريبية باستمرار هدف $1-\alpha$ عبر 50 تقسيماً عشوائياً على logit الخاصة بـ GPT-4O-MINI، مع متوسط تغطية ضمن 0.5% من الهدف. احتوت فترات ثقة Wilson 95% على الهدف عند جميع مستويات المعنوية ( $\alpha \in \{0.01, \dots, 0.30\}$ ).
التعامل مع سوء المعايرة: حافظ النظام على تغطية صالحة حتى في النماذج ذات المعايرة الضعيفة (Debiased ECE $\approx 0.56$ )، مما يثبت أن التنبؤ المتوافق يعوض ضعف المعايرة.
حساسية الاستكمال: في بيانات MMLU الحقيقية، ظهرت جميع رموز الإجابة الأربعة في أعلى 20 قيمة logprob. أدى الاستكمال المحاكى عند 10% من الرموز إلى انحراف في التغطية بنسبة أقل من 1.3%. تسببت معدلات الاستكمال الأعلى في توسيع محافظ التنبؤ بشكل تحفظي (مع الحفاظ على الضمانات ولكن بتقليل المعلوماتية).

2. المعايرة وكشف الانزياح

مقدرات ECE: وفر Debiased ECE التقديرات الأكثر دقة من خلال إزالة انحياز العينة المحدودة ( $\approx 0.005$ تصحيح). وأثبت Adaptive-bin ECE متانة تجاه اختيار عدد الحاويات، مما يجعله مناسباً لمسارات العمل المؤتمتة.
قوة كشف الانزياح: حقق RFF-MMD قوة كشف بنسبة 100% للانزياح الطفيف والشديد عند استخدام منهجية الوسيط (median heuristic bandwidth). كان خطأ النوع الأول (Type I error) معايراً جيداً (5–8.5%) عبر إعدادات عرض النطاق الترددي.
الكفاءة: طابق MMD التقريبي عبر RFF قرارات MMD الدقيقة على تضمينات مكونة من 768 بُعداً، ولكنه قلل التعقيد الحسابي، ومع ذلك يظل مناسباً للمراقبة الدورية بالدفعات ( $\sim 500$ مللي ثانية) وليس لفحص كل عملية استنتاج.

3. مراقبة العدالة

التفاوتات في العالم الحقيقي: عند تطبيقه على مجموعة بيانات UCI ADULT INCOME، اكتشف النظام تفاوتات كبيرة في التكافؤ الديموغرافي حسب العرق (فجوة DP = 0.33، 95% CI [0.28, 0.37]) والجنس (فجوة DP = 0.047).
الاستقرار: ظلت التنبيهات مستقرة عبر الدفعات المتتالية، ونجحت عتبات الحد الأدنى للعينات في كبح المقاييس الضوضائية للمجموعات الفرعية الصغيرة (مثل Amer-Indian-Eskimo).

4. الأداء والقابلية للتوسع

زمن الاستجابة (Latency): حققت خدمات التنبؤ المتوافق والمعايرة زمن استجటు p99 أقل من 2 مللي ثانية عند حجم دفعة 100. نُفذ مسار الـ DAG الكامل المكون من خمس عقد في 22 مللي ثانية.
التوسع: أظهر التوسع الأفقي عبر Kubernetes HPA زمن استجابة ثابتاً لكل طلب. يتوسع الإنتاج المتوقع خطياً (على سبيل المثال، ~8,160 طلب في الثانية عند 8 نسخ متكررة)، ويقتصر فقط على تسلسل IPC في المحاكاة المحلية، وليس على حسابات الخدمة.

الأهمية والمساهمات

يدعي البحث أن EAAS يمثل دمجاً مبتكراً للطرق الإحصائية الصارمة في بنية جاهزة للإنتاج وسحابية الأصل. وتتمثل مساهماته الرئيسية في:

أول بنية خدمات مصغرة مفتوحة المصدر: حسب علم المؤلفين، يعد EAAS أول منصة تضع التنبؤ المتوافق، والمعايرة، وكشف الانزياح، ومراقبة العدالة كخدمات Kubernetes مستقلة وقابلة للتوسع بشكل مستقل مع تنسيق DAG.
التحقق الصارم من ضمانات التوافق: على عكس الأعمال السابقة التي غالباً ما تقتصر على تحليل تقسيم واحد، يتحقق EAAS من متانة التغطية عبر 50 تقسيماً عشوائياً على مخرجات النماذج الحقيقية، مما يؤكد أن تصحيحات العينة المحدودة صالحة في الواقع العملي.
الأثر المحدود لاستكمال الـ logprobs: يحدد البحث تأثير فقدان الـ logprobs (الشائع في بيئات API فقط)، موضحاً أن معدلات الاستكمال الواقعية لها تأثير ضئيل على ضمانات التغطية.
دراسات Ablation شاملة لـ RFF-MMD: يقدم البحث تحليلات حساسية مفصلة لـ Random Fourier Features، مما يحدد المعلمات الفائقة المثلى للتحكم في خطأ النوع الأول وقوة الكشف.
التحقق من العدالة في العالم الحقيقي: بالانتقال لما وراء البيانات الاصطناعية، يثبت النظام القدرة على اكتشاف التفاوتات الديموغرافية ذات المعنى في مجموعات بيانات حقيقية مع تنبيهات مستقرة ومبنية على أسس إحصائية.
المواءمة مع إطار عمل NIST AI RMF: تتماشى البنية مباشرة مع وظائف إطار إدارة مخاطر الذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتقنية (NIST) (القياس، الإدارة، الحوكمة)، مما يوفر مسار امتثال للمؤسسات.

يخلص المؤلفون إلى أنه بينما توجد قيود (مثل الاعتماد على محاكاة تعدد المعالجة للتوسع، ونقص التقييم التوليدي)، فإن EAAS يسد فجوة حرجة في منظومة MLOps من خلال الجمع بين الدقة الرياضية وقابلية التوسع السحابية الأصل.