Auditing Conformal Prediction under Distribution Shift: A Detectability Boundary, Exact Label-Budget Design, and Repair

تخيل أنك خبير أرصاد جوية قضيت سنوات في التنبؤ بهطول الأمطار في مسقط رأسك. لقد بنيت نظاماً يقول: "أنا متأكد بنسبة 90% من أنها ستمطر غداً"، ولعدة سنوات، كنت محقاً في ذلك بنسبة 90% من الوقت. هذا النظام يسمى التنبؤ المطابق (Conformal Prediction). إنها حيلة ذكية تسمح للحواسيب بوضع "شبكة أمان" حول توقعاتها، واعدةً بأن الإجابة الحقيقية ستقع داخل هذه الشبكة معظم الوقت، دون الحاجة لمعرفة القوانين الفيزيائية الدقيقة وراء السحب.

لكن هنا تكمح المشكلة، ماذا يحدث عندما تنقل محطة الأرصاد الجوية الخاصة بك إلى مدينة مختلفة تماماً؟ ربما تكون الرطوبة مختلفة، أو تهب الرياح من اتجاه جديد. هذا ما يسمى انزياح التوزيع (Distribution Shift). الهواء (البيانات) قد تغير، لكن قواعدك القديمة قد تظل تعمل بنظام القيادة الآلية. قد تظل تقول "أنا متأكد بنسبة 90%"، ولكن إذا تغيرت أنماط الطقس، فقد تكون مخطئاً أكثر مما تعتقد. السؤال الكبير للعلماء هو: هل يمكنك معرفة ما إذا كانت شبكة الأمان الخاصة بك لا تزال صامدة بمجرد النظر إلى السحب الجديدة، دون الانتظار لترى ما إذا كانت الأمطار ستهطل بالفعل؟

هذه الورقة البحثية، التي تحمل عنوان "تدقيق التنبؤ المطابق تحت انزياح التوزيع"، تتناول هذا اللغز تحديداً. يقدم المؤلف، مها موسى، نظاماً جديداً يسمى DriftGuard ليعمل كمفتش مراقبة جودة لشبكات الأمان التنبؤية هذه. تكشف القصة عن حقيقة مفاجئة: لا يمكنك دائماً معرفة ما إذا كانت شبكة الأمان الخاصة بك مكسورة بمجرد النظر إلى السحب. إذا تغير نوع الطقس (مثل تحول المطر إلى ثلج، حتى لو بدت السحب هي نفسها)، فقد يفشل نظامك القديم بصمت. ومع ذلك، تقدم الورقة حلاً ذكياً: طريقة لاختبار الشبكة باستخدام عينة صغيرة ومختارة بعناية من بيانات المطر الحقيقية لإثبات ما إذا كانت لا تزال تعمل، وإذا لم تكن كذلك، كيفية إصلاحها أثناء العمل.

الفخ الخفي: عندما تبدو السحب متشابهة لكن المطر مختلف

تبدأ الورقة بشرح قيد معقد. تخيل أن لديك آلة تتنبأ بما إذا كانت محطة مشاركة الدراجات ستكون مزدحمة. لقد دربتها على بيانات من صيف مشمس في لوجان، يوتا. الآن، قمت بنشرها في شتاء ممطر في القاهرة. تنظر الآلة إلى الطقس (المتغيرات المستقلة/الخارجية) وتحاول تخمين الطلب على الدراجات.

وجد الباحثون أنه يمكنك بسهولة اكتشاف ما إذا كان الطقس قد تغير. إذا بدت البيانات الجديدة مختلفة جداً عن البيانات القديمة، يمكنك القول: "مهلاً، السحب تبدو غريبة!". هذا يسمى انزياح المتغيرات (Covariate Shift). يمكن لنظام DriftGuard قياس ذلك من خلال التحقق من مدى اختلاف البيانات الجديدة عن بيانات التدريب. إنه يحسب درجة تسمى "حجم العينة الفعال" (ESS)، وهي تشبه السؤال: "كم يوماً من هذه الأيام يشبه حقاً الأيام التي تدربت عليها؟". إذا كانت الدرجة منخفضة، فهذا يعتبر علامة تحذير.

ولكن إليك الاكتشاف الكبير: لا يمكنك اكتشاف ما إذا كانت قواعد اللعبة قد تغيرت بمجرد النظر إلى السحب. هذا يسمى انزياح المفهوم (Concept Shift). تخيل أن الطقس يبدو تماماً كما كان (مشمس، 75 درجة فهرنهايت)، ولكن فجأة، قرر الناس في المدينة الجديدة ركوب الدراجات بمعدل الضعف لأن مهرجاناً جديداً قد بدأ. المدخلات (الطقس) هي نفسها، لكن المخرجات (الطلب على الدراجات) قد تغيرت.

تثبت الورقة رياضياً أنه لا يوجد قدر من النظر إلى بيانات الطقس الجديدة يمكنه إخبارك ما إذا كان الطلب على الدراجات قد تغير. الأمر يشبه محاولة تخمين ما إذا كانت خدعة سحرية قد غيرت قواعدها بمجرد مراقبة يدي الساحر؛ إذا كانت اليدان تبدوان كما هما، فلا يمكنك معرفة ما إذا كان الأرنب موجوداً بالفعل في القبعة أو أن الساحر يسحب الآن دجاجة بدلاً منه. تطلق المؤلفة على هذا اسم "حد الكشف" (Detectability Boundary). بدون رؤية النتائج الفعلية (أعداد الدراجات)، ستكون أعمى تجاه هذا النوع من الفشل.

المحقق ذو المرحلتين: DriftGuard و DriftGuard-L

لحل هذه المشكلة، تقترح الورقة قصة محقق من خطوتين تسمى DriftGuard.

المرحلة الأولى: التدقيق الخالي من الملصقات (عملية "النظر والتحقق")
أولاً، ينظر النظام إلى البيانات الجديدة دون الحاجة إلى أي إجابات. إنه يتحقق من "التداخل" بين البيانات القديمة والجديدة.

• درجة التداخل: هي رقم بين 0 و 1. إذا كانت مرتفعة (قريبة من 1)، فإن البيانات الجديدة تبدو مشابهة جداً للبيانات القديمة. إذا كانت منخفضة، فإن البيانات الجديدة في منطقة "غريبة".
• التحذير: إذا كان التداخل منخفضاً، يحذرك النظام من أن شبكة الأمان الخاصة بك قد تكون مشدودة أكثر من اللازم. قد يقول حتى: "أنا لا أعرف، أنا ممتنع عن التنبؤ"، بدلاً من تقديم تخمين مخاطر.
• العائق: حتى لو كان التداخل مرتفعاً، يعترف النظام بأنه لا يزال لا يعرف ما إذا كانت القواعد قد تغيرت (انزياح المفهوم). يمكنه فقط أن يقول: "السحب تبدو مألوفة"، وليس "المطر سيسقط بنفس الطريقة".

المرحلة الثانية: تدقيق ميزانية الملصقات (عملية "الفحص العشوائي")
هنا تصبح الورقة ذكية حقاً. بما أنه لا يمكنك التأكد دون رؤية النتائج، تقترح المؤلفة "ميزانية ملصقات" (Label-Budget). هذا يشبه مديراً يقول: "لا يمكننا فحص كل دراجة، ولكن يمكننا دفع ثمن فحص 50 منها".

• الاختبار الدقيق: يختار النظام عينة عشوائية صغيرة من البيانات الجديدة (على سبيل المثال، 50 عدداً للدراجات) ويتحقق مما إذا كانت شبكة الأمان تلتقطها.
• الرياضيات: يستخدمون اختباراً إحصائياً دقيقاً للقول: "إذا كانت شبكة الأمان تعمل، فهناك احتمال 5% فقط أن نرى هذا العدد من الأخطاء". إذا كانت الأخطاء كثيرة جداً، يعرف النظام أن الشبكة مكسورة.
• الإصلاح: إذا كانت الشبكة مكسورة، فإن النظام لا يستسلم فحسب. بل يستخدم تلك الإجابات الـ 50 الجديدة لـ إعادة معايرة شبكة الأمان. إنه يضيق أو يوسع الشبكة لتلتقط الواقع الجديد مرة أخرى.

الإثبات: المحاكاة ودراجات العالم الحقيقي

لم تكتف المؤلفة بالحديث عن هذا فحسب، بل اختبرته باستخدام عمليات المحاكاة والبيانات الحقيقية.

تجارب التوزيع الطبيعي (Gaussian Experiments):
في محاكاة حاسوبية محكومة حيث عرفوا بالضبط كيف تتغير البيانات، وجدوا أنه عندما تغير "الطقس" بشكل كبير، فشلت شبكة الأمان القديمة. لقد التقطت الإجابة الصحيحة بنسبة 78.9% فقط بدلاً من نسبة الـ 90% الموعودة.

• الإصلاح: عندما استخدموا الطريقة "الموزونة" الجديدة (التي تأخذ في الاعتبار الطقس المختلف)، ارتفع معدل الالتقاط إلى 92.6%.
• المعضلة: ومع ذلك، هناك فارق دقيق وحاسم. إذا حاول النظام تخمين نسب الطقس دون معرفتها بدقة (باستخدام أوزان تقديرية)، فإن الطريقة تصبح تقريبية وليست ضماناً دقيقاً. تظهر الورقة أن الأخطاء في تقدير هذه النسب تعني أن شبكة الأمان لم تعد مثالية رياضياً. أحياناً، لتجنب إعطاء شعور زائف بالأمان، يجب على النظام الاعتراف بأنه لا يعرف (تقديم "فترة زمنية لانهائية" أو الامتناع)، أو قد يخفي بالخطأ حقيقة أنه يقلل من التغطية.

اختبار مشاركة الدراجات:
الجزء الأكثر إثارة كان الاختبار على بيانات حقيقية من نظام Capital Bikeshare في واشنطن العاصمة. أخذوا نموذجاً تم تدريبه في عام 2011 وحاولوا استخدامه في عام 2012.

• الفشل: كان النموذج القديم سيئاً للغاية في عام 2012. لقد التقط الإجابة الصحيحة بنسبة 56% فقط! "شبكة الأمان" كانت تحتوي على ثقوب بحجم الشاحنات.
• الإصلاح: انتظروا حتى حصلوا على 2,176 عدداً للدراجات من الأشهر الثلاثة الأولى من عام 2012 (الملصقات المتأخرة). استخدموا هذه البيانات لإصلاح الشبكة.
• النتيجة: بعد الإصلاح، التقطت شبكة الأمان 88.4% من الإجابات. لم تكن مثالية، لكنها كانت تحسناً هائلاً عن كارثة الـ 56%.

مقارنة "المتانة المزدوجة" (Double Robust):
قارنت الورقة أيضاً طريقتهم بطريقة أخرى متطورة تسمى "المعايرة المتينة مزدوجاً" (Doubly Robust Calibration). وجدوا أن هذه الطريقة الأخرى تعمل بشكل رائع إذا ضبطت الرياضيات الخاصة بها بشكل صحيح. ولكن إذا أخطأت في جزء واحد من الرياضيات، فستفشل بنفس سوء الطريقة القديمة. نهج DriftGuard مختلف: فهو لا يحاول تخمين الرياضيات المعقدة؛ بل يطلب فقط بعض الإجابات الحقيقية للتحقق من العمل.

الخلاصة: ما يمكنك وما لا يمكنك معرفته

تختتم الورقة برسالة مهمة جداً لأي شخص يستخدم الذكاء الاصطناعي في العالم الحقيقي: لا تثق في شبكة الأمان لمجرد أنها تبدو جيدة.

1. يمكنك اكتشاف ما إذا كانت البيانات تبدو مختلفة. (الغيوم تغيرت).
2. لا يمكنك اكتشاف ما إذا كانت القواعد قد تغيرت دون رؤية النتائج. (المطر تحول إلى ثلج).
3. أنت بحاجة إلى عينة عشوائية صغيرة من النتائج الحقيقية لتكون متأكداً. ("ميزانية الملصقات").
4. إذا كانت الشبكة مكسورة، يمكنك إصلاحها باستخدام تلك العينة الصغيرة. (إعادة المعايرة).

تؤكد المؤلفة أن هذا ليس عصا سحرية. إذا فحصت 25 دراجة فقط، فقد تفوت مشكلة صغيرة. ولكن إذا فحصت 100، يمكنك أن تكون واثقاً جداً. وإذا فحصت 200، يمكنك إصلاح الشبكة لتعمل مرة أخرى.

تنتهي الورقة بالقول إن الشركات في المستقبل لا ينبغي لها مجرد نشر الذكاء الاصطناعي والأمل في الأفضل. بل يجب أن يكون لديهم "مخطط" للتدقيق: تحقق من التداخل، حدد ميزانية لفحص النتائج الحقيقية، وكن مستعداً لإعادة المعايرة. إنها تحول الفكرة المخيفة لـ "فشل الذكاء الاصطناعي الصامت" إلى عملية قابلة للإدارة من خطوات محددة للتحقق والإصلاح.

باختصار، DriftGuard هو التذكير بأنه في عالم متغير، الطريقة الوحيدة لمعرفة ما إذا كانت خريطتك لا تزال دقيقة هي التوقف أحياناً للتحقق من المعالم. وإذا كانت الخريطة خاطئة، فأنت لا تحتاج إلى إعادة رسم العالم بأكمله — أنت فقط بحاجة إلى ضبط مقياس الرسم باستخدام بعض النقاط الجديدة.