تقدم هذه الورقة طريقة لتحقيق التنبؤ المطابق (conformal prediction) القابل للتكرار من خلال مشاركة بذرة عشوائية وتقريب العتبات إلى شبكة خشنة، مما يضمن مجموعات تنبؤ متطابقة عبر محللين مستقلين مع الحفاظ على ضمانات تغطية صالحة بتكلفة قابلة للقياس في حجم المجموعة ومتطلبات البيانات.
المؤلفون الأصليون:Marios Papamichalis, Regina Ruane, Theofanis Papamichalis
في عالم الذكاء الاصطناعي الحديث، غالباً ما تُعامل النماذج كمنتجات نهائية، مثل عدسة الكاميرا أو الماسح الطبي، جاهزة للاستخدام من قبل أي شخص يحتاجها. ولكن قبل أن يمكن الوثوق بنموذج ما لاتخاذ القرارات في العالم الحقيقي، يجب معايرته. هذه العملية تشبه ضبط جهاز الراديو للعثور على التردد الدقيق حيث تكون الإشارة واضحة ويختفي التشويش. في مجال التنبؤ المتوافق (conformal prediction) تحديداً، يحدد هذا الضبط مقدار عدم اليقين الذي يعترف به النموذج. فبدلاً من إعطاء إجابة واحدة، يقدم النموذج مجموعة من الإجابات المحتملة، واعداً بأن الإجابة الحقيقية ستكون داخل تلك المجموعة في معظم الأوقات. وهذا أمر بالغ الأهمية في المجالات عالية المخاطر مثل الطب أو القانون، حيث يكون معرفة حدود التنبؤ بنفس أهمية التنبؤ نفسه. ومع ذلك، تبرز مشكلة غريبة عندما يحاول فريقان مختلفان ضبط نفس النموذج باستخدام بياناتهما المنفصلة الخاصة. فحتى لو اتبيا القواعد ذاتها تماماً، سينتهي بهما الأمر إلى إعدادات مختلفة قليلاً، مما يؤدي إلى مجموعات مختلفة من الإجابات. هذا التضارب ليس مجرد إزعاج بسيط؛ بل يخلق ثغرة يمكن لفاعل سيئ استغلالها عبر المحاولة المتكررة لإعدادات مختلفة حتى يجد واحدة تبدو جيدة على الورق ولكنها تفشل في الواقع، كل ذلك مع الظهور بمظهر الملتزم بالقواعد.
سعى الباحثون ماريوس باباميكاليس، ريجينا روان، وثيوفانيس باباميكاليس لحل مشكلة عدم الاتساق هذه. طرحوا سؤالاً بسيطاً ولكنه عميق: هل يمكن لفريقين مستقلين، يعملان ببياناتهما الخاصة، إنتاج نفس مجموعة الإجابات في كل مرة؟ اكتشفوا أنه إذا حاول الفريقان أن يكونا دقيقين تماماً، فلن ينجحا دون تجاهل بياناتهما تماماً، مما يجعل النظام عديم الفائدة. تثبت الرياضيات أن الاتفاق الدقيق مستحيل عندما تكون البيانات مستمرة والفريقان مستقلين. ومع ذلك، وجد الفريق طريقة للوصول إلى نتيجة قريبة جداً. فقد طوروا طريقة تسمى RECAL، تتضمن حيلة ذكية تتمثل في تقريب إعدادات الضبط إلى أقرب علامة على شبكة مشتركة وغير مرئية. ومن خلال الاتفاق على هذه الشبكة ونقطة بداية مسبقة، يمكن للفريقين ضمان أن تستقر إعداداتهما النهائية في نفس الموقع باحتمالية عالية جداً.
اختبر الباحثون هذه الفكرة على بيانات من العالم الحقيقي، بما في ذلك صور من قاعدة بيانات ضخمة للصور الفوتوغرافية ونصوص تم إنشاؤها بواسطة عدة نماذج لغوية كبيرة مختلفة. ووجدوا أنه بدون طريقتهم، لن ينتج فريقان صادقان نفس النتيجة أبداً؛ حيث ستختلف إجاباتهما في قرابة نصف الحالات. ومع الطريقة الجديدة، استطاعوا دفع الفريقين للاتفاق على نفس المصنف بالضبط في أكثر من 90 بالمائة من الحالات، وحتى بنسبة 100 بالمائة عندما يهدفون إلى اتفاق أكثر صرامة. يأتي هذا الاتفاق مع ثمن بسيط: تصبح مجموعات الإجابات أكبر قليلاً لضمان استمرار التقاط الإجابة الحقيقية. لكن الباحثين أظهروا أن هذه التكلفة لا مفر منها لأي نظام يتطلب مستويات عالية من الاتساق. وتعتمد حجم هذه الضريبة على كمية البيانات المتاحة؛ فمع وجود المزيد من البيانات، تتقلص الضريبة، لكنها لا تختفي تماماً.
لعل النتيجة الأكثر أهمية هي كيف تحمي هذه الطريقة من التلاعب. أظهر الباحثون أنه إذا حاول خصم تشغيل عملية المعايرة عشرين مرة واختار النسخة التي تبدو الأكثر ملاءمة، فإن الطريقة القياسية تفشل تماماً، وتنتج إجابات غير موثوقة بشكل خطير. أما الطريقة الجديدة، فتعمل كدرع. ولأن الإعدادات مثبتة على الشبكة المشتركة، فلا يمكن للخصم العثور على نسخة "أفضل"؛ فهو مجبر على الاختيار من قائمة صغيرة جداً من الخيارات المتطابقة أو المتشابهة جداً. وهذا يعني أن النظام يظل صادقاً وموثوقاً حتى عندما يحاول شخص ما التلاعب به. وقد تحقق الفريق من هذه النتائج عبر أنواع مختلفة من البيانات، من السجلات المستشفيات إلى النماذج اللغوية، مما أظهر أن النظرية تصمد في الممارسة العملية. كما أثبتوا أنه بدون نقطة بداية مشتركة، فإن أفضل ما يمكن لأي شخص فعله هو تضييق الاحتمالات إلى خيارين متجاورين فقط، وهو ما يظل تحسناً كبيراً عن الفوضى الشاملة التي تسود المعيار الحالي.
يضع هذا العمل معياراً جديداً لكيفية ثقتنا في أنظمة الذكاء الاصطناعي عند نشرها من قبل مجموعات مختلفة. إنه يوضح أنه بينما يستحيل رياضياً تحقيق اتفاق تام مستقل عن البيانات، يمكننا الاقتراب بما يكفي لجعل الأنظمة قابلة للتحقق والتدقيق. يتطلب الحل "بذرة" مشتركة، وهي بمثابة مصافحة رقمية تضمن أن الجميع ينظر إلى الخريطة نفسها، واستعداداً لقبول قدر ضئيل من عدم اليقين الإضافي مقابل الاتساق التام. وفي عالم تُستخدم فيه نماذج الذكاء الاصطناعي بشكل متزايد لاتخاذ قرارات حاسمة، فإن القدرة على ضمان وصول محللين مختلفين إلى نفس الاستنتاج ليست مجرد تفصيل تقني؛ بل هي متطلب أساسي للثقة. لقد قدم الباحثون الأدوات لجعل هذا الضمان حقيقة واقعة، محولين استحالة نظرية إلى معيار عملي وقابل للتكرار.
بيان المشكلة ينتج التنبؤ التوافقي المنقسم (Split Conformal Prediction) القياسي مصنفات ذات قيم مجموعات تضمن تغطية في العينات المحدودة. ومع ذلك، عندما يقوم محللان مستقلان بمعايرة متنبئ توافقي على عينات منفصلة محجوزة، فإنهما سينشران -بشكل شبه مؤكد- مصنفين مختلفين. يحدث هذا لأن العتبة المعايرة هي إحصائية رتبة (Order Statistic) لتوزيعات مستمرة؛ وبالتالي، فإن احتمال أن تؤدي عمليتان مستقلتان للمعايرة إلى نفس العتبة (وبالتالي نفس المصنف) هو صفر.
هذا الافتقار إلى القابلية للتكرار يخلق مشكلات كبيرة لآثار النشر (Deployment Artifacts) التي تتطلب التجزئة (Hashing)، أو التخزين المؤقت (Caching)، أو الإصدار (Versioning)، أو التدقيق. علاوة على ذلك، فإن عدم الاستقرار هذا قابل للاستغلال: يمكن للمهاجم إعادة سحب مجموعة المعايرة الخاصة به عدة مرات واختيار السحبة الأكثر ملاءمة، مما يؤدي إلى نقص منهجي في التغطية يظل غير قابل للكشف بواسطة فحوصات الدعم القياسية. وبينما توجد مفاهيم "الاستقرار عند نقطة واحدة"، إلا أنها لا تضمن أن يكون المصنف المنشور نفسه متطابقاً عبر عمليات التشغيل.
المنهجية: RECAL يقترح البحث إجراء RECAL (المعايرة القابلة للتكرار)، وهو إجراء يضمن أن ينشر محللان مستقلان المصنف نفسه باحتمالية عالية (1−ρ) مع الحفاظ على ضمانات التغطية الهامشية.
البذرة المشتركة والتقريب (Shared Seed and Rounding): يستخدم RECAL بذرة عشوائية مشتركة لتوليد إزاحة عشوائية u لعرض شبكة ثابت β. يقوم المحللون بحساب العتبة التوافقية القياسية τ^ وتقريبها للأعلى إلى أقرب نقطة شبكية محددة بواسطة u+βZ.
يضمن التقريب للأعلى الحفاظ على ضمان التغطية الهامشية (≥1−α) دون قيد أو شرط، حيث تنمو مجموعات التنبؤ فقط.
تضمن الشبكة المشتركة أنه إذا وقعت العتبات غير المقربة τ^ و τ^′ ضمن نفس خلية الشبكة (أو تجاوزتا حداً بطريقة معينة)، فإن العتبات المقربة τ و τ′ ستكون متطابقة.
الإطار النظري:
استحالة التكرار التام: يثبت البحث أن التكرار التام (احتمالية 1 لإنتاج مخرجات متطابقة) مستحيل لأي إجراء يظل صالحاً بشكل موحد لكل توزيع. علاوة على ذلك، مع وجود بذرة مشتركة، فإن التكرار التام يفرض أن يكون المخرج غير مرتبط بالبيانات (Data-oblivious)، مما يجعل المصنف غير معلوماتي.
افتراض الهامش المحلي: يعتمد التحليل على شرط الهامش المحلي (الافتراض 1)، بافتراض أن توزيع الدرجة (Score Distribution) له كثافة محصورة بين الصفر واللانهاية في جوار المئوي المستهدف. يسمح هذا بوضع ثوابت صريحة لحدود تعقيد العينة.
النسخة بدون بذرة (Seedless Variant): بدون بذرة مشتركة، يوضح البحث أن التكرار التام للمجموعة الأحادية (Singleton Replication) مستحيل تحت احتمال فشل قدره 1/2. ومع ذلك، يمكن لشبكة حتمية أن تحصر جميع المحللين ضمن قائمة مشتركة من مصنفين متجاورين باحتمالية عالية، وهو أمر أمثل في الإعدادات التي لا تستخدم بذرة.
المتانة تجاه الاختيار: يحلل البحث "المعايرة الانتقائية" (Selective Recalibration)، حيث يختار مهاجم أفضل M من سحبات المعايرة. ويثبت أنه إذا كان الإجراء قابلاً للتكرار بمقدار ρ، فإن احتمال أن يجد المهاجم مصنفاً متميزاً من بين M سحبة يكون محصوراً في min{1,(M−1)ρ}. هذا يمنع نقص التغطية المنهجي الذي يشهده التنبؤ التواففي المنقسم القياسي تحت ظروف الاختيار.
المساهمات الرئيسية
نظرية الاستحالة: يضع المؤلفون إطاراً لعدم توافق التكرار التام مع الصلاحية غير البديهية، ويؤكدون أن العشوائية المشتركة ضرورية للتكرار ذي المعنى. كما يحددون حدود التكرار بدون بذرة كقائمة من عنصرين متجاورين.
خوارزمية RECAL: توفر خوارزمية معايرة منقسمة قابلة للتكرار مع الحفاظ على الصلاحية. يقدم البحث ثوابت صريحة للعينات المحدودة لحجم المعايرة n المطلوب لتحقيق هدف التكرار ρ وخطأ التغطية ϵ: n=O(κ2α(1−α)/(ϵ2ρ2))، حيث κ يحدد نسبة كثافة الدرجة المحلية.
الحدود الدنيا: يستنتج البحث حدوداً دنيا مع ثوابت صريحة، موضحاً أن تعقيد العينة وتضخم حجم المجموعة (التغطية) هما أمران لا يمكن تجنبهما لأي معاير عتبة. كما أظهر أن تكلفة حجم المجموعة هي Ω(α(1−α/n)/ρ).
إجراء الـ Plug-in: تم تقديم إجراء تجريبي لتقدير ثابت الكثافة κ من البيانات، مما يلغي الحاجة إلى κ^ محدد مسبقاً من الناحية التقاربية.
التحقق التجريبي: تثبت التجارب على ImageNet (الاصطناعية والحقيقية)، ومهمة الأرقام ذات البيانات الصغيرة، وأربع عائلات من النماذج اللغوية الكبيرة (GPT-2, Pythia, Qwen, Llama) أن RECAL يحقق أهداف التكرار المتوقعة. وتؤكد التجارب أن التنبؤ التوافقي القياسي لديه هوية شبه معدومة، بينما يحقق RECAL هوية عالية (مثلاً 0.95–1.00) مع تكلفة قابلة للقياس في حجم مجموعة التنبؤ.
النتائج
القابلية للتكرار: حقق RECAL بنجاح معدل التكرار المستهدف ρ. على سبيل المثال، عند ρ=0.1، حققت الطريقة معدلات هوية بلغت 0.95 على بيانات الصور الاصطناعية و0.89–0.96 على النماذج اللغوية الحقيقية.
التغطية: تم الحفاظ على التغطية الهامشية (≥1−α). تتركز التغطية الفعلية حول ذرات الشبكة، مما يمنع تقلبات توزيع "بيتا" الموجودة في التنبؤ التوافقي القياسي.
تكلفة حجم المجموعة: تتكبد الطريقة تكلفة في حجم مجموعات التنبؤ. في النماذج اللغوية الحقيقية، زاد حجم المجموعة بنسبة 55–59% عند ρ=0.1. ويشير البحث إلى أنه بالنسبة للنماذج ذات المفردات ذات الذيول الثقيلة (مثل Qwen)، يمكن أن تكون هذه التكلفة أعلى بكثير بسبب هندسة توزيع الدرجة، وهي خاصية لمساحة الدرجة وليست فشلاً في الطريقة.
هجوم الاختيار: في اختبار ضغط حيث اختار مهاجم أقل سحبة من حيث التغطية من بين 20 معايرة، عانى التنبؤ التوافقي المنقسم القياسي من نقص كبير في التغطية (0.892 مقابل 0.900 الاسمية). ومع ذلك، حافظ RECAL على التغطية فوق المستوى الاسمي لأن جميع المرشحين كانوا مقربين للأعلى، وهي عتبات صالحة.
الأهمية والادعاءات يدعي البحث أنه يقدم أول إطار عمل لـ القابلية للتكرار في التنبؤ التوافقي، معالجاً فجوة حرجة حيث تفشل الطرق القياسية في إنتاج آثار متطابقة عبر عمليات التشغيل المستقلة. تكمن أهمية ذلك في:
القابلية للتدقيق والتخزين المؤقت: تمكين نشر متنبئات توافقية قابلة للتحقق، ومخزنة مؤقتاً، وذات إصدارات، وهو أمر ضروري للتدقيق التنظيمي وأنظمة الإنتاج.
المتانة تجاه الاختيار: توفير دفاع نظري وعملي ضد "هجمات الاختيار" حيث يقوم الأطراف باختيار أفضل مجموعات المعايرة للتلاعب بالتغطية.
توصيف المقايضة: تحديد تكلفة التكرار صراحةً من حيث حجم العينة وحجم مجموعة التنبؤ، وإظهار أن هذه التكاليف لا يمكن تجنبها وتوفير المعدلات المثلى.
يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن تجارب الصور الحقيقية استخدمت احتمالات التحقق المتقاطع بدلاً من الـ "logits" الخام من شبكة واحدة مجمدة، وأن مسار تقسيم الموقع السريري كان محدوداً بعينات صغيرة (n≤303). كما يقرون بأنه بينما يمكن إزالة ثابت الكثافة κ تقاربياً، فإن الإزالة الموحدة في العينات المحدودة تظل مسألة مفتوحة.