🤖 machine learning

Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration

تقترح الورقة البحثية "التحسين المطابق المنفصل" (DCO)، وهو إطار عمل يعتمد على التدريب والضبط والمعايرة باستخدام تقسيمات بيانات مستقلة للاختيار الهيكلي والمعايرة لتحقيق تغطية مطابقة هامشية قياسية في العينات المحدودة، مع تقليل أحجام مجموعات التنبؤ بشكل كبير مقارنة بالطرق التقليدية من نمط PAC المقترنة.

المؤلفون الأصليون: Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fanyi Wu, Lihua Niu, Samuel Kaski, Michele Caprio

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "التحسين التوافيقي المنفصل" (Decoupled Conformal Optimisation) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: مشكلة "الرأسين"

تخ বিل طباخاً يحاول ابتكار وصفة مثالية لحساء ما. أنت تريد أن يكون الحساء لذيذاً (فعالاً/صغيراً) ولكن أيضاً آمناً للأكل (موثوقاً/مغطى).

في تعلم الآلة الحديث، نستخدم طريقة تسمى "التنبؤ التوافيقي" (Conformal Prediction) لإنشاء "مجموعات تنبؤية". بدلاً من تخمين إجابة واحدة فقط (مثل: "سوف تمطر")، يعطي النموذج قائمة بالاحتمالات (مثل: "سوف تمطر، أو ربما تثلج، أو ربما تسقط البرد") ويضمن أن الإجابة الحقيقية موجودة في هذه القائمة بنسبة معينة من الوقت (على سبيل المثال 95% من الوقت).

المشكلة التي تعالجها الورقة هي كيفية جعل هذه القوائم أصغر قدر الإمكان دون كسر ضمان السلامة.

الطريقة القديمة: "الطباخ الذي يتذوق حساءه الخاص"

تقليدياً، عندما حاول العلماء جعل قوائم التنبؤ هذه أصغر (أكثر كفاءة)، استخدموا نفس دفعة بيانات الاختبار للقيام بمهمتين:

المهمة (أ) (البحث): تجربة وصفات مختلفة لمعرفة أي منها ينتج أصغر قائمة.
المهمة (ب) (فحص السلامة): استخدام نفس البيانات لإثبات أن القائمة آمنة.

الخلل: هذا يشبه طباخاً يتذوق حساءه ليقرر ما إذا كان جاهزاً، ثم يتذوقه مرة أخرى ليكتب تقرير التفتيش الصحي. بما أن الطباخ قد عدّل الوصفة بالفعل بناءً على المذاق الأول، فإن المذاق الثاني ليس اختباراً عادلاً ومستقلاً. وبذلك يصبح ضمان السلامة مهزوزاً.

ولإصلاح ذلك، أضافت الطرق السابقة (المسماة "PAC-style" أو "CRC") "هامش سلامة" ضخماً للوصفة. لقد جعلوا الحساء باهتاً جداً (أصبحت قوائم التنبؤ كبيرة جداً) لمجرد التأكد تماماً من صحة تقرير السلامة. كان الأمر آمناً، لكنه لم يكن مفيداً جداً.

الطريقة الجديدة: DCO (المطبخ ذو الثلاث غرف)

يقترح المؤلفون طريقة جديدة تسمى "التحسين التوافيقي المنفصل" (DCO). يقترحون تقسيم المطبخ إلى ثلاث غرف متميزة مع ثلاثة فرق مختلفة:

الغرفة 1: التدريب (مطبخ التدريب)
- يتعلم النموذج الأساسيات هنا.
الغرفة 2: الضبط (مختبر البحث والتطوير)
- يحاول هذا الفريق تجربة وصفات وتوابل وأوقات طهي مختلفة. إنهم يبحثون عن الطريقة الأكثر كفاءة لصنع قائمة صغيرة. يختارون "الوصفة الفائزة" بناءً على هذه البيانات.
- خطوة حاسمة: بمجرد اختيار الفائز، فإنهم يتخلصون من القياسات المحددة التي استخدموها لاختياره. يحتفظون فقط بـ الوصفة نفسها.
الغرفة 3: المعايرة (مفتش الصحة)
- يحصل هذا الفريق على دفعة جديدة من المكونات لم يسبق لمسها، لم يرها فريق البحث والتطوير من قبل.
- يأخذون "الوصفة الفائزة" من الغرفة 2 ويختبرونها على هذه الدفعة الجديدة.
- ولأن الوصفة لم يتم تعديلها بناءً على هذه الدفعة المحددة، يمكن لمفتش الصحة تقديم ضمان سلامة صارم ومثالي رياضياً.

لماذا يهم هذا: ميزة "الدفعة الطازجة"

من خلال فصل "البحث عن الكفاءة" (الغرفة 2) عن "فحص السلامة" (الغرفة 3)، يحصل المؤلفون على أفضل ما في العالمين:

السلامة: لا يزال لديهم الضمان الرياضي الصارم بأن قائمة التنبؤ صحيحة بنسبة 95% من الوقت.
الكفاءة: بما أن فريق السلامة لم يكن عليه القلق من قيام فريق البحث "بالغش" عبر ملاءمة البيانات بشكل مفرط (over-fitting)، فإنهم لا يحتاجون إلى إضافة ذلك "هامش السلامة" الضخم. يمكن أن تكون قوائم التنبؤ أصغر وأكثر دقة بكثير.

النتائج: قوائم أصغر، نفس السلامة

اختبرت الورقة هذه الطريقة على بيانات من العالم الحقيقي (مثل التنبؤ بأسعار المنازل، ونتائج مرض السكري، وتحديد الصور).

النتيجة: أنتجت طريقة DCO قوائم تنبؤ أصغر (أكثر كفاءة) من طرق "الأولوية للسلامة" القديمة، مع تحقيق الدقة المستهدفة.
مثال: في مهمة تصنيف الصور، أنتجت الطريقة القديمة قائمة مكونة من 26.5 إجابة محتملة في المتوسط. قلصت DCO هذا الرقم إلى 25.3، كما أصبحت القوائم "الأسوأ حالاً" (الضخمة جداً) أصغر بكثير أيضاً.
العيب: إذا تخطيت خطوة "الدفعة الطازجة" (مثل طريقة "DirectTune" المذكورة في الورقة)، فقد تحصل على قوائم أصغر، لكنك ستفقد ضمان السلامة. إنه يشبه تقديم حساء بدون تفتيش صحي؛ أحياناً يكون جيداً، وأحياناً لا يكون كذلك.

الملخص

تجادل الورقة بأنه ليس عليك استخدام نفس البيانات لـ "البحث عن أفضل نموذج" و"توثيق سلامة النموذج". من خلال استخدام مجموعة بيانات مستقلة وجديدة فقط لفحص السلامة النهائي، يمكنك العثور على نماذج أكثر كفاءة دون التضحية بالموثوقية. إنه الفرق بين الطباخ الذي يتذوق طعامه ليكتب تقريراً صحياً (مخاطرة) والطباخ الذي يستعين بمفتش مستقل لفحص دفعة جديدة (آمن وفعال).

ملخص تقني: التحسين التنبؤي المتمايز (Decoupled Conformal Optimisation)

بيان المشكلة
تهدف التنبؤات المتوافقة (Conformal Prediction - CP) الحديثة إلى بناء مجموعات تنبؤية تكون صالحة (توفر تغطية هامشية في العينات المحدودة) وفعالة (مجموعات صغيرة أو فترات ضيقة). في التحسين المتوافق البايزي (Bayesian Conformal Optimisation)، يسعى الممارسون غالباً إلى تحسين الكفاءة من خلال البحث في الخيارات الهيكلية، مثل درجات عدم التطابق (non-conformity scores)، أو المعلمات الفائقة للنماذج السابقة (prior hyperparameters)، أو بنيات النماذج (model architectures).

تنشأ فجوة منهجية حرجة في كيفية تخصيص البيانات لهذه العملية. تستخدم الأساليب "المقترنة" القياسية (مثل التحكم في مخاطر التوافق - CRC، وطرق تعتمد على التربيع البايزي - BQ) نفس تقسيم المعايرة (calibration split) للبحث عن هيكل/عتبة فعالة ولتصديق المخاطر أو التغطية النهائية في آن واحد. وبينما يعد هذا الاقتران ضرورياً لضمانات التحكم في المخاطر ذات الاحتمالية العالية (على نمط PAC)، يجادل المؤلفون بأنه غير ضروري عندما يكون الهدف هو التغطية المتوافقة الهامشية القياسية للعينات المحدودة. إن إعادة استخدام بيانات المعايرة لكل من البحث والتصديق تكسر حجة التبادلية (exchangeability) المطلوبة لضمانات التوافق المنقسم (split-conformal) القياسية، مما يؤدي غالباً إلى عتبات مفرطة في التحفظ للحفاظ على الصلاحية.

المنهجية: التحسين المتوافق المتمايز (DCO)
تقترح الورقة البحثية التحسين المتوافق المتمايز (DCO)، وتحديداً بروتوكول DCO-Warmstart، الذي يتبنى مبدأ تصميم "التدريب-الضبط-المعايرة" (train-tune-calibrate). يعتمد هذا النهج على فصل أدوار البيانات بشكل صريح:

تقسيم التدريب ( $D_{train}$ ): يُستخدم لملاءمة النموذج البايزي وتحديد توزيع التنبؤ اللاحق (posterior predictive distribution).
تقسيم الضبط ( $D_{tune}$ ): يُستخدم حصرياً للاختيار الهيكلي الموجه نحو الكفاءة. تبحث الخوارزمية عبر فئة مرشحة من الهياكل $\Phi$ (مثل دالات الدرجات، أو النماذج السابقة، أو البنيات) والعتبات لتقليل حجم مجموعة التنبؤ المتوقع مع مراعاة قيد عدم التغطية التجريبي. ومن الأهمية بمكان أن العتبة التي يتم إيجادها هنا ( $\hat{\lambda}_{tune}$ ) تُستخدم فقط لتصنيف المرشحين ويتم استبعادها قبل النشر.
تقسيم المعايرة ( $D_{cal}$ ): يُستخدم حصرياً لحساب الكم المتوافق النهائي. وبمجرد اختيار هيكل واحد $\hat{\phi}_{tune}$ من $D_{tune}$ ، يتم حساب العتبة النهائية ككم (quantile) الـ $(1-\alpha)$ التجريبي لدرجات عدم التطابق المحسوبة على $D_{cal}$ المستقلة.

يعيد هذا الفصل منطق التبادلية القياسي للتنبؤ المتوافق المنقسم. ولأن الهيكل النهائي ثابت بشكل مستقل عن $D_{cal}$ ، فإن الإثبات القياسي للتغطية الهامشية للعينات المحددة ينطبق مباشرة دون الحاجة إلى معامل ثقة ( $\delta$ ) أو تصحيحات الاختبارات المتعددة.

المساهمات الرئيسية

مبدأ التصميم: صياغة DCO-Warmstart كمسار متمايز حيث يتم اختيار الخيارات الهيكلية على تقسيم ضبط مستقل، ويتم حساب الكم المتوافق النهائي على تقسيم معايرة جديد.
الضمان النظري: إثبات أن DCO-Warmstart يرث ضمان التغطية الهامشية القياسية للعينات المحددة لأي فئة مرشحة $\Phi$ (سواء كانت محدودة أو غير محدودة)، بشرط أن يكون الهيكل ثابتاً بشكل مستقل عن بيانات المعايرة. لا يتطلب الأمر معامل ثقة $\delta$ .
المقارنة النظرية: توضيح الفرق بين DCO-Warmstart والأساليب المقترنة (CRC/BQ). بينما يستهدف DCO التغطية الهامشية، يستهدف CRC/BQ التحكم في المخاطر ذات الاحتمالية العالية، وتظهر الورقة أنه تحت افتراضات الاتساق الموحد لمقدر المخاطر، يتقارب كلا النهجين نحو نفس العتبة السكانية $\lambda^*$ .
التعقيد في العينة: تقديم متباينة أوراكل (oracle inequality) لمرحلة الضبط، مما يحدد متطلبات حجم العينة لتقسيم الضبط لاختيار هيكل فعال بشكل موثوق من فئة مرشحة محدودة قبل خطوة المعايرة المستقلة.

النتائج التجريبية
قيم المؤلفون DCO-Warmstart عبر اختبارات الانحدار (Diabetes, California Housing, Concrete) والتصنيف (ImageNet-A, CIFAR-100)، مقارنة بالنماذج المرجعية من طراز BQ/CRC، ونموذج تشخيصي "DirectTune" (الذي يحسن على $D_{tune}$ لكنه يفتقر لإعادة المعايرة).

التغطية: يتتبع DCO-Warmstart مستوى التغطية الاسمي بدقة (مثلاً 0.801 مقابل المستهدف 0.8 في ImageNet-A)، محققاً ضمان التغطية الهامشية.
الكفاءة: ينتج DCO-Warmstart باستمرار مجموعات تنبؤ أصغر أو فترات أضيق مقارنة بنماذج BQ/CRC المقترنة، والتي تميل لأن تكون أكثر تحفظاً.
- ImageNet-A: انخفض متوسط حجم المجموعة من 26.52 (BQ) إلى 25.26؛ وانخفض حجم المجموعة عند المئين 95 من 58.95 إلى 53.73.
- Diabetes: انخفض عرض الفترة المتوسط من 2.098 (BQ) إلى 1.914.
دراسات الاستئصال (Ablation Studies): تشير التجارب على تخصيص العينات (مثل نسبة 33/67 للضبط/المعايرة) إلى أن تقسيم الضبط يجب أن يكون كبيراً بما يكفي لاستقرار اختيار المرشح، بينما يجب تخصيص الجزء المتبقي للمعايرة لتقليل تباين الكم.

الأهمية والادعاءات
تدعي الورقة أنه بالنسبة للهدف المحدد المتمثل في التغطية المتوافقة الهامشية للعينات المحددة، فإن اقتران التحسين والمعايرة على نفس البيانات هو أمر كافٍ ولكنه ليس ضرورياً. ومن خلال فصل هذه الخطوات، يسمح DCO-Warmstart بالبحث الصريح عن الكفاءة (تحسين الهيكل والعتبات) مع الاحتفاظ بضمانات الصلاحية الصارمة والخالية من التوزيع (distribution-free) للتنبؤ المتوافق المنقسم القياسي.

يؤكد المؤلفون أن DCO-Warmstart ليس بديلاً لطرق CRC/BQ عندما يكون الهدف العلمي هو التحكم في المخاطر ذات الاحتمالية العالية (ضمان أن قيد المخاطر يتحقق بثقة $1-\delta$ عبر عينة المعايرة). ومع ذلك، عندما يكون الهدف هو التغطية الهامشية القياسية، يوفر DCO-Warmstart بديلاً سليماً نظرياً وأكثر كفاءة تجريبياً عبر تجنب التحفظ الناتج عن اقتران عمليات البحث والتصديق على تقسيم واحد من البيانات.