📊 statistics

Conformal Selective Prediction with General Risk Control

تقدم هذه الورقة البحثية "التحكم الانتقائي في المخاطر المتوافقة باستخدام قيم-E" (SCoRE)، وهو إطار عمل مبتكر يستفيد من قيم-E واختبار الفرضيات لتوفير تحكم في الخطأ غير مرتبط بتوزيع محدد وذات عينة محدودة للتنبؤ الانتقائي عبر أي نموذج مُدرب ومقياس مخاطر يحدده المستخدم.

المؤلفون الأصليون: Tian Bai, Ying Jin

نُشر 2026-03-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tian Bai, Ying Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً ولكنه مغرور أحياناً ويحب تقديم النصائح. في بعض الأحيان تكون نصائحه صائبة تماماً وتوفر عليك ساعات من العمل، ولكن في أحيان أخرى يكون مجرد يهذي وتخمينات عشوائية، واتباع نصائحه قد يكلفك مالاً أو يوقعك في المشاكل.

السؤال الكبير هو: كيف تعرف متى تستمع إليه ومتى تقول: "لا، سأكتشف هذا بنفسي"؟

تقدم هذه الورقة نظاماً جديداً يسمى SCoRE (التحكم في المخاطر التشكلي الانتقائي باستخدام قيم E) لحل هذه المشكلة تحديداً. إنه بمثابة "مرشح للثقة" للذكاء الاصطناعي، يعمل حتى عندما يكون الذكاء الاصطناعي "صندوقاً أسود" (لا نعرف كيف يفكر) وعندما تكون المخاطر معقدة (ليست مجرد "صح" أو "خطأ"، بل "مكلفة قليلاً" أو "خطيرة جداً").

إليك كيف يعمل SCoRE، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "لعبة التخمين"

في الماضي، إذا كان نموذج الذكاء الاصطناعي غير متأكد، فقد يكتفي برفض الإجابة. لكن هذا طرح بسيط للغاية.

السيناريو أ (اكتشاف الأدوية): يقترح الذكاء الاصطناعي عقاراً جديداً. إذا كان محقاً، سنوفر الملايين. إذا كان مخطئاً، سنضيع المال في الاختبارات المعملية. "المخاطرة" هنا هي تكلفة المال الضائع.
السيناريو ب (رعاية المستشفيات): يتنبأ الذكاء الاصطناعي بمدة بقاء المريض في وحدة العناية المركزة. إذا أخطأ، فقد تبالغ المستشفى في حجز الأسرة أو في نقص الكادر الطبي. "المخاطرة" هنا هي الخطأ التربيعي (مدى ابتعاد التنبؤ عن الواقع).

التحدي هو أن هذه المخاطر ليست مجرد "نعم/لا". إنها أرقام مستمرة (دولارات، أيام، أخطاء). نحن بحاجة إلى طريقة لقول: "سأثق في الذكاء الاصطناعي في هذه الحالة المحددة، ولكن فقط إذا استطعت ضمان أن متوسط تكلفة أخطائنا يظل تحت حد معين".

2. الحل: "تذكرة قيمة E"

يستخدم المؤلفون أداة إحصائية ذكية تسمى قيمة E (E-value). فكر في قيمة E كأنها تذكرة يجب على الذكاء الاصطناعي شراؤها لدخول "منطقة الثقة".

القاعدة: للحصول على تذكرة، يجب على الذكاء الاصطنا الرئيسي أن يثبت أن "ثمن" الخطأ (المخاطرة) منخفض بما يكفي.
السحر الرياضي: تبتكر الورقة صيغة خاصة تحسب سعر هذه التذكرة بناءً على البيانات السابقة التي رآها الذكاء الاصطناعي بالفعل (بيانات المعايرة).
الضمان: إذا كان سعر تذكرة الذكاء الاصطناعي مرتفعاً بما يكفي، فنحن نعلم بيقين رياضي أنه حتى لو أخطأنا، فإن متوسط تكلفة أخطائنا لن يتجاوز ميزانيتنا.

الأمر يشبه الكازينو. الكازينو (الذكاء الاصطناعي) يريد السماح لك باللعب. قيمة E هي طريقة المنزل للقول: "لقد تحققنا من الاحتمالات، وإذا لعبت فقط عندما تكون الاحتمالات في صالحك، فنحن نضمن أننا لن نخسر أكثر من 100 دولار في المتوسط".

3. طريقتان لقياس "الأمان"

تقدم الورقة طريقتين مختلفتين لتحديد ميزانية الأمان الخاصة بك، اعتماداً على هدفك:

MDR (مخاطر النشر الهامشية): نهج "الميزانية الإجمالية"

التشبيه: تخيل أن لديك محفظة بها 1,000 دولار لليوم بأكمله.
الهدف: يمكنك ارتكاب أي عدد من الأخطاء، طالما أن إجمالي المال الذي ستخسره بنهاية اليوم لا يتجاوز 1,000 دولار.
الأفضل لـ: الحالات التي لديك فيها ميزانية ثابتة ولا تهتم إذا ارتكبت بعض الأخطاء الكبيرة، طالما أن إجمالي الضرر محتوى. (مثلاً: "لدينا مليون دولار لتجارب الأدوية؛ لا يمكننا إنفاق أكثر من ذلك").

SDR (مخاطر النشر الانتقائية): نهج "متوسط التكلفة"

التشبيه: تخيل أنك مفتش مراقبة جودة. يمكنك رفض أي عدد من المنتجات السيئة، ولكن بالنسبة للمنتجات التي تقرر شحنها، يجب أن يكون متوسط العيوب فيها منخفضاً جداً.
الهدف: تريد التأكد من أنه في كل مرة تثق فيها في الذكاء الاصطناعي، تكون المخاطرة منخفضة. أنت تهتم بـ متوسط جودة قراراتك الموثوقة.
الأفضل لـ: الحالات التي لا يمكنك تحمل وقوع أي نتائج سيئة، أو حيث تتناسب التكلفة مع عدد القرارات. (مثلاً: "في كل مرة نصدر فيها تقريراً طبياً، يجب أن يكون دقيقاً للغاية").

4. كيف يعمل في الحياة الواقعية (الأمثلة)

اختبرت الورقة نظام SCoRE في ثلاثة سيناريوهات من العالم الحقيقي:

إيجاد أدوية جديدة:
- الذكاء الاصطناعي: يتنبأ بما إذا كانت مادة كيميائية ستترابط مع فيروس.
- المخاطرة: إذا أخطأ الذكاء الاصطناعي، فسنضيع المال في الاختبارات المعملية.
- وظيفة SCoRE: يقوم بتصفية المواد الكيميائية التي تبدو واعدة ولكن لديها احتمال كبير لتكون حالات فشل مكلفة. يضمن أن متوسط تكلفة المواد التي نختبرها فعلياً يظل منخفضاً.
تنبؤات وحدة العناية المركزة بالمستشفيات:
- الذكاء الاصطناعي: يتنبأ بعدد الأيام التي سيقضيها المريض في العناية المركزة.
- المخاطرة: إذا كان التنبؤ بعيداً بمقدار 5 أيام، فإن تخطيط المستشفى سيضطرب تماماً.
- وظيفة SCoRE: لا يثق في تنبؤ الذكاء الاصطناعي إلا عندما يكون واثقاً جداً. إذا كان الذكاء الاصطناعي غير متأكد، يقول SCoRE "لا"، ويتولى الطبيب البشري الأمر. هذا يحافظ على انخفاض إجمالي الخطأ في تخطيط المستشفى.
تقارير الأشعة المعتمدة على الذكاء الاصطائي:
- الذكاء الاصطناعي: يكتب تقريراً عن صورة الأشعة السينية.
- المخاطرة: إذا فات الذكاء الاصطناعي ورماً أو اخترع ورماً وهمياً، فهذا أمر خطير.
- وظيفة SCoRE: يتحقق من تقرير الذكاء الاصطناعي مقابل "درجة الثقة". إذا كان الذكاء الاصطناعي واثقاً وكان خطر حدوث خطأ دلالي (أي أن التقرير منطقي ولكنه خاطئ) منخفضاً، فإنه يسمح بمرور التقرير إلى الطبيب. إذا لم يكن كذلك، فإنه يضع علامة للمراجعة البشرية.

5. لماذا يعد هذا أمراً بالغ الأهمية؟

قبل هذه الورقة، كانت معظم أدوات سلامة الذكاء الاصطناعي مثل مفتاح الضوء الثنائي: "آمن" أو "غير آمن". لم تكن قادرة على التعامل مع الفروق الدقيقة مثل "هذا فيه مخاطرة، ولكن ربما يستحق التجربة إذا كانت المكافأة عالية".

SCoRE يشبه مفتاح التحكم في شدة الإضاءة (Dimmer Switch). فهو يسمح لنا بـ:

أن نكون مرنين: يمكننا اختيار أن نكون صارمين جداً (مخاطر منخفضة) أو أكثر استرخاءً (مخاطر أعلى، مكافآت أعلى).
أن نكون أقوياء: يعمل حتى لو تغيرت البيانات (على سبيل المثال، إذا رأى الذكاء الاصطناعي مرضى من مدينة مختلفة عن تلك التي تدرب عليها).
أن نكون فعالين: هو لا يرفض كل شيء فحسب، بل يجد "النقطة المثالية" حيث يمكننا الوثوق بالذكاء الاصطناعي بما يكفي لتوفير الوقت والمال، دون تجاوز الميزانية.

ملخص

SCoRE هو حارس بوابة ذكي. هو لا يسأل فقط: "هل الذكاء الاصطناعي على حق؟" بل يسأل: "هل الذكاء الاصطناعي على حق بما يكفي بالنظر إلى تكلفة الخطأ؟" من خلال استخدام نظام تذاكر رياضي خاص (قيم E)، فإنه يضمن أننا إذا اتبعنا نصائحه، فلن ننفق على الأخطاء أكثر مما خططنا له. إنه يحول الذك বিল الاصطناعي من مقامر متهور إلى شريك منضبط.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التنبؤ الانتقائي المتوافق مع التحكم في المخاطر العامة" (Conformal Selective Prediction with General Risk Control) للباحثين تيان باي وينغ جين.

1. بيان المشكلة

تتناول الورقة تحدي التنبؤ الانتقائي (Selective Prediction) في نشر أنظمة الذكاء الاصطناعي (AI). ففي التطبيقات عالية الخطورة (مثل اكتشاف الأدوية، التشخيص السريري، والأشعة)، يكون من الأكثر أمانًا أن "يمتنع" النموذج عن تقديم تنبؤ عندما يكون غير متيقن، بدلاً من تقديم تنبؤ قد يكون ضارًا.

المشكلة الجوهرية هي: بالنظر إلى نموذج "صندوق أسود" $f$ ، وبيانات معايرة مصنفة، وعينة اختبار جديدة، كيف يمكننا اشتقاق قرار ثقة ثنائي ( $\psi = 1$ للثقة/النشر، $\psi = 0$ للامتناع) يضمن التحكم الصارم في المخاطر (Risk) بين الحالات التي تم نشرها؟

التحديات الرئيسية المحددة:

المخاطر المستمرة (Continuous Risks): تركز معظم الطرق الحالية على المخاطر الثنائية (مثل "هل التنبؤ خاطئ؟"). ومع ذلك، تتضمن العديد من التطبيقات مخاطر ذات قيم مستمرة (مثل تكلفة التطوير لفرضية خاطئة في اكتشاف الأدوية، أو الخطأ التربيعي في التنبؤ بمدة الإقامة في العناية المركزة، أو المسافة الدلالية في تقارير النماذج اللغوية الكبيرة LLMs).
تعريفات المخاطر: هناك هدفان متميزان للتحكم في المخاطر:
1. مخاطر النشر الهامشية (MDR): تتحكم في إجمالي المخاطر المتوقعة المتراكمة عبر جميع الحالات المنشورة ( $E[L \cdot \psi]$ ). وهذا مفيد عندما تكون هناك ميزانية ثابتة لإجمالي الأخطاء.
2. مخاطر النشر الانتقائية (SDR): تتحكم في متوسط المخاطر لكل حالة منشورة ( $E[\frac{\sum L \cdot \psi}{\sum \psi}]$ ). هذا يعمم معدل الاكتشاف الخاطئ (FDR) ليشمل المخاطر المستمرة ويضمن أن كل حالة مختارة موثوقة بشكل فردي.
انزياح التوزيع (Distribution Shift): غالبًا ما تنزاح البيانات في العالم الحقيقي بين مرحلتي المعايرة والاختبار، مما يتطلب متانة تجاه انزياح المتغيرات المصاحبة (Covariate Shifts).

2. المنهجية: SCoRE (التحكم في المخاطر المتوافق الانتقائي باستخدام قيم E)

يقترح المؤلفون إطار عمل SCoRE، وهو إطار يوحد الاستدلال المتوافق (Conformal Inference)، واختبار الفرضيات، وقيم E (E-values) لتحقيق التحكم في المخاطر بضبط عينة محدودة ودون افتراضات توزيعية.

المفهوم الجوهدري: قيم E المعدلة للمخاطر

بدلاً من استخدام قيم p (التي تتحكم في احتمالات الذيل)، يبني SCoRE قيم E ( $E$ )، وهي متغيرات عشوائية غير سالبة تحقق الشرط $E[E \cdot L] \leq 1$ ، حيث $L$ هو الخطر المجهول.

التعريف: المتغير العشوائي $E_{n+j}$ هو قيمة E معدلة للمخاطر إذا كان $E_{n+j} \geq 0$ و $\mathbb{E}[L_{n+j} E_{n+j}] \leq 1$ .
الحدس: القيمة الكبيرة لـ $E_{n+j}$ توفر دليلاً على أن الخطر $L_{n+j}$ صغير.

سير العمل

المعايرة: استخدام بيانات معايرة مصنفة لبناء قيم E المعدلة للمخاطر لنقاط الاختبار بناءً على دالة درجة (Score Function) $s(X)$ معدة مسبقًا (والتي تقدر الخطر أو عدم اليقين).
اتخاذ القرار:
- للتحكم في MDR: تطبيق قاعدة عتبة بسيطة. يتم النشر إذا كان $E_{n+j} \geq 1/\alpha$ .
- للتحكم في SDR: تطبيق إجراء e-BH (e-value Benjamini-Hochberg) على مجموعة قيم E لاختيار مجموعة فرعية من الحالات مع التحكم في متوسط المخاطر.
بناء قيم E:
- يشتق المؤلفون صيغًا محددة لـ $E_{n+j}$ تتضمن أخذ الحد الأدنى (Infimum) عبر قيم الخطر الممكنة $\ell \in [0,1]$ . يضمن هذا الصلاحية حتى عندما يكون الخطر الحقيقي مجهولًا.
- يعتمد البناء على التبادلية (Exchangeability) (أو التبادلية الموزونة لانزياح المتغيرات المصاتبة) بدلاً من تفاوتات التركيز الموحدة، مما يسمح بضمانات لعينة محدودة دون افتراضات توزيعية.

التعامل مع انزياح المتغيرات المصاحبة (Covariate Shift)

يمتد إطار العمل إلى الحالات التي تأتي فيها بيانات المعايرة والاختبار من توزيعات مختلفة (انزياح المتغيرات المصاحبة) من خلال دمج أوزان الأهمية $w(x)$ في بناء قيمة E. كما تناقش الورقة خصائص المتانة المزدوجة (Doubly Robust)، حيث يتم الحفاظ على الصلاحية إذا كان تقدير الوزن أو نموذج الخطر متسقًا.

الأمثلية والقوة (Optimality and Power)

تحلل الورقة "قوة" الإجراء (القدرة على نشر حالات مفيدة). ويستنتجون نتائج تقارب تشبه Neyman-Pearson:

بالنسبة لـ MDR: يجب أن تقوم دالة الدرجة المثلى $s(x)$ بترتيب الحالات حسب نسبة الخطر المتوقع إلى المكافأة المتوقعة ( $l(x)/r(x)$ ).
بالنسبة لـ SDR: يجب أن تقوم دالة الدرجة المثلى بالترتيب حسب "الخطر الزائد لكل وحدة مكافأة" ( $(l(x) - \alpha)/r(x)$ ).

3. المساهمات الرئيسية

التعميم للمخاطر المستمرة: يعد SCoRE أول إطار عمل يوفر ضمانات لعينة محدودة وخالية من التوزيع لـ المخاطر ذات القيم المستمرة في التنبؤ الانتقائي، متجاوزًا التحكم في الأخطاء الثنائية.
إطار عمل موحد: يقدم مقياسين متكاملين (MDR و SDR) ويوفر منهجية موحدة للتحكم في كليهما باستخدام قيم E واختبار الفرضيات.
بناء مبتكر لقيم E: تعرف الورقة "قيم E المعدلة للمخاطر" خصيصًا لمشاكل التنبؤ، مما يسد الفجوة بين الاستدلال المتوافق ونظرية قيم E.
المتانة: تتعامل الطريقة مع انزياح المتغيرات المصاحبة وتوفر متانة مزدوجة تقاربية عند تقدير الأوزان.
خوارزميات عملية: يوفر المؤلفون خوارزميات فعالة (تتجنب عمليات البحث الشبكي المكلفة) واستراتيجيات تعزيز (Boosting) (متجانسة وغير متجانسة) لتحسين قوة الاختيار دون التضحية بالتحكم.

4. النتائج التجريبية

قيم المؤلفون SCoRE من خلال المحاكاة وثلاثة تطبيقات من العالم الحقيقي:

اكتشاف الأدوية: اختيار المرشحات الدوائية ذات ألفة الارتباط العالية مع التحكم في تكلفة تطوير الفرضيات الخاطئة.
- النتيجة: نجح SCoRE في التحكم في متوسط التكلفة (SDR) وإجمالي التكلفة (MDR) تحت انزياح المتغيرات المصاحبة، متفوقًا على النماذج المرجعية القائمة على تفاوتات التركيز الموحدة التي كانت مفرطة في التحفظ.
التنبؤ السريري (الإقامة في العناية المركزة): اختيار تنبؤات دقيقة لطول مدة إقامة المرضى.
- النتيجة: تحكمت الطريقة في متوسط مربع الخطأ (MSE) بين التنبؤات المنشورة، مما ضمن موثوقية عالية لدعم القرار السريري.
تقارير الأشعة للنماذج اللغوية الكبيرة (LLM): اختيار التقارير المولدة آليًا والتي تقترب دلاليًا من المراجع الخبيرة.
- النتيية: تحكم SCoRE في معدل الخطأ الدلالي، مما سمح بالنشر الآمن للنماذج اللغوية الكبيرة في التقارير الطبية.

نتائج المحاكاة:

حقق SCoRE تحكمًا دقيقًا في مستويات المخاطر المستهدفة (MDR/SDR) عبر مختلف عمليات توليد البيانات ودوال الخطر (الخطر الزائد، خطر L2، خطر Sigmoid).
غالبًا ما حققت دالات الدرجة القائمة على نسبة الخطر إلى المكافأة منفعة إجمالية أعلى مقارنة بدرجات التنبؤ بالخطر البسيطة.
أدت استراتيجيات التعزيز (باستخدام عوامل عشوائية لتعديل قيم E) إلى تحسين عدد الحالات المختارة (القوة) بشكل كبير مع الحفاظ على التحكم الصارم في الخطأ.

5. الأهمية

تمثل هذه الورقة تقدمًا كبيرًا في مجال الذكاء الاصطناعي الموثوق (Trustworthy AI).

من الثنائي إلى المستمر: تعالج فجوة حرجة في الأدبيات حيث تتعامل معظم طرق التنبؤ الانتقائي فقط مع الأخطاء الثنائية، بينما غالبًا ما تكون التكاليف في العالم الحقيقي مستمرة ومتغيرة.
ضمانات العينة المحدودة: على عكس الطرق التقاربية، يوفر SCoRE ضمانات صارمة لمجموعات البيانات المحدودة، وهو أمر بالغ الأهمية للمجالات عالية الخطورة ذات البيانات المحدودة.
المرونة: من خلال فصل آلية التحكم في المخاطر عن بنية النموذج الأساسي، يمكن تطبيق SCoRE على أي نموذج صندوق أسود (انحدار، تصنيف، نماذج لغوية كبيرة).
الأثر العملي: يُمكّن هذا الإطار الممارسين من نشر أنظمة الذكاء الاصطناعي مع ضمانات سلامة كمية وصارمة، مما يسهل اعتماد الذكاء الاصطناعي في المجالات الحساسة مثل الرعاية الصحية وتطوير الأدوية.

باختصار، يوفر SCoRE مجموعة أدوات رياضية صارمة ومرنة وعملية لنشر نماذج الذكاء الاصطناعي بشكل انتقائي، مما يضمن حصر تكلفة الأخطاء بدقة بغض النظر عن تعقيد دالة الخطر أو وجود انزياحات في التوزيع.