📊 statistics

Distributional Off-Policy Evaluation with Deep Quantile Process Regression

تقدم هذه الورقة DQPOPE، وهو خوارزمية تقييم خارج السياسة (off-policy evaluation) مبتكرة تستفيد من انحدار عملية الكميات العميقة (deep quantile process regression) لتقدير توزيع العائد بأكمله بضمانات نظرية صارمة ودقة تجريبية متفوقة مقارنة بالطرق التقليدية القائمة على التوقع.

المؤلفون الأصليون: Qi Kuang, Chao Wang, Yuling Jiao, Fan Zhou

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qi Kuang, Chao Wang, Yuling Jiao, Fan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طبيب تحاول تحديد ما إذا كانت خطة علاجية جديدة لمريض ما جيدة أم لا. لا يمكنك اختبارها على مرضى حقيقيين في الوقت الحالي لأن ذلك قد يكون محفوفاً بالمخاطر أو غير أخلاقي. بدلاً من ذلك، لديك دفتر ضخم من سجلات المرضى السابقين (بيانات) تظهر ما حدث عندما استخدم الأطباء خطة علاجية قديمة.

التقييم خارج السياسة (Off-Policy Evaluation - OPE) هو الخدعة الرياضية السحرية للنظر في هذا الدفتر القديم والقول: "لو كنا قد استخدمنا هذه الخطة الجديدة بدلاً منها، فإليك ما كان سيحدث".

تقوم معظم الطرق التقليدية بهذا الأمر عبر حساب رقم واحد فقط: المتوسط الحسابي. "في المتوسط، تنقذ هذه الخطة الجديدة 5 أرواح".

لكن الحياة ليست مجرد متوسطات. أحياناً يعمل العلاج كالمعجزات، وأحياناً لا يفعل شيئاً، وأحياناً تظهر آثار جانبية نادرة ولكنها كارثية. معرفة المتوسط تخفي هذه المخاطر. وهنا يأتي دور التقييم خارج السياسة التوزيعي (Distributional Off-Policy Evaluation). فبدلاً من رقم واحد، يحاول رسم القصة الكاملة للنتائج المحتملة: أفضل السيناريوهات، وكوابيس الحالات الأسوأ، وكل ما بينهما.

مشكلة الطرق القديمة

تخيل أنك تحاول رسم سلسلة جبال منحنية وناعمة باستخدام بعض الكتل الخشبية المسطحة والمسننة فقط. يمكنك الاقتراب من الشكل، لكنك ستفتقد المنحدرات الناعمة والوديان الخفية.

عملت الطرق السابقة لتقدير هذه "قصص النتائج" (المعروفة بـ Quantile-based DRL) مثل تلك الكتل الخشبية. فقد اختارت نقاطاً محددة (مثل المئين العاشر، والمئين الخمسين، والمئين التسعين) وحاولت تخمين الباقي.

العيب: إذا فاتتك قمة حادة أو وادٍ عميق بين كتل الخشب هذه، فإن خريطتك ستكون خاطئة. وللحصول على خريطة أفضل، تحتاج إلى المزيد من الكتل، مما يجعل الحسابات الحاسوبية بطيئة وثقيلة. كما أنها، لأنها تعتمد فقط على التخمين لسد الفجوات، غالباً ما تنشئ نقاط بيانات "زائفة" (عينات وهمية) لا تتطابق تماماً مع الواقع.

الحل الجديد: DQPOPE

قدم مؤلفو هذه الورقة طريقة جديدة تسمى DQPOP (التقييم خارج السياسة للعملية الكمية العميقة).

فكر في DQPOPE ليس كبناء باستخدام الكتل، بل كـ تعلم كيفية رسم سلسلة الجبال بأكملة باستخدام قلم واحد مستمر ومرن.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "العملية الكمية" (القلم المستمر)

بدلاً من أن تطلب من الكمبيوتر تخمين 10 نقاط منفصلة، يطلب DQPOPE منه تعلم دالة (Function).

الطريقة القديمة: "ما هي النتيجة عند 10%؟ وماذا عن 50%؟ وماذا عن 90%؟" (منفصلة ومتقطعة).
طريقة DQPOPE: "أعطني قرص تحكم من 0 إلى 1. إذا أدرت القرص إلى 0.3، أخبرني بالنتيجة. إذا أدرته إلى 0.99، أخبرني بالنتيجة."
من خلال معاملة "قرص التحكم" (مستوى الاحتمالية) كمدخل مستمر، يتعلم الكمبيوتر الشكل الناعم والمستمر لتوزيع النتائج بالكامل. هو لا يحتاج لتخمين الفجوات؛ بل يرسم الخط بأكمله.

2. "الشبكة العصبية العميقة" (الفنان الذكي)

لرسم سلسلة الجبال المعقدة والمنحنية هذه، يستخدم الكمبيوتر شبكة عصبية عميقة. فكر في هذا كفنان ماهر شاهد الملايين من أشكال الجبال المختلفة. يمكنه النظر إلى تاريخ المريض ورسم نطاق المستقبل الممكن بالكامل فوراً، ملتقطاً المنحنيات الدقيقة والهبوطات المفاجئة التي تغفل عنها المتوسطات البسيطة.

3. حل مشكلة "البيانات الزائفة"

في الطرق القديمة، ولأنها كانت تمتلك فقط بضع كتل، كان عليها ابتكار بيانات "زائفة" لملء الفجوات بين الكتل لجعل الرياضيات تعمل. كان هذا أمراً فوضوياً ومكلفاً حاسوبياً.
DQPOPE يشبه الطابعة ثلاثية الأبعاد. نظرًا لأنه يفهم الشكل المستمر للجبل، يمكنه توليد عينات دقيقة لما قد يحدث دون الحاجة لابتكار بيانات زائفة. هو فقط "يطبع" نتيجة واقعية بناءً على المنحنى الناعم الذي تعلمه.

لماذا يهم هذا؟ (النتائج)

أثبتت الورقة شيئين رئيسيين:

الكفاءة: لا تحتاج إلى المزيد من البيانات للحصول على الصورة الكاملة. في الواقع، يمكن لـ DQPOPE تعلم التوزيع بأكمله (الجبل كاملاً) باستخدام نفس كمية البيانات التي احتاجتها الطرق القديمة لتعلم المتوسط فقط (القمة الوحيدة). إنه يشبه الحصول على فيلم عالي الدقة مقابل سعر صورة ضبابية.
المتانة (Robustness): في العالم الحقيقي، الأمور فوضوية. أحياناً تحتوي البيانات على "قيم متطرفة" (أحداث غريبة ومتطرفة).
- الطريقة القديمة (المتوسطات): إذا تعرض مريض واحد لتفاعل هائل وغريب، فإن المتوسط ينحرف، وتخرج التقديرات بالكامل عن مسارها.
- DQPOPE (التوزيع): لأنه ينظر إلى الشكل بأكمله، فهو يعرف أن التفاعل الغريب هو مجرد "ذيل" للجبل. هو لا يسمح لنقطة بيانات واحدة غريبة بإفساد الخريطة بأكملها.

اختبار من العالم الحقيقي: علاج تسمم الدم (Sepsis)

اختبر المؤلفون هذا في مجموعة بيانات طبية حقيقية (MIMIC-III) تتعلق بتسمم الدم (وهو رد فعل مهدد للحياة تجاه العدوى).

قارنوا DQPOPE بالطرق القياسية.
النتيجة: أعطى DQPOPE صورة أوضح وأكثر دقة لأي استراتيجيات العلاج كانت آمنة وأيها كانت محفوفة بالمخاطر. لقد استطاع التمييز بين السياسة "الجيدة" والسياسة "السيئة" بشكل أفضل بكثير من الطرق القديمة، خاصة عندما كانت البيانات مشوشة أو النتائج غير متوقعة.

الخلاصة

هذه الورقة تتعلق بترقية "البلورة السحرية" الخاصة بنا.

البلورة القديمة: "في المتوسط، ستكون بخير." (غامضة، ومحفوفة بالمخاطر).
بلورة DQPOPE: "إليك الخريطة الكاملة لمستقبلك: هناك احتمال 90% أن تكون رائعاً، و9% أن تكون بخير، و1% لحدوث مضاعفات نادرة. وإليك بالضبط كيف يبدو ذلك."

من خلال استخدام التعلم العميق لرسم التوزيع الكامل للنتائج بدلاً من مجرد المتوسط، يجعل DQPOPE اتخاذ القرار القائم على الذكاء الاصطناهعي أكثر أماناً، وموثوقية، وجاهزاً للمجالات عالية المخاطر مثل الرعاية الصحية والتمويل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التقييم التوزيعي خارج السياسة باستخدام انحدار العملية الكمية العميقة" (Distributional Off-Policy Evaluation with Deep Quantile Process Regression).

1. بيان المشكلة

تتناول الورقة مشكلة التقييم خارج السياسة (Off-Policy Evaluation - OPE) في التعلم التعزيزي (RL). يهدف الـ OPE إلى تقدير أداء سياسة مستهدفة ( $\pi$ ) باستخدام بيانات تم جمعها من سياسة سلوكية مختلفة ( $\pi_b$ ).

قصور الطرق الحالية: تركز طرق الـ OPE التقليدية فقط على تقدير القيمة المتوقعة (المتوسط) للعائد الإجمالي. ومع ذلك، في البيئات المعقدة والعشوائية (مثل الرعاية الصحية أو الروبوتات)، غالبًا ما يكون المتوسط غير كافٍ لالتقاط المخاطر، أو عدم اليقين، أو التعقيد الكامل لاتخاذ القرار.
الفجوة: بينما يقوم التعلم التعزيزي التوزيعي (DRL) بنمذجة توزيع العائد بالكامل، فإن طرق الـ OPE القائمة على الـ DRL الحالية تعتمد غالبًا على تقريبات كمية منفصلة (مثل QR-DQN). تعاني هذه الطرق من:
1. خطأ التمثيل: يؤدي تقسيم التوزيع إلى مستويات كمية ثابتة إلى أخطاء في التقريب.
2. مشكلات العينات الزائفة: يتطلب توليد عينات مستهدفة للخطوة التالية غالبًا "عينات زائفة" أو خطوات استكمال (imputation)، وهي عمليات مكلفة حاسوبيًا وتفشل في إعادة بناء التوزيع المستهدف بشكل مثالي.
3. القيود النظرية: هناك نقص في التحليل الصارم لتعقيد العينة (sample complexity) للـ OPE التوزيعي باستخدام الشبكات العصبية العميقة (DNNs) في الإعدادات غير الجدولية (non-tabular settings).

2. المنهجية: DQPOPE

يقترح المؤلفون طريقة التقييم خارج السياسة القائم على انحدار العملية الكمية العميقة (DQPOPE). تنقل هذه الطة النموذج من تقدير الكمات المنفصلة إلى تقدير دالة كمية مستمرة (عملية كمية).

المفاهيم الجوهرية

انحدار العملية الكمية: بدلاً من تعلم مجموعة من الكمات المنفصلة $\{f_{\tau_1}, \dots, f_{\tau_m}\}$ ، يتعلم النموذج دالة واحدة $f(s, a, \tau)$ حيث يتم التعامل مع $\tau \in (0, 1)$ كمدخل مستمر. تقوم هذه الدالة بربط زوج (الحالة-الإجراء) بمستوى الكم المقابل لقيمة العائد.
تحديث بلمان التوزيعي (Distributional Bellman Update): تستفيد الطريقة من الارتباط وجهًا لوجه بين التوزيع ودالته الكمية. تمت إعادة صياغة مؤثر بلمان التوزيعي $T^\pi$ كمسألة انحدار على العملية الكمية.
أخذ العينات الدقيق (Exact Sampling): الابتكار الرئيسي هو القدرة على توليد عينات دقيقة للمتغير المستهدف $Y_t = R + \gamma Z_{t-1}(S', A')$ دون الحاجة لعينات زائفة. من خلال أخذ عينة من متغير عشوائي منتظم $U \sim \text{Unif}(0, 1)$ وتعويضه في الدالة الكمية المتعلمة $f_{t-1}(S', A', U)$ ، يولد النموذج عينة لها نفس توزيع العائد المستقبلي تمامًا.

نظرة عامة على الخوارزمية

التهيئة: تهيئة شبكة عصبية عميقة (DNN) $f_0$ تمثل الدالة الكمية.
التحديث التكراري: لكل $t = 1$ $t = 1$ إلى $T$ $T$ :
- جمع الانتقالات $(s_i, a_i, r_i, s'_i)$ من مجموعة البيانات.
- أخذ عينة من مستوى الكم $\tau_i \sim \text{Unif}(0, 1)$ .
- أخذ عينة من إجراء $a'_i \sim \pi(\cdot|s'_i)$ ومتغير منتظم $u_i \sim \text{Unif}(0, 1)$ .
- بناء القيمة المستهدفة: $y_i = r_i + \gamma f_{t-1}(s'_i, a'_i, u_i)$ .
- تحديث الشبكة عن طريق تقليل خسارة الفحص (quantile loss) التجريبية:
  $\hat{L}_t(f) = \frac{1}{|D_t|} \sum_{i} \rho_{\tau_i}(y_i - f(s_i, a_i, \tau_i))$
  حيث أن $\rho_\tau(u) = u(\tau - \mathbb{1}_{u \le 0})$ .

3. المساهمات الرئيسية

المساهمات النظرية

تحليل تعقيد العينة: تقدم الورقة أول ضمانات إحصائية غير لامتناهية (non-asymptotic) صارمة للـ OPE التوزيعي باستخدام الـ DNNs.
- المعدل البطيء: تحت الافتراضات القياسية، يتقارب الخطأ الزائد بمعدل $N^{-\frac{\beta}{2\beta+d}}$ (حيث $\beta$ هو درجة النعومة، و $d$ هو البعد).
- المعدل السريع: من خلال إدخال افتراض التحدب القوي المحلي والنعومة المحلية (الافتراض 4.10)، يستنتج المؤلفون معدلًا سريعًا قدره $N^{-\frac{\beta}{2\beta+d}}$ .
تكافؤ الكفاءة: من الناحية الجوهرية، يثبت التحليل أن تقدير توزيع العائد بالكامل عبر DQPOPE يتطلب نفس تعقيد العينة لتقدير القيمة المتوسطة فقط باستخدام الـ OPE القائم على القيمة القياسي. وهذا يثبت أن الطرق التوزيعية لا تفرض "ضريبة عينة" مقارنة بالطرق القائمة على المتوسط.
حل مشكلة العينات الزائفة: يثبت نظرًا أن انحدار العملية الكمية يلغي الحاجة إلى بناء "العينات الزائفة" المستخدمة في طرق QDRL السابقة، مما يتجنب أخطاء التمثيل.

المساهمات العملية

المتانة تجاه الذيول الثقيلة (Heavy Tails): من خلال استخدام خسارة الكم (وهي أقل حساسية للقيم المتطرفة من خسارة المربعات) والمتوسط عبر عدة كمات لتقدير المتوسط، يوفر DQPOPE تقديرات أكثر متانة لقيمة السياسة في البيئات ذات توزيعات المكافآت ذات الذيول الثقيلة.
التمثيل المستمر: تلتقط الطريقة التوزيع الكامل المستمر، متجنبةً عيوب التقطيع المتأصلة في النهج الفئوي أو الكمات الثابتة.

4. النتائج التجريبية

تحقق المؤلفون من فعالية DQPOPE عبر ثلاثة سيناريوهات:

محاكاة CartPole:
- أظهرت أن خطأ التقدير ينخفض أسيًا مع حجم العينة، بما يتماشى مع التوقعات النظرية.
- أظهرت أن DQPOPE يستعيد بدقة توزيع العائد الحقيقي حتى في ظل وجود تحول توزيعي كبير (بيانات خارج السياسة).
مثال تجريبي (مكافآت ذات ذيول ثقيلة):
- قارن DQPOPE مع OPE قياسي قائم على القيمة (DOPE) باستخدام شبكات Deep ReLU.
- النتيجة: حقق DQPOPE باستمرار خطأ مربعات متوسط (MSE) أقل في تقدير قيمة السياسة، خاصة مع زيادة ثقل توزيع المكافآت (توزيع Student's t). كما أدى زيادة عدد الكمات ( $K$ ) المستخدمة للمتوسط إلى تحسين الدقة بشكل أكبر.
تطبيق من العالم الحقيقي (مجموعة بيانات MIMIC-III لمرضى الإنتان - Sepsis):
- طُبق على مشكلة اتخاذ قرار سريري (علاج الإنتان) باستخدام أكثر من 40,000 سجل مريض.
- النتيجة: تفوق DQPOPE على كل من OPE القيسي القائم على القيمة (DOPE) والـ OPE القائم على الكم المنفصل (DQOPE/QR-DQN).
- جودة السياسة: كانت السياسات التي قدرها DQPOPE أكثر توافقًا مع السياسة المثلى المستهدفة (DDQN) وأنتجت استراتيجيات علاجية منطقية سريريًا (مثل تجنب الجرعات العالية غير الضرورية من الـ vasopressors)، بينما أنتجت الطرق الأخرى سياسات دون المستوى أو غير منتظمة.

5. الأهمية والأثر

الربط بين النظرية والتطبيق: نجحت الورقة في سد الفجوة بين المزايا النظرية للتعلم التعزيزي التوزيعي والتطبيق العملي، من خلال توفير إطار عمل سليم رياضيًا للـ OPE التوزيعي.
الكفاءة: تتحدى الورقة الحدس القائل بأن نمذجة التوزيعات الكاملة تتطلب بيانات أكثر من نمذجة المتوسطات، مثبتةً أنه يمكن أن تكون متساوية في كفاءة العينة.
المتانة: تقدم الطريقة حلاً متفوقًا للبيئات عالية المخاطر وغير اليقينية (مثل الرعاية الصحية) حيث يكون فهم ملف المخاطر الكامل (التوزيع) بنفس أهمية فهم النتيجة المتوقعة.
التحسين الخوارزمي: من خلال حل مشكلة "العينات الزائفة"، يوفر DQPOPE إجراء تدريب أكثر استقرارًا وكفاءة لخوارزميات التعلم التعزيزي التوزيعي مقارنة بالطرق الحالية المتطورة.

باخت-صار، يمثل DQPOPE تقدمًا مهمًا في التقييم خارج السياسة، حيث يقدم طريقة قائمة على أسس نظرية، وفعالة في استهلاك العينات، ومتينة تجريبيًا لتقدير توزيع العائد الكامل في مهام التعلم التعزيزي المعقدة والواقعية.