🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

تقترح هذه الورقة إطار عمل جديداً لتحسين السياسات المضادة للواقع بشكل قوي في اتخاذ القرارات المتسلسلة، وذلك عبر صياغة نماذج سببية احتمالية غير حتمية تميز بين الارتباك الكامن والعشوائية المتأصلة، والتي تم التحقق من صحتها من خلال محاكاة لعلاج تسمم الدم مع وجود مربكات خفية.

المؤلفون الأصليون: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

نُشر 2026-08-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية قيادة سيارة، ولكن ليس لديك سوى فيديو لشخص آخر يقود. تريد أن تسأل: "ماذا لو اتخذ الروبوت منعطفاً مختلفاً؟" هذا هو جوهر الاستدلال المضاد للواقع (Counterfactual Reasoning): النظر إلى الماضي وتخيل نتيجة مختلفة بناءً على خيار مختلف. في عالم الذكاء الاصطناعي، يعد هذا أمراً بالغ الأهمية، خاصة في مجالات مثل الرعاية الصحية حيث لا يمكننا ببساطة إجراء تجارب خطيرة على مرضى حقيقيين لنرى ما سيحدث.

للقيام بذلك، يستخدم العلماء عمليات ماركوف لاتخاذ القرار (MDPs)، وهي بمثابة كتب قواعد لكيفية تغير حالة نظام ما (مثل الحالة الصحية للمريض) بناءً على الأفعال (مثل إعطاء الدواء). تقليدياً، افترض الباحثون أن كتب القواعد هذه يمكن التنبؤ بها تماماً إذا عرفوا جميع الأسرار الخفية (المتغيرات الكامنة). كانوا يعتقدون: "إذا عرفنا الشفرة الجينية الخفية للمريض، يمكننا التنبؤ بالمستقبل بدقة". ومع ذلك، فإن الحياة الواقعية فوضوية. أحياناً تحدث الأشياء بشكل عشوائي تماماً—مثل رمي قطعة نقد أو خلل في آلة—وهو أمر لا يمكن لأي قدر من المعرفة الخفية التنبؤ به. تتناول هذه الورقة البحثية المنطقة الوسطى الصعبة حيث تشكل كل من الأسرار الخفية والعشوائية المحضة المستقبل معاً، متسائلة: "كيف يمكننا اتخاذ أفضل القرارات عندما لا نعرف الأسرار الخفية، ونعلم أن العالم يتسم ببعض الفوضى؟"

معضلة المحقق: حل لغز المتغير المفقود

تخيل أنك محقق تحاول حل لغز باستخدام آلة "ماذا لو". لديك فيديو لمريض يمرض، وتريد أن تعرف: "لو كنا قد أعطيناه علاجاً مختلفاً، هل كان سينجو؟"

في الماضي، افترض المحققون أن آلة "ماذا لو" تعمل مثل لعبة ميكانيكية دقيقة. كانوا يعتقدون أنهم إذا عرفوا كل ترس خفي (مثل إصابة المريض بالسكري غير المشخص)، فبإمكانهم إعادة الزمن إلى الوراء ورؤية ما كان سيحدث بالضبط. لكن مؤلفة هذه الورقة، جيسيكا لالي وفريقها، أدركوا أن الحياة الواقعية ليست لعبة ميكانيكية دقيقة. أحياناً تتعطل التروس بشكل عشوائي، أو تهب ريح قوية فتسقط قطعة دومينو. هذا هو العشوائية المتأصلة.

تجادل الورقة بأننا لا نستطيع التظاهر بأن العالم قابل للتنبؤ تماماً لمجرد أننا نفتقد بعض المعلومات. بدلاً من ذلك، نحتاج إلى نوع جديد من عمل المحققين الذي يعترف بـ: "نحن لا نعرف التروس الخفية، وحتى لو عرفناها، فقد يظل المستقبل مفاجئاً بعض الشيء".

الأداة الجديدة: شبكة أمان "للحالة الأسوأ"

قدم الفريق طريقة جديدة تسمى تحسين السياسة المضادة للواقع المتينة (Robust Counterfactual Policy Optimisation). فكر في هذا كشبكة أمان لاتخاذ القرار.

عادةً، عندما نحاول تخمين ما كان سيحدث، قد نخطئ لأننا لا نعرف "المتغير المربك الخفي" (مثل حالة السكري لدى المريض). تقترح المؤلفات إطار عمل لا يكتفي بتخمين نتيجة واحدة، بل يستعد لأسوأ نتيجة ممكنة تتوافق مع البيانات.

إنهن يستخدمن مفهوم تحليل الحساسية. تخيل أنك تخمن حالة الطقس؛ إذا كنت متأكداً بنسبة 100%، تقول "ستمطر". إذا كنت غير متأكد، تقول "قد تمطر، أو قد لا تمطر". تضيف المؤلفات "مفتاحاً" (يُسمى $\Delta$ ) يتحكم في مدى قدرة الأسرار الخفية على إفساد توقعاتنا.

إذا أدرت المفتاح إلى 1، فأنت تفترض عدم وجود أسرار خفية تفسد الأمور.
إذا رفعت المفتاح عالياً، فأنت تفترض أن الأسرار الخفية يمكن أن تسبب أي شيء.

الهدف هو إيجاد "سياسة" (مجموعة من القواعد لما يجب فعله) تعمل بشكل جيد حتى لو كانت الأسرار الخفية في غاية المكر. يطلقون على إيجاد هذه السياسة اسم السياسة المتينة (Robust Policy). الأمر يشبه تجهيز حقيبة ظهر لرحلة سير طويلة: أنت لا تجهزها للطقس المشمس فحسب؛ بل تجهزها للمطر، والطين، وعاصفة مفاجئة، تحسباً لأي طارئ.

التجربة: محاكي تعفن الدم (Sepsis)

لاختبار فكرتهن، استخدم الفريق محاكاة حاسوبية لـ علاج تعفن الدم (Sepsis). في هذه اللعبة، يمتلك المريض أربع علامات حيوية (ضربات القلب، ضغط الدم، الأكسجين، والجلوكوز) يمكن أن تكون منخفضة، طبيعية، أو عالية. وعلى الطبيب (أو الذكاء الاصطناعي) أن يقرر ما إذا كان سيقوم بتشغيل أو إيقاف ثلاثة علاجات مختلفة.

هنا تكمن العقبة: تحتوي المحاكاة على متغير خفي. بعض المرضى مصابون بالسكري، والبعض الآخر ليس كذلك. حالة السكري هذه هي "المتغير المربك الخفي". فهي تؤثر على استجابة المريض للعلاج، لكن الذكاء الاصطناعي يرى فقط العلامات الحيوية، وليس حالة السكري. في هذه المحاكاة، 20% من المرضى مصابون بالسكري.

أجرى الباحثون طريقتهم الجديدة "شبكة الأمان" على هذه المحاكاة. وسألوا: "هل يمكننا إيجاد خطة علاج أفضل من تلك التي رأيناها في البيانات، حتى لو لم نكن نعرف من المصاب بالسكري؟"

ماذا وجدوا؟

كانت النتائج واعدة، ولكن مع بعض التحفظات.

إنها تعمل بشكل أفضل من مجرد التخمين: عندما اختبروا سياساتهم الجديدة على النسخة الكاملة والمثالية من المحاكاة (حيث كانوا يعرفون بالفعل من المصاب بالسكري)، كانت السياسات التي وجدوها غالباً أفضل بكثير من السياسات الأصلية غير المثالية. بالنسبة للمرضى المصابين بالسكري، حسنت السياسة الجديدة النتيجة بمتوسط 7.4 نقطة (على مقي scale حيث الموت هو -10 والتعافي هو 10).
"الوكيل" حذر قليلاً: اضطر الفريق لتخمين مستوى المشاكل الخفية (مفتاح $\Delta$ ) باستخدام العلامات الحيوية المرئية فقط. بالنسبة للمرضى المصابين بالسكري، كان هذا التخمين دقيقاً تماماً. لكن بالنسبة لغير المصابين بالسكري، كانت الطريقة حذرة للغاية؛ فقد افترضت أن المشاكل الخفية أقوى مما هي عليه في الواقع. هذا يشبه خبير أرصاد جوية يقول "قد تمطر" بينما الجو مشمس بالفعل. وبينما يؤدي هذا إلى درجة أقل قليلاً في المحاكاة، إلا أنه يضمن أن يكون القرار آمناً.
اختبار "الأوراكل" (الخبير المطلق): قارنت المؤلفات طريقتهن بـ "الأوراكل" — وهو نسخة مثالية من طريقتهن تعرف المستوى الحقيقي للمشاكل الخفية. ووجدن أنه حتى بدون معرفة الحقيقة، وجدت طريقتهن سياسات قريبة جداً من أفضل خيارات الأوراكل.

الخلاصة

لا تدعي هذه الورقة البحثية أنها حلت لغز المتغيرات الخفية إلى الأبد. بدلاً من ذلك، فهي تقدم طريقة جديدة وأكثر أماناً لطرح سؤال "ماذا لو؟" في عالم يتسم بالغموض والعشوائية معاً.

من خلال الفصل بين "الأسرار الخفية" (مثل السكري) و"العشوائية المحضة" (مثل خلل عشوائي في الآلة)، ومن خلال الاستعداد لأسوأ السيناريوهات، توضح المؤلفات أنه لا يزال بإمكاننا اتخاذ قرارات ذكية ومتينة. تشير طريقتهن إلى أنه حتى عندما نطير بشكل أعمى فيما يتعلق بالعوامل الخفية، لا يزال بإمكاننا إيجاد خطط علاج أفضل بكثير من مجرد اتباع البيانات القديمة وغير المثالية. إنها خطوة نحو ذكاء اصطناعي يتسم بالتواضع بما يكفي للاعتراف بما لا يعرفه، وبالذكاء الكافي للتخطيط لما هو غير متوقع.

ملخص تقني: تحسين السياسة المقابلة للواقع المتينة عبر النماذج السببية غير الحتمية

1. بيان المشكلة

يسعى الاستدلال المقابل للواقع (Counterfactual inference) في اتخاذ القرار المتسلسل إلى تحديد النتائج التي كانت ستحدث لو تم تنفيذ سياسة مختلفة، بناءً على مسار مرصود من الحالات، والأفعال، والنتائج. وهذا أمر بالغ الأهمية في المجالات الحساسة للسلامة مثل الرعاية الصحية، حيث يكون إعادة إجراء التجارب أمراً غير أخلاقي أو غير ممكن.

عادةً ما تصف النهج الحالية للاستدلال المقابل للواقع في عمليات ماركوف لاتخاذ القرار (MDPs) البيئة كـ نموذج سببي هيكلي حتمي (Deterministic SCM). في هذا الإطار، تُعزى جميع العشوائية إلى متغيرات كامنة غير مرصودة ( $U$ ). ومع ذلك، فإن نماذج MDP في العالم الحقيقي هي بطبيعتها عشوائية؛ حيث تنشأ العشوائية غالباً من مصدرين متميزين:

التشويش الكامن (Latent Confounding): عوامل غير مرصودة (مثل جينات المريض أو الخصائص الديموغرافية) تؤثر على الانتقالات.
العشوائية غير القابلة للاختزال (Irreducible Stochasticity): عشوائية جوهرية في النظام (مثل مولدات الأرقام العشوائية أو الضوضاء التجميعية) لا يمكن اختزالها إلى متغيرات كامنة.

يعالج هذا البحث الفجوة حيث يتعايش المصدران معاً. تفشل نماذج SCM القياسية في التمييز بينهما، مما قد يؤدي إلى إساءة عزو الضوضاء غير القابلة للاختزال إلى التشويش الكامن أو العكس. يقترح المؤلفون صياغة تحسين السياسة المقابلة للواقع تحت النماذج السببية الاحتمالية غير الحتمية (PNSCMs)، والتي تسمح بالعشوائية الجوهرية مع تحديد تأثير الملوثات الكامنة صراحةً عبر تحليل الحساسية.

2. المنهجية

2.1 النماذج السببية الاحتمالية غير الحتمية (PNSCMs)

يصيغ المؤلفون البيئة كنموذج PNSCM، مستبدلين المعادلات الهيكلية الحتمية بتوزيعات احتمالية مشروطة. وتتمثل الميزة الرئيسية لـ PNSCMs في التنقية الفعلية (actualised refinement): بالنظر إلى إعداد مرصود $(u, v)$ ، يتم تنقية التوزيع الشرطي $P_X$ ليعيد بشكل حتمي النتيجة المرصودة $x$ عند إعطائه الآباء المرصودين، مع الاحتفاظ بطبيعته الاحتمالية للمدخلات الأخرى. وهذا يجسد الدلالات بأننا نتعلم الآلية السببية فقط من الإعداد الفعلي، وليس من الاحتمالات المقابلة للواقع.

2.2 إطار تحليل الحساسية

للتعامل مع الملوثات العالمية غير المرصودة ( $U$ ) التي تظل ثابتة طوال المسار، يستخدم المؤلفون نهج تحليل حساسية مشابهاً لعمل Kausik et al. [2024].

معلمة الحساسية ( $\Delta$ ): يتم حصر تأثير المتغير الكامن $U$ $U$ بواسطة معلمة $\Delta \ge 1$ $Δ \geq 1$ . وهي تقيد نسبة الأرجحية (odds ratio) بين احتمال الانتقال الشرطي $P(S' = s' | S = s, A = a, U = u)$ $P (S^{'} = s^{'} ∣ S = s, A = a, U = u)$ واحتمال الانتقال الهامشي $P(S' = s' | S = s, A = a)$ $P (S^{'} = s^{'} ∣ S = s, A = a)$ :
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ : لا يوجد تشويش (PNSCM محدد بالكامل).
- $\Delta \to \infty$ : أقصى درجات التشويش.

2.3 معايرة الحساسية ( $\Delta$ )

يعد اختيار $\Delta$ دون معرفة مجال تخصصي تحدياً كبيراً. يقترح البحث طريقة منهجية لاستخلاص حد علوي لـ $\Delta(s, a)$ من متغيرات الحالة المرصودة:

إخفاء المتغيرات: لكل متغير حالة مرصود $i$ ، يحسب المؤلفون توزيع الانتقال $P(s' | s_{-i}, a)$ عن طريق الهامش لـ $i$ .
حساب نسبة الأرجحية: يحسبون أقصى نسبة أرجحية بين الانتقال الكامل والانتقال الهامشي لكل متغير.
اختيار الوكيل (Proxy Selection): يتم ضبط الحساسية $\Delta(s, a)$ لتكون الحد الأقصى لهذه النسب عبر جميع المتغيرات. يمكن تطبيق عامل قياس $\Gamma$ لضبط صرامة الحد.

2.4 إجراء التحسين

الهدف هو إيجاد سياسة $\pi$ تعظم القيمة المقابلة للواقع الأسوأ (worst-case counterfactual value) $V^{CF}$ تحت عدم اليقين الخاص بـ $U$ .

التنقية الفعلية في الحالات المقابلة للواقع: بالنسبة لانتقال مرصود $(s_t, a_t, s_{t+1})$ ، يكون احتمال الانتقال المقابل للواقع $P^{CF}_t$ خليطاً: مع احتمال $P(U=u|\tau)$ ، يكون الانتقال حتمياً (البقاء عند $s_{t+1}$ )؛ وإلا فإنه يتبع احتمال الانتقال الأمثل $\tilde{P}$ .
التحسين المنفصل (Decoupled Optimization): لجعل المشكلة قابلة للحل، يقوم المؤلفون بفصل التحسين عبر الخطوات الزمنية وأزواج الحالة-الفعل، حيث يعامل كل ثلاثي $(t, s, a)$ بشكل مستقل. ينتج عن ذلك حد سفلي محافظ للقيمة التشاؤمية الحقيقية.
الصياغة التنافسية (Adversarial Formulation): يتضمن التحسين خصماً يختار بشكل مشترك التوزيع البعدي $P(U|\tau)$ واحتمالات الانتقال $\tilde{P}$ لتقليل القيمة، مع الخضوع لقيود الحساسية. يتم حل هذه المشكلة غير المحدبة باستخدام Gurobi.
التجانس الزمني (Time-Homogeneity): يشير البحث إلى أن دمج التجانس الزمني (الذي يتطلب انتقالات متسقة عبر الزمن) يخلق اقتراناً ثلاثي الخطية (trilinear coupling) يمكن حله عبر نزول الاشتقاق (gradient descent)، رغم أن هذا يضمن فقط الوصول إلى النهايات الصغرى المحلية.

3. التقييم التجريبي

تم التحقق من صحة النهج باستخدام محاكي علاج تعفن الدم (Sepsis Treatment Simulator) (Oberst and Sontag, 2019).

الإعداد: تتضمن مساحة الحالة العلامات الحيوية (معدل ضربات القلب، ضغط الدم، إل_خ). وتتضمن مساحة الفعل تبديل العلاجات.
المُلوث (Confounder): يعمل مرض السكري ( $U \in \{0, 1\}$ ) كملوث كامن عالمي، يؤثر على 20% من السكان. مصفوفة الانتقال الحقيقية $P(S' | S, A, U)$ معروفة للتقييم ولكنها مخفية أثناء اشتقاق السياسة.
البيانات: يستخدم المنهج مسارات ناتجة عن سياسة دون المستوى (مثالية باحتمالية 0.5، وعشوائية في الحالات الأخرى) على مصفوفة الانتقال الهامشية (حيث مرض السكري مخفي).

النتائج الرئيسية

التحسن المتين: تفوقت السياسات المقابلة للواقع المستمدة ( $\pi^*_\Delta$ ) باستمرار على السياسة المرصودة دون المستوى عند تقييمها على نموذج MDP الكامل (حيث يُعرف مرض السكري).
دقة الوكيل (Proxy Accuracy):
- بالنسبة لـ مسارات مرضى السكري، طابقت النسخة غير الموزونة ( $\Gamma=1$ ) الأداء "الأوراكل" (أفضل نتيجة ممكنة إذا كانت حساسية مرض السكري الحقيقية $\Delta^*$ معروفة).
- بالنسبة لـ المسارات غير المصابة بالسكري، كان الوكيل محافظاً (بالغ في تقدير التشويش)، مما أدى إلى تقديرات قيمة أقل من الأوراكل. ومع ذلك، ظلت السياسات الناتلة قريبة من أداء الأوراكل، مما يثبت أن المنهج يستعيد سياسات متينة حتى عندما تكون تقديرات القيمة محافظة.
الحساسية تجاه $\Gamma$ : سمح تعديل عامل القياس $\Gamma$ للمؤلفين بضبط المقايضة بين دقة تقدير القيمة ومتانة السياسة.

4. المساهمات الرئيسية

الصياغة: يصيغ البحث أول مشكلة تحسين عملية لتحديد سياسات مقابلة للواقع متينة تحت إطار تحليل الحساسية ضمن نماذج PNSCMs.
إطار الحساسية: يقترح إطار عمل للتحسين لتحديد سياسات مقابلة للواقع متينة باستخدام إطار تحليل الحساسية الذي يحصر تأثير المتغير الكامن.
طريقة المعايرة: يقدم طريقة مستمدة من البيانات لمعايرة معلمة الحساسية $\Delta$ باستخدام متغيرات الحالة المرصودة، مما يقلل الاعتماد على معرفة الخبراء في المجال.
التحقق التجريبي: يثبت القدرة على اشتقاق والتحقق من سياسات مقابلة للواقع متينة عند تقييمها في بيئة واقعية تحتوي على ملوثات عالمية كامنة.

5. الأهمية والادعاءات

يدعي المؤلفون أن هذا العمل يوفر أول مشكلة تحسين عملية لتحديد سياسات مقابلة للواقع متينة تحت إطار تحليل الحساسية ضمن نماذج PNSCMs. تكمن الأهمية في معالجة قصور نماذج SCM الحتمية الحالية، التي لا تستطيع نمذجة البيئات ذات العشوائية الجوهرية بشكل صحيح.

يخلص البحث إلى أن السياسات المستمدة متينة عند تقييمها في البيئة الحقيقية كاملة التوصيف، حتى عندما يتم تقدير معلمة الحساسية من البيانات المرصودة. ويشير المؤلفون بتواضع إلى أن التحسين المنفصل يوفر حداً سفلياً صالحاً، وأن هناك حاجة لأعمال مستقبلية لاستكشاف قيود التجانس الزمني وأنواع مختلفة من المتغيرات الكامنة (مثل الملوثات عديمة الذاكرة) للحصول على تقديرات قيمة أكثر دقة.