📊 statistics

Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes

تقترح هذه الورقة إطار عمل لعملية ماركوف لاتخاذ القرار متينة للمجموعات مع مجموعات عدم يقين لكل ميزة وخوارزمية غير متصلة (offline) متشائمة لتعلم سياسات اتخاذ قرار متسلسلة متينة من بيانات متعددة المواقع وغير متجانسة، محققةً ضمانات دون مثالية دون الاعتماد على افتراضات قوية حول المستطيلية بين الحالة والعمل.

المؤلفون الأصليون: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

نُشر 2026-02-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في مدينة معقدة لتوصيل الطرود. ليس لديك الوقت لتترك الروبوت يقود حول المدينة ويصطدم بالأشياء (هذا يسمى التعلم "أونلاين" أو المباشر، وهو أمر خطير ومكلف). بدلاً من ذلك، تعطي الروبوت مكتبة ضخمة من سجلات القيادة من ثلاث مدن مختلفة: نيويورك، وشيكاغو، وميامي.

إليك المشكلة:

نيويورك بها الكثير من إشارات المرور والشوارع الضيقة.
شيكاغو بها طرق واسعة جداً ولكنها تعاني من شتاء جليدي.
ميامي بها أمطار غزيرة وقواعد مرور مختلفة.

إذا قمت فقط بخلط جميع هذه السجلات معاً في كومة واحدة ضخمة، فقد يتعلم الروبوت استراتيجية "متوسطة الطريق" تعمل بشكل جيد في "متوسط المدن" ولكنها تفشل فشلاً ذريعاً في أسوأ السيناريوهات (مثل العلوق في عاصفة ثلجية في شيكاغو). هذا ما يسمى "انزياح التوزيع" (Distributional Shift).

إذا علمت الروبوت بشكل منفصل لكل مدينة، فقد يصبح خبيراً في نيويورك ولكنه يصبح جاهلاً في ميامي، أو قد يصاب بالارتباك لأن البيانات في أي مدينة بمفردها ليست كافية ليكون متأكداً من القواعد.

تقترح هذه الورقة البحثية طريقة ذكية لتعليم الروبوت باستخدام بيانات المدن الثلاث جميعها مع الاستعداد لـ أسوأ نسخة ممكنة من أي مدينة.

الفكرة الجوهرية: "رجل الأرصاد الجوية للأسوأ"

يعامل المؤلفون عملية التعلم كأنها لعبة بين شخصيتين:

الروبوت (الوكيل): يريد إيجاد أفضل مسار لتوصيل الطرود.
الخصم (رجل الأرصاء الجوية): يريد جعل حياة الروبوت صعبة قدر الإمكان عن طريق اختيار أسوأ ظروف مرورية أو قواعد طرق ممكنة من البيانات التي رآها.

عادة، في هذه الألعاب، يمكن لرجل الأرصاء الجوية تغيير القواعد لكل زاوية شارع بشكل مستقل. وهذا يجعل الرياضيات مستحيلة الحل (الأمر يشبه محاولة التنبؤ بالطقس لكل ذرة في الغلاف الجوي في وقت واحد).

خدعة الورقة البحثية:
قدم المؤلفون اختصاراً ذكياً يسمى "المستطيلية حسب الميزة" (Feature-wise Rectangularity).
بدلاً من السماح لرجل الأرصاء الجوية بتغيير كل قاعدة بشكل مستقل، يقولون: "حسناً، يا رجل الأرصاء الجوية، يمكنك تغيير قواعد 'إشارات المرور'، و'عرض الطريق'، و'الطقس' بشكل مستقل، ولكن يجب عليك تطبيق نفس المنطق 'للأسوأ' على جميعها معاً."

فكر في الأمر مثل قائمة مكونات.

الطريقة القديمة: يمكن للطاهي (رجل الأرصاء الجوية) استبدال الملح في الحساء، والسكر في الكعكة، والتوابل في اليخنة بشكل مستقل لكل طبق. هذا أمر فوضوي ويصعب التخطيط له.
الطريقة الجديدة (هذه الورقة): يمكن للطاهي استبدال الملح والسكر والتوابل، ولكن يجب أن يفعل ذلك بطريقة منظمة تحترم "ملف النكهة" للطبق. هذا يحافظ على قابلية الرياضيات للحل مع بقائه حذراً للغاية.

كيف تعمل الخوارزمية: "الطاهي الحذر"

تعمل خوارزمية الورقة البحثية (الخوارزمية 1) في ثلاث خطوات، مثل طاهٍ حذر يحضر وجبة لضيف صعب الإرضاء:

التعلم من كل مدينة على حدة (انحدار ريدج - Ridge Regression):
أولاً، ينظر الروبوت إلى سجلات نيويورك وشيكاغو وميامي بشكل منفصل. يحاول تخمين القواعد لكل مدينة. ولكن لأن البيانات قد تكون فوضوية أو غير مكتملة، فإنه يضيف "هامش أمان" (يسمى التشاؤم/Pessimism) إلى تخميناته. هو يفترض أن البيانات قد تكون خاطئة قليلاً.
المزيج "للأسوأ" (التقليل عبر الصفوف - Row-wise Minimization):
الآن، يجمع الروبوت هذه التخمينات. بدلاً من حساب المتوسط (الذي قد يخفي الأجزاء السيئة)، فإنه ينظر إلى كل قاعدة ويسأل: "ما هي أسوأ نسخة من هذه القاعدة عبر المدن الثلاث؟"

إذا قالت نيويورك "حد السرعة هو 30"، وقالت شيكاغو "25"، وقالت ميامي "35"، فإن الروبوت يفترض أن حد السرعة هو 25.
يبني سياسة بناءً على التقدير الأدنى (الأكثر أماناً) لكل ميزة. هذا يضمن أنه بغض النظر عن "الواقع الأسوأ" المخفي لأي مدينة، فلن يصطدم الروبوت.

عقوبة السلامة:
إذا لم يشهد الروبوت موقفاً معيناً بما يكفي في السجلات (على سبيل المثال، رأى 5 أيام ممطرة فقط في ميامي)، فإن الخوارزمية تضيف "عقوبة" كبيرة إلى هذا التخمين. هي تخبر الروبوت: "لا تثق بهذا الرقم؛ ليس لديك بيانات كافية. افترض الأسوأ." هذا يمنع الروبوت من الثقة الزائدة بناءً على عينات صغيرة محظوظة.

استراتيجية "المجموعة": تجميع المدن المتشابهة

تقترح الورقة أيضاً خدعة ثانية. ماذا لو كان لديك 50 مدينة، ولكن 10 منها متشابهة جداً (مثل جميع المدن الساحلية)؟
بدلاً من معاملتها كـ 10 مشكلات منفصلة، يمكنك تجميعها في مجموعة واحدة "ساحلية فائقة".

لماذا؟ هذا يمنحك المزيد من البيانات لتعلم قواعد "القيادة الساحلية".
الشرط: يجب أن تتأكد من أن المدن متشابهة حقاً. إذا جمعت مدينة صحراوية مع مدينة ساحلية، فإن قواعد "المجموعة الفائقة" الخاصة بك ستكون بلا معنى. توفر الورقة رياضيات تثبت أنه طالما أن المدن في المجموعة متشابهة بما يكفي، فإن تجميعها يجعل الروبوت يتعلم بشكل أسرع وأكثر دقة.

النتائج: لماذا يهم هذا؟

اختبر المؤلفون هذا على محاكاة حاسوبية:

التجميع الساذج (Naive Pooling): مجرد خلط كل البيانات معاً. النتيجة: فشل الروبوت في السيناريوهات الأسوأ لأنه تجاهل الأخطار الفريدة لمدن معينة.
التعلم المنفصل: التعلم لكل مدينة على حدة. النتيجة: كان الروبوت غير مستقر وارتكب أخطاءً لأنه لم يكن لديه بيانات كافية لأي مدينة بمفردها.
طريقة هذه الورقة: النتيجة: تعلم الروبوت سياسة كانت آمنة وفعالة باستمرار، حتى في أسوأ السيناريوهات. لقد وجد "النقطة المثالية" بين كونه حذراً للغاية وبين كونه متهوراً للغاية.

باختصار

تقدم هذه الورقة وصفة رياضية للتعلم من مصادر متعددة ومختلفة (مثل المستشفيات، أو المدن، أو المصانع) دون الحاجة إلى الوثوق بأنها جميعاً متطابقة تماماً. إنها تبني نظام اتخاذ قرار قوي (Robust): فهي تستعد لأسوأ نسخة من البيانات التي رأت، مما يضمن أن الخطة النهائية ستعمل بأمان حتى عندما تسوء الأمور أو تغيب البيانات.

الأمر يشبه تدريب طيار ليس فقط على "الطقس المتوسط"، ولكن من خلال محاكاة أسوأ مزيج من الرياح والأمطار والاضطرابات الموجودة في أي من سجلات التدريب، لضمان قدرته على الهبوط بأمان مهما حدث.

ملخص تقني: تعلم القرارات المتسلسلة من مصادر متعددة عبر عمليات ماركوف لاتخاذ القرار القوية تجاه المجموعات

صياغة المشكلة

تتناول هذه الورقة تحدي تعلم سياسات اتخاذ القرار المتسلسل القوية من مجموعات بيانات غير متصلة (offline) تم جمعها عبر مواقع متعددة (مثل المستشفيات) التي تشترك في سياق تطبيق واحد ولكنها تظهر تباينًا (heterogeneity). في التعلم المعزز غير المتصل (Offline RL) القياسي، يتم تعلم السياسات من بيانات جُمعت مسبقًا دون تفاعل إضافي مع البيئة. ومع ذلك، غالبًا ما تعاني البيانات متعددة المواقع في العالم الحقيقي من مشكلتين حرجتين:

التحول التوزيعي (Distributional Shift): يتم توليد المسارات غير المتصلة بواسطة سياسات سلوكية قد لا تغطي توزيع الحالة-الفعل للسياسة المثلى.
التباين بين المواقع (Site-wise Heterogeneity): يعني التباين في بروتوكولات الحصول على البيانات، وتكوين السكان، والظروف البيئية، أن المسارات لا يتم توليدها من عملية ماركوف لاتخاذ القرار (MDP) واحدة وثابتة. بدلاً من ذلك، لكل موقع $k$ نواة انتقال $P_k$ ودالة مكافأة $r_k$ خاصة به.

يصيغ المؤلفون هذا الإعداد كنموذج عملية ماركوف لاتخاذ القرار القوية تجاه التوزيع الخطية للمجموعات (Group-Linear DRMDP). الافتراض الأساسي هو أن جميع المواقع تشترك في خريطة سمات (feature map) معروفة $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ ، ولكن نواة الانتقال ودوال المكافأة تكون خطية في هذه السمات مع معاملات خاصة بكل موقع $(\theta^k_h, \mu^k_h)$ . الهدف هو تعلم سياسة تؤدي أداءً جيدًا في ظل أسوأ سيناريو للتحول البيئي ضمن مجموعة عدم يقين معقولة محددة عبر الغلاف المحدب للتوزيعات الخاصة بكل موقع.

المنهجية

1. مجموعات عدم اليقين المعتمدة على السمات (d-rectangular)

للتعامل مع عدم اليقين الناجم عن المواقع المتعددة مع الحفاظ على القدرة الحسابية، يقترح المؤلفون مجموعة عدم يقين معتمدة على السمات (d-rectangular).

البنية: على عكس الغلاف المحدب القياسي عبر المواقع الذي يربط عدم اليقين عبر جميع السمات (مما يؤدي إلى مجموعات غير مستطيلة وتخطيطًا صعب الحل حسابيًا NP-hard)، يسمح هذا النهج للمنافس باختيار أوزان الخلط بشكل مستقل لكل بُعد من أبعاد السمات $i \in [d]$ .
التعريف: لكل خطوة $h$ وكل سمة $i$ ، يختار المنافس متجه خلط $\alpha_{h,i} \in \Delta^{K-1}$ لتشكيل خليط من أسوأ الحالات للمعاملات الخاصة بالمواقع. يتم تعريف مجموعة عدم اليقين $\mathcal{U}_h$ بحيث تكون المكافأة والانتقال لأي $(s, a)$ عبارة عن تركيبات خطية من معاملات المواقع الموزونة بهذه الخلطات الخاصة بالسمات.
الفائدة: هذا التخفيف يحافظ على التباين الجوهري بين المواقع مع استعادة عمليات بيلمان المتكررة (robust Bellman recursions)، مما يجعل المشكلة قابلة للحل حسابيًا.

2. خوارزمية تكرار القيمة المتشائمة (Pessimistic Value Iteration)

يطور المؤلفون خوارزمية غير متصلة (Algorithm 1) تعتمد على تكرار القيمة المتشائم، والتي تتضمن ثلاثة مكونات أساسية:

انحدار ريج (Ridge Regression) لكل موقع: لكل موقع $k$ ، تقوم الخوارزمية بتقدير معاملات هدف بيلمان $\hat{\nu}^k_h$ باستخدام انحدار ريج على المجموعة المحلية $D_k$ . ينتج عن ذلك تقديرات خاصة بالموقع للمعاملات الخطية.
التجميع لأسوأ الحالات بناءً على السمات: بدلاً من المتوسط، تقوم الخوارمة بإجراء أدنى قيمة صفية (row-wise minimum) عبر المعاملات المقدرة لجميع المواقع. وتحديدًا، لكل بُعد من أبعاد السمات $i$ ، يتم ضبط المعامل القوي باستخدام $\min_{k \in [K]} (\hat{\nu}^k_h)_i$ . هذا يلتقط أسوأ سيناريو عبر المواقع لكل سمة.
عقوبة التشاؤم المعتمدة على البيانات: لمراعاة عدم يقين التقدير والتحول التوزيعي، يتم طرح حد عقوبة من قيمة Q. يتم حساب هذه العقوبة باستخدام أقطار مصفوفات التصميم العكسية (مصفوفات التغاير) من انحدار ريج. تتناسب العقوبة مع متجه السمة $\phi(s, a)$ وأقصى عدم يقين مرصود عبر المواقع لكل بُعد من أبعاد السمات.

3. التوسيع على مستوى العنقود (Cluster-Level Extension)

لتحسين كفاءة العينة عندما تظهر المواقع تشابهًا، يقترح المؤلفون توسعة على مستوى العنقود. يتم تقسيم المواقع إلى عناقيد بناءً على معرفة مسبقة بالتشابه. داخل كل عنقود، يتم دمج مجموعات البيانات لتشكيل "موقع فائق"، ويتم تطبيق عامل بيلمان القوي على ممثلي مستوى العنقود. يستفيد هذا النهج من أحجام العينات المجمعة الأكبر مع الحد من الخطأ الناتج عن التباين داخل العنقود.

النتائج النظرية

تقدم الورقة حدودات دون المثالية (suboptimality bounds) لعينة محدودة للخوارزمية المقترحة تحت افتراض التغطية الجزئية القوية.

تفكيك دون المثالية: يتم تفكيك دون المثالية إلى الارتباط الزائف، وعدم اليقين الجوهري، وخطأ التحسين.
معدل التقارب: تحت افتراض أن مصفوفات التغاير التجريبية الخاصة بكل موقع تهيمن على العزوم الثانية لتوزيع الزيارة للسياسة المثلى القوية، يتم تحديد حد دون مثالية السياسة المتعلمة $\hat{\pi}$ بـ:
$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$
حيث $N_{\min}$ هو الحد الأدنى لحجم العينة عبر المواقع، $d$ هو بُعد السمة، $H$ هو الأفق، و $K$ هو عدد المواقع.
حد مستوى العنقود: يتضمن حد مستوى العنقود حد انحياز إضافي يتناسب مع التفاوت في المعاملات داخل العنقود ( $\Delta_h$ )، مما يوضح أن التجميع مفيد طالما تم التحكم في التباين داخل العناقيد.

النتائج التجريبية

يتحقق المؤلفون من نهجهم من خلال محاكاة على نماذج MDP خطية دورية مع $K=3$ إلى $4$ مواقع.

المقارنة: تمت مقارنة خوارزمية "Sitewise" المقترحة مقابل:
- التجميع الساذج (Naive Pooling): تجميع جميع البيانات وتطبيق تكرار القيمة المتشائم (PEVI) القياسي.
- PEVI لكل موقع (متوسط-Q): حساب متوسط قيم Q من عمليات PEVI المستقلة لكل موقع.
- PEVI لكل موقع (أدنى-Q): أخذ الحد الأدنى النقطي لدوال Q الخاصة بكل موقع.
الأداء: تحقق الخوارزمية المقترحة باستمرار دون مثالية قوية أقل بكثير مقارنة بجميع المعايير المرجعية.
- التجميع الساذج يفشل في أن يكون قويًا ضد التحولات التوزيعية الخاصة بالمواقع، حيث يسعى لتحسين الأداء المتوسط بدلاً من أسوأ حالة.
- طرق لكل موقع تعاني من تباين عالٍ بسبب أحجام العينات المحلية المحدودة ونقص مشاركة المعلومات.
التقارب: تؤكد قوانين القياس التجريبية معدل التقارب النظري $O(N_{\min}^{-1/2})$ .
ضرورة التشاؤم: تظهر التجارب أن إزالة عقوبة التشاؤم (ضبط الثابت $c=0$ ) يؤدي إلى الفشل في التقارب بكفاءة، حيث يفرط المقدر الجشع (greedy estimator) في التلاؤم مع ضوضاء العينة المحدودة، خاصة في السيناريوهات ذات التغطية غير المتوازنة للبيانات.

الأهمية والادعاءات

تدعي الورقة تقديم نهج مبدئي للتخطيط القوي في بيئات RL غير المتصلة متعددة المواقع دون الاعتماد على افتراضات قوية لترابط الحالة-الفعل.

القابلية للحساب مقابل القوة: من خلال تقديم مجموعة عدم اليقين $d$ -rectangular، يجسر المؤلفون الفجوة بين عدم قابلية الحساب في الأغلفة المحدبة العامة عبر المواقع وبين التحفظ المفرط في نماذج MDP القوية القياسية $(s, a)$ -rectangular.
الخصوصية والكفاءة: تتواصل الخوارزمية فقط عبر الإحصائيات الملخصة المجمعة على مستوى الموقع (معاملات انحدار ريج وأقطار مصفوفة التغاير) بدلاً من المسارات الخام، مما يقلل من تكاليف اتصالات البيانات ويعزز الخصوصية.
التعامل مع التباين: يصيغ الإطار صراحةً ويستفيد من التباين عبر المواقع لضمان أن السياسة المتعلمة قوية تجاه أسوأ تكوين للمواقع، مما يعالج قصورًا جوهريًا في التعلم المعزز غير المتصل القياسي عند تطبيقه على بيانات متعددة المصادر.

يقر المؤلفون بأن طريقتهم تعتمد على بنية خطية داخل المواقع وأن تقريب $d$ -rectangular قد يؤدي إلى تقديرات متحفظة. ويقترحون أن العمل المستقبلي يمكن أن يستكشف تقريبات أكثر إحكامًا ودمج تعلم التمثيل للتعامل مع خرائط السمات غير الخطية.