📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

تقدم هذه الورقة البحثية LURE، وهي الطريقة الأولى للتعلم المعزز غير المتصل (offline reinforcement learning) مع وجود أفعال خفية، والتي تستفيد من متغيرات الحالة التالية كبدائل لتمكين تقدير قيمة السياسة بشكل قوي متعدد وصالح إحصائياً في عمليات ماركوف لاتخاذ القرار ذات الأفق اللانهائي.

المؤلفون الأصليون: Zeyu Bian, Ying Zhou, Yifan Cui

نُشر 2026-07-29

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zeyu Bian, Ying Zhou, Yifan Cui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية لعب لعبة معقدة، مثل التنقل في مدينة أو إدارة صحة مريض. أنت لا تجعل الروبوت يمر عبر اللعبة في الوقت الفعلي؛ بل تعطيه سجلًا ضخمًا من المحاولات السابقة التي قام بها لاعب بشري. هذا هو عالم التعلم المعزز (Reinforcement Learning - RL)، وهو فرع من فروع الذكاء الاصطناعي حيث تتعلم الحواسيب من خلال التجربة والخطأ لاتخاذ أفضل القرارات الممكنة بمرور الوقت. الهدف عادة هو معرفة: "إذا اتبعنا مجموعة محددة من القواعد (سياسة/policy) في المستقبل، فما مدى جودة أدائنا، بناءً على هذا السجل القديم؟"

ومع ذلك، هناك عقبة. في العالم الحقيقي، نادرًا ما تكون سجلات البيانات مثالية. أحيانًا، قد يكون الشخص الذي دون الملاحظات قد ارتكب خطأً، أو قد يكون النظام الذي سجل البيانات به خلل تقني. في لغة هذه الورقة البحثية، فإن "الإجراء" (action) الذي اتخذه الإنسان بالفعل (مثل إعطاء دواء معين) قد يكون مخفيًا، وكل ما نراه هو "بديل" أو تخمين مشوش لما حدث (مثل ملاحظة طبية تقول "أُعطي الدواء" بينما في الواقع لم يُعطَ، أو العكس). إذا حاولت تعليم الروبوت باستخدام سجل مليء بهذه الأخطاء، فسوف يتعلم دروسًا خاطئة، مما يؤدي إلى قرارات سيئة لاحقًا. تتناول هذه الورقة المشكلة الشائكة المتمثلة في كيفية التعلم بفعالية عندما يكون الجزء الأهم من القصة — الإجراء الحقيقي — مفقودًا أو مموهًا.

لغز الحركة المفقودة

في الورقة البحثية التي تحمل عنوان "التعلم من غير المرئي" (Learning from the Unseen)، يواجه المؤلفون، زيو بيان، وينغ زو، وييفان كوي، قصة بوليسية يكون فيها الدليل الرئيسي مفقودًا. تخيل أنك محقق يحاول حل جريمة من خلال النظر إلى فيديو أمني. لكن هنا تكمن الخدعة: الفيديو يظهر ظل المشتبه به، وليس المشتبه به نفسه. يمكنك رؤية الظل يتحرك، لكنك لا تعرف بالضبط ماذا كانت تفعل يدا المشتبه به. في عالم علم البيانات، يسمى هذا بوجود "أفعال مخفية".

عادةً، عندما يحاول العلماء تقييم استراتيجية باستخدام بيانات سابقة (عملية تسمى التقييم خارج السياسة - Off-Policy Evaluation)، فإنهم يفترضون أن سجل البيانات مثالي. يفترضون أنه إذا قال السجل "تم اتخاذ الإجراء أ"، فقد تم اتخاذ الإجراء "أ" بالتأكيد. لكن في السيناريوهات الواقعية الفوضوية — مثل السجلات المستشفيات حيث قد يدون الطبيب علاجًا بعد ساعات، أو نظام يسجل بالخطأ ضغطة زر — يكون هذا الافتراض فخًا. إذا تجاهلت الأخطاء، فسيكون تقييمك للاستراتيجية منحازًا، تمامًا مثل الحكم على مهارات طباخ بناءً على قائمة مكونات تحتوي على عناصر خاطئة.

سحر الخطوة التالية

الاختراق الكبير الذي حققه المؤلفون هو إدراك أنه حتى لو لم تتمكن من رؤية "الإجراء" بشكل مباشر، يمكنك غالبًا رؤية "ظله" في اللحظة التالية.

فكر في الأمر على هذا النحو: إذا لوح ساحر بعصاه (الإجراء المخفي)، فقد لا ترى العصا بوضوح بسبب وجود لطخة على الكاميرا. لكن يمكنك رؤية الأرنب يظهر في القبعة (الحالة التالية). الأرنب لم يظهر من العدم؛ لقد ظهر بسبب حركة العصا. ومن خلال دراسة العلاقة بين "الحالة التالية" (الأرنب) و"الملاحظة المشوشة" (الفيديو الملطخ)، استطاع المؤلفون إعادة بناء ما فعله الساحر بالفعل رياضيًا.

يطلقون على طريقتهم الجديدة اسم LURE (التعلم من غير المرئي: المقدر المتين - Learning from the Unseen: Robust Estimator). إنها تشبه المحقق الذكي جدًا الذي لا يكتفي بالنظر إلى الصورة الضبابية للمشتبه به، بل ينظر أيضًا إلى آثار الأقدام المتروكة وتقرير الطقس ليستنتج بدقة ما حدث.

كيف يعمل LURE: نظام "التحقق المزدوج" وحقيبة أدوات المحقق

تقدم الورقة طريقة ذكية لتقدير قيمة الاستراتيجية دون الوقوع في فخ الأخطاء. إنهم يستخدمون مفهومًا يسمى المتانة المتعددة (Multiple Robustness).

تخيل أنك تحاول تخمين درجة الحرارة في الخارج، لكن ميزان الحرارة الخاص بك معطل. لديك ثلاثة أدلة أخرى: كلب مبلل، شجرة تتمايل، وتشكيلات سحابية.

إذا كان ميزان الحرارة الخاص بك معطلًا، فلا يزال بإمكانك التخمين بشكل صحيح إذا كان دليل "الكلب المبلل" دقيقًا.
إذا كان الكلب جافًا ولكن الشجرة تتمايل، فلا يزال بإمكانك التخمين بشكل صحيح.
النظام "متين" لأنه لا يحتاج إلى أن تكون كل الأدلة مثالية؛ بل يحتاج فقط إلى وجود مجموعة منها تكون صحيحة.

يعمل LURE بنفس الطريقة. فهو يبني نموذجًا رياضيًا يتحقق من عدة أجزاء مختلفة من البيانات. حتى لو كان نموذج "الإجراء المشوش" خاطئًا قليلاً، أو كان نموذج "الحالة التالية" غير دقيق تمامًا، يمكن للمقدر أن يجد القيمة الحقيقية للاستراتيجية طالما أن أحد الأجزاء الأخرى صحيح. وهذا يجعل الإجابة النهائية أكثر موثوقية بكثير من الطرق السابقة، التي كانت ستنهار إذا تعطل جزء واحد فقط من البيانات.

ولكن هناك تعقيد خفي في كيفية حل LURE لهذا اللغز. نظرًا لأن الإجراءات الحقيقية لا تُرى أبدًا، يجب على الكمبيوتر تخمين احتمالات ما حدث بالفعل. وللقيام بذلك، طور المؤلفون خوارزمية تكرارية خاصة (تعتمد على طريقة تسمى توقع-تعظيم - Expectation-Maximization أو EM). فكر في هذا كأنه محقق يستمر في صقل نظريته:

التخمين (خطوة E): يبدأ الكمبيوتر بتخمين حول ماهية الإجراءات المخفية.
التحديث (خطوة M): باستخدام ذلك التخمين، يقوم بتحديث نماذجه لكيفية إدلاء الإجراءات بالمكافآت والحالات التالية.
الصقل: ثم يستخدم هذه النماذج المحدثة لتقديم تخمين أفضل حول الإجراءات المخفية، ويكرر الدورة حتى تصبح القصة منطقية تمامًا.

ومع ذلك، هناك التواء أخير. نظرًا لأن الكمبيوتر يقوم بالتخمين، فقد يخلط بين التصنيفات (Labels) عن طريق الخطأ. قد يقرر أن "الإجراء 0" هو في الواقع "الدواء" و"الإجراء 1" هو "لا دواء"، بينما في الواقع هو العكس تمامًا. الرياضيات تعمل في كلتا الحالتين، لكن المعنى ينعكس. ولإصلاح ذلك، يتضمن المؤلفون خطوة حاسمة وهي محاذاة التصنيف (label alignment). قبل تقديم الإجابة النهائية، يتحقق النظام من أي "تخمين" هو الأكثر منطقية مع البيانات المشوشة (على سبيل المثال، أي إجراء مخفي هو الأكثر احتمالاً للنتيجة الملحوظة "أعطي الدواء"). ثم يقوم بقلب التصنيفات إذا لزم الأمر لضمان أن التقرير النهائي يطابق الواقع.

اختبار النظرية

لم يكتف المؤلفون بكتابة نظرية فحسب؛ بل وضعوها قيد الاختبار بثلاث طرق مختلفة:

المحاكاة البسيطة: أنشأوا عالمًا صغيرًا مصطنعًا (Tabular MDP) يحتوي على ثلاث حالات وإجراءين فقط. تعمدوا إفساد البيانات عبر تسمية الإجراءات بشكل خاطئ بنسبة تتراوح بين 5% إلى 30%. وبينما ارتبكت الطرق الأخرى وأعطت إجابات خاطئة، ظل LURE في المسار الصحيح، مخمنًا بدقة قيمة الاستراتيجية.
المحاكاة المعقدة: انتقلوا إلى عالم أكثر تعقيدًا ومستمرًا (مثل روبوت يتحرك في مساحة سلسة) ووجدوا نفس النتيجة: تعامل LURE مع الأخطاء بسلاسة، بينما فشلت الطرق الأخرى.
بيانات العالم الحقيقي: اختبروا LURE على قاعدة بيانات ضخمة من السجلات الطبية الحقيقية من مستشفى (MIMIC-III)، وتحديدًا فيما يتعلق بكيفية علاج تسمم الدم (sepsis) (وهي حالة خطيرة ناتجة عن عدوى). في هذا السيناريو الواقعي، قارنوا LURE بالطرق القياسية. كانت النتائج مذهلة: اقترحت الطرق القياسية أن أحد العلاجات أفضل من الآخر، لكن LURE، من خلال مراعاة الأخطاء المخفية في السجلات الطبية، اقترح ترتيبًا مختلفًا وأكثر موثوقية. في الواقع، كانت فترات الثقة (نطاق الإجابات المحتملة) من الطرق القياسية متداخلة لدرجة أنها لم تستطع التمييز بينهما، بينما قدم LURE إجابة واضحة ومتميزة.

الخلاصة

تخلص الورقة البحثية إلى أن تجاهل الإجراءات المخفية هو مقامرة خطيرة. من خلال استخدام "الحالة التالية" كدليل طبيعي للكشف عن الحقيقة، ومن خلال بناء نظام متين تجاه الأخطاء في أجزاء مختلفة من النموذج، يمكننا أخيرًا تقييم الاستراتيجيات بدقة حتى عندما تكون بياناتنا غير مثالية.

هذا ليس مجرد فوز نظري؛ إنه أداة عملية للمستقبل. سواء كان الأمر يتعلق باتخاذ القرارات بشأن العلاجات الطبية، أو إدارة إشارات المرور، أو تدريب وكلاء الذكاء الاصطناعي، يوفر LURE طريقة للتعلم من الماضي دون الانخداع بالضجيج. يوضح المؤلفون أنه مع العمل التحقيقي الرياضي الصحيح، يمكننا رؤية ما لا يُرى واتخاذ قرارات أفضل للغد.

ملخص تقني: التعلم من غير المرئي: التعلم المعزز خارج الخط في حالة الأفعال الخفية

1. صياغة المشكلة

تفترض خوارزميات التعلم المعزز (RL) والتقييم خارج السياسة (OPE) القياسية، التي تعمل في بيئة "خارج الخط" (offline)، أن الأفعال المسجلة في مجموعة البيانات مرصودة دون خطأ. ومع ذلك، في العديد من التطبيقات الواقعية — لا سي lack خصوصاً في الرعاية الصحية باستخدام السجلات الصحية الإلكترونية (EHR) — تكون الأفعال الحقيقية ( $A_t$ ) غير مرصودة (كامنة). بدلاً من ذلك، تتوفر فقط بدائل أو وكلاء ضوضائيون ( $\tilde{A}_t$ ) بسبب أخطاء التدوين، أو تأخر التوثيق، أو أنظمة الإدارة غير المكتملة، أو تقليص البيانات للحفاظ على الخصوصية.

تعالج الورقة مشكلة تقييم سياسة مستهدفة $\pi$ في عملية قرار ماركوف (MDP) ذات أفق زمني لانهائي وخصم، حيث تكون مساحة الأفعال جزئية أو خفية بالكامل. الهدف هو تقدير قيمة السياسة $V(\pi)$ باستخدام بيانات تاريخية ناتجة عن سياسة سلوكية $b$ ، حيث تتكون البيانات المرصودة من مسارات $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ بدلاً من $\{(S_t, A_t, R_t, S_{t+1})\}$ الحقيقية. إن الاستبدال الساذج للوكيل المرصود $\tilde{A}_t$ بالفعل الحقيقي $A_t$ في طرق OPE الحالية يؤدي إلى تقديرات متحيزة لأن دالة Q ونسب الكثافة معرفة بالنسبة للفعل الحقيقي الكامن.

2. المنهجية

2.1 استراتيجية التحديد

يؤكد المؤلفون أن قيمة السياسة $V(\pi)$ قابلة للتحديد من توزيع البيانات المرصودة تحت فرضيات محددة. الرؤية الجوهرية هي الاستفادة من الحالة التالية ( $S'$ ) كوكيل طبيعي للفعل غير المرصود. بما أن ديناميكيات الانتقال تعتمد على الفعل الحقيقي، فإن $S'$ تحتوي على معلومات حول الفعل الخفي يمكن استغلالها لعملية التحديد.

يعتمد التحديد على أربعة افتراضات رئيسية (الافتراض 3.1):

التغطية (Coverage): دعم السياسة المستهدفة محتوى ضمن دعم السياسة السلوكية.
الصلة (Relevance): المكافأة $R$ ، والوكيل $\tilde{A}$ ، والحالة التالية $S'$ ليست مستقلة شرطياً عن الفعل الحقيقي $A$ بشرط معرفة الحالة $S$ .
الاستقلال الشرطي (Conditional Independence): بمعلومية الفعل الحقيقي $A$ والحالة $S$ ، يكون الوكيل $\tilde{A}$ والمكافأة $R$ والحالة التالية $S'$ مستقلين عن بعضهم البعض.
جودة الوكيل (Surrogate Quality): يوفر الوكيل معلومات أكثر من التخمين العشوائي (على سبيل المثال، بالنسبة للأفعال الثنائية، يكون احتمال ملاحظة $\tilde{A}=0$ أقل عندما يكون $A=1$ مقارنة بـ $A=0$ ).

تحت هذه الشروط، يثبت المؤلفون (النظرية 1) أن $V(\pi)$ محدد بشكل فريد.

2.2 مُقدّر LURE

لتقدير القيمة، تقترح الورقة LURE (التعلم من غير المرئي: المُقدّر المتين). يتم بناء المُقدّر بناءً على دالة تأثير للبيانات المرصودة مشتقة من دالة التأثير الفعالة للبيانات الكاملة.

تُعرف دالة التأثير $\phi_\pi(O)$ كالتالي:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
حيث أن:

$\omega(S, a)$ هو نسبة الكثافة الهامشية بين السياسات المستهدفة والسلوكية.
$\theta_R(S, a)$ هي دالة المكافأة.
$M V^\pi(S, a)$ هي القيمة المستقبلية المتوقعة.
$g_a$ و $g'_a$ هما دالتان بنائيتان تعملان كـ "جسور" للتقدير لاستبدال دالة المؤشر $\mathbb{I}(A=a)$ باستخدام الوكيل المرصود $\tilde{A}$ ووكيل الحالة التالية $S'$ . وتحديداً، هما نسب تتضمن التوقعات الشرطية لـ $\tilde{A}$ و $S'$ بشرط $S$ و $A$ .

2.3 إجراء التقدير (خوارزمية EM)

بما أن الفعل الحقيقي $A$ كامن، فلا يمكن تطبيق التعلم الخاضع للإشراف القياسي مباشرة لتقدير الدوال المزعجة ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ). يقترح المؤلفون خوارزمية تكرارية جديدة من نوع توقع-تعظيم (EM) (الخوارزمية 2):

التهيئة: تهيئة الاحتمال البعدي $\eta(O; a) = P(A=a | O)$ .
خطوة M (التعلم الخاضع للإشراف الموزون): التعامل مع الاحتمال البعدي $\eta$ كأوزان معروفة. تحديث الدوال المزعجة (السياسة السلوكية، نموذج القياس، نماذج المكافأة/الانتقال، ونسبة الكثافة) باستخدام الانحدار الموزون أو التحسين الموزون (minimax) (لنسبة الكثافة $\omega$ ).
خطوة E (تحديث الاحتمال البعدي): تحديث الاحتمال البعدي $\eta(O; a)$ باستخدام قاعدة بايز والمقدرات المزعجة المحدثة.
التكرار: التكرار حتى التقارب.

بالإضافة إلى ذلك، تعالج الورقة محاذاة التسميات (label alignment)، حيث قد تقوم خوارزمية EM بتبديل تسميات الفئات الكامنة بشكل تعسفي (مثل ربط $A=0$ الحقيقي بالفئة 1). يتم إجراء خطوة محاذاة التسمية بعد التقدير بناءً على الاحتمال الشرطي للوكيل لضمان التفسير المتسق.

2.4 التوفيق المتقاطع (Cross-Fitting)

للتخفيف من تحيز الإفراط في التخصيص (overfitting) والتحكم في بقايا العمليات التجريبية، يستخدم المؤلفون إجراء التوفيق المتقاطع لـ $K$ -fold. يتم تقدير الدوال المزعجة على طيات التدريب وتقييمها على طيات محجوزة.

3. المساهمات النظرية الرئيسية

المتانة المتعددة (Multiple Robustness): مُقدّر LURE هو متين متعددًا. كما هو موضح في اللاحقة 1، يظل المُقدّر متسقًا ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) إذا تم تحديد واحد على الأقل من مجموعات المكونات المزعجة المحددة بشكل صحيح. على سبيل المثال، يظل الاتساق قائمًا إذا كانت $\theta_R$ (جسر المكافأة) متسقة جنبًا إلى جنب مع إما $\theta_{\tilde{A}}$ (انحدار الفعل الكامن) أو $\theta_{S'}$ (انحدار الحالة التالية)، بشرط أن يكون خطأ قيمة الاستمرار ضئيلاً.
التوزيع الطبيعي التقاربي (Asymptotic Normality): تحت شروط الانتظام ومعدلات تقارب مُقدرات الدوال المزعجة (تتطلب تحديدًا أن يتلاشى حاصل ضرب الأخطاء بشكل أسرع من $n^{-1/2}$ )، يكون المُقدّر طبيعيًا تقاربيًا (النظرية 4). وهذا يسمح ببناء فترات ثقة من نوع Wald صالحة.
حدود الخطأ (Error Bounds): توفر الورقة حدود خطأ العينة المحدودة (النظرية 3) التي تفكك خطأ التقدير إلى متوسط دالة التأثير، وباقي اختيار التسمية، وباقي الدرجة الثانية الذي يتضمن حاصل ضرب أخطاء تقدير الدوال المزعجة.

4. النتائج التجريبية

قيم المؤلفون LURE من خلال المحاكاة وتطبيق من العالم الحقيقي:

نماذج MDP الجدولية والعامة: في البيئات الاصطناعية مع معدلات تصنيف خاطئ متفاوتة ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ )، تظهر طرق OPE القياسية (مثل SIS, FQE, LSTD, MIS, DRL) التي تتجاهل البنية الكامنة تحيزًا كبيرًا يزداد سوءًا مع ارتفاع معدل التصنيف الخاطئ. بينما يظل LURE متمحورًا حول القيمة الحقيقية للسياسة.
OpenAI Gym (CartPole): في بيئة ذات حالة مستمرة، يتفوق LURE على النماذج المرجعية، حيث يحافظ على معدلات تغطية دقيقة لفترات الثقة (قريبة من مستوى 95% الاسمي)، بينما تظهر النماذج المرجعية تحيزًا كبيرًا أو تغطية غير مستقرة.
تحليل إنتان الدم (Sepsis) من قاعدة بيانات MIMIC-III: تم تطبيق الطريقة على مجموعة بيانات إدارة الإنتان. تدرس الدراسة ثلاث سياسات: "دائمًا IV"، "لا يوجد IV"، وقاعدة "المصممة حسب SOFA".
- قدر LURE سياسة "دائمًا IV" بأنها تمتلك أدنى درجة SOFA متوقعة (62.10)، مما يشير إلى أنها السياسة المثلى.
- فترة الثقة 95% لسياسة "دائمًا IV" [60.16, 64.04] لا تتداخل مع الفترات الخاصة بالسياسات الأخرى.
- في المقابل، ينتج مُقدّر DRL القياسي فترات ثقة متداخلة لجميع السياسات، مما يفشل في التمييز بينها. هذا يسلط الض الضوء على أن تجاهل الأفعال الخفية يمكن أن يؤدي إلى استنتاجات تجريبية مضللة في السياقات السريرية.

5. الأهمية والادعاءات

تدعي الورقة أنها أول عمل يدرس التعلم المعزز خارج الخط في حالة الأفعال الخفية. وتكمن أهميتها في:

معالجة فجوة حرجة: توفر إطارًا مبدئيًا لـ OPE عندما تكون بيانات الأفعال ضوضائية أو كامنة، وهي مشكلة شائعة في الدراسات القائمة على السجلات الصحية الإلكترونية والتي لا تستطيع طرق RL القياسية التعامل معها بشكل موثوق.
الدقة النظرية: تؤسس لشروط التحديد وتشتق دالة تأثير تأخذ في الاع compte الطبيعة المتسلسلة لـ RL، مما يميزها عن أطر العلاج الخفي الساكنة.
الفائدة العملية: من خلال إثبات المتانة المتعددة والتوزيع الطبيعي التقاربي، يتيح LURE إجراء استدلال إحصائي صالح (فترات الثقة واختبار الفرضيات) في الحالات التي قد تعطي فيها الطرق السابقة تقديرات نقطية متحيزة.
التأثير في العالم الحقيقي: يوضح التطبيق على قاعدة بيانات MIMIC-III أن مراعاة الأفعال الخفية يمكن أن يغير بشكل جذري ترتيب السياسات والتوصيات السريرية، مما يشير إلى أن تقييمات RL القياسية في الرعاية الصحية قد تكون غير موثوقة بدون مثل هذه التصحيحات.

يحافظ المؤلفون على نبرة متواضعة، مشيرين إلى أنه بينما الإطار قابل للتعميم للأفعال الفئوية، فإن العمل الحالي يركز على الأفعال الثنائية من أجل الوضوه، وأن الطريقة تعتمد على الافتراض المحدد بأن الحالة التالية تعمل كوكيل صالح للفعل الخفي.