🤖 machine learning

Integrating Causal DAGs in Deep RL: Activating Minimal Markovian States with Multi-Order Exposure

تتناول هذه الورقة تحدي بناء حالات ماركوفية مثبتة من الرسوم البيانية السببية الطولية في التعلم المعزز العميق عبر تقديم MOSE (التعرض للحالة متعدد الرتب)، وهي طريقة تغذي دالة Q ببناءات حالات تاريخية متعددة الرتب لتوضيح أن الحشو المنضبط، وليس الكفاية الدنيا وحدها، ضروري لإطلاق فوائد الأداء لمعلومات الحالة السببية.

المؤلفون الأصليون: Jiamin Xu, Jacqueline Maasch, Kyra Gan

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiamin Xu, Jacqueline Maasch, Kyra Gan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يلعب لعبة فيديو أو يتنقل في متاهة. لكي يتخذ الروبوت قرارات جيدة، فإنه يحتاج إلى معرفة "حالته" الحالية. في عالم مثالي، سيحتاج الروبوت فقط إلى النظر إلى اللحظة الراهنة بدقة ليعرف ما يجب فعله بعد ذلك. وهذا ما يسمى خاصية ماركوف (Markov property).

ومع ذلك، فإن العالم الحقيقي فوضوي. فحساسات الروبوت (مثل الكاميرات) تعطي بيانات خام، لكن هذه البيانات غالبًا لا تروي القصة كاملة. على سبيل المثال، إذا رأى الروبوت كرة، فإنه لن يعرف ما إذا كانت الكرة تتدحرج نحو إليه أم بعيدًا عنه ما لم يتذكر أين كانت الكرة قبل ثانية واحدة.

إليك المشكلة: إذا نسي الروبوت الماضي، فسيقوم بتخمينات سيئة. وإذا تذكر كل شيء (كل بكسل من آخر 100 ثانية)، فسيصبح مثقلاً بالمعلومات ويتعلم ببطء شديد.

هذا البحث، بعنوان "دمج المخططات الموجهة غير الحلقية السببية في التعلم التعزيزي العميق" (Integrating Causal DAGs in Deep RL)، يقترح حلاً ذكيًا لهذه مشكلة "الاعتدال" (Goldilocks): إيجاد القدر المناسب تمامًا من التاريخ لتذكره.

الفكرة الجوهرية: "الأدنى" مقابل "الفائض"

يعالج المؤلفون هذا الأمر عبر خطوتين، باستخدام مزيج من المنطق (السببية) وقليل من "الفوضى المنضبطة" (الفائض).

1. الحالة "الأدنى" (الحقيبة المغلفة بإحكام)

أولاً، استخدم المؤلفون رسمًا بيانيًا سببيًا (خريطة توضح أي المتغيرات تسبب الأخرى) لمعرفة الحد الأدنى المطلق من المعلومات اللازمة لاتخاذ قرار مثالي.

التشبيه: تخيل أنك تحزم حقيبتك لرحلة. تريد إحضار الحد الأدنى المطلق من الملابس للنجاة. أنت تحسب بالضبط ما تحتاجه: قميص واحد، وسروال واحد، وجوارب. وتترك كل شيء آخر وراءك.
النتيجة: نظريًا، هذه "الحقيبة الدنيا" مثالية؛ فهي لا تحتوي على أي حشو زائد.
العقبة: عندما حاول المؤلفون تغذية هذه "الحقيبة الدنيا" لشبكة عصبية عميقة حديثة (ذكاء اصطناعي)، فشلت. لقد ارتبك الذكاء الاصطناعي. اتضح أن الشبكات العصبية تشبه الطلاب الذين يتعلمون بشكل أفضل عندما يكون لديهم قدر من السياق الإضافي، وليس فقط الحقائق المجردة. كانت الحالة "الأدنى" شحيحة للغاية، مما جعل من الصعب على الذكاء الاصطناعي تعلم الأنماط.

2. الحل: MOSE (التعرض للحالة متعدد المستويات)

لإصلاح ذلك، ابتكر المؤلفون نظام MOSE (Multi-Order State Exposure).

التشبيه: بدلًا من إعطاء الطالب "الحقيبة الدنيا" فقط، يقوم MOSE بإعطائه سلسلة من الحقائب ذات أحجام مختلفة.
- الحقيبة (أ): اللحظة الحالية فقط.
- الحقيبة (ب): اللحظة الحالية + الثانية الأخيرة.
- الحقيبة (ج): اللحظة الحالية + الثانيتين الأخيرتين.
- ... وهكذا.
كيف يعمل: ينظر الذكاء الاصطناعي إلى كل هذه الحقائب المختلفة في نفس الوقت. فهو يحصل على النسخة "الأدنى"، ولكنه يحصل أيضًا على نسخ تحتوي على تاريخ إضافي.
لماذا يساعد: هذا يعمل بمثابة "عجلات تدريب". يمكن للذكاء الاصطناعي أن يبدأ بالتاريخ القصير والبسيط، ثم يتعلم تدريجيًا استخدام التاريخ الأطول عندما يساعده ذلك. الأمر يشبه إعطاء طالب تلميحًا، ثم تلميحًا أكبر، ثم الإجابة الكاملة، وكل ذلك في آن واحد، حتى يتمكن من معرفة أي القرائن هي المهمة حقًا.

3. "أفضل ما في العالمين" (Causal-MOSE)

حاول المؤلفون أيضًا نهجًا هجينًا يسمى Causal-MOSE. وهو يجمع بين "الحقيبة الدنيا المغلفة بإحكام" (المستمدة من المخطط السببي) ونهج "الحقائب المتعددة".

النتيجة: كان هذا النهج هو الفائز في كثير من الأحيان. فقد منح الذكاء الاصطناعي "الجوهر المثالي" للمعلومات (المضمون رياضيًا) ولكنه سمح له بإضافة معلومات "فائضة" إضافية إذا ساعدت في عملية التعلم.

ما أظهرته التجارب

اختبر الفريق هذه الطرق على:

ألعاب اصطناعية: عوالم مُصنعة حيث يعرفون القواعد الدقيقة (المخطط السببي).
ألعاب حقيقية: وتحديدًا لعبة أتاري تسمى GOPHER.

النتائج:

الطريقة القياسية (تراكم الإطارات - Frame Stacking): هذه هي المعايير الصناعية الحالية، حيث تقوم فقط بتجميع آخر 4 إطارات فيديو معًا. إنها تعمل بشكل جيد، لكنها تشبه حمل حقيبة مليئة بالخردة التي لا تحتاجها.
الحالة الأدنى: استخدام التاريخ الأدنى والمثالي رياضيًا جعل الذكاء الاصطناعي يؤدي أسوأ من الطريقة القياسية.
MOSE: تفوق الأسلوب الجديد باستمرار على كل من الطريقة القياسية والطريقة الدنيا.
الدرس الكبير: خلصت الورقة البحثية إلى أن "الكفاية الدنيا ليست كافية". مجرد كون الحالة تمتلك الحد الأدنى من المعلومات لتكون صحيحة نظريًا لا يعني أنها الأفضل لتعلم الشبكة العصبية. أنت بحاجة إلى فائض منضبط (قدر من التاريخ الإضافي والفوضوي) لمساعدة الذكاء الاصطناعي على التعلم بشكل أسرع وأفضل.

ملخص في جملة واحدة

تعلمنا هذه الورقة أنه لتدريب ذكاء اصطناعي ذكي، لا ينبغي عليك إعطاؤه الحد الأدنى من الحقائق فقط (مما يربكه)؛ بل يجب عليك إعطاؤه مزيجًا من التواريخ القصيرة والطويلة حتى يتمكن من معرفة ما يحتاج لتذكره بالضبط للفوز.

ملخص تقني: دمج المخططات الموجهة غير الحلقية (DAGs) السببية في التعلم المعزز العميق باستخدام MOSE

بيان المشكلة

تعتمد خوارزميات التعلم المعزز (RL) عبر الإنترنت (Online) بشكل أساسي على خاصية ماركوف (Markov property)، والتي تفترض أن المستقبل مستقل شرطياً عن الماضي بمعلومية الحالة الراهنة. ومع ذلك، في التطبيقات الواقعية التي تتضمن ملاحظات خام (مثل تدفقات المستشعرات أو إطارات الفيديو)، غالباً ما تكون المتغيرات المرصودة غير مكونة بطبيعتها لتمثيل حالة ماركوفية، لأن ديناميكيات النظام قد تعتمد على قدر غير معلوم من السياق التاريخي.

بينما تستخدم أدبيات التعلم المعزز السببي الحالية المخططات الموجهة غير الحلقية (DAGs) السببية لتسريع التعلم أو تصميم مكافآت قوية، فإن هذه الطرق تفترض عادةً توفر تمثيل حالة ماركوفية صالحة ومحددة مسبقاً. وتظل هناك فجوة حرجة: بالنظر إلى مخطط سببي طولي فوق المتغيرات المرصودة، لا توجد إجراءات راسخة لبناء تمثيل حالة يحقق خاصية ماركوف بشكل مثبت. علاوة على ذلك، في سياق التعلم المعزز العميق، فإن مجرد بناء تمثيل حالة "أدنى" (minimal) من الناحية النظرية غالباً ما يفشل في تحسين الأداء التجريبي، حيث قد تعاني الشبكات العصبية من صعوبة في التعميم من هذه التمثيلات الشحيحة بسبب الإفراط في التخصيص (overfitting) والافتقار إلى الميزات الفائضة التي تساعد التقريب الدالي.

المنهجية

يقترح البحث نهجاً ذا شقين: إجراء نظري لبناء حالات دنيا من المخططات السببية المعروفة، وطريقة استدلالية (MOSE) للتعلم المعزز العميق عندما يكون المخطط غير معروف أو لتعزيز استقرار التعلم.

1. بناء الحالة الماركوفية الدنيا من المخططات السببية (DAGs)

يؤسس المؤلفون اتصالاً رسمياً بين المخططات السببية للسلاسل الزمنية ونماذج ماركوف لاتخاذ القرار (MDPs).

الإطار النظري: باستخدام النماذج السببية الهيكلية (SCMs) الممتدة إلى السلاسل الزمنية، يحدد البحث "مخطط الوقت الكامل" (Full Time Graph) حيث تمثل العقد متغيرات في خطوات زمنية محددة وتمثل الحواف التبعيات السببية مع فترات تأخير زمنية.
المعيار الرسومي: توفر النظرية 4.1 أربعة شروط ضرورية وكافية لتشكيل مجموعة من المتغيرات $\{S_t\}$ ${S_{t}}$ كفضاء حالة صالح:
1. تضمين والد المكافأة: يجب تضمين جميع الآباء (parents) لمتغير المكافأة $R_t$ في $S_t$ .
2. تضمين والد الحالة التالية الممتدة: يجب تضمين جميع الآباء (في الأوقات $\le t$ ) لـ "مجموعة الحالة التالية الممتدة" (وهي الإغلاق لـ $S_{t+1}$ تحت آباء الوقت نفسه) في $S_t$ .
3. عدم إعادة الدخول السلفي: بمجرد إزالة متغير من بناء الحالة، لا يمكن لأسلافه إعادة الدخول في الحالة في وقت لاحق.
4. الاستمرارية: إذا ظهر متغير في الحالة في وقتين مختلفين، فيجب أن يظهر في جميع الحالات البينية.
الخوارزمية F.1: يُقترح خوارزمية بناء عكسي لتوليد تسلسل حالة أدنى بشكل مثبت يلبي المعايير المذكورة أعلاه. بدءاً من نهاية الأفق الزمني، تقوم الخوارزمية باختيار الآباء الضروريين للمكافأة والحالة التالية بشكل تكراري، مما يضمن عدم تضمين أي متغيرات زائدة مع الحفاظ على خاصية ماركوف والقيمة المثلى.

2. التعرض للحالة متعدد الرتب (MOSE)

إدراكاً بأن التمثيلات الدنيا قد تؤدي إلى تعميم ضعيف في التعلم المعزز العميق (بسبب الحد الأدنى الحاد والافتقار إلى الهامش الإحصائي)، يقترح المؤلفون MOSE.

الآلية: بدلاً من تغذية دالة القيمة (Q-function) بحالة دنيا واحدة أو نافذة ثابتة من التاريخ، يقوم MOSE بتغذيتها بـ رتب متعددة من بناءات الحالة في آن واحد. وتحديداً، لطول نافذة $W$ ، تقوم الخوارزمية بتحديث دالة القيمة تكرارياً باستخدام مدخلات تتراوح من الملاحظة الحالية ( $l=0$ ) وصولاً إلى النافذة الكاملة ( $l=W$ ).
المنطق: تعمل المدخلات غير الماركوفية ذات الرتب الأدنى كضوضاء مهيكلة تعيد تشكيل مشهد الخسارة (loss landscape). وهذا يوفر تدرجاً تدريجياً ومعلوماتياً من التمثيلات دون المثلى إلى المثلى، مما يعمل كمنظم (regularizer) يشبه تعزيز البيانات أو التعلم متعدد الرؤى.
Causal-MOSE: وهو امتداد حيث يتم تضمين الحالة الماركوفية الدنيا (المستمدة من المخطط السببي DAG) جنباً إلى جنب مع المدخلات متعددة الرتب. يجمع هذا النهج بين الضمان النظري للنواة الدنيا والفوائد التجريبية للوفرة.

المساهمات الرئيسية

بناء الحالة الماركوفية الدنيا: يوفر البحث معياراً رسومياً وخوارزمية بناء عكسية (الخوارزمية F.1) لاستخلاص فضاء حالة أدنى بشكل مثبت من مخطط سببي طولي معروف. هذا يسد الفجوة بين الاكتشاف السببي وتحديد حالة MDP.
التعرض للحالة متعدد الرتب (MOSE): طريقة استدلالية لبناء الحالة لا تتطلب معرفة مسبقة بالمخطط السببي. وتثبت أن تعريض وكلاء التعلم المعزز العميق لنوافذ زمنية متعددة من التاريخ يحسن الأداء مقارنة بكل من تكديس الإطارات الساذج والتمثيلات السببية الدنيا.
Causal-MOSE: نهج هجين يظهر أن الجمع بين الحالة الماركوفية الدنيا والتعرض متعدد الرتب يعطي أداءً مساوياً أو أفضل من MOSE وحده، مما يؤكد فائدة البنية السببية عند توفرها.

النتائج التجريبية

قيم المؤلفون طرقهم على ثلاثة عمليات توليد بيانات (DGPs) اصطناعية ولعبة أتاري GOPHER.

عمليات توليد البيانات الاصطناعية (DGPs): باستخدام نماذج الضجيج المضافة الخطية (ANM) ونماذج ما بعد غير الخطية (PNL) مع درجات متفاوتة من MDP ( $W=2, 5, 10$ $W = 2, 5, 10$ )، تفوق MOSE باستمرار على:
- سياسة النافذة (Window Policy): تكديس الإطارات القياسي (دمج $W$ من الإطارات الثابتة).
  وتفوق على:
- آباء المكافأة (Reward Parents): استخدام آباء المكافأة فقط كحالة.
- حالة المخطط (DAG-State): الحالة الدنيا التي تم بناؤها بواسطة الخوارزمية F.1.
- النتيجة الرئيسية: الحالة الدنيا (DAG-State) وحدها لم تحسن الأداء مقارنة بسياسات النافذة بل أدت أحياناً إلى تدهوره، مما يؤكد أن المثالية النظرية لا تعني المثالية التجريبية في التعلم المعزز العميق.
أداء Causal-MOSE: في بيئات ANM الخطية، تفوق Causal-MOSE (الحالة الدنيا + MOSE) باستمرار على MOSE وحده، مما يشير إلى أن الحالة الدنيا توفر نواة موثوقة يمكن للشبكة البناء عليها.
أتاري (GOPHER): تفوق MOSE على خوارزمية Rainbow القياسية (التي تستخدم تكديس 4 إطارات) خلال مليون خطوة تدريب. وهذا يشير إلى أنه في بيئات البكسل عالية الأبعاد، لا تساهم جميع الإطارات المكدسة بالتساوي في التحكم، وأن اختيار الحالة التكيفي يحسن كفاءة العينات.
الدراسات الاستقصائية (Ablations): أكدت التجارب أن المكاسب لم تكن ناتجة عن زيادة خطوات التدرج لكل دفعة (artifacts التحسين) بل بسبب تمثيلات الحالة الأكثر ثراءً التي يوفرها MOSE.

الأهمية والادعاءات

يرسي البحث مبدأً جوهرياً للتعلم المعزز السببي العميق: الكفاية الدنيا ليست كافية، والوفرة المحكومة ضرورية لإطلاق الفائدة من المعلومات السببية للحالة.

يجادل المؤلفون بأنه بينما توفر المخططات السببية طريقة مبدئية لتحديد المتغيرات الدنيا المطلوبة لخاصية ماركوف، فإن الشبكات العصبية العميقة تستفيد من "الهامش الإحصائي" الذي توفره المدخلات الفائضة وغير الماركوفية. تساعد هذه المدخلات الفائضة الشبكة على تجنب الإفراط في التخصيص للارتباطات الزائفة وتسهل عملية التعميم الأفضل.

يساهم هذا العمل في وضع أساس نظري لبناء حالات MDP صالحة من المخططات السببية، وفي تقديم منهجية عملية (MOSE) تجعل هذه الرؤى السببية قابلة للاستخدام في التعلم المعزز العميق الحديث. ويشير المؤلفون إلى أن نهجهم يفترض الوصول إلى مخطط سببي طولي حقيقي؛ ويظل تعلم مثل هذه المخططات من بيانات عالية الأبعاد وغير مستقرة تحدياً مفتوحاً للأعمال المستقبلية.