Solving Robust POMDPs with Omega-regular Objectives via Partially Observable Stochastic Games

في عالم الذكاء الاصطناعي، غالبًا ما تُعامل عملية اتخاذ القرارات كأنها لعبة حظ تُلعب على لوحة قواعدها معروفة تمامًا. تخيل روبوتًا يتنقل في متاهة؛ إذا عرف المهندسون بالضبط مدى انزلاق الأرضية وكيف ستدور عجلات الروبوت، فيمكنهم حساب المسار المثالي للوصول إلى المخرج. هذا هو النموذج القياسي للعديد من أنظمة اتخاذ القرار. ومع ذلك، فإن العالم الحقيقي نادرًا ما يكون بهذه الدقة. فالمستشعرات تتعطل، والمواد تتآكل، والبيانات مشوبة بالضجيج، مما يعني أن الاحتمالات الدقيقة لانزلاق روبوت أو انحراف سيارة ليست معروفة حقًا، بل تُقدّر فقط ضمن نطاق من الاحتمالات. وعندما تُضاف هذه الشكوك إلى المزيج، تصبح المشكلة أصعب بكثير: كيف تخطط لمسار آمن عندما لا يمكنك التأكد من سلوك التضاريس؟ علاوة على ذلك، في المجالات الحرجة للسلامة مثل القيادة الذاتية أو الروبوتات الطبية، لا يقتصر الهدف على الوصول إلى الوجهة بسرعة فحسب، بل في ضمان عدم دخول النظام أبدًا في حالة خطرة أو اتباع تسلسل منطقي معين من الأحداث إلى الأبد.

لقد تصدى باحثون من المعهد الهندي للتكنولوجيا بومباي وجامعة نانيانغ التكنولوجية لهذا التقاطع الصعب بين عدم اليقين والسلامة المنطقية الصارمة. فقد ركزوا على فئة من المشكلات حيث يجب على العميل اتخاذ قرارات بينما يرى العالم بشكل جزئي فقط، وحيث قواعد الحركة ليست أرقامًا ثابتة بل تنتمي إلى مجموعة من القيم المحتملة. أثبت الفريق أن حل مشكلات اتخاذ القرار المعقدة وغير المستقرة هذه يكافئ رياضيًا حل نوع مختلف ومدروس جيدًا من الألعاب التي تتضمن لاعبين متضادين بمعلومات مخفية. ومن خلال إرساء هذا الاتصال ثنائي الاتجاه، تمكنوا من استعارة عقود من المعرفة الموجودة في نظرية الألعاب لتحديد الصعوبة الحسابية لحل هذه المشكلات الروبوتية غير المستقرة على الفور. ويكشف عملهم بالضبط عن مدى صعوبة ضمان السلامة في هذه السيناريوهات، موضحًا أنه بالنسبة لبعض أنواع الأهداف المنطقية، تكون المشكلة قابلة للحل باستخدام طرق معروفة، بينما تكون لأنواع أخرى معقدة للغاية بحيث لا يمكن لأي خوارزمية حلها في وقت معقول.

يكمن جوهر اكتشافهم في الجسر بين عالمين رياضيين مختلفين. ففي أحد الجانبين، توجد "عملية ماركوف لاتخاذ القرار الجزئي القوية" (robust partially observable Markov decision process)، وهو نموذج يُستخدم لوصف موقف يجب على العميل فيه، مثل سيارة ذاتية القيادة، اختيار الإجراءات دون معرفة موقعه الدقيق ودون معرفة الاحتمالية الدقيقة للانتقال إلى حالة جديدة. وبدلاً من احتمال واحد، يعمل النظام ضمن "سحابة" من الاحتمالات الممكنة. وفي الجانب الآخر، توجد "اللعبة العشوائية جزئية الملاحظة" (partially observable stochastic game)، وهو نموذج حيث يتناوب لاعبان، أحدهما يحاول النجاح والآخر يحاول المنع، على القيام بحركات بينما لا يريان سوى معلومات جزئية عن اللوحة. لسنوات، عرف الباحثون أنه إذا كان الهدف هو مجرد تعظيم المكافأة، فيمكن ترجمة هذين النموذجين إلى بعضهما البعض. ومع ذلك، عندما يتغير الهدف إلى قواعد منطقية صارمة — مثل "لا تصدم مشاة أبدًا" أو "تصل إلى المستشفى وتظل هناك للأبد" — ينكسر هذا الاتصال. وتثبت الدراسة الجديدة أنه حتى مع هذه القواعد المنطقية المعقدة، لا يزال النموذجان متكافئين تمامًا.

ولتوضيح ذلك، بنى الباحثون آلية ترجمة دقيقة تعمل في كلا الاتجاهين. أولاً، أظهروا كيفية أخذ مشكلة قرار قوية ذات احتمالات غير مستقرة وتحويلها إلى لعبة من لاعبين اثنين. في هذه اللعبة الجديدة، يصبح العميل لاعبًا واحدًا، وتصبح عدم اليقين في العالم لاعبًا ثانيًا معاديًا. هذا اللاعب الثاني لا يعمل بشكل عشوائي؛ بل يختار بنشاط أسوأ سيناريو من الخيارات المتاحة لمحاولة هزيمة العميل. وقد أثبت الباحثون أنه إذا استطاع العميل الفوز في هذه اللعبة ضد خصم ذكي، فإنه يمكنه أيضًا النجاح في العالم غير المستقر الأصلي. والأكثر إثارة للدهشة، أنهم حققوا الترجمة العكسية؛ حيث أظهروا أن أي لعبة من لاعبين اثنين بمعلومات مخفية يمكن تحويلها مرة أخرى إلى مشكلة قرار قوية. كانت هذه الخطوة العكسية صعبة تقنيًا لأن الخصم في اللعبة يرى حركة العميل قبل التصرف، بينما في مشكلة القرار، يلتزم البيئة بسلوكه فورًا. وقد حل الفريق ذلك عن طريق إدراج وقفة قصيرة وغير مرئية في هيكل اللعبة، مما يعطي البيئة نفس المعلومات التي كانت لديها في المشكلة الأصلية. هذا الجسر ثنائي الاتجاه يعني أن أي نتيجة في علوم الحاسوب حول صعوبة حل نوع من المشكلات ينطبق تلقائيًا على النوع الآخر.

إن الآثار المترتبة على هذا التكافؤ فورية وعميقة لفهم حدود الاستدلال الآلي. فباستخدام هذا الجسر، تمكن الباحثون من رسم الخريطة الدقيقة للتعقيد الحسابي لحل هذه المشكلات لمختلف أنواع الأهداف المنطقية. ووجدوا أنه بالنسبة للأهداف البسيطة، مثل الوصول إلى هدف أو تجنب منطقة خطر، تكون المشكلات قابلة للحل، رغم أنها تتطلب قدرة حوسبة كبيرة تنمو بشكل أسي مع حجم النظام. ومع ذلك، حددت الدراسة أيضًا حدًا صعبًا؛ فبالنسبة لبعض الأهداف المنطقية المعقدة، وتحديدًا تلك التي تتضمن مزيجًا من شروط "دائمًا" و"في النهاية" في بيئة غير مستقرة ثنائية الجوانب، تصبح المشكلة غير قابلة للتقرير (undecidable). وهذا يعني أنه لا يمكن لأي برنامج كمبيوتر، مهما كانت قوته، أن يضمن إجابة لكل سيناريو محتمل. كما أوضح الباحثون صعوبة حالة عدم اليقين أحادية الجانب، حيث يكون العميل وحده هو الأعمى بينما ترى البيئة كل شيء، مبينين أن هذه الحالات أسهل الحل عمومًا من السيناريوهات التي يكون فيها الطرفان فاقدي البصر.

يوفر هذا العمل مشهدًا كاملاً لما هو ممكن حسابيًا عند تصميم أنظمة ذاتية القيادة وآمنة تحت ظروف عدم اليقين. فهو يؤكد أنه بينما يمكننا بناء خوارزميات للتعامل مع العديد من مهام السلامة الحرجة، إلا أن هناك حدودًا أساسية حيث يجعل الجمع بين المعلومات المخفية، وعدم اليقين العدائي، والقواعد المنطقية المعقدة الحل أمرًا مستحيلاً. لا تقدم الدراسة خوارزمية جديدة لحل كل حالة، بل تقدم خريطة نهائية للتضاريس، تخبر المهندسين بالضبط أي المشكلات يمكنهم حلها وأيها يتطلب نهجًا مختلفًا تمامًا. ومن خلال إثبات أن هذين الإطارين الرياضيين هما الشيء نفسه، فتح الباحثون مكتبة واسعة من الأدوات والنظريات الموجودة، مما يسمح للمجال بالمضي قدمًا بفهم واضح للتحديات التي تنتظرهم.