LePlanner: An Iterative Amortized Controller For World Models

في السعي لبناء آلات يمكنها التحرك في العالم الحقيقي، اعتمد العلماء لفترة طويلة على استراتيجية تسمى "نماذج العالم". تخيل روبوتًا لا يكتفي فقط بالاستجابة لما يراه في اللحظة الراهنة، بل يبني محاكاة ذهنية لكيفية عمل العالم. وقبل أن يحرك عضلة واحدة، يقوم بتشغيل آلاف السيناريوهات الخيالية في عقله، مختبرًا أفعالًا مختلفة ليرى أي منها يؤدي إلى النتيجة المنشودة. يسمح هذا النهج للوكيل بالتخطيط مسبقًا، تمامًا مثل الإنسان الذي يتصور مسارًا عبر غرفة مزدحمة قبل اتخاذ خطوة. ومع ذلك، هناك عنق زجاجة مستمر في هذه العملية؛ فلجعل هذه المحاكاة الذهنية مفيدة، يجب على الروبوت إما قضاء وقت هائل في حساب كل مسار محتمل، مما يجعله بطيئًا وخاملًا، أو الاعتماد على عادة بسيطة تم تعلمها مسبقًا وتعمل بشكل جيد في المواقف السهلة، لكنها غالبًا ما تفشل عندما تصبح المهمة معقدة أو تتطلب تلامسًا فيزيائيًا دقيقًا.

لقد طور باحثون في المعهد الهندي للتكنولوجيا في رورك (IIT Roorkee) طريقة جديدة تسمى "LePlanner" تجسر هذه الفجوة. لقد أنشأوا نظامًا يتعلم صقل خططه الخاصة من خلال سلسلة من التعديلات السريعة والمتكررة، بدلًا من الحساب القائم على القوة الغاشمة أو التقليد الجامد. درب الفريق هذا النظام على أربعة بيئات محاكية مختلفة، تتراوح بين ذراع روبوت تدفع جسمًا على شكل حرف T، وشخصية تتنقل عبر غرفتين متصلتين. وفي هذه الاختبارات، حقق LePlanner معدلات نجاح تصل إلى 100 بالمائة في مهام معينة، مضاهاً في ذلك أداء أكثر طرق التخطيط استهلاكًا للحوسبة، مع تطلب عدد أقل بمئات المرات من استدعاءات المتنبئ. وكان مفتاح هذا النجاح هو تغيير كيفية تعليم النظام للوصول إلى هدفه؛ فبدلاً من إخباره بالوصول بالضبط عند نهاية نافذة زمنية ثابتة، تم مكافأة النظام للوصال إلى الهدف في أسرع وقت ممكن ثم البقاء هناك. هذا التحول البسيط في التدريب منع الروبوت من التردد أو التأخر في الوصول، مما سمح له باتخاذ قرارات سريعة وموثوقة في المواقف الفيزيائية المعقدة دون الحاجة إلى التوقف وإعادة الحساب لكل حركة.

إن التحدي الجوهري الذي عالجه الباحثون هو مقايضة أساسية في التخطيط بالذكاء الاصطناعي. فإحدى عائلات الأساليب، المعروفة باسم المخططات القائمة على البحث، تعمل من خلال توليد مئات أو آلاف المسارات المستقبلية المحتملة وتقييم كل منها لإيجاد الخيار الأفضل. وبينما تتميز هذه الأساليب بدقة عالية، إلا أنها بطيئة للغاية لأنها يجب أن تشغل نموذج العالم آلاف المرات لكل قرار يتخذه الروبوت، وهذا التأخير العالي يعني أن الروبوت يستجيب ببطء شديد للمهام التي تتطلب وقتًا حقيقيًا. وعلى الجانب الآخر، توجد الأساليب القائمة على السياسة، والتي تتعلم ربط الموقف مباشرة بفعل في خطوة واحدة؛ وهي سريعة ولكنها هشة، إذ غالبًا ما تفشل عندما تتضمن المهمة تفاعلات فيزيائية معقدة، مثل الدفع أو الإمساك، لأنها ببساطة تحفظ الأفعال التي رأتها في بيانات التدريب ولا تستطيع التكيف عندما يتغير الموقف قليلاً. ووجد الباحثون أن كلا النهجين لم يقدما المزيج المثالي من السرعة والمتانة اللازمين للتحكم الموثوق في مساحة ذهنية متعلمة.

ولحل هذه المشكلة، قدم الفريق متحكمًا تكراريًا يعمل على توزيع عملية التخطيط. فبدلاً من إجراء بحث ضخم أو الاعتماد على تخمين واحد، يبدأ النظام بخطة أولية ثم يقوم بصقلها عدة مرات، تمامًا مثل شخص يرسم مسارًا على خريطة ثم يعدل المنعطفات بينما يفكر بعمق أكبر في التضاريس. يحدث هذا الصقل من خلال عملية متعلمة حيث ينظر النظام إلى مستقبله المتخيّل، ويتحقق من مدى قربه من الهدف، ويجري تصحيحات صغيرة للخطة. ومن الأهمية بمكان أن هذه العملية برمتها مُدربة لتكون سريعة وفعالة، حيث تتطلب عددًا قليلًا من الحسابات لكل قرار. يستخدم النظام نموذج عالم "مجمد"، مما يعني أن الفهم الأساسي للفيزياء والرؤية يظل ثابتًا ومدربًا مسبقًا، بينما يتعلم متحكم التخطيط التنقل ضمن هذا الفهم الثابت. هذا الفصل يسمح للباحثين بتحسين استراتيجية التخطيط دون الحاجة إلى إعادة تدريب نظام الرؤية بأكمله، مما يجعل العملية مستقرة وفعالة.

يركز جزء كبير من الورقة البحثية على نمط فشل دقيق ولكنه حاسم وجده الباحثون في أنظمة التخطيط السابقة، وهو ما أطلقوا عليه اسم "تأجيل إعادة ضبط الأفق" (horizon-reset procrastination). في العديد من إعدادات التخطيط القياسية، يتم تدريب النظام على الوصول إلى هدف عند نهاية فترة زمنية ثابتة. وعندما ينفذ الروبوت خطته في العالم الحقيقي، فإنه يؤدي الخطوات القليلة الأولى فقط قبل التوقف لإعادة التخطيط للحظة التالية. ولأن الموعد النهائي يستمر في إعادة الضبط مع كل خطة جديدة، يتعلم النظام عادة الاقتراب من الهدف دون الوصول إليه فعليًا، حيث يدفع وقت الوصول باستمرار نحو المستقبل. وقد أظهر الباحثون أن هذا السلوك يتسبب في فشل الروبوت حتى عندما يكون قادرًا جسديًا على الوصول إلى الهدف. ولإصلاح ذلك، قدموا هدفًا تدريبيًا جديدًا يسمى "الوصول والثبات" (arrival-and-hold). هذه الطريقة تكافئ النظام للوصول إلى الهدف في أبكر لحظة ممكنة والبقاء هناك، بدلاً من الانتظار حتى موعد نهائي ثابت. ومن خلال تعليم النظام تقدير الوصول الفوري والاستقرار، قضوا على سلوك التأجيل، مما سمح للروبوت بتنفيذ خطط متسقة وفعالة بغض النظر عن مدى تكرار إعادة تقييمه لمساره.

كانت نتائج هذه التجارب مذهلة. ففي الاختبارات التي تضمنت ذراع روبوت تدفع جسمًا على شكل حرف T إلى موقع محدد، حقق النظام الجديد معدل نجاح بنسبة 98 بالمائة عندما أعاد التخطيط بعد كل حركة. كان هذا الأداء مشابهًا للأساليب القائمة على البحث البطيئة والثقيلة، ولكن تم تحقيقه بجهد حوسبي أقل بكثير. وتحديدًا، تطلب النظام الجديد عددًا أقل بحوالي 2,250 مرة من انتقالات المتنبئ (التمريرات الكامنة) لكل قرار مقارنة بأساليب البحث التقليدية. وفي مهام أخرى، مثل وصول ذراع روبوت إلى هدف أو تنقل شخصية عبر باب، حقق النظام معدلات نجاح بلغت 100 بالمائة و92 بالمائة على التوالي. تشير هذه الأرقام إلى أن النظام ليس أسرع فحسب، بل أيضًا أكثر موثوقية في البيئات المعقدة الغنية بالتلامس حيث تفشل استراتيجيات التقليد البسيطة عادةً. وأشار الباحثون إلى أن أداء النظام ظل مستقرًا حتى عندما تغير تكرار إعادة التخطيط، مما يشير إلى أن السلوك المتعلم كان متينًا ولم يكن معتمدًا على جدول زمني محدد.

كما سلطت الدراسة الضوء على أهمية إبقاء أفعال النظام ضمن نطاق ما رآه من قبل. فقد أضاف الباحثون قيدًا يمنع المخطط من اقتراح أفعال بعيدة جدًا عن توزيع بيانات التدريب. عمل هذا كدرع حماية، مما يضمن أن الروبوت لن يحاول القيام بمناورات مستحيلة أو خطيرة قد يتخيلها نموذج العالم. وبالرغم من هذا القيد، لم يكن النظام ببساال نسخ الأفعال من بيانات التدريب؛ بل كان يبني خططًا جديدة للوصول إلى الأهداف بنشاط. في أحد الاختبارات، كان الفعل الأول الذي تنبأ به النظام مختلفًا بشكل كبير عن النموذج الخبير الذي تدرب عليه، ومع ذلك وصل إلى الهدف بدقة عالية. هذا يثبت أن النظام يتعلم حل المهمة من خلال الاستنتاج وليس مجرد حفظ تسلسل من الحركات.

تحقق الباحثون من نتائجهم من خلال اختبارات صارمة عبر أربع بيئات متميزة، باستخدام مجموعة مشتركة من ظروف البداية لضمان مقارنة عادلة بين الطريقة الجديدة والأساليب الموجودة. ولم يقيسوا معدل النجاح فحسب، بل قاسوا أيضًا الوقت الذي استغرقه اتخاذ كل قرار، ووجدوا أن النظام الجديد كان أسرع بما بين 3 إلى 49 مرة من أساليب البحث التقليدية اعتمادًا على المهمة. كما تضمنت الدراسة تصورات تفصيلية لمستقبل الروبوت المتخيل، مما أظهر أن عمليات المحاكاة الذهنية للنظام كانت دقيقة بما يكفي لتوجيه الأفعال في العالم الحقيقي. وفي حالة تنقل الروبوت عبر باب، توقع النظام المسار الصحيح عبر الباب، بينما تعثرت الأساليب الأخرى أو تخيلت وقوع اصطدام بالجدار. أكدت هذه الفحوصات البصرية أن التحسينات لم تكن مجرد آثار إحصائية، بل عكست تحسنًا حقيقيًا في كيفية فهم النظام لبيئته وتخطيطه لها.

في الختបញ្ចប់، يوضح العمل أن قدرًا كبيرًا من الاستنتاج المعقد المطلوب للتخطيط يمكن تعلمه وضغطه في سياسة تكرارية خفيفة الوزن. ومن خلال الجمع بين القدرة التنبؤية لنموذج العالم وهدف تدريبي مصقول يشجع على الوصول في الوقت المناسب، أنشأ الباحثون متحكمًا يتسم بالسرعة والمتانة. لا يتطلب النظام تحسينًا آنيًا أو حوسبة ثقيلة في لحظة اتخاذ القرار، مما يجعله مناسبًا للتطبيقات التي تتطلب وقتًا حقيقيًا حيث تكون السرعة أمرًا بالغ الأهمية. وبينما أجريت التجارب الحالية في بيئات محاكية، فإن المبادئ تشير إلى مسار نحو تحكم روبوتي أكثر كفاءة وقدرة في العالم الحقيقي. إن نجاح LePlanner يشير إلى أن مستقبل التخطيط الروبوتي قد لا يكمن في أجهزة كمبيوتر أسرع أو عمليات بحث أكثر تعقيدًا، بل في طرق أذكى وأكثر كفاءة لتعلم التفكير.