When Replanning Becomes the Bottleneck: Budgeted Replanning for Embodied Agents

تخيل أنك قبطان سفينة فضاء تشق طريقها عبر حقل كويكبات فوضوي. لديك مساعد طيار ذكاء اصطناعي فائق الذكاء يساعدك في رسم مسارك. لكن هناك عقبة: في كل مرة تصطدم فيها السفينة بصخرة أو تضل الطريق، تطلب من الذكاء الاصطناعي إعادة حساب المسار بالكامل من البداية. في البداية، يكون الأمر سهلاً. ولكن مع طول رحلتك، تنمو "ذاكرة" الذكاء الاصطناعي لكل ما حدث — الصخور التي تفاديتها، الرسائل من السفن الأخرى، الأخطاء التي ارتكبتها — لتصبح مثل كرة ضخمة ومتشابكة من الخيوط. وفي كل مرة تطلب فيها خطة جديدة، يتعين على الذكاء الاصطناعي قراءة تلك الكرة المتشابكة بأكملها مجدداً. وفي النهاية، يصبح الذكاء الاصطناعي مثقلاً بذاكرته الخاصة لدرجة أنه يستغرق وقتاً طويلاً جداً للتفكير. وبحلول الوقت الذي يصرخ فيه أخيراً باتجاه جديد، تكون قد اصطدمت بالفعل بكويكب آخر. هذه هي مشكلة "إعادة التخطيط" (replanning) في عالم الروبوتات ووكلاء الذكاء الاصطناعي: فكلما زاد تعلمهم وطال عملهم، أصبحوا أبطأ في إصلاح أخطائهم، حتى لو كانوا لا يزالون بارعين في أداء المهمة تقنياً.

هذه الورقة البحثية، التي تحمل عنوان "عندما يصبح إعادة التخطيط هو العائق"، تتناول هذا الصداع تحديداً بالنسبة لـ "الوكلاء المجسدين" (embodied agents) — وهم الروبوتات أو أنظمة الذكاء الاصطناعي التي تعيش في العالم الحقيقي (أو محاكاة واقعية) ويجب أن تتحرك وتتفاعل. اكتشف المؤلفان، شوآيجون ليو وفريقه، أنه بينما تتحسن هذه الروبوتات في إكمال المهام، فإنها تفشل في مقياس خفي: السرعة. لقد وجدوا أن الروبوت يمكن أن يكون ناجحاً بنسبة 100% في الوصول إلى هدفه، ولكن إذا استغرق وقتاً طويلاً جداً في معرفة كيفية الوصول إلى هناك بعد وقوع خطأ ما، فإنه يتجاوز المواعيد النهائية الزمنية المحددة له. الأمر يشبه طالباً يحصل على درجة كاملة في الاختبار، ولكنه يستغرق ثلاثة أيام لكتابة نموذج الإجابة؛ الدرجة مثالية، لكن النظام معطل. تقدم الورقة نظاماً جديداً يسمى BRACE (إعادة التخطيط الميزاني للتحكم الوكيل في الأنظمة المجسدة) وأداة تقليم ذكية تسمى E-RECAP. فكر في BRACE كمدير مشروع صارم يخبر الذكاء الاصطناعي: "لديك بالضبط 200 كلمة لشرح خطتك الجديدة، ويجب أن تنتهي في 2.5 ثانية. إذا لم تستطع، فسنقتطع قصتك". أما E-RECAP فهو المحرر الذي يحذف ببراعة الأجزاء المملة والمتكررة من ذاكرة الذكاء الاصطناعي مع الاحتفاظ بالأجزاء المهمة فقط، لكي يتمكن الذكاء الاصطناعي من التفكير بشكل أسرع دون نسيان التفاصيل الجوهرية.

المشكلة: فخ "كثرة التاريخ"

في عالم الروبوتات، لا يتبع الوكلاء (مثل السيارات ذاتية القيادة أو الأذرع الروبوتية) مجرد سيناريو واحد مثالي؛ فالعالم الحقيقي فوضوي. الروبوتات تنزلق، والمستشعرات ترتبك، والوكلاء الآخرون (مثل الروبوتات أو الطائرات بدون طيار الأخرى) يقومون بأفعال غير متوقعة. وللتعامل مع ذلك، تستخدم الروبوتات الحديثة حلقة تكرارية: فهي تلاحظ ما يحدث، ثم تخطط لحركة، ثم تنفذ الفعل، وإذا ساءت الأمور، تقوم بـ إعادة التخطيط.

تنشأ المشكلة لأن كل مرة يعيد فيها الروبوت التخطيط، فإنه لا ينظر فقط إلى اللحظة الحالية، بل يغذي الذكاء الاصطناعي بطلب (prompt) ضخم يحتوي على تعليمات المهمة، وتاريخ كامل لما حدث، والأخطاء المرتكبة، والرسائل من الوكلاء الآخرين. ومع استمرار عمل الروبوت لفترة أطول، ينمو هذا "السياق" (context). تخيل أنك تحاول قراءة كتاب تُضاف صفحات جديدة إلى بدايته ونهايته في كل مرة تقلب فيها صفحة. في النهاية، سيصبح الكتاب سميكاً جداً لدرجة أن قراءته ستستغرق ساعات.

وجد المؤلفون أنه مع نمو هذا السياق، يستغرق الوقت الذي يحتاجه الذكاء الاصطناعي لإعادة التخطيط (الكمون/latency) ظاهرة "الذيول الثقيلة" (heavy tails). وهذا يعني أنه بينما قد يبدو متوسط وقت إعادة التخطيط مقبولاً، إلا أنه من حين لآخر، قد يعلق الذكاء الاصطناعي في "ذيل طويل" من التفكير، مستغرقاً وقتاً طويلاً جداً. في الأنظمة التي تعمل بالوقت الفعلي، يمكن لتأخير واحد طويل أن يكون كارثياً. تظهر الورقة أنه في العديد من الاختبارات، كانت الروبوتات ناجحة بنسبة 100% في مهامها، لكنها انتهكت حدود السرعة الخاصة بها (المعروفة بـ أهداف مستوى الخدمة، أو SLOs) في ما يصل إلى 100% من استدعاءات إعادة التخطيط. إنه يشبه عداءً ينهي كل سباقاته، ولكنه يستغرق 10 دقائق لربط حذائه قبل انطلاق مسدس البداية؛ لقد فاز بالسباق، لكن النظام غير فعال وغير موثوق.

الحل: BRACE ومدير الميزانية

لإصلاح ذلك، ابتكر الفريق نظام BRACE. بدلاً من ترك الذكاء الاصطناعي يعيد التخطيط متى شاء بذاكرة غير محدودة، يعامل BRACE إعادة التخطيط كمورد ميزاني. فهو يعمل كمتحكم يقرر ثلاثة أشياء في كل مرة يحتاج فيها الروبوت إلى إعادة التفكير:

1. هل يجب أن نعيد التخطيط؟ أحياناً، يكون الروبوت مجرد منحرف قليلاً عن مساره ولا يحتاج إلى خطة جديدة كاملة. يمكن لـ BRACE أن يقول "انتظر" لتجنب التفكير غير الضروري.
2. ما هي "ميزانية الرموز" (token budget) المتاحة لنا؟ الرموز (tokens) هي وحدات النص التي يقرأها الذكاء الاصطناعي. يضع BRACE حداً صارماً لعدد الرموز التي يمكن للذكاء الاصطناعي استخدامها لخطيته الجديدة.
3. ما هو الحد الزمني (SLO)؟ يضع BRACE موعداً نهائياً صارماً للمدة التي يمكن أن تستغرقها عملية إعادة التخطيط.

إذا حاول الذكاء الاصطناعي استخدام ذاكرة كبيرة جداً أو استغرق وقتاً طويلاً، يتدخل BRACE. كما يحتوي النظام على ميزات سلامة مثل "نوافذ التبريد" (cooldown windows)، والتي تمنع الروبوت من الذعر وإعادة التخطيط في كل ثانية، مما قد يؤدي فقط إلى إبطائه.

الأداة: E-RECAP (المحرر الذكي)

حتى مع وجود ميزانية، لا يزال يتعين على الذكاء الاصطناعي قراءة شيء ما. وهنا يأتي دور E-RECAP. إنه طريقة "تقليم الرموز التدريجي". تخيل ذاكرة الروبوت كقصة طويلة ومسهبة؛ E-RECAP هو محرر فائق الذكاء يعرف الأجزاء الجوهرية من القصة والأجزاء التي ليست سوى حشو.

يعمل من خلال النظر إلى "الحالات الخفية" (hidden states) للذكاء الاصطناعي (طريقته في فهم النص) وتقييم كل كلمة (رمز) بناءً على مدى أهميتها.

• يحتفظ بالبداية (تعليمات المهمة) والنهاية (الأحداث الأخيرة)، لأن هذه الأجزاء عادة ما تكون الأكثر أهمية.
• يحذف الأجزاء الوسطى الأقل أهمية أو المتكررة.
• يقوم بذلك عبر طبقات، حيث يصبح أكثر صرامة تدريجياً كلما انتقل عبر دماغ الذكاء الاصطناعي.

النتيجة هي قصة أقصر وأنظف، لكنها لا تزال تحتوي على جميع المعلومات اللازمة لاتخاذ قرار جيد.

ما وجدوه: السرعة دون التضحية بالنجاح

اختبر الفريق BRACE و E-RECAP على ثلاث منصات مختلفة: Meta Habitat (عالم افتراضي للملاحة)، و RoboFactory (محاكاة للأذرع الروبوتية والتنسيق)، و AirSim (محاكي للطائرات بدون طيار والسيارات).

كانت النتائج مذهلة. في اختبارات الملاحة في Meta Habitat، حقق النهج القياسي (المسمى "No BRACE") نجاحاً بنسبة 100% في المهمة، ولكنه انتهك حد السرعة في 85.5% من استدعاءات إعادة التخطيط. عندما أضافوا BRACE و E-RECAP، ظل معدل النجاح عند 100%، لكن انتهاكات حد السرعة انخفضت بشكل كبير إلى 4.7% فقط.

في اختبارات RoboFactory، كان التحسن أكثر دراماتيكية. انتهك النهج القياسي حدود السرعة في 100% من الاستدعاءات. ومع استخدام BRACE و E-RECAP، انخفض هذا الرقم إلى 50.0%. وفي إعداد أصعب حيث فشل النهج القياسي تماماً (نجاح 0%)، تمكن النظام الجديد من تحقيق نجاح بنسبة 80.0% مع الحفاظ على انتهاكات السرعة منخفضة عند 4.6%.

كما قلل النظام من عدد الرموز التي يتعين على الذكاء الاصطناعي معالجتها بنسبة تتراوح بين 62% إلى 92%. وهذا يعني أن الذكاء الاصطناعي كان يبذل جهداً أقل للحصول على نفس النتائج (أو نتائج أفضل). وفي اختبارات الطائرات بدون طيار في AirSim، انخفضت انتهاكات السرعة من 100% إلى 4.7%.

لماذا يهم هذا؟

تجادل الورقة البحثية بأننا بحاجة إلى تغيير كيفية قياس أداء الروبوتات. لا يكفي القول "نجح الروبوت" إذا استغرق وقتاً طويلاً جداً لمعرفة كيفية القيام بذلك. من خلال معاملة إعادة التخطيط كمشكلة نظام ذات ميزانيات صارمة، يمكننا بناء روبوتات ليست ذكية فحسب، بل سريعة وموثوقة أيضاً.

اختبر المؤلفون ذلك أيضاً على ذراع روبوت حقيقي في المختبر (يقوم بمهام مثل التقاط الفاكهة أو دفع الأشياء). وبينما كان التركيز الأساسي على نتائج المحاكاة، أظهرت اختبارات الروبوت الحقيقي أن تقنيات الميزانية والتقليم تعمل هناك أيضاً، مما يحسن معدلات النجاح ويقلل التأخير.

باختصار، تقترح الورقة أنه من خلال كوننا أكثر "بُخلاً" في استخدام الذاكرة والوقت، وباستخدام محرر ذكي لقص الحشو، يمكن للروبوتات التوقف عن الغرق في تاريخها والبدء في التحرك عبر العالم بالسرعة والرشاقة التي تحتاجها. إنها تذكير بأن معرفة ما لا يجب تذكره لا يقل أهمية عن تذكر كل شيء.