Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

تخيل روبوتاً مساعداً يعيش في منزلك، كُلفت بمهمة مساعدتك في العثور على كوب محدد استخدمته هذا الصباح. لقد ظل يتجول في أرجاء منزلك لساعات، مسجلاً تدفقاً مستمراً من الفيديو. وللإجابة على سؤالك، لا يمكنه ببساطة النظر إلى الثواني القليلة الأخيرة من اللقطات؛ بل يجب عليه البحث عبر مئات الدقائق من التاريخ المسجل. ومع ذلك، فإن عقل الروبوت لديه حد صارم: يمكنه فقط معالجة كمية ضئيلة وثابتة من المعلومات في اللحظة التي يحتاج فيها إلى اتخاذ قرار. لا يمكنه تخزين الفيديو بأكمله في ذاكرته النشطة، كما لا يمكنه تحمل تكلفة إعادة مشاهدة اليوم بأكوة في كل مرة تطرح فيها سؤالاً. هذا هو العائق الجوهري للذكاء المتجسد: الفجوة بين تدفق لا ينتهي من الملاحظات وميزانية محدودة للتفكير.

لسنوات، أمل الباحثون أن يؤدي مجرد جعل نماذج الذكاء الاصطناعي أكبر حجماً إلى حل هذه المشكلة. كانت الفكرة السائدة هي أنه إذا كان النموذج كبيراً بما يكفي، فسيتعلم بشكل طبيعي تذكر كل ما رآه. لكن التجارب الأخيرة أظهرت أن أكثر النماذج تقدماً تعاني عندما تواجه تدفقات مستمرة وطويلة من الفيديو. يمكنها التعرف على قطة في صورة واحدة، لكنها غالباً ما تفشل في تتبع أين ذهبت تلك القطة قبل ساعة من الآن. المشكلة ليست في أن النماذج تفتقر إلى القدرة على الرؤية؛ بل في أنها تفتقر إلى استراتيجية لمعرفة ما يجب النظر إليه عندما يكون الوقت يداهمها والذاكرة ممتلئة.

وضع فريق من الباحثين منهجاً مختلفاً للاختبار. فبدلاً من محاولة بناء عقل أكبر، تساءلوا عما إذا كانت الطريقة التي يصل بها الروبوت إلى ذكرياته تهم أكثر من حجم العقل نفسه. اقترحوا أن الوكيل الناجح يحتاج إلى أداتين متمايزتين تعملان معاً: ملخص مضغوط لما حدث (مثل مذكرات يومية مستمرة) وأرشيف دقيق وقابل للبحث لكل لحظة (مثل مكتبة من الصور). ومن الأهمية بمكان أن يتمكن الوكيل، بناءً على السؤال المحدد المطروح، من اختيار مقدار ما سينفقه من ميزانيته على قراءة المذكرات مقابل البحث في الأرشيف. لقد بنوا نظاماً لاختبار ذلك، حيث غلفوا عقول الروبوتات الموجودة بطبقة جديدة من المنطق تدير هذه الموارد دون الحاجة إلى أي إعادة تدريب.

اختبر الباحثون نظامهم في بيئة اصطناعية مصممة لمحاكاة رحلة مشي طويلة عبر مبنى، حيث كان على الروبوت الإجابة عن أسئلة حول أشياء رآها قبل ساعات. وضعوا نظامهم الجديد في مواجهة عدة طرق قياسية، بما في ذلك النماذج التي تنظر ببسا p إلى مجموعة مختارة من الإطارات، والنماذج التي تحاول تلخيص كل شيء في نص قصير، والنماذج التي تبحث في أرشيف دون الاحتفاظ بملخص مستمر. أجروا هذه الاختبارات على سبعة نماذج مختلفة مفتوحة المصدر، تتراوح من الصغيرة إلى الكبيرة، وكلها تحت نفس الحد الصارم البالغ 4,096 "توكن" (وحدات معلومات) لكل قرار.

كانت النتائج مذهلة، ولكنها دقيقة. فقد تفوق النظام الجديد، الذي وجه انتباه الروبوت بذكاء، بشكل كبير على كل طريقة أخرى لم تربط وصولها بالأسئلة المطروحة. فعندما طُلب منه العثور على جسم محدد مخفي في تدفق مكون من 300 إطار (مهمة الاسترجاع الأحداثي)، نجح النظام الجديد بنسبة تتراوح بين 75 و94%، بينما تمكنت أفضل الطرق البديلة من تحقيق أقل من 20%. وجد الباحثون أن القدرة على طرح السؤال الصحيح ثم جلب الإطار الصحيح كانت هي العامل الحاسم. وفي الواقع، فإن منح نموذج قياسي أربعة أضعاف الذاكرة للعمل بها لم يساعده بقدر ما ساعد النظام الجديد في استخدام ذاكرته المحدودة بذكاء. لقد هزم النظام الذكي ذو الميزانية الصغيرة النظام الغبي ذو الميزانية الضخمة.

ومع ذلك، لم تنتهِ القصة بنصر مثالي. فقد صمم الباحثون نظامهم من ثلاثة أجزاء: الملخص، والأرشيف، والموجه الذكي الذي يقرر كيفية استخدامهما. وعندما اختبروا كل جزء على حدًا، اكتشفوا خللاً مفاجئاً. كان الموجه الذكي والأرشيف هما الأبطال؛ فقد قاما بالعمل الشاق. لكن مكون الملخص، الذي كان من المفترض أن يحتفظ بعدّ مستمر للأحداث، جعل النظام في الواقع أسوأ. فعندما أزالوا الملخص، تحسن أداء النظام في المهام المعقدة بشكل ملحوظ. في الواقع، لم يتفوق النظام الكامل على خط الأساس المعتمد على الأرشيف فقط في أي من النماذج السبعة المختبرة. والسبب هو أن عقل الروبوت لم يكن جيداً بما يكفي في الحفاظ على تعداد مستمر مثالي عبر مئات الخطوات؛ إذ تراكمت الأخطاء الصغيرة في الملخص وأربكت النظام. بل إن نظاماً أفضل أداءً اعتمد على فهرس نصي غير متصل (offline) بدلاً من ملخص حي، تفوق في الواقع على تصميم الباحثين نفسه.

لم يكن هذا الفشل هزيمة للفكرة الرئيسية، بل كان تنقيحاً حاسماً. أثبتت الدراسة أن العمل تحت حد زمني وذاكرة صارمين، فإن هيكل الوصول أكثر أهمية من حجم النموذج أو كمية الذاكرة المتاحة. الروبوت لا يحتاج لرؤية كل شيء؛ بل يحتاج لمعرفة أين يبحث بالضبط. وخلص الباحثون إلى أن مستقبل الوكلاء المتجسدين لا يكمن في بناء عقول أكبر، بل في بناء طرق أذكى للوصول إلى المعلومات. الاستراتيجية الأكثر فعالية هي إنفاق الميزانية على إيجاد القطعة الصحيحة من الدليل، بدلاً من محاولة احتواء العالم بأكمله في الذاكرة في وقت واحد. وبينما فشل تصميمهم المحدد للملخص المستمر، ظل المبدأ الجوهري ثابتاً: في عالم من البيانات اللامتناهية والوقت المحدود، معرفة ما يجب تجاهله لا تقل أهمية عن معرفة ما يجب تذكره.