Dynamic Context Adapters: Efficiently Infusing History into Vision-and-Language Models

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة عملاقة غير مرئية. لا يمكنك رؤية المتاهة بأكملها دفعة واحدة؛ بل ترى فقط بقعة صغيرة من الأرض أمام كاميرا الروبوت مباشرة. لكي يجد المخرج، يحتاج الروبوت إلى تذكر أين كان، وماذا رأى قبل خمس دقائق، وكيف وصل إلى موقعه الحالي. هذا هو عالم نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كأنها روبوتات ذكية للغاية يمكنها "رؤية" الصور و"قراءة" التعليمات، لكنها عادة ما تُدرب على النظر إلى صورة واحدة فقط في كل مرة، مثل لقطة ثابتة.

تظهر المشكلة عندما نطلب من هذه الروبات القيام بشيء يستغرق وقتًا، مثل التجول في منزل للبحث عن كتاب معين. إذا حاول الروبوت تذكر كل صورة التقطها من قبل عبر تكديسها جميعًا في دماغه دفعة واحدة، فإن دماغه سيصاب بالارتباك. الأمر يشبه محاولة قراءة كتاب حيث كل صفحة ملتصقة بالتي تليها، مما يجعل الكتاب سميكًا جدًا لدرجة أنه لا يمكن وضعه على الرف. طريقة "التكديس" هذه بطيئة، وتستهلك كميات هائلة من ذاكرة الكمبيوتر، وتجعل الروبوت يتعثر في تاريخه الخاص. لقد بحث العلماء عن طريقة تسمح لهذه الروبوتات بتذكر الماضي دون أن يصيبها "تجمد الدماغ".

هنا يأتي دور المحول السياقي الديناميكي (DCA)، وهي خدعة ذكية جديدة اقترحها الباحثون لحل مشكلة الذاكرة هذه. فبدلاً من إجبار الروبوت على حمل حقيبة ظهر ثقيلة مليئة بكل صورة التقطها من قبل، يمنح DCA الروبوت مفكرة سحرية صغيرة. بينما يسير الروبوت، ينظر إلى صوره الماضية ويلخص الأجزاء الأكثر أهمية بسرعة في ملاحظات قصيرة على هذه المفكرة. ثم يتم إدخال هذه الملاحظات في دماغ الروبوت عند كل خطوة من رحلته، مما يساعده على تذكر المسار دون إبطائه.

وجد الباحثون أن هذه الطريقة تحقق نتائج مذهلة. فباستخدام نظام "المفكرة" هذا، يستخدم الروبوت أقل من 25% من قوة الحوسبة (تحديدًا عمليات الـ attention FLOPs) ويوفر 13% من ذاكرته مقارنة بالطريقة القديمة المرهقة المتمثلة في تكديس الصور. والأفضل من ذلك، أن الروبوت أصبح بالفعل أفضل في أداء مهمته. ففي الاختبارات التي كان عليه فيها التنقل في بيئات معقدة بناءً على تعليمات طويلة، حسن روبوت DCA من معدل نجاحه بنسبة 13.7% مقارنة بنسخة حاولت تذكر كل شيء مباشرة باستخدام الذاكرة المتكررة. لقد تمكن من حل ألغاز طويلة ومعقدة عجزت عنها الطرق الأخرى، مما أثبت أنك لست بحاجة لحمل العالم كله في جيبك للتنقل فيه، بل تحتاج فقط لمعرفة ما تحتفظ به في جيبك.

الفكرة الكبرى: لماذا يعد تكديس الصور فكرة سيئة؟

لفهم سبب أهمية DCA، تخيل أنك تحاول حل لغز ما. لديك محقق ذكي جدًا ولكنه يمتلك مدى انتباه قصير جدًا. إذا عرضت عليه صورة واحدة لمسرح الجريمة، يمكنه إخبارك بالضبط بما يراه. ولكن إذا طلت منه حل لغز حدث على مدار يوم كامل، فقد ترغب في عرض كل صورة التُقطت في ذلك اليوم، دفعة واحدة.

المشكلة هي أنه إذا عرضت عليه 100 صورة، فسيتعين على المحقق مقارنة كل صورة بكل صورة أخرى للعثور على الأدلة. وكلما زاد عدد الصور، زادت صعوبة العمليات الحسابية بشكل "تربيعي" (مما يعني أنه إذا ضاعفت عدد الصور، ستتضاعف الجهد أربع مرات). في النهاية، سيصبح المحقق مثقلًا للغاية بسبب حجم الصور الهائل لدرجة أنه لن يتمكن من التفكير بوضوح، أو قد تنفد ذاكرة الكمبيوتر الذي يشغله ويتوقف عن العمل. هذا هو بالضبط ما يحدث عندما تحاول نماذج الرؤية واللغة الحالية معالجة تسلسلات طويلة من الفيديو أو خطوات التنقل من خلال ببساطة "دمج" (concatenating) جميع الإطارات الماضية معًا.

الحل: المفكرة السحرية

أدرك مؤلفو هذه الورقة البحثية، وهم يوهانغ سونغ وفريقه، أن الروبوت ليس بحاجة لرؤية كل صورة ماضية مرة أخرى، بل يحتاج فقط إلى جوهر ما حدث. لقد ابتكروا نظامًا يسمى المحول السياقي الديناميكي (DCA).

فكر في DCA كأنه سكرتير فائق الكفاءة. بينما يتحرك الروبوت عبر المنزل، يراقب السكرتير بث كاميرا الروبوت. وبدلاً من تسليم الروبوت كومة من 100 صورة، يقوم السكرتير بمسح سريع للصور المائة الماضية ويكتب بضع جمل رئيسية على ورقة ملاحظات لاصقة. ربما تقول الملاحظة: "لقد مررت بباب أحمر قبل ثلاث خطوات"، أو "المطبخ على اليسار".

هذه "الملاحظة اللاصقة" هي ذاكرة ثابتة الحجم. بغض النظر عما إذا كان الروبوت قد سار لـ 10 خطوات أو 1000 خطوة، فإن الملاحظة ستظل دائمًا بنفس الحجم الصغير. ثم يأخذ الروبوت هذه الملاحظة ويضعها في دماغه عند كل خطوة من الخطوات. وهذا يسم يسمح للروبوت بـ "تذكر" الماضي دون الحاجة لإعادة قراءة كتاب التاريخ بأكمله في كل مرة يتخذ فيها قرارًا.

كيف يعمل: الرقصة الثنائية

يعمل النظام في مرحلتين رئيسيتين، يسميهما الباحثون "المسار المزدوج":

1. الضغط (السكرتير): يتم تغذية ملاحظات الروبوت الماضية في وحدة خاصة تقوم بضغطها. تستخدم هذه الوحدة تقنية تسمى "الاهتمام المتقاطع" (cross-attention) لتحديد الأجزاء المهمة حقًا من الماضي. الأمر يشبه قيام السكرتير بتجاهل الأجزاء المملة من اليوم (مثل وقوف الروبوت أمام حائط فارغ) والتركيز فقط على الأجزاء المثيرة (مثل رؤية الباب المستهدف). هذا ينتج مجموعة صغيرة وثابتة من "متجهات الذاكرة" (الملاحظات اللاصقة).
2. الدمج (تعزيز الدماغ): يتم حقن هذه الملاحظات اللاصقة في "دماغ" الروبوت الرئيسي (النموذج اللغوي الكبير - LLM backbone) عند كل طبقة. الأمر يشبه الهمس بتلميح في أذن الروبوت عند كل خطوة. لا يحتاج الروبوت لتغيير هيكل دماغه الأصلي للقيền بهذا، بل يحصل فقط على مساعدة إضافية من وحدة الذاة.

النتائج: أسرع، أخف، وأذكى

اختبر الفريق هذه الطريقة الجديدة في تحدي ملاحة قياسي يسمى VLN-CE، حيث يتعين على الروبوتات اتباع تعليمات مثل "اخرج من الغرفة، اتجه يسارًا، وابحث عن الكتاب". قارنوا روبوت DCA بروبوتين آخرين:

• "المكدس" (No-Adapt): يحاول هذا الروبوت تذكر كل شيء عن طريق تكديس جميع الصور الماضية.
• الروبوت "المتكرر" (Recurrent-Adapt): يستخدم هذا الروبوت نمطًا قديمًا من الذاكرة (مثل الحلقة) يحاول تلخيص الماضي ولكنه غالبًا ما ينسى التفاصيل.

كانت النتائج مبهرة. لم يكن روبوت DCA أسرع فحسب، بل كان أذكى أيضًا:

• الكفاءة: استخدم أقل من 25% من قوة الحوسبة (FLOPs) و13% أقل من الذاكرة مقارنة بروبوت "المكدس". وهذا يعني أنه يمكن تشغيله على أجهزة كمبيوتر أرخص وأصغر دون أن يتوقف عن العمل.
• الأداء: عندما يتعلق الأمر بالوصول إلى الوجهة، تفوق روبوت DCA على "المكدس" بفارق كبير. فقد حسن معدل النجاح (SR) بنسبة 13.7% مقارنة بروبوت مشابه يستخدم الذاكرة المتكررة، بل وتفوق على نماذج أكبر بكثير تستخدم طرق تدريب أكثر تعقيدًا.
• استخدام الذاكرة: بينما كان استخدام الذاكرة لدى روبوت "المكدس" ينفجر مع طول المسارات، ظل استخدام الذاكرة لدى روبوت DCA ثابتًا ومنخفضًا.

ما الذي "يراه" الروبوت فعليًا

أحد أروع أجزاء الدراسة هو رؤية ما يقرر الروبوت تذكره. قام الباحثون بتصور "الاهتمام" (attention) لنظام DCA. ووجدوا أن الروبوت لم يتذكر كل شيء بالتساوي، بل ركز بشدة على اللحظات التي كانت ذات أهمية.

على سبيل المثال، إذا كانت التعليمات هي البحث عن باب غرفة نوم، فإن الروبوت لم يعر أي اهتمام تقريبًا للصور الملتقطة أثناء سيره في ممر طويل وفارغ. ولكن بمجرد ظهور باب غرفة النوم في الرؤية، أو عندما اقترب الروبوت من الهدف، ارتفع مستوى "الاهتمام" بشكل حاد. لقد نجح النظام في تصفية الضجيج والاحتفاظ بالإشارة، مما أثبت أنه لم يكن يضغط البيانات عشوائيًا، بل كان يختار الذكريات الأكثر فائدة بذكاء.

لماذا يهم هذا الأمر

يشير هذا البحث إلى أننا لسنا بحاجة لبناء أدمغة أكبر وأثقل لجعل الروبوتات أكثر ذكاءً. بدلاً من ذلك، يمكننا بناء طرق أذكى لتنظيم ذكرياتها. من خلال استخدام المحولات السياقية الديناميكية، يمكننا منح الروبوتات القدرة على فهم القصص الطويلة والمعقدة والتنقل عبر الزمان والمكان دون استنزاف قدرات الكمبيوتر. إنها خطوة نحو بناء ذكاء اصطناعي يمكنه حقًا فهم تدفق الأحداث، وليس مجرد لقطة ثابتة في الزمن.

يخلص المؤلفون إلى أن هذه الطريقة تقدم "مقايضة متفوقة بين الكفاءة والأداء"، مما يعني الحصول على أفضل ما في العالمين: روبوت سريع وخفيف الوزن، ولكنه قادر أيضًا على حل أصعب ألغاز الملاحة. وبينما أجريت الدراسة في بيئات محاكية (متاهات منشأة بالحاسوب)، فإن النتائج تشير بقوة إلى أن هذا النهج يمكن أن يحدث ثورة في كيفية بناء الروبوتات للمهام الواقعية، من طائرات التوصيل بدون طيار إلى المساعدين المنزليين، مما يسمح لها بالتنقل في حياتنا المعقدة والمتعددة الغرف بكل سهولة.