💻 computer science

Key-Gram: Extensible World Knowledge for Embodied Manipulation

يُعد Key-Gram إطار عمل للذاكرة الشرطية يعمل على فصل المعرفة اللغوية القابلة للتوسيع للعالم عن الاستدلال البصري في التلاعب المجسد، وذلك عبر تخزين الأولويات المحددة للمهام في ذاكرة خارجية للاسترجاع والحقن بكفاءة، مما يحسن بشكل كبير من التجذير التركيبي، والنقل، والأداء في العالم الحقيقي عبر مختلف المعايك.

المؤلفون الأصليون: Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية الطبخ. أعطيته تعليمات معقدة: "ضع الكوب الأصفر والأبيض في الميكروويف وأغلق الباب."

تحاول عقول الروبوتات الحالية (نماذج الذكاء الاصطناعي) القيام بمهمتين مختلفتين تماماً في نفس الوقت، مما يسبب ازدحاماً مرورياً في عملية التفكير لديهم:

مهمة "ماذا" (المعرفة): تذكر الحقائق عن العالم (مثل: "الميكروويف له أبواب"، "الأكواب هشة"، "هناك أكواب صفراء وبيضاء موجودة").
مهمة "كيف" (التنفيذ): مراقبة بث الفيديو وتحديد الحركات الفيزيائية (مثل: "الذراع بعيدة جداً جهة اليسار، حركها لليمين"، "أمسك المقبض").

في معظم الروبوتات الموجودة حالياً، تُدمج هاتان المهمتان في عقل واحد ضخم. "الحقائق" و"الفيديو" يتصارعان على الانتباه، مثل حشد صاخب يحاول سماع متحدث واحد. إذا أردت تعليم الروبوت حقيقة جديدة (مثل "لا تضع معدناً في الميكروويف")، فغالباً ما يتعين عليك إعادة تدريب العقل بأكمله، وهو أمر بطيء ومحفوف بالمخاطر لأنه قد يجعله ينسى كيفية تحريك أذرعه.

الحل: Key-Gram

تقدم ورقة البحث Key-Gram، وهي طريقة جديدة لتنظيم عقل الروبوت. فكر في الأمر كأنك تعطي الروبوت دفتر ملاحظات ذكياً خارجياً يمكنه التصفح من خلاله فوراً.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. نظام "بطاقات الفهرس" (التفكيك)

بدلاً من قراءة الجملة الكاملة "ضع الكوب الأصفر والأبيض في الميكروويف"، يقوم الروبوت بتفكيكها إلى بطاقات فهرس صغيرة ومحددة تسمى Key-Grams.

بطاقة (أ): "ضع الكوب في الميكروويف"
بطاقة (ب): "أغلق باب الميكروويف"
بطة (ج): "كوب أصفر وأبيض"

2. "البحث الفوري" (التجزئة/Hashing)

الروبوت لا يقرأ المكتبة بأكملها للعثور على الإجابة. بل يستخدم كود تجزئة سحرياً (مثل ماسح الباركود) للقفز فوراً إلى الصفحة المحددة في دفتر ملاحظاته حيث تُخزن الإجابة.

يبحث عن البطاقة (أ) فيجد القاعدة: "الميكروويفات لها أبواب".
يبحث عن البطاقة (ج) فيجد القاعدة: "هذا نوع محدد من الأكواب".

عملية البحث هذه فورية ( $O(1)$ )، مما يعني أنها تستغرق نفس الوقت سواء كان الدفتر يحتوي على 10 صفحات أو 10 ملايين صفحة.

3. "المساعد الذكي" (الدمج)

بمجرد أن يستخرج الروبوت هذه الحقائق من دفتر الملاحظات، فإنه لا يكتفي بسكبها على الشاشة. بل يستخدم مرشحاً ذكياً (بوابة) ليقرر متى وأين يستخدمها.

عندما ينظر الروبوت إلى باب الميكروويف، يقول المرشح: "مهلاً، انظر إلى حقيقة 'إغلاق الباب'!"
عندما ينظر الروبوت إلى الكوب، يقول المرلو: "مهلاً، انظر إلى حقيقة 'الكوب الأصفر والأبيض'!"

عقل الروبوت الرئيسي (العمود الفقري للرؤية - Vision Backbone) يصبح الآن حراً للتركيز تماماً على الجزء الصعب: مراقبة الفيديو وتحريك الأذرع. ليس عليه إضاعة الطاقة في محاولة تذكر الحقائق؛ فهو فقط يسأل دفتر الملاحظات عند الحاجة.

لماذا يعد هذا أمراً هاماً؟

تزعم الورقة البحثية أن هذا النهج يحل ثلاث مشكلات رئيسية:

لا مزيد من "النسيان": نظرًا لأن الحقائق موجودة في دفتر ملاحظات منفصل، يمكنك إضافة صفحات جديدة (معرفة جديدة) دون إعادة كتابة عقل الروبوت. إذا أردت تعليم الروبوت عن المحمصة (Toaster)، فكل ما عليك فعله هو إضافة صفحة جديدة إلى الدفتر. ستظل قدرة الروبوت على تحريك أذرعه كما هي تماماً.
أفضل في المهام المعقدة: في الاختبارات، كانت الروبوتات التي تستخدم Key-Gram أفضل بكثير في المهام الطويلة متعددة الخطوات (مثل فرز الخبز، ثم وضعه في صندوق، ثم تحريك الصندوق). لم يرتبكوا أو ينسوا الخطوات الوسطى لأن "الحقائق" كانت دائماً موجودة هناك في الدفتر.
التعامل مع تركيبات جديدة: عندما قام الباحثون بخلط ومطابقة أشياء لم يسبق للروبوت رؤيتها معاً (مثل التقاط قلم وولاعةة، وهو ما لم يفعله كزوج من قبل)، نجحت روبوتات Key-Gram بشكل أكبر بكثير. لقد استطاعت الجمع بين حقيقة "التقاط القلم" وحقيقة "التقاط الولاعة" فورياً.

النتائج

اختبر الباحثون هذا النظام على روبوتات محاكاة وعلى روبوت حقيقي ثنائي الأذرع.

في المحاكاة: حسنت الروبوتات معدل نجاحها بنحو 30% في المهام الصعبة.
في العالم الحقيقي: في روبوت حقيقي، كان التحسن أكثر وضوحاً في مهام التجميع المعقدة، حيث قفزت من معدل نجاح 52% إلى 66% (زيادة نسبية قدرها 27%).

الخلاصة

Key-Gram يشبه منح الروبوت موسوعة قابلة للتوسع ومنفصلة للحقائق، بينما يترك عقله الرئيسي يركز فقط على العمل الفيزيائي. هذا الفصل يجعل الروبوت أكثر ذكاءً، وأكثر قدرة على التكيف مع التعليمات الجديدة، وأقل عرضة لنسيان ما يعرفه بالفعل.

ملخص تقني: Key-Gram

بيان المشكلة

تتطلب عملية التحكم في الأجسام (Embodied manipulation) من النماذج أن تقوم في آن واحد بالحفاظ على المعرفة القابلة لإعادة الاستخدام بالعالم (الأشياء، المهارات، العلاقات، القيود) والتكيف المستمر مع الحالات البصرية الديناميكية تحت تأثير الفعل. عادةً ما تقوم نماذج الرؤية واللغة والأفعال (VLA) ونماذج العالم-الفعل (WAMs) الحالية بربط المعرفة اللغوية بالحوسبة البصرية ضمن عمود فقري مشترك أو مسار شرطي. يؤدي هذا التصميم إلى مشكلتين رئيسيتين:

التنافس بين الوسائط (Modality Competition): في أساليب الدمج الكثيف، تتنافس مجموعة صغيرة من رموز التعليمات (instruction tokens) مع مجموعة كبيرة ومتغيرة باستمرار من الرموز البصرية داخل نفس تدفق الانتباه، مما قد يؤدي إلى إضعاف المعلومات الخاصة بالتعليمات.
هشاشة توسيع المعرفة (Fragile Knowledge Extension): في النماذج التوليدية الشرطية، تعمل اللغة غالباً كمجرد إشارة توجيهية تشبه "المحفز" (prompt)، بينما تظل المعرفة العالمية التركيبية مدمجة ضمنياً في العمود الفقري التوليدي. وبناءً على ذلك، فإن التكيف مع أنظمة فيزيائية جديدة أو اكتساب معرفة جديدة يتطلب غالباً تحديثات في التدرج (gradient updates) يمكن أن تمحو المعرفة المكتسبة سابقاً بالعالم، مما يجعل التكيف المستمر والتوسع النموذجي هشاً بطبيعته.

المنهجية: Key-Gram

يقترح المؤلفون Key-Gram، وهو إطار عمل للذاكرة الشرطية يعمل وظيفياً على فصل المعرفة المستمدة من اللغة عن الاستدلال بالحالة البصرية. الفلسفة الجوهرية هي أن الحوسبة البصرية يجب أن تركز على ديناميكيات المشهد (تطور الحالة والفعل)، بينما تعمل اللغة كفهرس مدمج وقابل لإعادة الاستخدام فوق الأولويات المجردة للمهام.

1. استرجاع Key-Gram المتناثر

بدلاً من معالجة الرموز الخام، يقوم النظام بتفكيك التعليمات اللغوية $I$ إلى مجموعة صغيرة من الـ key-grams الخاصة بالمهمة (مثل: "ضع الكوب في الميكروويف"، "أغلق الباب").

الاستخراج: يقوم محلل خفيف الوزن باستخراج وحدات ثابتة الطول وحاملة للمعرفة من التعليمات.
البحث بالهاش (Hashed Lookup): يتم تحويل كل key-gram إلى مفتاح صحيح ثابت الطول وربطه بتمثيلات ذاكرة ثابتة عبر بحث هاش حتمي (deterministic hashed lookup). يتضمن ذلك استخدام هاش الضرب-XOR لحساب مؤشرات الذاكرة عبر رؤوس هاش متعددة ( $H$ ) وطبقات ( $\ell$ ).
القابلية للتوسع: تُنظم الذاكرة كجدول منطقي يتكون من جداول فرعية فيزيائية متعددة. يسمح هذا للنظام بالتوسع مع طول التعليمات (عبر إضافة خانات key-gram) وتعقيد المهام (عبر إضافة جداول فرعية متوازية) دون تعديل العمود الفقري.

2. الدمج المتكيف مع السياق

يتم حقن التضمينات المسترجعة في طبقات مختارة من العمود الفقري البصري عبر وحدة متبقية (residual module):

البوابات (Gating): يتم حساب بوابة لكل رمز باستخدام ضرب نقطي مدرج (scaled dot-product) بين الحالات الخفية البصرية ( $H^{(\ell)}$ ) ومفاتيح الذاكرة المسقطة ( $K_m^{(\ell)}$ ). تحدد هذه البوابة ( $A^{(\ell)}$ ) مدى صلة الذاكرة اللغوية المسترجعة بكل رمز بصري، مما يضمن حقن الأولويات فقط حيث تكون مفيدة.
التحسين التلافيفي (Convolutional Refinement): تمر الميزات الذاكرية المبوّبة عبر تلافيف خفيفة الوزن ذات مدى طويل لخلط مكونات المعرفة غير المتجانسة على مستوى التعليمات قبل الحقن.
الحقن المتبقي (Residual Injection): تُضاف الميزات المنقحة إلى الحالات الخفية الأصلية ( $\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$ ) قبل حساب الانتباه القياسي.

3. رؤوس التنبؤ

يدعم العمود الفقري الموجه بالذاكرة مسارين هابطين:

الاستدلال البصري: يتم تكييف الحالات الخفية في الطبقة النهائية عبر الانتباه المتقاطع للتنبؤ بالكمونات البصرية المستقبلية المدمجة (الاستبصار البصري).
استنتاج الفعل: يستخدم خبير فعل خفيف الوزن مخزن (KV cache) الخاص بالعمود الفقري كـ سياق شرطي لفك تشفير مسارات الأفعال عبر تقنية مطابقة التدفق (flow-matching denoising).

4. كفاءة النظام

تم تصميم جدول الذاكرة ليكون ببحث زمن قدره O(1) بالنسبة لإجمالي حجم الذاكرة. أثناء الاستدلال، يتم تحديد المؤشرات فقط من خلال التعليمات ودوال هاش ثابتة، مما يسمح بوجود جداول معرفة ضخمة في ذاكرة المضيف (CPU)، بينما يظل العمود الفقري مركزاً على الاستدلال البصري.

المساهمات الرئيسية

إطار عمل منفصل وظيفياً: يفصل Key-Gram بين استرجاع المعرفة العالمية من جانب التعليمات وبين الاستدلال الفيزيائي من جانب الرؤية، مما يقلل من التنافس بين الوسائط في التحكم بالأجسام.
ذاكرة خارجية قابلة للتوسع: يقوم بتخزين الأولويات اللغوية القابلة لإعادة الاستخدام في ذاكرة مهيكلة يتم الوصول إليها عبر بحث هاش حتمي. وهذا يتيح التوسع النموذجي للمعرفة (إضافة أشياء، مهارات، أو علاقات جديدة) دون إعادة كتابة أوزان العمود الفقري.
تحقيق مكاسب أداء ثابتة: يظهر النهج تحسناً في التأسيس التركيبي (compositional grounding)، والنقل (transfer)، والتكيف عبر مختلف الصيغ اللغوية والبيئات.

النتائج التجريبية

قام المؤلفون بتقييم Key-Gram على RoboTwin2.0، وLIBERO، وLIBERO-Plus، ومهام التحكم الثنائي للأذرع في العالم الحقيقي باستخدام أعمدة فقارية $\pi0$ و $\pi0.5$ .

RoboTwin2.0: حسن Key-Gram متوسط معدلات النجاح بنسبة 29.5% لـ $\pi0$ و9.9% لـ $\pi0.5$ . كانت المكاسب ملحوظة بشكل خاص في الإعدادات "الصعبة" (Hard) ومع الآفاق الزمنية الطويلة.
نقل LIBERO-Plus: في النقل من نوع zero-shot من النماذج المدربة على LIBERO إلى LIBERO-Plus (بدون ضبط دقيق لنطاق الهدف)، حقق Key-Gram زيادة نسبية قدرها 35.8% لـ $\pi0$ و4.5% لـ $\pi0.5$ .
مهام العالم الحقيقي طويلة الأمد: على منصة Piper ثنائية الأذرع، حسن Key-Gram متوسط الأداء بنسبة 15.4% ( $\pi0$ ) و8.1% ( $\pi0.5$ ). لوحظت أكبر المكاسب في مهام التجميع، مما يشير إلى أن الذاكرة تساعد في الحفاظ على علاقات الأشياء وهياكل الأهداف الفرعية.
مهام التوسع: في الاقترانات التركيبية غير المرئية (مثل إعادة دمج الأشياء والأهداف)، حسن Key-Gram الأداء بشكل كبير (على سبيل- المثال، +34.6% و+41.7% لـ $\pi0$ في مهام نقل محددة)، بينما فشلت النماذج الأساسية غالباً في سيناريوهات إعادة الدمج هذه.
دراسات الاستئصال (Ablation Studies): كشف تحليل وضع الطبقات أن حقن الذاكرة في الطبقات المبكرة (مثل الطبقة 1) هو الأكثر أهمية، مع تناقص العوائد في عمليات الحقن الأعمق. يدعم هذا الفرضية القائلة بأن الأولويات الخارجية تقلل من عبء التعليمات على العمود الفقري في مراحل مبكرة من عملية المعالجة.

الأهمية والادعاءات

يزعم البحث أن فصل استرجاع المعرفة العالمية من جانب اللغة عن الاستدلال الفيزيائي من جانب الرؤية يوفر انحيازاً استقرائياً (inductive bias) أكثر فعالية للذكاء المتجسد من دمج الرمونات الكثيف أو الشرط التوليدي الخشن.

يعالج Key-Gram التوتر بين المعرفة العالمية الثابتة والاستدلال الفيزيائي عبر الإنترنت من خلال معاملة اللغة كـ فهرس قابل للتوسع بدلاً من تدفق رموز متنافس. من خلال إخراج المعرفة إلى جدول ذاكرة نمطي، يسمح إطار العمل بـ:

نمو المعرفة النموذجي: يمكن إضافة معرفة جديدة كمدخلات جديدة دون الكتابة فوق الأوزان الموجودة.
الحماية من تداخل التدرج: تتم حماية الذاكرة الموجودة أثناء تكييف العمود الفقري، مما يجعل البنية متوافقة طبيعياً مع النشر في العالم المفتوح والتراكم المستمر.
التوسع الفعال: يسمما نمط البحث O(1) وفصل الذاكرة عن الحوسبة التعامل بكفاءة مع قواعد معرفة ضخمة دون زيادة التكلفة الحسابية للعمود الفقري البصري.

يخلص المؤلفون إلى أن هذا الاتجاه الخفيف والقابل للتوسع يوفر آلية عملية لتحسين التأسيس التركيبي والنقل في التحكم بالأجسام.