💻 computer science

HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

تقدم الورقة البحثية إطار عمل HAMLET، وهو إطار عمل قابل للتوسع يعزز نماذج الرؤية واللغة والعمل (Vision-Language-Action) من خلال دمج رموز لحظات التباين الزمني ووحدة ذاكرة خفيفة الوزن للاستفادة بفعالية من السياق التاريخي، مما يحسن بشكل كبير أداء التلاعب الروبوتي في المهام طويلة المدى والمهام المعتمدة على التاريخ.

المؤلفون الأصليون: Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا القيام بالأعمال المنزلية، مثل صنع شطيرة أو ترتيب غرفة. تعطي الروبوت كاميرا وأمرًا صوتيًا: "ضع التفاحة في الوعاء".

تعمل معظم عقول الروبوتات الحالية (التي تسمى نماذج الرؤية واللغة والعمل أو VLAs) بشكل يشبه سمكة ذهبية ذات ذاكرة قصيرة جدًا. فهي ترى فقط الصورة الدقيقة التي تراها في هذه اللحظة بالذات. هي لا تتذكر ما حدث قبل ثانية واحدة.

هذا يسبب مشاكل. إذا التقط الروبوت التفاحة، ثم وضعها، ثم تغيرت زاوية الكاميرا فاختفت التفاحة خلف كوب، سيهلع الروبوت. سيرى كوبًا وطاولة، لكنه لن يرى التفاحة. سينسى أنه قال لنفسه: "مهلًا، لقد كنت أمسك تلك التفاحة للتو!"، وقد يحاول التقاط الكوب بدلاً من ذلك، أو يتوقف عن العمل تمامًا.

يقدم البحث الذي شاركته نظامًا جديدًا يسمى HAMLET. فكر في HAMLET كأنه يعطي الروبوت مذكرات ذكية وقلم تحديد (هايلايتر).

إليك كيف يعمل، مقسمًا إلى مفاهيم بسيطة:

1. المشكلة: الروبوت "السمكة الذهبية"

الروبوتات الحالية تشبه الأشخاص الذين يحاولون حل لغز وهم يرتدون عصبة على أعينهم. هم يرون الإطار الحالي فقط.

التشبيه: تخيل أنك تلعب لعبة "سيمون يقول" ولكن لا يمكنك سماع سوى التعليمات الحالية وليس لديك أي ذاكرة للتعليمات السابقة. إذا قال سيمون: "المس أنفك، ثم المس أصابع قدميك"، وأنت لم تسمع سوى "المس أصابع قدميك"، فقد تلمس أصابع قدميك بينما لا يزال أنفك في الهواء، أو قد تنسى أنه كان عليك لمس أنفك أولاً.
النتيجة: تفشل الروبوتات في المهام الطويلة (مثل "التقط الكوب، وانقله إلى الطاولة، ثم ضع كتابًا فوقه") لأنها تنسى الخطوات المتوسطة.

2. الحل: HAMLET (المذكرات الذكية)

لا يجبر HAMLET الروبوت على إعادة تعلم كل شيء من الصفر (وهو أمر بطيء ومكلف). بدلاً من ذلك، يضيف أداتين ذكيتين إلى عقل الروبوت الحالي:

أ. رموز اللحظة (الـ "هايلايتر")

في كل مرة يلتقط فيها الروبوت صورة، فإنه ينشئ ملاحظة صغيرة وموجزة تسمى رمز اللحظة (Moment Token).

كيف يعمل: بدلاً من حفظ الصورة الكاملة عالية الدقة والمبهمة (التي تستهلك مساحة كبيرة جدًا)، يستخدم الروبوت "قلم تحديد" خاصًا لتمييز الأشياء المهمة فقط في تلك اللحظة الخاطفة.
السحر: يتم تدريب الروبوت على تجاهل الأشياء المملة والثابتة (مثل الجدار أو الطاولة) وتحديد الأشياء التي تتغير أو تهم فقط (مثل حركة الملقط أو رفع الكوب).
التشبيه: تخيل قراءة رواية طويلة. بدلاً من تصوير كل صفحة ضوئياً لتذكر القصة، تقوم فقط بكتابة ملخص من جملة واحدة على ورقة ملاحظات لاصقة لكل فصل. "الفصل الأول: البطل يدخل الكهف". "الفصل الثاني: البطل يجد سيفًا".

ب. وحدة الذاكرة (الـ "مذكرات")

يتم تغذية هذه "الملاحظات اللاصقة" (رموز اللحظة) في وحدة ذاكرة (Memory Module).

كيف تعمل: هذه الوحدة تشبه أمين مكتبة ذكي. هي لا تكتفي بتكديس الملاحظات في كومة. بل تنظر إلى الموقف الحالي وتسأل: "أي من ملاحظاتي الماضية مفيدة حقًا الآن؟".
السحر: إذا كان الروبوت مرتبكًا بشأن مكان الكوب، تقول وحدة الذاكرة: "هيا، انظر إلى الملاحظة من قبل 5 ثوانٍ! كان ذلك عندما رأينا الكوب الأزرق". إنها تسحب تلك الذاكرة المحددة للمساعدة في اتخاذ القرار التالي.
التشبيه: الأمر يشبه إجراء محادثة مع صديق لديه ذاكرة مثالية. تقول له: "أظن أنني فقدت مفاتيحي". فيرد صديقك (وحدة الذاكرة): "انتظر، أتذكر أنك وضعتها على المنضدة عندما دخلت". أنت لم تكن بحاجة لتذكر كل شيء؛ صديقك فقط أعطاك المعلومة الصحيحة في الوقت المناسب.

3. لماذا هذا أفضل من مجرد عرض المزيد من الصور للروبوت؟

قد تفكر: "لماذا لا نظهر للروبوت آخر 10 صور حتى يتمكن من رؤية التاريخ؟"

الطريقة القديمة (متعددة الإطارات): هذا يشبه محاولة قراءة 10 صفحات من كتاب في وقت واحد عن طريق تضييق عينيك. إنها عملية ثقيلة، بطيئة، ويصاب الروبوت فيها بالارتباك بسبب الكثير من الضجيج البصري. إنها تبطئ عقل الروبوت وتستهلك الكثير من ذاكرة الكمبيوتر.
طريقة HAMLET: هذه تشبه قراءة ملخصات الملاحظات. إنها خفيفة وسريعة. الروبوت يحمل فقط "جوهر" الماضي، وليس البيانات الخام. إنه مثل حمل مذكرات جيب بدلاً من مكتبة كاملة.

4. النتائج: من التعثر إلى الكفاءة

اختبر الباحثون HAMLET على روبوتات حقيقية تقوم بمهام صعبة، مثل:

التغطية والتكديس: تغطية مكعب بكوب، ثم تكديس كوب آخر فوقه.
تبديل المكعبات: نقل مكعبين حول بعضهما بترتيب معين.

النتيجة:

بدون HAMLET، كان الروبوت غالبًا ما يرتبك، أو يسقط الأشياء، أو يحرك الشيء الخطأ.
مع HAMLET، أصبح الروبوت بمثابة طباخ ماهر في الأعمال المنزلية. في أحد الاختبارات، قفز معدل النجاح من 29% إلى 76%. هذا يشبه الانتقال من الفشل في اختبار القيادة ثلاث مرات من أصل أربع إلى النجاح في كل مرة تقريبًا.

الخلاصة الكبرى

HAMLET هو "ترقية قابلة للإضافة". لا تحتاج إلى إعادة بناء عقل الروبوت أو تعليمه من الصفر. أنت فقط تعطيه نظام ذاكرة ذكي يعرف كيفية تلخيص الماضي واستدعاء التفاصيل الصحيحة عند الحاجة.

إنه يحول الروبوت الذي يعيش فقط في "الآن" إلى روبوت يفهم "قصة" ما يفعله، مما يجعله أفضل بكثير في المهام المعقدة وطويلة الأمد.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "HAMLET: تحويل نموذج الرؤية واللغة والعمل (VLA) الخاص بك إلى سياسة مدركة للتاريخ."

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLA) واعدية في التحكم الروبوتي من خلال الاستفادة من نماذج الرؤية واللغة (VLMs) الضخمة والمدربة مسبقاً. ومع ذلك، تعمل معظم نماذج VLA الحالية تحت افتراض الإطار الواحد، حيث تتنبأ بالأفعال بناءً على الملاحظة الحالية ( $o_t$ ) فقط.

يواجه هذا النهج قيوداً حرجة:

الاعتماد على التاريخ: مهام التلاعب الروبوتي هي مهام غير ماركوفية (non-Markovian) بطبيعتها. فالقرارات غالباً ما تعتمد على السياق الماضي (على سبيل المثال، ما إذا كان الجسم قد تم الإمساك به بالفعل، أو ما إذا كان محجوباً حالياً).
التكلفة الحسابية للحلول البدائية: مجرد إلحاق عدة إطارات سابقة بمدخلات الـ VLA (نهج الإطارات المتعددة) يتسبب في عبء حسابي هائل. تشير الورقة إلى أن إضافة أربعة إطارات سابقة فقط تزيد من زمن الاستجابة (latency) بنسبة ~35% واستهلاك ذروة الذاكرة بنسبة ~3.6 ضعف، مما يحد بشدة من القدرة على التوسع وحجم الدفعات (batch sizes).
الارتباك السببي (Causal Confusion): يمكن للمدخلات متعددة الإطارات البدائية أن تؤدي إلى ارتباطات زمنية زائفة، مما يتسبب في فشل النموذج في البيئات الديناميكية.

سؤال البحث الجوهري هو: كيف يمكننا دمج الإدراك بالتاريخ في نماذج VLA المدربة مسبقاً دون إعادة تدريب مكلفة من الصفر أو تكلفة حسابية باهظة؟

2. المنهجية: HAMLET

يقترح المؤلفون HAMLET (الذاكرة المدركة للتاريخ باستخدام الرموز المتعلمة - History-Aware Memory with LEarned Tokens)، وهو إطار عمل للضبط الدقيق (fine-tuning) يعمل كإضافة (plug-in) لتحويل نماذج VLA المدربة مسبقاً إلى سياسات مدركة للتاريخ. ويتكون من مكونين رئيسيين:

أ. رموز اللحظة (ضغط السياق)

بدلاً من تخزين الصور الماضية الخام، يقوم HAMLET بضغط المعلومات الإدراكية لكل خطوة زمنية في تمثيل مضغوط يسمى رموز اللحظة ( $m_t$ ).

الآلية: في كل خطوة زمنية $t$ ، يتم إلحاق مجموعة من الرموز القابلة للتعلم بمدخلات الـ VLM جنباً إلى جنب مع الملاحظة الحالية وتعليمات المهمة.
التهيئة عبر التعلم التبايني للزمن (TCL): لضمان أن هذه الرموز تلتقط ميزات مميزة زمنياً بدلاً من ضوضاء الخلفية الساكنة، يتم تهيئتها باستخدام هدف تعلم تبايني.
- الأزواج الموجبة: رؤى معززة لنفس الخطوة الزمنية.
  ضاء الأزواج السالبة: رؤى من خطوات زمنية مختلفة ضمن نفس المسار.
- الهدف: هذا يجبر الرموز على التوافق مع التمثيلات من نفس اللحظة مع البقاء متمايزة عبر الزمن، مما يؤدي فعلياً إلى تصفية الخلفيات الساكنة والتركيز على الديناميكيات ذات الصلة بالمهمة.

ب. وحدة ذاكرة خفيفة الوزن

تقوم وحدة Transformer خفيفة الوزن بتجميع رموز اللحظة هذه عبر الزمن لإنشاء شرط مدرك للتاريخ للتنبؤ بالعمل.

البنية: يستخدم Transformer ضحل (طبقتان) آلية الانتباه الذاتي السببي (causal self-attention) لمعالجة كومة من رموز اللحظة الأخيرة ( $m'_{t-k(T-1)} \dots m'_t$ ).
الانتباه الانتقائي: على عكس عملية الدمج البسيطة (التي توضح الورقة أنها غير مثالية)، تتعلم هذه الوحدة الانتباه بشكل انتقائي إلى الخطوات الزمنية الماضية المعلوماتية مع تجاهل الخطوات غير ذات الصلة.
التكامل: يتم دمج مخرج وحدة الذاكرة (ميزة معززة بالتاريخ $\tilde{m}'_t$ ) مع الحالة المخفية الحالية للـ VLM ( $h_t$ ) وتغذيتها إلى خبير العمل (مثل رأس الانتشار/Diffusion head) للتنبؤ بالكتلة التالية من الأفعال.

3. المساهمات الرئيسية

تصميم إطار العمل: تقديم HAMLET، وهو إطار عمل قابل للدمج بسهولة، يتيح لنماذج VLA المدربة مسبقاً الاستفادة من السياق التاريخي دون الحاجة لإعادة تدريب الهيكل الأساسي من الصفر.
آلية الرموز المبتكرة: اقتراح رموز اللحظة المهيأة باستخدام التعلم التبايني للزمن لضغط المعلومات الزمنية بكفاءة، مما يقلل من الحشو الساكن.
بنية ذاكرة فعالة: تصميم وحدة ذاكرة تعتمد على Transformer خفيف الوزن تجمع الإشارات التاريخية بشكل انتقائي، متجنبة الانفجار الحسابي لمدخلات الإطارات المتعددة.
التحقق التجريبي: إثبات المكاسب الكبيرة في الأداء عبر مختلف الاختبارات المعيارية في العالم الحقيقي والمحاكاة، مما يثبت قدرة الطريقة على التعميم عبر مختلف ركائز VLA (مثل GR00T و CogACT).

4. النتائج التجريبية

المهام الواقعية (المعتمدة على التاريخ)

تم التقييم على ثلاث مهام طويلة المدى تتطلب الاستدلال على المسارات الماضية (الالتقاط والوضع مرتين، التغطية والتكديس، تبديل المكعبات) باستخدام ركيزة GR00T N1.5.

الأداء: حقق HAMLET متوسط معدل نجاح قدره 76.4%، متفوقاً على خط الأساس GR00T N1.5 (29.2%) بنسبة 47.2%.
المقارنة: تفوق بشكل كبير على خط الأساس "الإطارات المتعددة" (Multi-frame) الذي بلغت نسبته 45.8%، والذي عانى من مشاية الحجب وعدم وضوح الحالة.
الجانب النوعي: أظهرت التصورات أن HAMLET حدد بشكل صحيح الأجسام المحجوبة واسترجع الخطوات السابقة (مثل "المكعب الأزرق كان على اليمين")، بينما فشل خط الأساس في التعافي من الأخطاء.

الاختبارات المعيارية للمحاكاة

RoboCasa Kitchen (100 عرض توضيحي): حسن HAMLET معدلات النجاح من 64.1% (خط الأساس) إلى 66.4%.
LIBERO: دفع بمستوى الأداء من 95.6% إلى 97.6% (أداء يقترب من التشبع).
SimplerEnv-Bridge (CogACT): حسن متوسط معدل النجاح من 52.1% إلى 63.5%.

تحليل الكفاءة

زمن الاستجلة والذاكرة: يحافظ HAMLET على كفاءة قريبة من الإطار الواحد.
- عند طول تاريخ قدره 8، زاد خط الأساس "الإطارات المتعددة" زمن الاستجابة بمقدار 2.4× والذاكرة بمقدار 7×.
- زاد HAMLET زمن الاستجابة بمقدار 1.07× فقط والذاكرة بمقدار 2.0×.
القابلية للنقل: نجحت وحدة الذاكرة التي تم تدريبها على مجموعة بيانات واحدة (LIBERO) في الانتقال إلى أخرى (RoboCasa) مع انخفاض طفيف في الأداء، مما يشير إلى أن التمثيلات المتعلمة قابلة للتعميم.

5. الأهمية

يعالج HAMLET عقبة أساسية في التعلم الروبوتي: المقايضة بين الوعي بالسياق والكفاءة الحسابية.

القابلية للتوسع: من خلال ضغط التاريخ في رموز قابلة للتعلم واستخدام وحدة ذاكرة خفيفة الوزن، فإنه يسمح لنماذج VLA المتطورة بالتعامل مع المهام طويلة المدى وغير الماركوفية دون التكلفة الباهظة لمعالجة إطارات الفيديو الخام.
جاهزية التشغيل (Plug-and-Play): لا يتطلب إطار العمل التدريب المسبق من الصفر؛ حيث يمكن تطبيقه على نماذج VLA الموجودة (سواء كانت قائمة على الانتشار أو التوليد التلقائي) عبر الضبط الدقيق.
الأثر العملي: تشير النتائج إلى أن تمكين "الإدراك بالتاريخ" أمر بالغ الأهمية لنشر الروبوتات بشكل موثوق في العالم الحقيقي، خاصة للمهام التي تتضمن الحجب، والاستدلال متعدد الخطوات، والتعافي من حالات الفشل.

في الختام، يوفر HAMLET مساراً قابلاً للتوسع، وفعالاً، وفعالاً لترقية نماذج الرؤية واللغة والعمل الحالية إلى سياسات مدركة للتاريخ قادرة على معالقة مهام التلاعب الروبوتي المعقدة وطويلة المدى.