💻 computer science

Hierarchical Latent Action Model

تقدم هذه الورقة HiLAM، وهو نموذج عمل كامن هرمي يستفيد من مستخرج منخفض المستوى مدرب مسبقاً لتجميع الأنماط الديناميكية قصيرة المدى في مهارات كامنة عالية المستوى، مما يتيح اكتشاف سلوكيات ممتدة زمنياً من بيانات فيديو خالية من الأفعال.

المؤلفون الأصليون: Hanjung Kim, Lerrel Pinto, Seon Joo Kim

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hanjung Kim, Lerrel Pinto, Seon Joo Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية طهي وجبة معقدة، مثل اللازانيا.

المشكلة في الروبوتات الحالية
في الوقت الحالي، تتعلم معظم الروبوتات عن طريق مشاهدة فيديوهات لبشر يطبخون. ولكن هناك عقبة: لكي تتعلم بفعالية، يحتاج الروبوت عادةً إلى "سيناريو" يخبره بالضبط بما يجب فعله في كل ثانية (على سبيل المثال: "حرك اليد يساراً بمقدار 2 سم"، "أدر المقبض 15 درجة"). هذا يشبه محاولة تعلم لغة عن طريق حفظ كل حرف من كل كلمة. إنه أمر مكلف، وممل، ويصعب العثور على قدر كافٍ من البيانات له.

تحاول بعض الطرق الأحدث تعلم الأمر بمجرد مشاهدة الفيديو دون الحاجة إلى سيناريو. فهي تنظر إلى إطارين من الفيديو وتخمن: "ما هي الحركة الصغيرة التي حدثت بين هاتين الصورتين؟". هذا أمر رائع لتعلم الحركات الصغيرة والسريعة (مثل "أمسك الملعقة"). لكنه يفشل في فهم الصورة الكبيرة. فالروبوت يرى أنه يمسك الملعقة، ثم يقلب، ثم يصب، لكنه لا يفهم أن هذه الحركات الثلاث الصغيرة هي في الواقع مفهوم واحد كبير: "صنع الصلصة". إنه يفتقد إلى "قصة" الفعل.

الحل: HiLAM (الروبوت "محرر الأفلام")
قام مؤلفو هذه الورقة البحثية، HiLAM، ببناء نظام جديد يعمل كمحرر أفلام ذكي. فبدلاً من مجرد النظر إلى الإطارات الفردية، يشاهد الفيديو بأكمله ويفهم "المشاهد".

إليك كيف يعمل HiLAM، باستخدام تشبيه بسيط:

1. العقل ذو المستويين (الهرمي)

فكر في HiLAM كأنه يمتلك عقلين يعملان معاً:

العقل "المجهري" (المستوى المنخفض): هذا الجزء يشبه زر التقديم السريع. يشاهد الفيديو ويقسمه إلى حركات صغيرة جداً في أجزاء من الثانية. هو بارع جداً في رؤية كيف تتحرك اليد، لكنه لا يعرف لماذا.
العقل "الماكرو" (المستوى العالي): هذا هو السحر الجديد. يأخذ تلك الحركات الصغيرة ويجمعها في مهارات. يدرك قائلاً: "أوه، كل تلك الحركات الصغيرة لليد من الثانية 5 إلى الثانية 15 هي في الواقع مجرد مهارة واحدة كبيرة: رفع الوعاء".

2. "التقطيع الديناميكي" (القص الذكي)

تحاول معظم الأنظمة القديمة فرض طول ثابت لكل إجراء، مثل قطع الفيلم إلى مقاطع مدة كل منها 5 ثوانٍ. لكن الحياة الواقعية ليست كذلك. فأحياناً يستغرق "رفع الوعاء" ثانيتين؛ وأحياناً يستغرق 10 ثوانٍ إذا كان الوعاء زلقاً.

يستخدم HiLAM آلية خاصة تسمى التقطيع الديناميكي (Dynamic Chunking). تخيل محرر أفلام لا يستخدم مؤقتاً زمنياً، بل ينظر إلى الفعل نفسه.

إذا كان الروبوت جالساً دون حراك، يستمر المحرر في تشغيل المقطع.
في اللحظة التي يبدأ فيها الروبوت فعلاً جديداً ومتميزاً (مثل نقل الوعاء إلى مكان جديد)، يضغط المحرر على زر "قص" ويبدأ مشهداً جديداً.
وهذا يعني أن الروبوت يتعلم أن "المهارات" يمكن أن تكون قصيرة أو طويلة، اعتماداً على ما يحدث بالفعل.

3. التعلم من الأفلام "الصامتة"

الجزء الأفضل؟ HiLAM لا يحتاج إلى سيناريو. إنه يتعلم من فيديوهات "خالية من الأوامر" (actionless)—مجرد لقطات خام لبشر أو روبوتات تقوم بأشياء ما.

الخطوة 1: يشاهد الفيديو ويخترع "أفعالاً شبحية" خاصة به (أفعال كامنة) لتفسير الحركة بين الإطارات.
الخطوة 2: يستخدم "عقله الماكرو" لتجميع تلك الأفعال الشبحية في مهارات ذات معنى (مثل "الصب"، "التقليب"، "التقديم").
الخطوة 3: يتدرب على التنبؤ بما سيحدث بعد ذلك. إذا رأى الروبوت يبدأ في عملية "الصب"، فإنه يتنبأ بالإطارات المستقبلية للسائل وهو يخرج. إذا استطاع التنبؤ بالمستقبل، فهو يفهم المهارة حقاً.

4. النتيجة: متعلم أذكى وأسرع

عندما اختبر الباحثون هذا النظام على روبوت يتعلم القيام بمهام (مثل تحريك الأشياء حول طاولة)، كانت النتائج مبهرة:

بيانات أقل مطلوبة: لأن HiLAM فهم مهارات "الصورة الكبيرة"، فقد احتاج إلى عدد أقل بكثير من الأمثلة لتعلم مهمة جديدة. كان الأمر أشبه بتعلم وصفة من خلال فهم الخطوات بدلاً من حفظ كل مقدار للمكونات.
أفضل في المهام الطويلة: كان أفضل بكثير في المهام المعقدة متعددة الخطوات (مثل "تنظيف المطبخ بالكامل") لأنه استطاع تقسيمها إلى أجزاء منطقية (غسل الأطباق -> تجفيف الأطباق -> وضعها في مكانها).
القابلية للتفسير: يمكنك فعلياً رؤية ما يعتقده الروبوت بشأن "المهارات". إذا طلبت منه "ارفع الوعاء"، فهو يعرف بالضبط أي جزء من الفيديو يتوافق مع تلك المهارة.

الخلا الخلاصة

HiLAM يشبه تعليم روبوت كيفية مشاهدة فيلم وفهم حبكته، بدلاً من مجرد حفظ الرسوم المتحركة إطاراً تلو الآخر. من خلال اكتشاف كيفية تجميع الحركات الصغيرة في مهارات كبيرة وذات معنى بمفرده، يمكنه تعلم مهام جديدة بشكل أسرع وأكثر كفاءة من ذي قبل، حتى بدون معلم بشري يعطيه دليلاً خطوة بخطوة.

إليك ملخص تقني مفصل لورقة البحث "HiLAM: Hierarchical Latent Action Model" المنشورة كبحث في ورشة عمل ضمن مؤتمر ICLR 2026.

1. بيان المشكلة

التحدي:
يعتمد تعلم الروبوتات بشكل متزايد على البيانات واسعة النطاق، لكن الحصول على بيانات مصحوبة بملصقات الأفعال (action-labeled data) أمر مكلف ويحد من تنوع مجموعات البيانات. وقد ظهرت نماذج الأفعال الكامنة (Latent Action Models - LAMs) لاستنتاج الأفعال من البيانات القائمة على الملاحظة فقط (البيانات الخالية من الأفعال) عبر نمذجة انتقالات الإطارات. ومع ذلك، تعاني نماذج LAM الحالية من قصورين حرجين:

التركيز على الأفق القصير: فهي تلتقط عادةً ديناميكيات الحركة منخفضة المستوى وقصيرة المدى فقط.
تمثيل المهارات الجامد: غالبًا ما تفشل في التقاط المهارات عالية المستوى الممتدة زمنيًا. وتعتمد الطرق الحالية إما على نوافذ مهارات ذات طول ثابت (مما لا يتوافق مع سرعات التنفيذ المتغيرة في العالم الحقيقي) أو تعتمد على مجموعات مهارات وتعليمات لغوية محددة مسبقًا، مما يحد من المرونة والاكتشاف الديناميكي.

الهدف:
تطوير طريقة يمكنها تلقائيًا اكتشاف وتشفير مهارات كامنة عالية المستوى من فيديوهات غير موسومة، دون الحاجة إلى ملصقات أفعال، أو مجموعات مهارات محددة، أو نوافذ زمنية ثابتة، مع الحفاظ على خصائص الحركة الديناميكية اللازمة للتحكم.

2. المنهجية: HiLAM

يقترح المؤلفون HiLAM، وهو نموذج فعل كامن هرمي يتعلم تسلسلًا من التمثيلات من الأفعال الكامنة منخفضة المستوى إلى المهارات الكامنة عالية المستوى. يعمل الإطار عبر مرحلتين رئيسيتين: تعلم المهارة الكامنة وتعلم السياسة الهرمية.

أ. البنية الأساسية والآليات

استخراج الفعل الكامن منخفض المستوى:
- يستخدم HiLAM نموذج ديناميكيات عكسي (IDM) مدرب مسبقًا (بناءً على UniSkill) لاستخراج تسلسل من الأفعال الكامنة منخفضة المستوى ( $z^l$ ) من فيديوهات تعتمد على الملاحظة فقط. يستنتج الـ IDM "الفعل" المطلوب للانتقال بين الإطارات $I_t$ و $I_{t+k}$ .
التقطيع الديناميكي (تكامل H-Net):
- لتحويل الأفعال الكامنة منخفضة المستوى إلى مهارات عالية المستوى، يتبنى HiLAM بنية H-Net.
- الآلية: بدلاً من النوافذ الثابتة، يستخدم H-Net آلية تقطيع ديناميكية. يقوم بالتنبؤ بمؤشرات الحدود ( $b_t$ ) لكل رمز (token) بناءً على عدم تشابه الميزات. إذا كانت الرموز المتتالية غير متشابهة، يتم التنبؤ بحدود ( $b_t=1$ )، مما يحدد بداية مقطع مهارة جديد.
- الهرمية: يسمح هذا للنموذج بتقسيم المسارات ذات الأطوال المتغيرة تلقائيًا إلى قطع ذات معنى. يتم تقليل عينات هذه القطع (downsampling) لتشكيل تمثيلات أعلى مستوى ( $z^s$ )، مما يخلق هرمية حيث تلتقط الطبقات الأعمق سياقات زمنية أطول.
أهداف التدريب:
يتم تدريب النموذج باستخدام مزيج مرجح من ثلاثة خسائر (losses):
- التنبؤ باللا-توالي التالي ( $L_{latent}$ ): التنبؤ برمز الفعل الكامن التالي (مهمة التنبؤ بالرمز التالي).
- إعادة بناء المرئيات ( $L_{rec}$ ): يقوم نموذج ديناميكيات أمامي (FDM) مدرب مسبقًا بالتنبؤ بالإطارات المستقبلية مشروطة بالأفعال الكامنة المتوقعة. يضمن هذا احتفاظ الفضاء الكامن بخصائص ديناميكية "شبيهة بالأفعال" (أي أن الفعل الكامن يسبب حركة فعلية).
- منظم التقطيع ( $L_{ratio}$ ): يمنع أنماط الحدود المتدهورة ويتحكم في متوسط طول القطعة.

ب. إطار تعلم السياسة

بمجرد تعلم المهارات الكامنة، يتم تدريب سياسة هرمية على مرحلتين:

التدريب المسبق (البيانات الخالية من الأفعال):
- السياسة عالية المستوى ( $\pi_h$ ): تتنبأ بمهارة كامنة مستهدفة ( $z^h$ ) بناءً على الملاحظة الحالية وتعليمة المهمة.
- السياسة منخفضة المستوى ( $\pi_l$ ): تتنبأ بالفعل الكامن منخفض المستوى المقابل ( $z^l$ ) بناءً على الملاحظة والمهارة الكامنة المتوقعة.
- ملاحظة: يتم تدريب كلتا السياستين باستخدام الملصقات الزائفة (المهارات/الأفعال الكامنة) المستخرجة من فيديوهات متنوعة (بشرية أو روبوتية) خالية من الأفعال.
الضبط الدقيق (المجال المستهدف):
- يتم تجميد السياسة عالية المستوى.
- يتم ضبط السياسة منخفضة المستوى بدقة على مجال مستهدف باستخدام الأفعال الحقيقية لربط فضاء الفعل الكامن بفضاء فعل الروبوت الحقيقي.

3. المساهمات الرئيسية

نموذج الفعل الكامن الهرمي (HiLAM): بنية مبتكرة تجسر الفجوة بين الحركة منخفضة المستوى والمهارات عالية المستوى باستخدام آلية تقطيع ديناميكية قائمة على البيانات.
اكتشاف المهارات المتكيف مع الطول: على عكس الأعمال السابقة التي تفرض المهارات في نوافذ ثابتة الطول، يقوم HiLAM بتقسيم المسارات تلقائيًا بناءً على ديناميكيات الحركة، مما يستوعب سرعات التنفيذ ومدد المهام المتغيرة.
التدريب المسبق بدون أفعال: يثبت أن المهارات عالية المستوى يمكن تعلمها بفعالية من فيديوهات تعتمد على الملاحظة فقط دون الحاجة إلى مجموعات مهارات أو تسميات لغوية محددة، وذلك بالاستفادة من البنية الديناميكية للفيديو نفسه.
الحفاظ على الديناميكيات: من خلال دمج نموذج ديناميكيات أمامي في حلقة التدريب، يضمن HiLAM أن المهارات الكامنة المكتشفة ليست مجرد تجمعات دلالية بل تحتفظ بخصائص الحركة الفيزيائية المطلوبة للتحكم.

4. النتائج التجريبية

قام المؤلفون بتقييم HiLAM على معيار LIBERO (مجموعة من مهام التلاعب الروبوتية طويلة الأمد).

الأداء مقابل النماذج المرجعية:
- تفوق HiLAM باستمرار على النموذج المرجعي BAKU في جميع المجموعات الأربع (Spatial, Object, Goal, Long).
- في مهمة LIBERO-Long (مهام متعددة المراحل وطويلة الأمد)، حقق HiLAM نسبة نجاح بلغت 94% مع البيانات الكاملة، متفوقًا بشكل كبير على BAKU.
كفاءة البيانات:
- أظهر HiLAM كفاءة ملحو-ظة في استخدام البيانات. فباستخدام 10% فقط من العروض الخبيرة للضبط الدقيق، حقق HiLAM نسبة نجاح بلغت 45%، وهو ما يقرب من ضعف نسبة BAKU التي بلغت 23%.
- مع 50% من العروض، حقق HiTAM أداء يماثل أداء BAKU المدرب على 100% من البيانات.
دراسات الاستئصال (Ablation Studies):
- بيانات التدريب المسبق: أدى التدريب المسبق على الفيديوهات البشرية (Something-Something V2) إلى نتائج أفضل من فيديوهات الروبوت، مما يشير إلى أن الحركة البشرية توفر أولويات مهارية أغنى.
- عمق الهرمية: استخدام تمثيل المرحلة الثانية ( $s=2$ ) للمهارات والمرحلة صفر للأفعال أعطى أفضل أداء، مما يؤكد فائدة التجريد الزمني الأعمق.
- ضرورة الهرمية: أدت السياسات المسطحة (Flat policies) التي تستخدم الأفعال الكامنة إلى أداء أسوأ من النهج الهرمي، مما يثبت قيمة تجريد المهارة.
التحليل النوعي:
- التقطيع الديناميكي: أظهرت التصورات أن HiLAM حدد الحدود الدلالية بشكل صحيح (مثل الفصل بين "التحرك نحو الوعاء"، "الإمساك به"، و"وضعه") دون أي تسميات.
- التنبؤ المستقبلي: نجح النموذج في التنبؤ بالإطارات المستقبلية من الأفعال الكامنة المتوقعة، مما يؤكد أن الفضاء الكامن يلتقط ديناميكيات حركة صالحة.

5. الأهمية والتوجهات المستقبلية

الأهمية:
يعالج HiLAM عقبة حرجة في تعلم الروبوتات وهي ندرة البيانات المصحوبة بملامات الأفعال. ومن خلال استخراج المهارات عالية المستوى بفعالية من كميات هائلة من الفيديوهات غير الموسومة، فإنه يتيح تعلم نقل فعال للبيانات. إن القدرة على اكتشاف المهارات ديناميكيًا (بدون نوافذ ثابتة) تجعل النهج قويًا تجاه الاختلافات في سرعة تنفيذ المهام وأسلوبها في العالم الحقيقي.

القيود والعمل المستقبلي:

المحاكاة مقابل الواقع: أُجريت التجارب بشكل أساسي في بيئات محاكاة (LIBERO). هناك حاجة للتحقق في العالم الحقيقي.
التكامل اللغوي: يعتمد النموذج حاليًا على إشارات الحركة. يقترح المؤلفون أن الجمع بين نمذجة الفعل الكامن الهرمي والتعليمات اللغوية الطبيعية يمكن أن يخلق تآزرًا مكملًا، مما يعزز القدرة على التعميم للمهام المعقدة.
التدريب من البداية للنهاية (End-to-End): يعتمد النهج الحالي على نموذج IDM مدرب مسبقًا. يمكن للعمل المستقبلي استكشاف تدريب البنية بأكملها من البداية للنهاية لتحقيق فهم مشترك أعمق للحركة والمهارات.