Observer-Actor: Active Vision Imitation Learning with Sparse-View Gaussian Splatting
تقدم الورقة البحثية "المراقب-المؤدي" (ObAct)، وهو إطار عمل جديد للرؤية النشطة في تعلم التقليد للروبوتات ثنائية الأذرع، والذي يقوم ديناميكياً بتعيين ذراع واحدة لبناء تمثيل "Gaussian Splatting" ثلاثي الأبعاد وتحديد زوايا الرؤية المثلى للذراع الأخرى، مما يعزز بشكل كبير من قوة الأداء وكفاءة السياسة من خلال تقليل حالات الحجب مقارنة بإعدادات الكاميرا الثابتة.
المؤلفون الأصليون:Yilong Wang, Cheng Qian, Ruomeng Fan, Edward Johns
تخيل أنك تحاول تعليم روبوت كيفية التقاط كوب من مقبضه. قمت بإرشاده لكيفية القيام بذلك مرة واحدة، ثم طلبت من الروبوت أن يفعل ذلك مرة أخرى.
المشكلة: فخ "الزاوية السيئة" في معظم إعدادات الروبوتات، تكون الكاميرا ثابتة في مكان واحد (مثل كاميرا مراقبة مثبتة على الجدار) أو ملتصقة بمعصم الروبوت.
كاميرا الجدار: ترى الغرفة بأكملها، ولكن إذا حجب ذراع الروبوت الرؤية عن مقبض الكوب، يصبح الروبوت أعمى. الأمر يشبه محاولة قراءة كتاب بينما يضع شخص ما يده أمام الصفحة باستمرار.
كاميرا المعصم: هي قريبة جداً، لكن رؤيتها ضيقة للغاية. إذا حرك الروبوت ذراعه، تتحرك الكاميرا معه، وغالباً ما تخفي الشيء الذي يحتاج لرؤيته.
إذا لم يستطع الروبوت رؤية المقبض بوضوح، فسوف يفشل.
الحل: فريق "المراقب-المؤدي" تقدم هذه الورقة نظاماً جديداً يسمى ObAct (المراقب-المؤدي). بدلاً من قيام روبوت واحد بكل شيء، يتم تقسيم المهمة إلى دورين، مثل المخرج والممثل في موقع تصوير سينمائي.
المراقب (المخرج): هذا الذراع الروبوتي لا يلمس الكوب. مهمته الوحيدة هي النظر حوله، وإيجاد الزاوية المثالية لرؤية مقبض الكوب، وتحريك كاميرته إلى ذلك الموقع. إنه يعمل كمصور يعرف بالضبط أين يقف للحصول على أفضل لقطة دون أن يعيق الممثل العدسة.
المؤدي (الممثل): هذا الذراع الروبوتي ينتظر المخرج حتى يحصل على اللقطة المثالية. وبمجرد أن يقول المخرج: "حسناً، أنا في موقعي، والمقبض مرئي تماماً"، يتحرك المؤدي للإمساك بالكوب.
الخدعة السحرية: "النظارات السحرية ثلاثية الأبعاد" (Gaussian Splatting) كيف يعرف المراقب أين يقف؟ هو لا يخمن فحسب.
الإعداد: تلتقط كلتا الروبوتين بضع صور للمشهد من زوايا مختلفة (مثل التقاط صورة بانورامية سريعة 360 درجة بهاتفك).
إعادة البناء: باستخدام تقنية رائعة تسمى 3D Gaussian Splatting، يقوم الكمبيوتر فوراً ببناء "توأم رقمي" للمشهد ثلاثي الأبعاد. فكر في الأمر كبناء نموذج "ليغو" افتراضي للغرفة في ثوانٍ معدودة.
المحاكاة: يقوم الروبوت المراقب "بتحليق" كاميرته افتراضياً حول نموذج الليغو الرقمي هذا. ويسأل نفسه: "إذا وقفت هنا، هل يمكنني رؤية المقبض؟ إذا وقفت هناك، هل سيحجب ذراعي الرؤية؟"
القرار: يجد البقعة التي يكون فيها المقبض واضحاً تماماً ولا يوجد فيها أي عائق للرؤية، ثم يتحرك فيزيائياً بكاميرته إلى ذلك الموقع بالضبط في العالم الحقيقي.
لماذا يعد هذا أمراً هاماً اختبر الباحثون هذا النظام على خمس مهام مختلفة، مثل التقاط الأكواب، وطرق المسامير، وفتح الأدراج. وقارنوا فريقهم "المخرج-المؤدي" بالروبوتات ذات الكاميرات الثابتة.
بدون وجود عوائق (لا يوجد حجب للرؤية): كان الأسلوب الجديد أفضل بنسبة 145% في نقل المسار (نسخ الحركة) وأفضل بنسبة 75% في التعلم من الصفر.
مع وجود عوائق (أشياء تحجب الرؤية): هنا تظهر براعته. عندما كانت الأشياء مخفية أو يصعب رؤيتها، كان الأسلوب الجديد أفضل بنسبة 233% في نسخ الحركات وأفضل بنسبة 143% في التعلم.
القوة الخارقة "ثنائية المهارة" عادةً، إذا دربت روبوتاً بكاميرا على اليسار، فإنه يرتبك إذا كانت الكاميرا على اليمين. ولكن لأن هذا النظام يجد دائماً أفضل عرض للمهمة، يمكن للروبوت تعلم مهارة ما مرة واحدة ثم تنفيذها حتى لو تغيرت زاوية الكاميرا، أو إذا تبادلت الأذرع أدوارها. إنه يشبه الموسيقي الذي يمكنه عزف أغنية بشكل مثالي سواء كان جالساً في الصف الأمامي أو في الصف الخلفي من قاعة الحفل.
باختصار تعلم هذه الورقة الروبوتات كيف تكون ذكية بشأن أين تنظر. بدلاً من الوصول بعشوائية بكاميرا ملتصقة بمعصمها، فإنها ترسل "كشافاً" لإيجاد نقطة مراقبة مثالية، مما يضمن للمؤدي رؤية واضحة وغير محجوبة قبل أن يحاول القيام بالمهمة. إنها تحول المحاولة المتعثرة والعمياء إلى عملية دقيقة وموجهة.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "المراقب-الفاعل: تعلم تقليد الرؤية النشطة باستخدام التشتت الغاوسي لعدد قليل من المشاهد (Sparse-View Gaussian Splatting)."
1. بيان المشكلة
تعتمد طرق تعلم التقليد (IL) الحالية للروبوتات بشكل أساسي على كاميرات ثابتة أو كاميرات مثبتة على المعصم. تواجه هذه الإعدادات قيوداً كبيرة:
الكاميرات الثابتة: غالباً ما توضع في مواضع غير مرتبطة بالمهمة، مما يؤدي إلى ضعف رؤية الميزات الحرجة للمهمة (مثل مقابض الأكواب، أو داخل الأدراج) بسبب الحجب الذاتي، أو حجب الروبوت، أو الفوضى البيئية. وبمجرد تدريبها، لا يمكنها التكيف مع تكوينات الأشياء الجديدة.
الكاميرات المثبتة على المعصم: توفر مرونة ولكنها تعاني من وعي عالمي محدود ومجالات رؤية ضيقة.
الرؤية النشطة الحالية: تتطلب النهج السابقة غالباً ذراع رؤية نشطة مخصصة يتم تدريبها بشكل منفصل عبر التحكم عن بُعد (Teleoperation) أو التعلم التعزيزي. وهذا يحد من فائدة الروبوت (لا يمكن للذراع القيام بالمعالجة) ويتطلب بيانات تجريبية بشرية مكثفة لسياسة الإدراك نفسها.
التحدي الجوهري هو تمكين نظام روبوتي ثنائي الأذرع من اختيار زوايا الرؤية المثلى ديناميكياً في وقت الاختبار لتقليل الحجب وتعظيم رؤية الميزات، دون الحاجة إلى سياسة رؤية نشطة مدربة بشكل منفصل أو تجارب بشرية جديدة واسعة النطاق.
2. المنهجية: إطار عمل ObAct
يقترح المؤلفون إطار عمل ObAct (المراقب-الفاعل)، حيث يعمل أحد الأذرع كـ مراقب (Observer) لحساب والتحرك إلى الزاوية المثلى، بينما يعمل الآخر كـ فاعل (Actor) لتنفيذ المهمة. يعمل النظام في مرحلتين:
أ. مرحلة التدريب
جمع العينات التجريبية: يختار المشغل "زاوية العرض المثلى للتجربة" (vdemo∗) التي تزيد من وضوح الميزات ذات الصلة بالمهمة وتقلل الحجب.
تسجيل البيانات: يتم وضع ذراع المراقب عند هذه الزاوية، ويقوم ذراع الفاعل بتسجيل مسار المعالجة. وهذا ينشئ مجموعة بيانات تكون فيها الملاحظات متسقة وعالية الجودة.
ب. مرحلة الاختبار (خط أنابيب الرؤية النشطة)
بالنظر إلى تكوين مشهد جديد، يقوم النظام بالخطوات التالية:
التقاط مشاهد استكشافية: يلتقط كلا الذراعين ثلاث مشاهد محددة مسبقاً للمشهد (بفواصل 60 درجة)، مما ينتج عنه ست صور إجمالاً.
تعيين الأدوار الديناميكي:
يستخدم النظام RoMa (مطابق ميزات كثيف قوي) لمقارنة المشاهد الملتقطة مع زاوية العرض المثلى للتجربة.
يتم تعيين الذراع الذي تمتلك مشاهده أكبر عدد من مطابقات الميزات مع التجربة كـ مراقب؛ والآخر يصبح الفاعل.
التشتت الغاوسي ثلاثي الأبعاد لعدد قليل من المشاهد (3DGS):
يستخدم المراقب صوره الثلاث لإعادة بناء المشهد باستخدام InstantSplat، وهو طريقة 3DGS لعدد قليل من المشاهد تعتمد على Mast3R للحصول على أولويات هندسية.
ينشئ هذا تمثيلاً ثلاثي الأبعاد للمشهد في ثوانٍ، مما يسمح بالرندرة (Rendering) الفورية لوجهات نظر جديدة.
تحسين زاوية الرؤية:
أخذ عينات عالمية: يقوم النظام بأخذ عينات من زوايا المرشحة حول الكائن.
التهيئة: يختار المرشح صاحب أعلى درجة مطابقة ميزات مع زاوية العرض التجريبية.
التحسين المحلي: باستخدام الرندرة التفاضلية (Differentiable Rendering)، يقوم النظام بتحسين وضع الكاميرا لتقليل دالة الخسارة. تعمل هذه الخسارة على محاذاة ميزات الصورة المُرندرة مع ميزات صورة التجربة مع معاقبة الحجب الناتج عن القابض (Gripper) بشكل صريح (باستخدام SAM2 للتقسيم).
التنفيذ:
يتحرك ذراع المراقب إلى الوضع الأمثل المحسوب (vtest∗).
ينفذ ذراع الفاعل المهمة باستخدام الملاحظة من زاوية العرض المثلى الجديدة هذه.
الاستدلال ثنائي اليد (Ambidextrous Inference): يتم تمثيل الأفعال في إطار الكاميرا (Camera Frame) بدلاً من إطار قاعدة الروبوت. وهذا يسمح للسياسة بالتعميم حتى لو تم تبديل أدوار المراقب والفاعل مقارنة بالتجربة.
3. المساهمات الرئيسية
إطار عمل المراقب-الفاعل المنفصل: بنية مبتكرة يتم فيها تعيين الأدوار ديناميكياً في وقت الاختبار بناءً على تكوين المشهد، مما يلغي الحاجة إلى ذراع رؤية نشطة ثابتة ومخصصة.
التشتت الغاوسي ثلاثي الأبعاد (3DGS) لعدد قليل من المشاهد للرؤية النشطة: أول تطبيق لـ 3DGS لعدد قليل من المشاهد (باستخدام 3 صور فقط) للرؤية النشطة. وهذا يتيح إعادة بناء ثلاثي الأبعاد سريع وعالي الدقة ورندرة تفاضلية لتحسين زاوية الرؤية دون الحاجة لمسح كثيف.
توسيع طرق تعلم التقليد (IL): يوسع الإطار بنجاح كلاً من نقل المسار (Trajectory Transfer - TT) وتعلم التقليد السلوكي (Behavior Cloning - BC) إلى بيئات الرؤية النشطة.
بالنسبة لـ TT، فإنه يحسن تقدير الوضع من خلال محاذاة زاوية الاختبار مع زاوية التجربة.
بالنسبة لـ BC، فإنه يحسن كفاءة البيانات من خلال ضمان بقاء ملاحظات وقت الاختبار قريبة من توزيع التدريب (داخل التوزيع) وخالية من الحجب.
تمثيل الفعل في إطار الكاميرا: تمثيل حالة مبتكر حيث يتم التعبير عن وضع نهاية طرف الفاعل بالنسبة لإطار الكاميرا، مما يحسن التعميم وكفاءة البيانات بشكل كبير.
4. النتائج التجريبية
تم تقييم الطريقة على إعداد ALOHA ثنائي الأذرع في العالم الحقيقي عبر خمس مهام (مثل: التقاط مقبض كوب، مطرقة ومسمار، فتح درج) تتضمن حجب ذاتي وفوضى.
مكاسب الأداء:
نقل المسار (TT): حسّن معدلات النجاح بنسبة 145% (بدون حجب) و 233% (مع وجود حجب) مقارنة بالنماذج الثابتة.
تعلم التقليد السلوكي (BC): حسّن معدلات النجاح بنسبة 75% (بدون حجب) و 143% (مع وجود حجب).
كفاءة البيانات: في المهام ذات الحجب الشديد (مثل استخراج طرد من صندوق)، فشل BC ذو الكاميرا الثابتة تماماً (0% نجاح)، بينما حقق ObAct نجاحاً ملحوظاً. كما تطلب ObAct تجارب أقل للوصول إلى أداء عالٍ مقارنة بالإعدادات الثابتة.
دراسات الاستئصال (Ablation Studies):
تمثيل الفعل: تفوق تمثيل الأفعال في إطار الكاميرا على تمثيل إطار الروبوت القياسي (6/10 مقابل 1/10 نجاح في مهمة الكوب).
عدد المشاهد: وفر استخدام 3 مشاهد استكشافية لكل ذراع أفضل توازن بين دقة إعادة البناء ووقت الحساب.
الكفاءة: يستغرق خط الأنابيب الإجمالي حوالي 76 ثانية (يهيمن عليه تدريب 3DGS والتهيئة الهندسية)، وهو أمر ممكن للعديد من مهام المعالجة ولكنه يسلط الضوء على قيد حالي للتطبيقات عالية السرعة.
5. الأهمية والعمل المستقبلي
الأهمية: يسد ObAct الفجوة بين تعلم التقليد الثابت والإدراك الديناميكي. من خلال الاستفادة من سرعة 3DGS لعدد قليل من المشاهد، فإنه يسمح للروبوتات بـ "النظر" حيث تحتاج للرؤية دون الحاجة إلى سياسات إدراك معقدة ومنفصلة. إنه يثبت أن الرؤية النشطة يمكن دمجها في خطوط أنابيب تعلم التقليد القياسية للتعامل مع حالات الحجب والتباين في العالم الحقيقي، مما يعزز المتانة وكفاءة البيانات بشكل كبير.
القيود والتوجهات المستقبلية:
زمن الاستجابة (Latency): خط الأنابيب الحالي بطيء جداً للمهام الديناميكية التي تتطلب وقتاً حقيقياً وسرعة عالية.
أفق المهمة: يقتصر حالياً على المهام ذات الأفق القصير.
المعالجة المتزامنة لثنائي الأذرع: يستخدم الإعداد الحالي ذراعاً واحداً للمراقبة وذراعاً واحداً للمعالجة؛ ولا يمكنه التعامل مع المهام التي تتطلب ذراعين للمعالجة في آن واحد مع وجود ذراع ثالث للمراقبة.
العمل المستقبلي: يقترح المؤلفون توسيع النظام ليشمل التتبع المستمر أثناء التنفيذ، والتعامل مع المهام طويلة الأمد أو المهام المرنة، وتوسيع النطاق إلى تكوين ثلاثي الأذرع (مراقب واحد، ومعالجان اثنان).