RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI
تقدم هذه الورقة نظام USER، وهو نظام موحد وقابل للتوسع يعامل الروبوتات الفيزيائية كموارد من الدرجة الأولى للتغلب على التحديات الفريدة لتعلم السياسات عبر الإنترنت في العالم الحقيقي من خلال طبقة تجريد للأجهزة مبتكرة، ومستوى اتصالات تكيفي، وإطار عمل تعلم غير متزامن بالكامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت القيام بالأعمال المنزلية، مثل طي الملابس أو إعداد القهوة. في الماضي، كان العلماء عادةً يعلمون الروبوتات في "محاكاة لعبة فيديو". الأمر يشبه التدرب على البيانو في غرفة صامتة حيث يمكنك عزف نوطة خاطئة، ثم إعادة الزمن فوراً، والمحاولة مجدداً ملايين المرات في الثانية الواحدة.
لكن العالم الحقيقي مختلف. لا يمكنك إعادة الزمن بعد سكب كوب من القهوة. ولا يمكنك تسريع الوقت. وإذا كان لديك 10 أنواع مختلفة من الروبوتات (بعضها بعجلات، وبعضها بأذرع، وبعضها بكاميرات)، فإنها جميعاً تتحدث "لغات" مختلفة وتعيش في أماكن مختلفة (بعضها في السحابة، وبعضها في مصنع).
يقدم هذا البحث USER، وهو "نظام تشغيل" جديد مصمم خصيصاً لتعليم الروبوتات في العالم الحقيقي بكفاءة. فكر في USER كأنه مترجم عالمي ومراقب حركة مرور يجعل تعلم الروبوت في العالم الحقيقي ممكناً دون فوضى.
إليك كيف يعمل USER، مقسماً بتبسيط عبر التشبيهات:
1. "جهاز التحكم عن بُعد الموحد" للروبوتات (تجريد الأجهزة الموحد)
المشكلة: عادةً، يرى برنامج الكمبيوتر وحدة معالجة الرسومات (GPU - وهي شريحة دماغ فائقة السرعة) كدماغ، بينما يرى ذراع الروبوت كـ "لعبة" أو "جسم خارجي". ومن الصعب جعلهما يعملان معاً.
حل USER: يعامل USER ذراع الروبوت تماماً كما يعامل وحدة معالجة الرسومات (GPU).
- التشبيه: تخيل قائد أوركسترا. في السابق، كان القائد يعرف فقط كيف يتحدث إلى عازفي الكمان (وحدات معالجة الرسومات). أما عازفو الطبول (الروبوتات) فكانوا يقفون في الخلف، يصرخون بتعليمات لا يفهمها أحد.
- مع USER: أصبح لدى القائد الآن "جهاز تحكم عن بُعد موحد". سواء كانت وحدة معالجة رسومات، أو ذراع روبوت، أو كاميرا، فإن USER يراهم جميعاً كـ "موسيقيين" على نفس المسرح. يمكنه العثور عليهم تلقائياً، وتكليفهم بالمهام، وإخبارهم بالضبط متى يعزفون، بغض النظر عن العلامة التجارية أو الطراز.
2. "النفق الذكي" للبيانات (الاتصال التكيفي)
المشكلة: غالباً ما تعيش الروبوتات في أماكن مختلفة. بعضها في مصنع (الحافة - Edge)، والكمبيوتر الخارق الذي يدربها موجود في مركز بيانات (السحابة - Cloud). إرسال البيانات ذهاباً وإياباً عبر الإنترنت يكون بطيئاً، مثل محاولة صب دلو من الماء عبر قشة.
حل USER: يبني USER "نفقاً ذكياً" يحسن كيفية انتقال البيانات.
- التشبيه: تخيل طريقاً سريعاً مزدحماً. إذا كان على كل سيارة (حزمة بيانات) أن تقود طوال الطريق إلى وسط المدينة (السحابة) ثم تعود إلى الضواحي (الحافة) لمجرد إيصال رسالة، فستحدث اختناقات مرورية.
- مع USER: يقوم بإنشاء "مسار سريع محلي". إذا كان هناك روبوتان في نفس المصنع، فإنهما يتحدثان مباشرة مع بعضهما البعض دون الذهاب إلى السحابة. وإذا كان لزاماً عليهما التحدث مع السحابة، يستخدم USER "نفقاً" (مثل جسر خاص ومشفر) لضمان عدم تعثر البيانات في الزحام. كما أنه يحدد كمية البيانات التي يجب على "الدماغ" (GPU) معالجتها في وقت واحد حتى لا يغرق في المهام.
3. "خط التجميع غير المتزامن" (خط أنابيب غير متزامن بالكامل)
المشكلة: في الأنظمة القديمة، كان على الروبوت التوقف عن الحركة بينما يفكر الكمبيوتر فيما سيفعله تالياً. الأمر يشبه طباخاً يتوقف لتقطيع الخضروات، ثم ينتظر تسخين الفرن، ثم ينتظر انتهاء غسل الأطباق، وكل ذلك بينما الطعام يجلس على الطاولة ويبرد.
حل USER: يجعل USER كل شيء يحدث في نفس الوقت.
- التشبيه: فكر في مطعم سوشي عالي السرعة.
- الطريقة القديمة: يقوم الطاهي بتقطيع السمك، ثم ينتظر طبخ الأرز، ثم ينتظر غسل الطبق، ثم يقدم الطعام.
- طريقة USER: شخص يقطع السمك، وآخر يطبخ الأرز، وثالث يغسل الأطباق، ورابع يقدم الطعام، وكل ذلك في نفس الوقت تماماً. الروبوت لا يتوقف عن الحركة أبداً؛ فهو يستمر في جمع البيانات بينما يتعلم الكمبيوتر في الخلفية. وإذا تعطل الكمبيوتر أو تذبذبت خدمة الإنترنت، يستمر الروبوت في العمل، ويكمل النظام من حيث توقف.
4. "حقيبة الظهر اللانهائية" (ذاكرة التخزين المؤقت المستمرة)
المشكلة: تنتج الروبوتات كميات هائلة من بيانات الفيديو. وعادة ما يحاول الكمبيوتر الاحتفاظ بهذه البيانات في "ذاكرته قصيرة المدى" (RAM). لكن ذاكرة RAM صغيرة ومكلفة. وإذا نفدت المساحة، عليك حذف البيانات القديمة، وهو ما يشبه رمي درس تعلمته بالأمس.
حل USER: يستخدم USER "حقيبة ظهر ذكية" تمزج بين التخزين قصير المدى وطويل المدى.
- التشبيه: تخيل أنك تدرس لامتحان ضخم.
- الطريقة القديمة: تحتفظ فقط بآخر 5 بطاقات تعليمية في يدك. إذا احتجت لمراجعة بطاقة من الأمس، عليك العودة إلى المكتبة للعثور عليها، مما يستغرق وقتاً طويلاً جداً.
- مع USER: لديك "حقيبة ظهر سحرية". البطاقات الأكثر أهمية (البيانات الحديثة) في يدك للوصء السريع. لكن بقية البطاقات منظمة بدقة داخل الحقيبة (على القرص الصلب). إذا احتجت لبطاقة قديمة، يسحبها النظام فوراً دون أن تضطر لمغادرة مقعدك. هذا يسمح للروبوت بالتعلم من تجارب أسابيع، وليس فقط من الدقائق الأخيرة.
5. "السكين السويسري" للتعلم (إطار عمل قابل للتوسع)
المشكلة: تحتاج الروبوتات المختلفة إلى أساليب تعلم مختلفة. بعضها يحتاج للتعلم عبر التجربة والخطأ (التعلم المعزز)، وبعضها عبر مراقبة البشر (التعلم بالتقليد)، وبعضها يحتاج لفهم اللغة والرؤية المعقدة (نماذج VLA).
حل USER: تم بناء USER مثل مجموعة "ليغو" (Lego) تركيبية.
- التشبيه: بدلاً من بناء محرك سيارة جديد لكل طراز سيارة، فإن USER هو كتلة محرك عالمية. يمكنك توصيل "CNN" (دماغ بصري بسيط)، أو "Generative Flow" (دماغ إبداعي)، أو "Large VLA" (دماغ فائق الذكاء) دون إعادة بناء السيارة بالكامل. إنه يدعم المكافآت المستمدة من القواعد، أو البشر، أو الذكاء الاصطناعي، مما يجعله مرناً لأي مهمة.
لماذا يهم هذا؟
قبل USER، كان تعليم الروبوتات في العالم الحقيقي بطيئاً، وهشاً، ومقتصراً على مهام بسيطة.
- بدون USER: "لنحاول تعليم هذا الروبوت التقاط الكوب. أوه لا، لقد حدث تأخير في الشبكة، فتوقف الروبوت، وفقدنا كل بياناتنا. لنبدأ من جديد."
- مع USER: "الروبوت يلتقط الأكواب، والنظام يتعلم في الخلفية، والبيانات تُحفظ بأمان، وحتى لو تذبذبت خدمة الإنترنت، يستمر الروبوت في العمل. يمكننا تدريب 10 روبوتات مختلفة في وقت واحد، وهي تتعلم بشكل أسرع."
باختصار: يحول USER عملية تعلم الروبوتات في العالم الحقيقي من عملية فوضوية وبطيئة وهشة إلى عملية سلسة وفعالة وقوية، مما يمهد الطريق لروبوتات يمكنها التعلم والتكيف في عالمنا الفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.