CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning
تقدم هذه الورقة البحثية CLIFT، وهي طريقة ضبط دقيق تكرارية مغلقة الحلقة وغير جراحية تمكّن الروبوتات البشرية التي تستخدم نماذج تأسيسية ذات أوزان مغلقة (مثل Gemini Robotics On-Device) من تحقيق إتقان شبه تام للمهام عبر تحويل التغذية الراجعة للمكافأة أثناء وقت النشر إلى بيانات خاضعة للإشراف لتحسين السياسة القائمة على واجهة برمجة التطبيقات (API)، مما يتغلب بذلك على قيود التعلم بالتقليد الصرف دون الحاجة إلى الوصول إلى المكونات الداخلية للنموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت رقصة معقدة. في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان للقيام بذلك. الطريقة الأولى هي "المصدر المفتوح" (open-source)، حيث تحصل على دماغ الروبوت بالكامل، ورموزه، وأسلاكه الداخلية، ويمكنك تعديل كل برغي فيه بنفسك. أما الطريقة الثانية فهي "المصدر المغلق" (closed-source)، حيث يكون الروبوت بمثابة "صندوق أسود"؛ لا يمكنك رؤية ما بداخله، ولا لمس أسلاكه، ولا تغيير رموزه. كل ما يمكنك فعله هو تقديم قائمة من التعليمات للروبوت (مثل "ارقص هكذا") وطلب التعلم منها. وهذا هو المعيار السائد لأدمغة الروبوتات الأكثر قوة المتاحة اليوم: فهي ذكية للغاية، لكنها مغلقة خلف باب رقمي.
السؤال الكبير الذي يطرحه العلماء هو: إذا كنت لا تستطيع استراق النظر داخل دماغ الروبوت، فهل لا تزال قادراً على تعليمه إتقان المهام الصعبة في العالم الحقيقي؟ عادةً، عندما لا تستطيع رؤية ما بالداخل، تقتصر قدرتك على مجرد تقليد ما تراه (التقليد). لكن الحياة الواقعية فوضوية؛ فقد يقلد الروبوت بشراً بدقة في مقطع فيديو، ولكن عندما يحاول القيام بذلك على أرضية متأرجحة أو مع كوب زلق، قد يفشل بسبب تأخيرات طفيفة أو قوانين فيزيائية لم يأخذها في الاعتبار. لكي يصبح الروبوت بارعاً حقاً، يحتاج إلى الممارسة، والفشل، وإدراك ما سار بشكل خاطئ، ثم المحاولة مرة أخرى—وهي عملية تسمى "التعلم بالحلقة المغلقة" (closed-loop learning). التحدي هو: كيف تعلم روبوتاً أن يتعلم من أخطائه بينما لا يُسمح لك بلمس آليات التعلم الداخلية الخاصة به؟
هذه الورقة البحثية، التي تحمل عنوان CLIFT، تعالج هذه المشكلة تحديداً. أراد الباحثون معرفة ما إذا كان بإمكانهم تحويل نموذج روبوت قوي ومغلق يسمى "Gemini Robotics On-Device" إلى خبير في المهام الصعبة التي تتطلب تلامساً كبيراً (مثل رص الأطباء أو تعبئة الصناديق) دون فتح "صندوق النموذج" أبداً. وجدوا أن مجرد نسخ فيديوهات البشر (وهي طريقة تسمى الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning) جعل الروبوت أفضل بكثير من الروبوتات مفتوحة المصدر الأخرى، لكنه لم يكن مثالياً بما يكفي للرشاقة في العالم الحقيقي؛ إذ كان الروبوت غالباً ما يسقط الأشياء أو يتعثر في الخطوات النهائية.
ولإصلاح ذلك، ابتكر الفريق حيلة ذكية تسمى CLIFT (الضبط الدقيق التكراري بالحلقة المغلقة). فكر في الأمر كمدرب في لعبة فيديو لا يمكنه تغيير كود اللعبة، لكنه لا يزال قادراً على تعليم اللاعب. إليك كيف يعمل الأمر:
- جولة الممارسة: يحاول الروبوت أداء مهمة في العالم الحقيقي. قد ينجح، أو قد يفشل.
- بطاقة التقييم: بدلاً من مجرد قول "عمل جيد" أو "عمل سيء"، يقوم نموذج ذكاء اصطناعي خاص (نموذج مكافأة) بمراقبة الفيديو ويعطي درجة لكل جزء صغير من الحركة. إنه يحدد بدقة الأجزاء التي كانت سلسة ومفيدة، والأجزاء التي كانت خرقاء أو خطيرة.
- الملصق السحري: يأخذ الفريق هذه الفيديوهات المقيمة ويحولها إلى درس تدريبي جديد. يقومون بإضافة "شارة" خاصة للأجزاء الجيدة (مثل النجمة الذهبية) و"تحذير" للأجزاء السيئة.
- الدرس: يرسلون هذا الدرس الجديد المسمى إلى دماغ الروبوت المغلق عبر واجهة برمجة التطبيقات (API) (قائمة رقمية). يعيد الروبوت تدريب نفسه على هذه البيانات الجديدة، ويتعلم كيفية البحث عن "النجوم الذهبية" وتجنب "التحذيرات".
قام الباحثون بتشغيل هذه الدورة مرتين، مثل عجلة دوارة تزداد سرعةً. كانت النتائج مبهرة؛ فبحلول النهاية، لم يعد الروبوت يكتفي بتقليد البشر فحسب، بل بدأ في ابتكار حركات ذكية خاصة به. على سبيل المثال، عند تعبئة صندوق، تعلم الروبوت دفع وتدوير الصندوق بأصابعه للحصول على قبضة أفضل قبل الرفع—وهي حركة لم يظهرها له المعلمون البشر قط. وعند محاولة وضع زجاجة في كوب، إذا أخطأ في المرة الأولى، تعلم أن يحاول مجدداً بدلاً من الاستسلام.
تظهر الورقة أن هذه الطريقة "غير التدخلية" قد أتت بثماره؛ فقد ارتفع معدل نجاح الروبوت من حوالي 50-70% إلى ما يقرب من 100% في المهام الصعبة مثل رص الأطباق وإدخال الزجاجات. والمثير للدهشة أكثر، أنه عندما جربوا نفس الحيلة على روبوت آخر مفتوح المصدر (روبوت كان بإمكانهم فيه لمس الكود)، كان الروبوت المغلق يتفوق عليه في الأداء. وهذا يشير إلى أن امتلاك "دماغ" قوي ومُدرب مسبقاً هو أمر أكثر أهمية من امتلاك الوصول الكامل إلى الكود.
باختصار، تثبت الورقة أنك لست بحاجة إلى كسر دماغ الروبوت لتعليمه. فمن خلال تحويل جلسات الممارسة في العالم الحقيقي إلى دروس ذكية ومصنفة، يمكنك توجيه روبوت مغلق ليصبح متخصصاً، ويتقن المهام الفيزيائية المعقدة من خلال حلقة بسيطة وتكرارية من: التجربة، والتقييم، وإعادة التعلم. وجد المؤلفون أن هذا النهج يدفع الروبوت نحو الإتقان شبه الكامل بعد دورتين فقط، وكل ذلك دون "فتح صندوق النموذج" أبداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.