From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

غالبًا ما تتعلم الروبوتات التي تتعلم كيف ترى العالم أشياء خاطئة. فعندما يدرب المهندسون روبوتًا باستخدام الصور الفوتوغرافية، يتعلم الجهاز التعرف على أنسجة محددة، وظروف إضاءة معينة، والدرجة الدقيقة للون الأرضية في غرفة التدريب. وإذا نُقل الروبوت بعد ذلك إلى غرفة جديدة ذات إضاءة مختلفة أو نمط أرضية مختلف، فإنه غالبًا ما يفشل، ليس لأنه لا يستطيع رؤية شكل العائق، بل لأن البكسلات تبدو مختلفة. كان الحل القياسي هو تزويد الروبوت بالمزيد والمزيد من الصور المتنوعة، على أمل أن يتعلم في النهاية تجاهل المشتتات. ومع ذلك، يقترح نهج جديد مسارًا مختلفًا: بدلًا من تعليم الروبوت كيفية تجاهل الضجيج، قم ببساطة بإزالة الضجيج قبل أن يراه الروبوت. ومن خلال تجريد الصورة من اللون والنسيج والظلال، وتقديم مخطط خطي نظيف للعالم، يمكن للباحثين تعليمه التركيز على الهندسة التي تهم حقًا من أجل الحركة.

قام أحد الباحثين ببناء نظام اختبار لإثبات نجاح هذه الفكرة، مما خلق جسرًا بين ما يراه الروبوت وكيفية حركته. يرتكز عملهم على عملية تتكون من مرحلتين. في المرحلة الأولى، يأخذ برنامج حاسوبي صورة واقعية ويحولها إلى رسم خطي بسيط مقترن بخريطة تحدد الأشياء بالأرقام. هذا التجريد يزيل كل الفوضى البصرية. وفي المرحلة الثانية، يتعلم نظام تحكم قيادة الروبوت باستخدام هذه المخططات الخطية النظيفة فقط. ولأن نظام التحكم لا يرى صورة فوتوغرافية أبدًا، فإنه لا يستطيع الاعتماد بالخطأ على لون أرضية معين أو ظل معين؛ بل يتعلم فقط شكل العالم. ولتجربة ذلك، بنى الباحث محاكيًا يولد هذه الصور المتوافقة، والأهم من ذلك، يقوم بتشغيل برمجيات التحكم الفعلية للروبوت داخل الكمبيوتر. وهذا يسمح لهم برؤية ما إذا كان "دماغ" الروبوت يمكنه ترجمة رسم تخطيطي بسيط إلى أوامر فيزيائية حقيقية تعمل على آلة.

وجد الباحث أن هذه الطريقة تنتج بيانات قابلة للتعلم، حتى مع وجود كمية ضئيلة جدًا منها. فقد قاموا بتدريب شبكة إدراك على 479 صورة فقط لتحويل الصور الفوتوغرافية إلى رسومات خطية. ورغم أن الشبكة لم تكن مثالية في رسم كل خط بدقة، إلا أنها نجحت في التقاط الأشكال والظلال الأساسية للمشهد. والأهم من ذلك، أنهم اختبروا سياسة تحكم لم ترَ صورة فوتوغرافية في حياتها قط. تم تدريب هذه السياسة على محاكاة سائق خبير يعرف الموقع الدقيق لكل جسم. وعندما أُعطيت سياسة التحكم فقط الرسومات الخطية والخرائط الدلالية، نجحت في توجيه الروبوت إلى هدفه في كل سيناريو اختبار، ثمانية من أصل ثمانية. وفي المقابل، فشل روبوت كان يسير ببساطة في خط مستقيم دون توجيه في الوصول إلى الهدف في جميع تلك المشاهد نفسها. أثبت هذا أن المدخلات البصرية المبسطة احتوت على معلومات كافية لتمكين الروبوت من التنقل بفعالية، رغم أن المؤلف يحذر من أن هذه النتائج جاءت من تجربة صغيرة النطاق ويجب النظر إليها كدليل على أن الجهاز ينتج بيانات قابلة للتعلم وليس كنتائج تنافسية.

اكتشف الباحث أيضًا أن افتراضاته الأولية حول سبب فشل النظام كانت غير صحيحة. فقد اشتبه في البداية أن الروبوت فشل لأنه لا يملك ما يكفي من بيانات التدريب، لكن مضاعفة كمية البيانات جعلت الأداء أسوأ في الواقع. ثم اشتبه في أن "دماغ" الروبوت كان صغيرًا جدًا لاستيعاب الصور، لكن المشكلة الحقيقية كانت في كيفية معالجة الروبوت للمعلومات. كان النظام يقوم بمتوسط الصورة بأكملها في رقم واحد، وهو ما أخبره بمدى وضوح الهدف ولكنه لم يخبره بموقع الهدف. وبمجرد تغيير النظام لتتبع الموقع الأفقي للأجسام، انتقل الروبوت من الفشل التام إلى النجاح في كل مرة. لقد سلط هذا الضوء على أنه لكي يتمكن الروبوت من التوجيه، فإنه يحتاج إلى معرفة الجانب الذي يقع فيه الهدف، وليس فقط معرفة أن الهدف موجود.

لضمان أن أوامر الروبوت تعمل بالفعل، بنى الباحث بوابة اختبار صارمة تتحقق من برمجيات الروبوت عند مستوى منخفض جدًا. قاموا بتشغيل نفس الأوامر عبر نظامين مختلفين: أحدهما يحاكي النتيجة الفيزيائية لدوران المحرك، والآخر يحاكي السجلات الإلكترونية داخل وحدة التحكم في المحرك نفسها. ووجدوا أن النظامين لا يتفقان دائمًا. فعلى سبيل المثال، عندما طُلب من الروبوت التحرك ببطء شديد، أظهر المحاكي البسيط أنه سيتحرك حركة ضئيلة، بينما أظهر المحاكي الإلكتروني التفصيلي أن المحرك لن يتحرك على الإطلاق لأن الأمر كان ضعيفًا جدًا للتغلب على المقاومة الداخلية للمحرك. كشف هذا أن المحاكاة البسيطة يمكن أن تخفي إخفاقات حرجة لا تظهر إلا عندما تتفاعل البرمجيات مع فيزياء الأجهزة الفعلية.

على الرغم من هذه النجاحات، يحرص الباحث على ملاحظة أن نتائجه محددة بهذا المحاكاة المنضبطة. لقد تم اختبار الروبوت في بيئة افتراضية، ولم يتم بعد إثبات الدليل النهائي — المتمثل في إظهار أن هذه الطريقة تعمل بشكل أفضل من التدريب التقليدي القائم على الصور عندما يتغير العالم الحقيقي. إن النظام الذي بناه هو أداة لاختبار هذه الفكرة، وليس الإجابة النهائية نفسها. لقد أظهروا أن الروبوت يمكنه تعلم القيادة باستخدام المخططات فقط، وأن إطار الاختبار الذي بنوه يمكنه رصد الأخطاء الدقيقة في البرمجيات التي قد تغفل عنها الطرق الأخرى. إن هذا العمل يحول فكرة نظرية إلى تجربة قابلة للقياس، مما يثبت أنه من خلال تبسيط ما يراه الروبوت، يمكننا جعل فهمه للعالم أكثر متانة وتحكمه أكثر موثوقية.