MOSH-WM: Mask-Grounded Soft-Hamiltonian Dynamics for Object-Centric World Models
يقدم MOSH-WM نموذج عالم "هاميلتونيان" ناعمًا قائمًا على القناع، والذي يقيد ديناميكيات الأشياء صراحةً باستخدام العزوم المكانية لأقنعة الصور المملوكة للفتحات (slots)، محققًا تحسينات كبيرة في دقة التنبؤ بالفيديو طويل الأمد وتراكم الخطأ مقارنة بالنماذج المرجعية القائمة على الأشياء في مجموعات بيانات OBJ3D وCLEVRER.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لفهم كيف يمكن للحاسوب أن يتعلم رؤية العالم، يجب علينا أولاً أن نفهم كيف يعاني حالياً في القيام بذلك. عندما تشاهد الذكاء الاصطناعي مقطع فيديو، فإنه غالباً ما يعامل المشهد كصورة واحدة مسطحة تتغير بمرور الوقت. إنه يتعلم التنبؤ بالإطار التالي من خلال رصد الأنماط في البكسلات، تماماً مثل طفل يتعلم إكمال جملة عبر سماع إيقاع الكلمات. ومع ذلك، غالباً ما يفشل هذا النهج عندما يصبح المشهد معقداً أو عندما يتعين على الحاسوب تخمين ما سيحدث في المستقبل البعيد. قد يتنبأ النظام بأن كرة متدحرجة تتحول فجأة إلى لون مختلف أو تختفي، لأنه لم يتعلم حقاً قواعد كيفية تحرك الأشياء وتفاعلها. إنه يرى السطح لكنه يفتقد الهيكل. لبناء رؤية أكثر موثوقية، يتجه الباحثون إلى التعلم "المتمحور حول الأشياء"، وهي طريقة تعلم الحاسوب تفكيك المشهد إلى أشياء متميزة ومنفصلة — مثل كرة حمراء، وصندوق أزرق، وطاولة خضراء — وتتبع كل منها بشكل فردي. الهدف هو إنشاء "نموذج عالم"، وهو محاكاة ذهنية تسمح للحاسوب بتخيل الأحداث المستقبلية من خلال تطوير هذه الأشياء المنفصلة وفقاً لقوانين الفيزياء، بدلاً من مجرد تخمين الصورة التالية.
قدم فريق من الباحثين نظاماً جديداً يسمى MOSH-WM يحاول حل نقطة ضعف محددة في هذه النماذج القائمة على الأشياء. وبينما كانت الأنظمة السابقة قادرة على تتبع الأشياء، إلا أنها كانت غالباً ما تخلط بين الموقع الفيزيائي للشيء ومظهره البصري. تخيل محاولة وصف حركة سيارة من خلال النظر فقط إلى طلاء سيارتها؛ إذا تغير الطلاء، فقد يعتقد النظام أن السيارة نفسها قد تحركت أو تغير شكلها. يفصل النموذج الجديد بين هذين المفهومين تماماً. فهو ينشئ "حالة فيزيائية" متميزة لكل جسم تتبع فقط مكان وجود الجسم وسرعة حركته، متجاهلةً مظهر الجسم. هذه الحالة الفيزيائية ترتكز على "قناع"، وهو عبارة عن مخطط رقمي يوضح بالضبط أي البكسلات في الفيديو تنتمي إلى ذلك الجسم المحدد. ومن خلال استخدام هذا المخطط لحساب الموقع والسرعة، يبني النظام فهماً هندسياً مستقراً للمشهد لا يرتبك بسبب التغيرات في اللون أو الملمس.
اختبر الباحثون هذا النهج على فيديوهات لأجسام متحركة، حيث طلبوا من الحاسوب مشاهدة تسلسل قصير مكون من ستة إطارات ثم التنبؤ بالثلاثين إطاراً التالية. وفي هذه الاختبارات، تفوق النظام الجديد بشكل كبير على أفضل الأساليب الموجودة. وعند قياس مدى تطابق الصور المتوقعة مع الإطارات المستقبلية الحقيقية، قلل النموذج الجديد الأخطاء البصرية بنسبة 25 بالمائة والأخطاء في التخطيط الفيزيائي للأجسام بنسبة 33 بالمائى. لم يكن هذا التحسن نجاحاً عابراً؛ فقد حافظ النظام على دقته طوال تسلسل الثلاثين إطاراً، بينما بدأت النماذج القديمة في الانحراف، مما تسبب في فقدان الأجسام لشكلها أو تغير لونها مع استمرار التنبؤ. وكان مفتاح هذا الاستقرار هو تقنية مستوحاة من الفيزياء، حيث يستخدم النظام دليلاً "ناعماً" لإبقاء الأجسام تتحرك بطريقة واقعية، دامجاً القواعد الرياضية مع الأنماط المتعلمة. يعمل هذا الدليل مثل يد لطيفة، تدفع التنبؤ للعودة نحو قوانين الحركة دون إجباره على صيغة جامدة قد تنكسر عندما يحتوي الفيديو على تفاصيل غير مثالية.
ومن الأهمية بمكان أن النظام يبقي التفاصيل البصرية منفصلة عن حسابات الحركة. فبمجرد أن يتنبأ الحاسوب بمكان وجود الأجسام، فإنه يستخدم بنك ذاكرة منفصل للمظاهر السابقة لملء التفاصيل، مما يضمن بقاء الكرة الحمراء حمراء والصندوق الأزرق أزرق. هذه العملية المكونة من جزأين تسمح للنموذج بأن يكون دقيقاً فيزيائياً وغنياً بصرياً في آن واحد. وجد الباحثون أن إزالة الدليل الفيزيائي أو الذاكرة البصرية يؤدي إلى فشل النظام، مما يثبت أن كلا الجزأين ضروريان لعمل النموذج. وفي الاختبارات التي تتضمن تصادمات وتفاعلات معقدة، استمر النموذج في الصمود، مما يشير إلى أن هذه الطريقة في فصل "أين" يوجد الجسم عن "ما هو" شكله هي طريقة قوية لتعليم الآلات فهم العالم المادي. لا يدعي هذا العمل أنه حل جميع مشكلات التنبؤ بالفيديو، ولكنه يوضح أنه من خلال ترسيخ فهم الحاسوب للحركة في الشكل الفعلي للأشياء، بدلاً من مجرد سماتها البصرية، يمكننا إنشاء عمليات محاكاة أكثر استقراراً وموثوقية بمرور الوقت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.