Every9D-21M: Large-Scale Real-World 9D Canonicalization of Everyday Objects
تقدم هذه الورقة Every9D-21M، وهي مجموعة بيانات ضخمة تضم 21.8 مليون صورة من العالم الحقيقي مع تعليقات توضيحية للوضعية ذات 9 أبعاد عبر 700 فئة من الأشياء، والتي تم إنشاؤها من خلال الاستفادة من مقاطع الفيديو المتمحورة حول الأشياء والمحاذاة عبر النسخ لتجاوز ندرة الإشراف واسع النطاق في العالم الحقيقي لعملية التنميط ذات الـ 9 أبعاد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم العالم. للقيام بذلك، لا يحتاج الروبوت فقط لمعرفة "ما هو" الشيء (مثل كرسي أو كوب)، بل يحتاج بدقة إلى معرفة "كيف" يجلس هذا الشيء، وكم حجمه، وفي أي اتجاه يواجه. في عالم الرؤية الحاسوبية، يُسمى هذا "تقدير الوضعية تساعي الأبعاد" (9D pose estimation) (الموقع ثلاثي الأبعاد + الدوران ثلاثي الأبعاد + الحجم ثلاثي الأبعاد).
المشكلة هي أن تعليم الروبوت هذا الأمر صعب للغاية لأننا لا نملك ما يكفي من "الكتب المدرسية" (مجموعات البيانات) التي تحتوي على أمثلة من العالم الحقيقي. معظم الكتب المدرسية الموجودة حالياً تكون إما:
- مزيفة: صُنعت بواسطة أجهزة الكمبيوتر (اصطناعية)، لذا يرتبك الروبوت عندما يرى صوراً حقيقية وفوضوية.
- صغيرة جداً: لا تحتوي إلا على بضعة آلاف من الصور لعدد قليل من الأشياء (مثل 9 أنواع فقط من الألعاب).
إليك "Every9D-21M": كتاب مدرسي ضخم وجديد
يقدم هذا البحث مجموعة بيانات جديدة وعملاقة تسمى Every9D-21M. فكر فيها كأنها مكتبة تحتوي على 21.8 مليون صورة لـ 700 جسم مختلف من الأشياء اليومية (من الكراسي والأكواب إلى الحيوانات والأدوات). إنها أكبر بـ 100 مرة من أي مجموعة بيانات حقيقية أخرى من نوعها.
كيف بنوا هذا؟ (سحر "النسخ واللصق")
قد تتساءل: "كيف استطاعوا تصنيف 21.8 مليون صورة؟ قد يستغرق ذلك عمراً كاملاً من العمل البشري!"
لم يقوموا بتصنيف كل صورة على حدة. بدلاً من ذلك، استخدموا استراتيجية "مرجعية" ذكية، تشبه النموذج الأصلي والختم:
- إشارات الفيديو: بدأوا بـ 109,000 فيديو قصير التقطها أشخاص عاديون، حيث كانوا يتحركون حول جسم ما (مثل دوران كاميرا حول مزهرية).
- إعادة البناء ثلاثي الأبعاد: باستخدام الرؤية الحاسوبية، حولوا هذه الفيديوهات إلى سحب نقاط ثلاثية الأبعاد (سحب رقمية من النقاط التي تشكل شكل الجسم).
- "الميدويد" (أفضل ممثل): قاموا بتجميع الأشياء المتشابهة معاً (على سبيل المثال، جميع "الكراسي"). وبدلاً من اختيار كرسي عشوائي ليكون هو "القائد"، اختاروا الكرسي الذي يبدو أكثر شبهاً بمتوسط المجموعة.
- اللمسة البشرية (الجزء الضئيل): اضطر البشر فقط لتصنيف الكائن "القائد" لكل مجموعة يدوياً. وقد استغرق هذا حوالي 1,000 عملية تصنيف إجمالاً (أقل من 0.01% من إجمالي البيانات).
- الختم (الانتشار): بمجرد تصنيف الكرسي "القائد" باتجاهه الصحيح (على سبيل المثال، "ظهر الكرسي يواجه هذا الاتجاه")، استخدم الكمبيوتر الهندسة والمطابقة البصرية لـ "ختم" نفس الاتجاه على كل الكراسي الأخرى في المجموعة.
- فحص الجودة: بعد ذلك، قام البشر بفحص النتائج "المختومة" بسرعة للتأكد من أن الكمبيوتر لم يرتكب خطأً.
النتيجة: لقد أنشأوا مجموعة بيانات ضخمة وعالية الجودة باستخدام 199 ساعة فقط من العمل البشري. لو كان عليهم تصنيف كل صورة يدوياً، لاستغرق الأمر آلاف السنين.
لماذا يهم هذا؟
يزعم البحث أن تدريب نماذج الذكاء الاصطناعي على هذه المجموعة الجديدة من البيانات يجعلها أكثر ذكاءً من النماذج المدربة على مجموعات البيانات القديمة والأصغر حجماً.
- تعميم أفضل: عندما دربوا نموذجاً على Every9D-21M واختبروه على مجموعات بيانات شهيرة أخرى (مثل ImageNet3D أو HANDAL)، حقق أداءً أفضل بكثير. الأمر يشبه طالباً درس في مكتبة ضخمة ومتنوعة من الأمثلة الواقعية، مما مكنه من حل المشكلات في فصل دراسي جديد تماماً.
- الوعي بالتناظر: وضع الباحثون أيضاً قواعد للتعامل مع "التناظر". على سبيل المثال، تبدو الزجاجة كما هي إذا قمت بتدويرها حول مركزها. تعلم مجموعة البيانات الذكاء الاصطناعي هذه القواعد، حتى لا يرتبك بسبب الأجسام التي تبدو متشابهة من زوايا مختلفة.
الخلاصة
قام المؤلفون ببناء "مجموعة بيانات فائقة" عن طريق تحويل آلاف الفيديوهات التي تركز على الأجسام إلى أشكال ثلاثية الأبعاد، وتصنيف جزء ضئيل منها يدوياً، ثم استخدام خوارزميات كمبيوتر ذكية لنسخ تلك التصنيفات إلى ملايين الصور الأخرى. وهذا يمنح الذكاء الاصطناعي أساساً أفضل لـ "رؤية العالم"، مما يسمح له بفهم الشكل ثلاثي الأبعاد واتجاه الأشياء اليومية بدقة أكبر بكثير مما سبق.
ما لا يدعيه البحث:
- لا يدعي أن هذا يحل جميع مشاكل الروبوتات فوراً.
- لا يدعي أن بيانات العمق (المسافة) هي بيانات مستشعرات مثالية (فهو يستخدم العمق المقدر بالذكاء الاصطناعي).
- لا يدعي أن النظام يعمل على الأجسام المتحركة والديناميكية (مثل كلب يركض) بنفس الطريقة التي يعمل بها على الأجسام الثابتة؛ حيث كانت الفيديوهات المستخدمة هي في الغالب لأجسام ثابتة يتم تصويرها من زوايا مختلفة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.