ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints
يُعد ProjFormer إطار عمل خفيف الوزن متعدد الوسائط لإكمال السحابة النقطية، يعالج الطبيعة غير محددة الحل لهذه المهمة من خلال فرض الاتساق الهندسي عبر الإسقاط الصريح وتوجيه الميزات التكيفي لدمج القيود الدلالية ثنائية الأبعاد مع صقل البنية ثلاثية الأبعاد بشكل فعال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الحاسوبية، تتعلم الآلات باستمرار كيف ترى العالم في ثلاثة أبعاد. وبينما تلتقط الصورة الفوتوغرافية القياسية شريحة مسطحة ثنائية الأبعاد من الواقع، فإن العديد من التطبيقات الحديثة — من السيارات ذاتية القيادة التي تتنقل في الشوارع المزدحمة إلى الروبوتات التي تجمع أجزاءً دقيقة — تتطلب فهمًا حجميًا كاملًا للمساحة. ولتوفير ذلك، يستخدم العلماء "السحب النقطية" (point clouds)، وهي في الأساس مجموعات ضخمة من النقاط الفردية العائمة في فضاء ثلاثي الأبعاد. تمثل كل نقطة موقعًا محددًا على سطح ما، ومعًا، تشكل هيكلًا رقميًا لجسم ما. ومع ذلك، فإن العالم الحقيقي فوضوي؛ إذ غالبًا ما تفقد المستشعرات أجزاءً من الجسم بسبب الظلال، أو حجب الأجسام الأخرى للرؤية، أو مجرد المسافة الشاسعة للمسح. وهذا يترك الحاسوب مع شكل مجزأ وغير مكتمل، مثل أحجية فقدت نصف قطعها. ويتمثل التحدي الذي يواجه الباحثين في تعليم الآلات كيفية النظر إلى هذه الشظايا المكسورة وإعادة بناء الجسم الكامل ذهنيًا، وملء الفجوات بشكل يجعل المعنى الهندسي سليمًا.
لسنوات طويلة، اعتمدت أنجح المحاولات لحل هذه المشكلة على نهجين متميزين. حاولت بعض الطرق تخمين الأجزاء المفقودة باستخدام النقاط ثلاثية الأبعاد المتوفرة لديها فقط، حيث تطلب من الحاسوب تخيل البقية بناءً على الأنماط التي رآها من قبل. وحاولت طرق أخرى استعارة أفكار من كيفية رؤية البشر للعالم، باستخدام الصور ثنائية الأبعاد لتوجيه عملية إعادة البناء ثلاثية الأبعاد. كانت المشكلة في الطرق القائمة على الصور هي أنها غالبًا ما كانت تعامل النقاط ثلاثية الأبعاد والصور ثنائية الأبعاد كأشياء منفصلة تحتاج إلى لصقها معًا. وكانت عملية "اللصق" هذه غير دقيقة في كثير من الأحيان؛ فقد يعرف الحاسوب كيف يبدو الكرسي في صورة ما، لكنه كان يعاني لمعرفة أي نقطة محددة في السحنة النقطية ثلاثية الأبعاد تقابل ذلك الجزء من الصورة. هذا الافتقار إلى رابط فيزيائي مباشر بين الصورة والنقطة ثلاثية الأبعاد أدى غالبًا إلى إعادة بناء أشكال تبدو ضبابية أو تحتوي على عيوب مشوهة غريبة.
قدم فريق من الباحثين في جامعة هونان نهجًا جديدًا يسمى "ProjFormer"، والذي يغير كيفية ربط الحاسوب بين الصورة ثنائية الأبعاد والنقاط ثلاثية الأبعاد. فبدلاً من محاولة تعلم علاقة غامضة بين الاثنين، يستخدم أسلوبهم القواعد الصارمة للهندسة لرسم خط مباشر بينهما. تخيل محاولة مطابقة بقعة معينة في نموذج ثلاثي الأبعاد مع بقعة في صورة فوتوغرافية؛ يقوم نظام الباحثين بذلك عن طريق إسقاط النقطة ثلاثية الأبعاد على الصورة رياضيًا، تمامًا كما تسقط عدسة الكاميرا جسمًا حقيقيًا على الفيلم. يضمن هذا أن كل معلومة يستمدها الحاسوب من الصورة تتوافق تمامًا مع النقطة ثلاثية الأبعاد المحددة التي يحاول إصلاحها. ومن خلال فرض هذا الاتساق الهندسي الصارم، يتجنب النظام التخمين الذي عانت منه الطرق السابقة، مما يسم يسمح له باسترجاع التفاصيل المرئية الدقيقة اللازمة لملء الأجزاء المفقودة من الشكل.
يتضمن جوهر هذا النظام الجديد عملية يطلق عليها الباحثون اسم "انتباه العرض الموجه بالإسقاط" (projective guided view attention). وبتعبير أبسط، ينظر الحاسوب إلى الجسم ثلاثي الأبعاد غير المكتمل من زوايا مختلفة، مما ينشئ مجموعة من الخرائط الافتراضية. ولكل نقطة منفردة في السحنة النقطية غير المكتملة، يحسب النظام بالضبط أين ستظهر تلك النقطة على هذه الخرائط الافتراضية. ثم يتجه إلى تلك المواقع المحددة في الخرائط لجلب السمات المرئية — مثل الملمس أو معلومات الحواف — ويعيدها إلى النقطة ثلاثية الأبعاد. يحدث هذا بمستوى من الدقة لم تستطع الأساليب السابقة تحقيقه، لأن الاتصال لا يتم تعلمه من خلال التجربة والخطأ بل تمليه قوان السمنية (المنظور). ويتضمن النظام أيضًا مرشحًا ذكيًا يزن مدى موثوقية كل معلومة، حيث يولي اهتمامًا أكبر للمشاهد التي يكون فيها الجسم مرئيًا بوضوح واهتمامًا أقل للمشاهد التي قد تكون محجوبة أو بعيدة جدًا.
بمجرد أن يجمع النظام هذه القرائن المرئية الدقيقة، فإنه يواجه تحديًا آخر: وهو كيفية استخدامها. فبعض أجزاء الجسم مرئية بوضوح، بينما أجزاء أخرى مفقودة تمامًا. وجد الباحثون أن قاعدة واحدة جامدة لدمج المعلومات لا تعمل جيدًا مع الجسم بأكło. ولحل ذلك، بنوا آلية "التوجيه المدرك للهندسة" (geometry-aware routing). تعمل هذه الآلية مثل مراقب حركة مرور ديناميكي للبيانات. فبالنسبة للأجزاء المرئية بالفعل من الجسم، يعتمد النظام بقوة على القرائن المرئية التفصيلية التي جمعها للتو. أما بالنسبة للأجزاء المفقودة تمامًا، فإنه يحول تركيزه إلى الأنماط الهيكلية الأوسع، مستخدمًا معرفته بما يجب أن يكون عليه الجسم بالكامل لملء الفراغ. وتسمح هذه القدرة على تغيير الاستراتيجية اعتمادًا على الوضع المحلي للنظام بإنتاج نتائج تكون مفصلة حيث ينبغي أن تكون، وسليمة هيكليًا حيث تفتقر البيانات.
إن نتائج هذا النهج الجديد كبيرة. فعند اختباره على مجموعات بيانات قياسية تحتوي على آلاف الأجسام المختلفة، من الطائرات إلى السيارات، أنتجت الطريقة الجديدة أشكالًا أكثر دقة واكتمالًا من العديد من التقنيات الرائدة المتاحة حاليًا. وفي مجموعة بيانات معيارية تُعرف باسم PCN، حقق النظام متوسط درجة خطأ بلغت 6.34، وهو رقم يشير إلى تطابق وثيق مع الشكل الحقيقي للأجسام. وبالإضافة إلى الدقة، فإن النظام سريع بشكل ملحوظ. فبينما قد تستغرق الطرق الأخرى التي تحاول دمج البيانات ثنائية وثلاثية الأبعاد أكثر من 26 ميلي ثانية لمعالجة جسم واحد، يكمل هذا النهج الجديد المهمة في حوالي 15.85 ميلي ثانية. وهذه السرعة أمر بالغ الأهمية للتطبيقات في الوقت الفعلي، مثل روبوت يحتاج إلى فهم بيئته فورًا لتجنب الاصطدام.
كما اختبر الباحثون نظامهم على بيانات واقعية تم جمعها من مركبات ذاتية القيادة، وهو سيناريو غالبًا ما تكون فيه المدخلات صاخبة وغير مكتملة. وفي هذه الاختبارات، أنتج النظام أشكالاً أقرب بكثير إلى الأشكال الواقعية للسيارات الموجودة في العالم الحقيقي مقارنة بالطرق السابقة. وبينما كان هناك مقايضة طفيفة حيث كان النظام أكثر هجومية في ملء الأجزاء المفقودة، إلا أن الجودة الإجمالية لإعادة البناء كانت متفوقة. وتوضح الدراسة أنه من خلال احترام الهندسة الأساسية لكيفية تفاعل الضوء والمساحة، بدلاً من الاعتماد فقط على التخمينات الإحصائية المعقدة، يمكن للآلات أن تتعلم رؤية العالم بوضوح أكبر. ويشير هذا العمل إلى أن مستقبل الرؤية ثلاثية الأبعاد لا يكمن فقط في جمع المزيد من البيانات، بل في بناء روابط أذكى بين الطرق المختلفة التي نمثل بها العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.