Multi-View Aggregation Transformer with Contrastive Learning for 3D Shape Retrieval
تقترح هذه الورقة البحثية "محول تجميع الرؤى المتعددة" (MVAT)، وهو إطار عمل متوافق هندسياً يدمج الانتباه متعدد الرؤى الهرمي، ووحدات تعديل القنوات المتخصصة، ومقياس تشابه جيب التمام المطلق لتحقيق أداء رائد في استرجاع الأشكال ثلاثية الأبعاد عبر معايير قياسية متعددة.
في العالم الرقمي، توجد الأجسام ثلاثية الأبعاد في كل مكان، من التروس داخل الآلة إلى القطع الأثرية القدبية المحفوظة في المتاحف. وللعثور على جسم محدد من بين آلاف النماذج الرقمية، تحتاج الحواسيب إلى وسيلة لفهم شكل الجسم من جميع الزوايا الممكنة. لعقود من الزمن، حاول الباحثون تعليم الآلات التعرف على هذه الأشكال عبر التقاط صور لها من جوانب متعددة، تماماً مثل مصور يطوف حول تمثال لالتقاط هيئته الكاملة. اعتمدت المحاولات المبكرة على قواعد بسيطة كتبها البشر لوصف الأشكال، لكنها غالباً ما فشلت في استيعاب التفاصيل المعقدة للتصاميم الحديثة. وفي الآونة الأخيرة، تعلمت أنظمة حاسوبية قوية التعرف على الأنماط في الصور من تلقاء نفسها، ومع ذلك لا تزال تعاني عند محاولة دمج عشرات الصور المختلفة في فهم واحد واضح للجسم. يكمن التحدي في مساعدة الحاسوب ليس فقط على رؤية الصور الفردية، بل في فهم العلاقة الهندسية بينها، لضمان أن يبدو الكرسي ككرسي سواء تمت رؤيته من الأمام، أو الجانب، أو حتى مقلوباً رأساً على عقب.
قام فريق من الباحثين في معهد هاربين للتكنولوجيا والأكاديمية الصينية للعلوم بتطوير نظام جديد لحل هذه المشكلة، يسمى "محول تجميع الرؤى المتعددة" (Multi-View Aggregation Transformer). يعامل نهجهم مهمة التعرف على شكل ثلاثي الأبعاد كأنها محادثة بين زوايا كاميرا مختلفة. وبدلاً من مجرد تكديس الصور فوق بعضها البعض، يستخدم نظامهم إعداد كاميرا خاص يعتمد على شكل "اثنا عشري الوجوه" (dodecahedron)، وهو جسم صلب له اثنا عشر وجهاً مسطحاً وعشرون ركناً. ومن خلال وضع كاميرات افتراضية عند كل ركن وتوجيهها نحو المركز، يلتقطون ستين رؤية متميزة للجسم. يضمن هذا الترتيب المحدد تغطية السطح بالكامل بشكل متساوٍ، مما يوفر خريطة كاملة لهندسة الجسم. ثم يستخدم النظام نوعاً متطوراً من الذكاء الاصطناعي، يُعرف باسم "محول الرؤية" (Vision Transformer)، لتحليل هذه الصور الستين. وخلافاً للطرق القديمة التي قد تغفل الروابط بين الرؤى البعيدة، يولي هذا النظام الجديد اهتماماً لكيفية ارتباط كل رؤية بكل رؤية أخرى، مما يبني صورة موحدة لبنية الجسم.
وجد الباحثون أن مجرد جمع هذه الرؤى لم يكن كافياً؛ إذ كان الحاسوب بحاجة إلى وسيلة لفهم العلاقات المحددة التي يخلقها تخطيط الكاميرا الخاص بهم. ولتحقيق ذلك، صمموا نظام انتباه هرمي يعمل في ثلاث طبقات. أولاً، ينظر النظام إلى الصورة الكبيرة، ويفهم كيف ترتبط جميع الرؤى لتشكل الجسم بأكمله. ثانياً، يركز على مجموعات من الرؤى التي تقع على نفس الوجه المسطح للاثنا عشري الوجوه الخيالي، مما يساعد في التعرف على الأنماط المحلية. وأخيراً، يفحص الاختلافات الدقيقة بين الرؤى المأخوذة من نفس الموقع بالضبط ولكن مع دوران طفيف، مما يساعد في التمييز بين الأجسام التي تبدو متشابهة جداً. هذا التركيز التدريجي يسمح للنظام بتعلم هندسة الشكل بفعالية أكبر بكثير من الطرق السابقة. ولزيادة صقل الوصف النهائي للجسم، أضافوا وحدات خاصة تعدل أهمية الميزات المختلفة، مما يضمن تسليط الضوء على التفاصيل الأكثر أهمية مع تصفية المعلومات الأقل فائدة.
يعد الابتكار الرئيسي في عملهم طريقة جديدة لقياس مدى تشابه جسمين. فغالباً ما تعامل الطرق التقليدية الجسم وصورته المرآتية كأشياء مختلفة تماماً لأن الاتجاه الرياضي لنقاط بياناتهما يكون متعاكساً. ومع ذلك، لأغراض البحث عن جزء أو تصميم معين، فإن اتجاه البيانات لا يهم بقدر ما يهم الشكل نفسه. قدم الباحثون مقياساً يعامل الاتجاهات المتعاكسة كقيم متكافئة، مما يسمح للنظام بالتعرف على أن جسمين هما الشيء نفسه حتى لو كانت نقاط بياناتهما الداخلية تواجه اتجاهات متعاكسة. هذه المرونة تجعل النظام أفضل بكثير في العثور على المطابقات في قواعد البيانات الكبيرة. وعند اختباره على مجموعات قياسية من النماذج ثلاثية الأبعاد، بما في ذلك الأجسام العامة مثل الكراسي والطاولات، وكذلك الأجزاء الميكانيكية المعقدة، حقق النظام الجديد دقة مذهلة؛ حيث حدد الأجسام بنسبة نجاح بلغت 93.2% في مجموعات البيانات العامة و95.4% في المكونات الميكانيكية، متفوقاً بذلك على جميع الطرق السابقة.
اكتشف الفريق أيضاً أن الطريقة التي دربوا بها النظام كانت لا تقل أهمية عن النظام نفسه. فقد استخدموا عملية تدريب مكونة من ثلاث مراحل لتعليم الحاسوب. أولاً، علموه كيفية التعرف على الأشكال من صور فردية. بعد ذلك، قاموا بتجميد تلك المعرفة وعلموه كيفية دمج رؤى متعددة دون نسيان ما تعلمه بالفعل. وأخيراً، تركوا النظام بأكمله يتعلم معاً لضبط فهمه بدقة. حالت استراتيجية التدريب الدقيقة هذه دون إصابة النظام بالارتباك بسبب تعقيد المهمة. وأظهرت النتائج أن النظام ظل قوماً حتى عندما تم تدوير الأجسام في اتجاهات عشوائية، وهو تحدٍ شائع في التطبيقات الواقعية. ومن خلال الجمع بين تخطيط كاميرا ذكي هندسياً، ونظام انتباه متعدد الطبقات، وطريقة مرنة لقياس التشابه، يقدم هذا البحث أداة قوية للتصميم الرقمي، والتصنيع، والحفاظ على التراث الثقافي، مما يثبت أن مفتاح فهم الأشكال ثلاثية الأبعاد يكمن في كيفية تعليم الآلات رؤية الصورة الكاملة.
يعد استرجاع الأشكال ثلاثية الأبعاد مهمة أساسية في التصميم الميكانيكي، والتراث الرقمي، وأنظمة الوسائط المتعددة. وبينما تفوقت طرق التعلم العميق على الواصفات التقليدية المصنوعة يدويًا، تواجه الطرق الحالية القائمة على الرؤى ثلاث مشكلات جوهرية:
مجالات استقبال محدودة: تعاني النهج القائمة على الشبكات العصبية الالتفافية (CNN) في نمذجة الاعتمادات طويلة المدى بين ميزات الرؤى المتعددة.
عدم التطابق الهندسي: تفشل آليات الانتباه القياسية في التوافق مع التماثل الهندسي المتأصل في تخطيطات الكاميرات متعددة الرؤى، مما يؤدي إلى انحياز استقرائي غير مثالي.
القيود الاتجاهية المفرطة: يفرض التعلم التبايني التقليدي باستخدام تشابه جيب التمام القياسي قيودًا اتجاهية صارمة؛ حيث يميز بين متجهات الميزات المتعاكسة، وهو أمر غير ضروري لمهام الاسترجاع التي تهدف إلى التشابه الدلالي أو الهندسي بدلاً من الحفاظ على اتجاه المتجه. بالإضافة إلى ذلك، غالبًا ما يحد انتباه القنوات القياسي من الميزات في مساحات غير سالبة، مما يقلل من فعالية مقاييس الزوايا.
2. المنهجية
يقترح المؤلفون MVAT (محول تجميع الرؤى المتعددة)، وهو إطار عمل متوافق هندسيًا مصمم لمعالجة هذه القيود من خلال مسار هيكلي.
2.1 الحصول على البيانات والنموذج الأساسي
تخطيط الكاميرا: يقوم النظام بتصوير 60 رؤية لنموذج ثلاثي الأبعاد باستخدام تكوين كاميرا يعتمد على شبه منحرف منتظم (dodecahedron). يضع هذا التخطيط الكاميرات عند الـ 20 رأسًا لشبه المنحرف، مع ثلاثة اتجاهات داخل المستوى لكل رأس، مما يضمن تغطية كروية موحدة وعلاقات هندسية منظمة.
النموذج الأساسي (Backbone): يستخرج نموذج MaxViT (محول الرؤية) مدرب مسبقًا ميزات الرؤية المفردة (بأبعاد C=512) من الـ 60 صورة التي تم تصويرها.
2.2 الانتباه متعدد الرؤى الهرمي (MVA)
لاستغلال الهيكل الهندسي لتخطيط شبه المنحرف، يقدم MVAT وحدة الانتباه متعدد الرؤى التي تتكون من ثلاثة مكونات متتالية:
الانتباه العالمي (GA): يحسب الانتباه الذاتي الكامل عبر جميع الرؤى الستين لالتقاط الاعتمادات الشكلية العالمية.
انتباه الوجه (FA): ينمذج الارتباطات ضمن مجموعات متداخلة من الرؤى التي تتوافق مع الـ 12 وجهًا خماسيًا لشبه المنحرف، مما يلتقط سياقًا محليًا متسقًا للسطح.
انتباه الرأس (VA): ينمذج الارتباطات دقيقة التفاصيل بين الاتجاهات الثلاثة داخل المستوى عند كل رأس من الرؤوس العشرين، مما يلتقط الاختلافات الحساسة للاتجاه.
الترتيب: يتم ترتيب المكونات بشكل متتالي وفق الترتيب GA→FA→VA، حيث يتم نمذجة الاعتمادات تدريجيًا من المستويات العالمية إلى الجوارات الهندسية المحلية.
2.3 انتباه القناة الموقعة والتحسين
لتحسين دمج الميزات والقدرة على التمييز، تم تقديم وحدتين:
تجميع انتباه القناة (CAA): يجمع ميزات الرؤى المتعددة باستخدام مزيج من التجميع الأقصى (max pooling) والمتوسط (average pooling). ومن الأهمية بمكان أنه يستخدم تنشيط tanh (بدلاً من sigmoid) لإنتاج تعديل قنوات موقّع في النطاق (−1,1). يسمح هذا للشبكة بالحفاظ على استجابات الميزات الموجبة والسالبة معًا، وهو أمر مفيد لمقاييس التشابه القائمة على الزوايا.
انتباه القناة المتبقي (RCA): عبارة عن مجموعة من 16 كتلة متبقية تقوم بتحسين الميزة العالمية. وهي تستخدم قياسًا متبقيًا محدودًا (عامل في النطاق (0,2)) لتكييف تعزيز أو كبح القنوات دون تضخيم غير منضبط، مما يضمن تحسينًا تدريجيًا مستقرًا.
2.4 تشابه جيب التمام المطلق (ACS) والتدريب
المقياس: يقدم البحث تشابه جيب التمام المطلق (ACS)، المعرف بـ Sij=∣fi⊤fj∣/(∥fi∥∥fj∥). يعامل هذا المقياس اتجاهات الميزات المتعاكسة كمتكافئة، ويعمل في الفضاء الإسقاطي الحقيقي.
الأساس النظري: يقدم المؤلفون تحليل جدوى هندسي يوضح أن ACS يسمح بـ تكوين نموذج خطي متعامد للفصل بين الفئات الموقعة. وهذا يسمح لعينات الفئة نفسها بالاستقرار على نفس الخط (في أي من الاتجاهين) بينما تظل الفئات المختلفة متعامدة، مما يخفف من القيود التي يفرضها تشابه جيب التمام القياسي.
دالة الخسارة: تُستخدم خسارة الإنتروبيا المتقاطعة المتماثلة للتعلم التبايني الخاضع للإشراف، والتي يتم تحسينها بدون معامل درجة الحرارة لتقليل الحساسية للمعلمات الفائقة.
مسار التدريب ثلاثي المراحل:
المرحلة الأولى: التدريب المسبق للرؤية المفردة لنموذج ViT الأساسي باستخدام الإنتروبيا المتقاطعة القياسية.
المرحلة الثانية: تدريب التجميع للنموذج الأساسي المجمد، حيث يتم تدريب شبكة التجميع فقط (MVA, CAA, RCA) باستخدام خسارة التباين.
المرحلة الثالثة: الضبط الدقيق النهائي لكامل الشبكة من البداية إلى النهاية.
3. المساهمات الرئيسية
الانتباه الهرمي المتوافق هندسيًا: يقوم نموذج MVA بترميز الانحياز الاستقرائي الهندسي لتخطيط شبه المنحنف المنتظم صراحةً في آلية الانتباه، مما ينمذج الارتباطات العالمية، والمستوى الوجهي، والمستوى الرأسي لتحسين المتانة الدورانية.
انتباه القناة الموقعة للدمج التمييزي: تستخدم وحدات CAA و RCA التعديل الموقّع (عبر tanh) والقياس المتبقي المحدود لتمكين تحسين الميزات بفعالية في فضاء الميزات الكامل، مما يتغلب على قيود استراتيجيات الانتباه غير السالبة.
التعلم التبايني غير المعتمد على الإشارة: يوفر تقديم تشابه جيب التمام المطلق (ACS) هدفًا هندسيًا للاسترجاع الخاضع للإشراف الذي يعامل الاتجاهات المتعاكسة كمتكافئة. ويؤكد التحليل النظري جدوى ذلك من خلال نماذج الخطوط المتعامدة للفصل بين الفئات عالية الأبعاد.
4. النتائج التجريبية
تم تقييم الطريقة على ثلاث معايير مرجعية: ModelNet40، و ModelNet10، و معيار مكونات الميكانيكا (MCB-B).
ModelNet40: حقق MVAT نسبة 93.2% mAP، متفوقًا على الحالة السابقة للأفضل MVTN (92.9%)، وتجاوز بشكل كبير نموذج MVCNN الكلاسيكي (80.2%).
ModelNet10: حقق MVAT نسبة 95.1% mAP، متفوقًا على SPNet (94.2%) و VAM-IAM (93.6%).
MCB-B (المكونات الصناعية): حقق MVAT نسبة 95.4% mAP، و 88.6% F1@N، و 96.0% NDCG@N، متفوقًا على أقوى طريقة مقارنة بنسبة 4.3% في mAP.
المتانة الدورانية: عند اختبار النماذج المدورة بزوايا عشوائية (حتى ±180∘)، كان انخفاض mAP ضئيلًا (لا يتجاوز 1.2 نقطة مئوية)، مما أظهر متانة قوية.
دراسات الاستئصال (Ablation Studies):
أدى إزالة MVA الهرمي أو استخدام ترتيبات غير هرمية إلى انخفاض الأداء (على سبيل المثال، حقق الترتيب الكامل GA→FA→VA نسبة 93.2% مقابل 91.9% عند عدم وجود MVA).
أظهر مسار التدريب ثلاثي المراحل تفوقه على النهج أحادي أو ثنائي المرحلة، حيث قدمت المرحلة النهائية زيادة قدرها 0.7%.
5. الأهمية والادعاءات
يدعي البحث أن MVAT يضع معيارًا جديدًا للأفضل (SOTA) في استرجاع الأشكال ثلاثية الأبعاد القائم على الرؤية من خلال سد الفجوة بفعالية بين تعلم التمثيل البصري ثنائي الأبعاد والفهم الهندسي ثلاثي الأبعاد. تكمن أهميته في:
الانحياز الاستقرائي الهندسي: نجاح محاذاة آليات الانتباه في الشبكات العصبية مع التماثل الفيزيائي لتخطيطات الكاميرات متعددة الرؤى (شبه المنحرف)، والتي تفشل نماذج الانتباه العامة في القيام بها.
القيود الاتجاهية المرنة: إثبات أنه لمهام الاسترجاع، فإن الحفاظ على اتجاه متجه الميزة ليس ضروريًا. يوفر مقياس ACS المقترح وتكوين النموذج الخطي هدفًا هندسيًا أكثر مرونة وفعالية للمتجهات عالية الأبعاد.
القابلية للتطبيق الصناعي: تظهر الطريقة قوة خاصة في معيار MCB-B، مما يشير إلى إمكانات عالية للتطبيقات الصناعية المتعلقة باسترجاع المكونات الميكانيكية حيث يكون التشابه الهندسي بالغ الأهمية.
يخلص المؤلفون إلى أنه بينما تعمل الطريقة بشكل جيد على نماذج CAD النظيفة، فإن العمل المستقبلي سيركز على تكييف الإطار مع البيانات المسحية الواقعية المشوشة ودمج التمثيلات متعددة الوسائط (السحب النقطية، والشبكات المضلعة).