ملخص تقني: FILTR: استخراج السمات الطوبولوجية من النماذج ثلاثية الأبعاد مسبقة التدريب

بيان المشكلة

أدت التطورات الأخيرة في التدريب المسبق ذاتي الإشراف لنماذج ترميز السحب النقطية ثلاثية الأبعاد (مثل Point-BERT وPoint-MAE) إلى إنتاج نماذج قوية ذات قدرات تعميم قوية على المهام الهندسية والدلالية. ومع ذلك، لا تزال الخصائص الهيكلية والقدرة التعبيرية للسمات التي تتعلمها هذه المرمّزات غير مفهومة بشكل جيد، لا سيما فيما يتعلق بـ المعلومات الطوبولوجية. وبينما تُعد الثوابت الطوبولوجية (مثل عدد المكونات المتصلة والجنس/genus) والواصفات متعددة المقاييس (مخططات الاستمرار/persistence diagrams) أموراً بالغة الأهمية في مجالات مثل علم المواد، وتحليل البروتينات، وعلوم الأرض، فإن الطرق الحالية لاستخراج هذه السمات تعتمد عادةً على خوارزميات تقدير كلاسيكية ومنفصلة بدلاً من التعلم المتكامل (end-to-end).

تعالج هذه الورقة سؤالين رئيسيين:

1. هل تلتقط المرمّزات ثلاثية الأبعاد مسبقة التدريب للمسح النقطي معلومات طوبولوجية ضمن تمثيلاتها المستفادة؟
2. هل يمكن استخراج هذه المعلومات بكفاءة للتنبؤ بمخططات الاستمرار مباشرة من سمات المرمّز بطريقة التغذية الأمامية (feed-forward)؟

المنهجية

يقترح المؤلفون نهجاً من ثلاث مراحل لاستقصاء هذه الأسئلة:

1. الاختبار المرجعي باستخدام DONUT

لتقييم الفهم الطوبولوجي، يقدم المؤلفون DONUT (مجموعة بيانات الهياكل المتعددة الأسطح/Dataset Of maNifold strUcTures)، وهي معيار مرجعي اصطناعي يتكون من 29,517 شبكة متعددة الأسطح (manifold meshes). وبخلاف مجموعات البيانات الموجودة (مثل ShapeNet وModelNet) التي تكون دلالية في المقام الأول أو تفتقر إلى التنوع الطوبولوجي، تتميز DONUT بتنوع متحكم فيه في:

• عدد المكونات المتصلة ($\beta_0$): يتراوح من 1 إلى 6.
• إجمالي الجنس ($g$): يتراوح من 0 إلى 10.
  تضمن مجموعة البيانات توزيعاً متوازناً للتسميات وتطبق تحويلات هندسية لمنع الحلول القائمة على الاسترجاع البسيط.

2. التحقيق والتحليل المحاذي (Probing and Alignment Analysis)

يقيم المؤلفون أربعة من المرمّزات مسبقة التدريب والأكثر تطوراً (Point-BERT، Point-MAE، PointGPT، PCP-MAE) باستخدام بروتوكولين:

• التحقيق (Probing): يتم إرفاق فكوك تشفير خطية قابلة للتدريب بخصائص كل كتلة (transformer block) مجمدة للتنبؤ بـ $\beta_0$ والجنس. يختبر هذا ما إذا كانت الإشارات الطوبولوجية متاحة خطياً.
• محاذاة السمات (Feature Alignment): باستخدام محاذاة النواة المركزية (CKA)، يقيس المؤلفون التشابه بين سمات المرمّز ومخططات الاستمرار المتجهة (باستخدام طرق مثل ATOL وTop 128 وLandscapes، إلخ). يقيم هذا وجود معلومات طوبولوجية متعددة المقاييس دون الحاجة لتدريب مُتنبئ.

3. FILTR (ترانسفورمر الترشيح/Filtration Transformer)

للانتقال من مرحلة التحليل إلى مرحلة الاستخراج، يقترح المؤلفون FILTR، وهو إطار عمل يتنبأ بمخططات الاستمرار مباشرة من سمات المرمّز مسبقة التدريب والمجمدة.

• البنية (Architecture): يكيّف FILTR بنية DETR (ترانسفورمر الكشف/DEtection TRansformer). وهو يعامل مخططات الاستمرار كمجموعات غير مرتبة من النقاط.
• المدخلات: يتم تغذية السمات من مرمّز ثلاثي الأبعاد مجمد (إما الكتلة النهائية أو مزيج من جميع الكتل) إلى فك تشفير ترانسفورمر عبر الانتباه المتقاطع (cross-attention).
• المخرجات: يتنبأ فك التشفير بمجموعة من أزواج الاستمرار $(b_i, d_i)$ واحتمالات وجودها.
• دالة الخسارة (Loss Function): يتم تدريب النموذج باستخدام هدف تنبؤ بالمجموعة يتكون من:
  • المطابقة الهنغارية (Hungarian Matching): لمحاذاة الأزواج المتوقعة مع الحقيقية.
    // ملاحظة: المصطلحات التقنية مثل MSE وCross-Entropy هي معايير رياضية عالمية.
  • خسارة إعادة البناء (MSE): للأزواج المتطابقة.
  • خسارة الوجود (Existence Loss): وهي خسارة "الإنتروبي المتقاطعة الثنائية" للتمييز بين الأزواج الصالحة والفتحات التي لا تحتوي على أزواج ("no-pair").
  • منظم القطر (Diagonal Regularizer): يجبر التوقعات غير المتطابقة على الاقتراب من القطر ($b=d$)، مما يقلل الحاجة إلى العتبات الصارمة أثناء الاستنتاج.

المساهمات الرئيسية

1. معيار DONUT المرجعي: تقديم أول مجموعة بيانات مصممة خصيصاً بتسميات طوبولوجية متوازنة وموثوقة (المكونات المتصلة والجنس) لتقييم المرمّزات ثلاثية الأبعاد.
2. أول تحليل طوبولوجي للمرمّزات ثلاثية الأبعاد: أول درسة منهجية تقيس مدى قدرة المرمّزات الحديثة للسحب النقطية ثلاثية الأبعاد على التقاط المعلومات الطوبولوجية. وتكشف الدراسة أن المرمّزات تظهر قدرة محدودة على التنبؤ الخطي بالطوبولوجيا العالمية (ضعف دقة التحقيق)، لكنها تحتفظ بمعلومات هيكلية كبيرة متعددة المقاييس تتوافق مع مخططات الاستمرار (درجات CKA عالية).
3. إطار عمل FILTR: أول نموذج يتنبأ بمخططات الاستمرار مباشرة من سمات المرمّز ثلاثي الأبعاد مسبقة التدريب والمجمدة بطريقة التغذية الأمامية. ويثبت أن الواصفات الطوبولوجية يمكن استخراجها دون إعادة تدريب العمود الفقي (backbone) أو برمجة أولويات خوارزمية صلبة داخل الشبكة.

النتائج

• أداء التحقيق (Probing Performance): تؤدي المرمّزات مسبقة التدريب أداءً ضعيفاً في مهام التحقيق المباشرة للجنس والمكونات المتصلة (على سبيل المثال، يحقق رمز CLS في Point-BERT دقة 57% للمكونات، و26% للجنس)، مما يشير إلى أنها لا تشفر الطوبولوجيا العالمية بشكل صريح بطريقة قابلة للفصل خطياً.
• المحاذاة (Alignment): رغم ضعف نتائج التحقيق، يظهر تحليل CKA محاذاة متسقة بين سمات المرمّز ومخططات الاستمرار المتجهة، لا سيما في النماذج القائمة على MAE (مثل Point-MAE وPCP-MAE). يشير هذا إلى أن الإشارات الطوبولوجية موجودة ولكنها موزعة بشكل غير خطي.
• أداء FILTR:
  • ينجح FILTR في تقريب مخططات الاستمرار من المرمّزات المجمدة، وغالباً ما يضاهي أو يتفوق على النماذج المرجعية المدربة من البداية للنهاية (مثل PointNet++ وDGCNN) في مجموعات البيانات خارج التوزيع (ModelNet40، ABC).
  • يعمم النموذج نفسه على توزيعات بيانات غير مرئية، وإن كان الأداء يتباين حسب مجموعة البيانات (على سبيل المثال، أخطاء أعلى في ABC مقارنة بـ ModelNet40).
  • يتميز FILFR بكفاءة حسابية، حيث يتطلب عدداً أقل بكثير من المعلمات القابلة للتدريب (5.7 مليون) مقارنة بالنماذج المرجعية المدربة من البداية للنهاية (8 مليون+)، نظ خلال بقاء المرمّز الثقيل مجمداً.
  • تؤكد دراسات الاستئصال (Ablation studies) ضرورة "خسارة الوجود" و"منظم القطر" لضمان استقرار التدريب ودقة إعادة بناء المخطط.

الأهمية والادعاءات

تدعي الورقة أنه بينما لا تستهدف استراتيجيات التدريب المسبق الحالية (المركزة على إعادة البناء الهندسي أو المحاذاة الدلالية) الطوابع الطوبولوجية بشكل صريح، فإن مساحات السمات الناتجة تحتفظ بمعلومات هيكلية كافية لتمكين الاستخراج الطوبولوجي القائم على البيانات.

• الرؤية النظرية: تشير الدراسة إلى أن المرمّزات ثلاثية الأبعاد تتعلم ضمناً هياكل هندسية محلية ترتبط بالطوبولوجيا، حتى لو فشلت في تمثيل الثوابت الطوبولوجية العالمية خطياً.
• الفائدة العملية: يوفر FILTR بديلاً فعالاً حاسبياً وطريقة تغذية أمامية بديلة للمسارات الطوبولوجية الكلاسيكية (التي غالباً ما تكون بطيئة ومنفصلة عن التعلم). فهو يتيح استخراج مخططات الاستمرار من السحب النقطية الخام باستخدام النماذج التأسيسية الموجودة.
• القيود: يشير المؤلفون بتواضع إلى أن هذا النهج مقيد بجودة وتوافر المرمّزات مسبقة التدريب. في المجالات التي تفتقر إلى مرمّزات عامة قوية (مثل تعلم الرسوم البيانية/graph learning)، قد لا تنتقل هذه الاستنتاجات. علاوة على ذلك، يظل التنبؤ بأكثر السمات الطوبولوجية استمراراً (سائدة) أمراً صعباً، لأن ذلك يتطلب فهماً هندسياً عالمياً تجد النماذج مسبقة التدريب صعوبة في التقاطه.

يخلص المؤلفون إلى أن عملهم يوفر أساساً لفهم الكفاءة الطوبولوجية لمستخرجات السمات ثلاثية الأبعاد وتطوير مناهج تعتمد كلياً على البيانات لاستخراج الواصفات الطوبولوجية.