ملخص تقني: التجميع الفراغي الجزئي للبيانات غير المكتملة باستخدام التعلم التبايني ذاتي الإشراف

تعريف المشكلة

يهدف التجميع الفراغي الجزئي (Subspace Clustering) إلى تقسيم نقاط البيانات عالية الأبعاد التي تقع في اتحاد من الفضاءات الجزئية منخفضة الأبعاد. وبينما تعد هذه الطرق فعالة في مجالات مثل تحليل التعبير الجيني، والتصوير فائق الطيف، وأنظمة التوصية، إلا أن الطرق الحالية تفترض في الغالب وجود بيانات كاملة الملاحظة. وفي السيناريوهات الواقعية، تكون البيانات غالباً غير مكتملة بسبب الحجب، أو فشل المستشعرات، أو قيود الموارد. وتواجه النهج التقليدية، التي تعتمد على التقارب الزوجي أو تفكيك المصفوفات، صعوبة في التعامل مع المدخلات المفقودة، مما يؤدي غالباً إلى نتائج دون المستوى الأمثل عند استخدام الاستكمال (imputation) الساذج، أو تفشل في التوسع مع مجموعات البيانات الكبيرة. علاوة على ذلك، فإن العديد من طرق التجميع الفراغي الجزئي القائمة على التعلم العميق تفترض أيضاً مدخلات كاملة، مما يؤدي إلى الإفراط في ملاءمة (overfitting) المدخلات المرصودة أو يتطلب استراتيجيات استكمال متحيزة.

المنهجية: التجميع الفراغي الجزئي التبايني (CSC)

يقترح المؤلفون إطار عمل التجميع الفراغي الجزئي التبايني (CSC)، وهو إطار عمل ذاتي الإشراف مصمم لتعلم تمثيلات متينة من بيانات غير مكتملة دون الحاجة إلى تسميات (labels) أو إعادة بناء صريحة للبيانات.

الإطار الأساسي

يعمل خط الإنتاج في مرحلتين رئيسيتين: التدريب والاستدلال.

1. تعزيز البيانات عبر الحجب العشوائي:
   لكل عينة مرصودة جزئياً $y_i = M_i \odot x_i$ (حيث $M_i$ هي قناع ثنائي)، تولد الطريقة عرضين معززين منفصلين، $y_i^a$ و $y_i^b$، عن طريق تطبيق قناعين عشوائيين منفصلين ($M_i^a$ و $M_i^b$) على العينة غير المكتملة الأصلية. تعمل هذه العروض كأزواج إيجابية للتعلم التبايني.

2. التعلم التبايني (على نمط SimCLR):
   يقوم شبكة عصبية عميقة مشتركة (backbone) $f_\theta$ بمعالجة كلا العرضين المعززين لإنتاج تمثيلات كامنة $h_i^a$ و $h_i^b$. يتم إسقاط هذه التمثيلات عبر رأس إسقاط $g_\phi$ إلى فضاء كامن. يتم تدريب النموذج باستخدام فقدان "التقاطع المقيّس بالحرارة والتقارب الطبيعي" (NT-Xent). يهدف هذا الهدف إلى جذب التمثيلات الخاصة بالعرضين من نفس العينة معاً، ودفع تمثيلات العينات المختلفة بعيداً عن بعضها البعض. يشجع هذا الشبكة على تعلم ميزات ثابتة تلتقط بنية الفضاء الجزئي الكامنة رغم وجود مدخلات مفقودة.

3. الاستدلال والتجميع:
   بعد التدريب، يتم التخلص من رأس الإسقاط. يقوم الهيكل الأساسي المدرب $f_\theta$ بتمثيل العينات الأصلية غير المكتملة في فضاء كامن. بعد ذلك، تُغذى هذه التمثيلات في خوارزمية التجميع الفراغي الجزئي المتناثر (SSC) القياسية لاستعادة تعيينات المجموعات النهائية. ومن الجدير بالذكر أن الطريقة لا تقوم بإعادة بناء البيانات المفقودة؛ بل تقوم بتجميع التمثلات المتعلمة مباشرة.

المساهمات الرئيسية

• إطار عمل مبتكر للبيانات غير المكتملة: يعد CSC أول طريقة تطبق إطار عمل تبايني ذاتي الإشراف خصيصاً للتجميع الفراقي الجزئي مع وجود بيانات مفقودة. وهي تتعامل مع الحجب العشوائي كاستراتيجية لتعزيز البيانات بدلاً من كونها مشكلة يجب حلها عبر الاستكمال.
• المتانة تجاه الفقدان: من خلال تعلم الثبات عبر العروض المحجوبة، تلتقط الطريقة بنيات الفضاء الجزئي حتى عندما تغيب قيم ميزات فردية، مما يتجنب الآثار الاصطناعية التي تسببها طرق الاستكمال ذات المرحلتين.
• القابلية للتوسع: على عكس الطرق القائمة على التحسين التي تتوسع تربيعياً مع عدد العينات (بسبب بناء مصفوفة التقارب)، تستخدم CSC عملية تمرير أمامي (forward pass) للاستدلال، مما يوفر تجميعاً فورياً تقريباً ويقلل بشكل كبير من المتطلبات الحسابية.
• النمطية: تفصل الطريقة بين تعلم التمثيل وخوارزمية التجميع، مما يسمح باستخدام التمثلات المتعلمة مع أي تقنية تجميع قياسية (مثل k-means، أو التجميع الطيفي، أو SSC).

النتائج التجريبية

قيم المؤلفون CSC على ست مجموعات بيانات مرجعية، بما في ذلك مجموعات بيانات الرؤية الحاسوبية القياسية (MNIST, COIL20) ومجموعات بيانات التصوير فائق الطيف (IndianPines, Pavia University, Salinas).

• الأداء مقابل النماذج المرجعية: تفوق CSC باستمرار على كل من الطرق الكلاسيكية (مثل EWZF-SSC, GSSC, MSC) والنماذج المرجعية للتعلم العميق (مثل DSC, MAE, DMFMC).
  • في مجموعة بيانات MNIST، تفوقت CSC على جميع النماذج المرجعية بأكثر من 15% في متوسط الدقة.
  • في مجموعتي بيانات Pavia و IndianPines (بيانات التصوير فائق الطيف)، لوحظت تحسينات تزيد عن 5% و 6% على التوالي.
  • في مجموعات البيانات ذات معدلات الفقد العالية (معدلات أخذ عينات منخفضة $\rho$)، حافظت CSC على أداء مستقر، بينما عانت الطرق الكلاسيكية ونماذج الترميز التلقائي المقنع (MAE) من تدهور كبير، خاصة تحت ظروف الضجيج العالية.
• دراسات الاستئصال (Ablation Studies):
  • عمق النموذج: أدى زيادة عمق الشبكة إلى تحسين الدقة حتى نقطة معينة (الاستقرار حول العمق 5)، مما يشير إلى فائدة القدرة التعبيرية للنموذج.
  • الروابط المتبقية (Residual Connections): كان لاختيار استراتيجية الاتصال المتبقي (كامل، كتلة، أو لا يوجد) تأثير طفيف على الأداء، حيث كان أداء "لا يوجد اتصال متبقي" أفضل قليلاً في مجموعات البيانات الكبيرة.
  • المتانة تجاه الضجيج: أظهرت CSC متانة فائقة مقارنة بـ MAE تحت كل من أنظمة الضجيج المنخفضة والعالية، حيث حافظت على أخطاء تجميع منخفضة حتى عندما كانت معدلات أخذ العينات متوسطة إلى منخفضة ($\rho \approx 0.5$).

الأهمية والادعاءات

يزعم البحث أن CSC توفر حلاً قابلاً للتوسع، ومتيناً، وخالياً من التسميات للتجميع الفراقي الجزئي في وجود بيانات مفقودة. وتكمن أهميتها في:

1. التغلب على عقبة الاستكمال: من خلال تجنب إعادة البناء الصريح، تتجنب الطريقة تشويه الهندسة الفراغية الجزئية الذي غالباً ما يسببه الاستكمال في سيناريوهات معدلات الفقد العالية.
2. الكفاءة: إن القدرة على إجراء الاستدلال عبر عملية تمرير أمامي بسيطة تجعل الطريقة أكثر كفاءة بكثير من طرق التجميع الفراقي الجزئي التقليدية القائمة على التحسين.
3. القدرة على التعميم: الإطار قابل للتطبيق على نماذج بيانات متنوعة، بما في ذلك الصور القياسية والبيانات عالية الأبعاد فائقة الطيف، دون الحاجة إلى تغييرات معمارية خاصة بالمجال بخلاف اختيار الهيكل الأساسي.

يخلص المؤلفون إلى أنه بينما يظل التجميع الفراقي الجزئي مع البيانات المفقودة مشكلة صعبة، لا سيما في الأنظمة عالية الأبعاد، فإن النهج التبايني المقترح يوفر أساساً قوياً للأعمال المستقبلية في بيئات التدفق (streaming) والبيانات متعددة الرؤى.