ملخص تقني: T-REGS (تنظيم الشجرة الممتدة الدنيا للتعلم الخاضع للإشراف الذاتي)

بيان المشكلة

أصبح التعلم الخاضع للإشراف الذاتي (SSL) نموذجاً مهيمناً لتعلم تمثيلات البيانات دون الحاجة إلى بيانات مصنفة، لا سيما في المجالات البصرية. ومع ذلك، يبرز تحدٍ حرج في التعلم الخاضع للإشراف الذاتي القائم على التضمين المشترك (JE-SSL) وهو انهيار التمثيل (representation collapse)، حيث تخرج الشبكات نواقل متطابقة أو غير معلوماتية بغض النظر عن المدخلات. وقد حددت الأبحاث الحديثة شكلاً أكثر دقة من الفشل يُعرف بـ الانهيار البعدي (dimensional collapse)، حيث تشغل الميزات المتعلمة فضاءً فرعيًا منخفض الأبعاد فقط، مما يؤدي إلى ارتباطات عالية بين الميزات وانخز في التنوع. بالإضافة إلى ذلك، تتطلب التمثيلات الفعالة التوحيد (uniformity)، مما يضمن توزيع التضمينات بشكل متساوٍ عبر فضاء التمثيل للحفاظ على أقصى قدر من المعلومات والمساعدة في تعميم النتائج لاحقاً.

تواجه الحلول الحالية قيوداً:

• الطرق التباينية (Contrastive methods) (مثل SimCLR و MoCo): تتطلب أحجام دفعات كبيرة وعينات سالبة عديدة، وهي مكلفة حوسبياً.
• طرق تقليل الحشو (Redundancy reduction methods) (مثل Barlow Twins و VICReg): تفرض مصفوفات تغاير قريبة من مصفوفة الوحدة، لكنها تعتمد فقط على العزوم من الدرجة الثانية، مما قد يفشل في رصد نقاط تركيز الكثافة التي تمنع التقارب نحو التوزيعات الموحدة.
• الطرق غير المتماثلة (Asymmetric methods) (مثل BYOL): تفتقر إلى الأساس النظري حول كيفية منع الانهيار.
• الأساليب القائمة على النقل الأمثل (Optimal Transport-based approaches) (مثل Fang et al.): تلبي الخصائص النظرية الضرورية ولكنها مكلفة حوسبياً ويمكن أن تعاني من عدم استقرار عددي بسبب عمليات تفكيك القيم المفردة (SVD).

المنهجية: T-REG و T-REGS

يقترح المؤلفون T-REG (تنظيم الشجرة الممتدة الدنيا)، وهو إطار عمل مصمم للحد من الانهيار البعدي وتعزيز توحيد التوزيع في آن واحد.

المفهوم الجوهري: تعظيم طول الشجرة الممتدة الدنيا (MST)

الفكرة المركزية هي تعظيم طول الشجرة الممتدة الدنيا (MST) للتمثيلات المتعلمة. يربط التحليل النظري بين طول MST وتقدير البعد الإحصائي وتعظيم الإنتروبيا.

• طول MST ($E(G)$): يُعرف بأنه مجموع المسافات الإقليدية بين العقد المتصلة في الشجرة: $E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$.
• قوة التنافر (Repulsive Force): أثناء التحسين، تمارس أزواج النقاط التي تشكل حواف في MST قوة تنافر على بعضها البعض، مما يدفع النقاط طبيعياً للتباعد لزيادة الطول الإجمالي للشجرة.

دالة خسارة T-REG

لمنع الحل البديهي المتمثل في تباعد النقاط إلى ما لا نهاية (بما أن تعظيم طول MST وحده يشجع التمدد)، يقوم T-REG بتقييد التضمينات ضمن متشعب مدمج (compact manifold)، وتحديداً كرة فائقة (hypersphere). تتكون الخسارة الإجمالية من حدين:

1. تعظيم طول MST ($L_E$): $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$. هذا الحد يشجع على الانتشار.
2. قيد الكرة الناعم ($L_S$): $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$. هذا الحد يعاقب الانحراف عن الكرة الوحدة.

الخسارة المركبة هي:
$$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$$
حيث $\gamma$ و $\lambda$ هما معلمات فائقة توازن بين المقايضة بين الانتشار والحفاظ على قيد الكرة.

التوسع إلى T-REGS

يطبق T-REGS هذا التنظيم على أطر عمل JE-SSL. بالنظر إلى عرضين معززين $X$ و $X'$، ينتج النموذج تضمينات $Z$ و $Z'$. يعمل T-REGS كحد تنظيم يتم تطبيقه بشكل مستقل على كل فرع:
$$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$$
يمكن استخدامه بطريقتين:

1. مستقل (Standalone): يُدمج مباشرة مع حد ثبات العرض (مثل متوسط مربع الخطأ MSE).
2. إضافي (Auxiliary): يُضاف إلى أهداف SSL الموجودة (مثل BYOL أو Barlow Twins) لتعزيز أدائها.

التحليل النظري

يقدم البحث ضمانات نظرية صارمة لـ T-REG:

• العينات الصغيرة ($n \le d+1$): يثبت النظرية 4.1 أنه تحت قيد الكرة، فإن تعظيم طول MST يجبر النقاط على الاستقرار عند رؤوس متعدد أضلاع منتظم (regular simplex). هذا التكوين يعظم المسافات الزوجية، مما يمنع الانهيار البعدي بفعالية عبر استخدام البعد التمثيلي الكامل.
• العينات الكبيرة ($n \to \infty$): يربط التحليل طول MST بإنتروبيا Rényi الجوهرية. توضح النظرية 4.4 والنتيجة 4.6 أن تعظيم طول MST يقود توزيع التضمين تقاربياً نحو التوزيع الموحد (uniform distribution) على المتشعب الريماني المدمج (الكرة).
• الخصائص المنهجية: يلبي T-REG بشكل طبيعي الخصائص الأربعة المقترحة من قبل Fang et al. [23] (تبديل النسخة، استنساخ النسخة، استنساخ الميزة، وقيود الميزة الصغرى)، وهي ضرورية لمنع الانهيار البعدي وضمان التوحيد.

النتائج التجريبية

قيم المؤلفون T-REGS على بيانات اصطناعية ومعايير SSL القياسية.

التحقق من البيانات الاصطناعية

• الانهيار البعدي: في مجموعة بيانات غاوسية ذات 1024 بُعداً مع مستويات انهيار محكومة، طابقت حساسية خسارة T-REG حساسية مقياس W2 (من Fang et al.)، مما يؤكد قدرتها على معاقبة الانهيار.
• التوحيد: أظهر تحسين سحب النقاط أن T-REG نجح في تحويل البيانات المتدهورة أو المتكتلة إلى نقاط موزعة بانتظام على كرة. في الأبعاد العالية (256-d)، تقارب توزيع تشابه جيب التمام إلى دالة دلتا (Dirac delta) بالقرب من 0، مما يشير إلى تكوين متعدد أضلاع منتظم.

أداء المعايير القياسية

• CIFAR-10/100: حقق T-REGS نتائج تنافسية، حيث طابق أو تجاوز قليلاً الطرق المنظمة بـ W2. وعند استخدامه كحد إضافي لـ BYOL و Barlow Twins، فقد حسن باستمرار دقة Top-1 مقارنة بالنماذج الأساسية والمتغيرات التي تستخدم منظمات أخرى (مثل Lu، W2).
• ImageNet-100/1k: أظهر T-REGS قابلية للتوسع. كحد إضافي لـ BYOL و Barlow Twins، حسن الأداء على كلا المجموعتين. حقق T-REGS المستقل (المدمج مع LMSE) دقة Top-1 بلغت 68.8% على ImageNet-1k، وهي منافسة للطرق الحديثة مثل INTL.
• التطبيق متعدد الوسائط (استرجاع الصور والنصوص): عند تطبيقه لضبط نموذج CLIP، حسن T-REGS أداء الاسترجاع (R@1 و R@5) على Flickr30k و MS-COCO. يشير هذا إلى أن T-REGS يساعد في تخفيف "فجوة الوسائط" (modality gap) من خلال فرض التوحيد في كل من فرعي الصور والنصوص.

الكفاءة الحوسبية

• التعقيد: تستخدم عملية حساب MST خوارزمية Kruskal بتعقيد أسوأ حالة قدره $O(B^2(D \cdot \log B))$، حيث $B$ هو حجم الدفعة و $D$ هو البعد.
• وقت التشغيل: رغم التعقيد النظري، تسمح التنفيذات المتوازية عبر GPU (باستخدام torchph) لـ T-REGS بمطابقة وقت التشغيل الفعلي لكل خطوة لـ SimCLR و VICReg في الممارسة العملية.

الأهمية والادعاءات

يزعم البحث أن T-REGS يوفر بديلاً بسيطاً من الناحية المفاهيمية، وسهل التنفيذ، وفعال حوسبياً لاستراتيجيات التنظيم الحالية. تكمن أهميته الأساسية في:

1. الرصانة النظرية: يوفر ضمانات مثبتة ضد الانهيار البعدي ولتعزيز التوحيد على المتشعبات المدمجة، مستندة إلى تحليل البيانات الطوبولوجي وتعظيم الإنتروبيا.
2. الفعالية العملية: يحسن جودة التمثيل عبر مختلف البنى (التباينية وغير التباينية) والوسائط (أحادية ومتعددة الوسائط) دون الحاجة إلى دفعات سالبة كبيرة أو عمليات عددية معقدة مثل SVD.
3. تعدد الاستخدامات: يعمل بفعالية كهدف مستقل وكخسارة إضافية نمطية، مما يجعله قابلاً للتكيف مع مختلف مسارات SSL.

يخلص المؤلفون إلى أن T-REGS ينجح في جسر الفجوة بين المتطلبات النظرية لتمثيلات SSL الجيدة والتنفيذ العملي القابل للتوسع.