ملخص تقني: هندسة رؤوس الإسقاط: التكييف، الثبات، والانهيار

بيان المشكلة

يعتمد التعلم الخاضع للإشراف الذاتي (SSL) بشكل كبير على مكون معماري محدد: رأس الإسقاط غير الخطي. ورغم ضرورته للتدريب، يتم التخلص من هذا الرأس عادةً ("تأثير المقصلة") قبل الضبط الدقيق للمهام اللاحقة، مما يثير لغزاً نظرياً: إذا كان الرأس ضرورياً لتقليل خسارة ما قبل التدريب، فلماذا تكون التمثيلية التي ينتجها دون المستوى الأمثل للاستدلال؟ علاوة على ذلك، فإن التفسيرات الحالية (مثل عنق زجاجة المعلومات أو منع الانهيار البعدي) تصف ماذا يحدث، لكنها تفشل في شرح الميكانيكا الهندسية لكيفية قيام الرأس بتغيير مشهد التحسين لفلترة المعلومات، وتسريع التقارب، والهروب من نقاط السرج المنهارة في آن واحد.

المنهجية

يطور المؤلفون نظرية هندسية تنمذج رأس الإسقاط كـ مقياس ريماني قابل للتدريب على ماني فولد (متعدد طيات) تمثيل الخلفية (Backbone). يتضمن الإطار النظري الجوهري ما يلي:

1. تفكيك هسيان الفعالية (Effective Hessian Decomposition): يتم تحليل مشهد التحسين عبر هسيان الفعالية ($H_{eff}$) لهدف التعلم الخاضع للإشراف الذاتي بالنسبة لتمثيل الخلفية. يتم تفكيك هذا المؤثر إلى مقياس سحب ($G(z) = J_h^\top \nabla^2_h L J_h$) وحد تفاعلي مدفوع بانحناء الرأس الجوهري ($\sum [\nabla_h L]_i \nabla^2_z h_i$).
2. التكييف الهندسي: يبحث البحث في كيفية قيام الرؤوس الخطية وغير الخطية بتكييف مشهد الخسارة. يتم تحليل الرؤوس الخطية لقدرتها على إجراء تبييض فرعي ضمني، بينما تُدرس الرؤوس غير الخطية لقدرتها على تكييف المقاييس المحلية على طول المسارات المنحنية.
3. تحليل الاستقرار: يتم فحص استقرار الانهيار البعدي (حيث تُسقط التمثيلات إلى متجه ثابت) من خلال تحليل القيم الذاتية لـ $H_{eff}$ عند نقاط التوازن المنهارة. يميز المؤلفون بين تدفق التدرج في الزمن المستمر والديناميكيات في الزمن المنفصل.
4. تفرد المقياس والثبات: تتم صياغة العلاقة بين أهداف الثبات وتدهور المقياس رسمياً. يثبت المؤلفون أن فرض الثبات تجاه مدارات التعزيز (Augmentation Orbits) يستلزم مقيساً مسحوباً مفردًا، مما يدمر المعلومات فعلياً على طول مماس التعزيز.
5. التحقق التجريبي: يتم التحقق من النظرية عبر تتبع الهسيان (مراقبة أرقام الحالة والقيّم الذاتية السالبة)، وتحليل ضغط المدار (قياس تقليل التباين في ماني فولد التعزيز)، ودراسات الاستئصال على وظائف التنشيط (ReLU مقابل التنشيطات الناعمة مثل Swish/GELU) وعمق الرأس عبر مختلف البنيات (ResNet, ViT) ومجموعات البيانات (CIFAR-10/100).

المساهمات الرئيسية

1. الرؤوس الخطية كتبييض فرعي ضمني

يثبت المؤلفون أن رؤوس الإسقاط الخطية تقوم بـ تبييض فرعي ضمني. من خلال تعلم مصفوفة أوزان $W$، يستحث الرأس مقياس ماهالانوبيس الذي يربط متماثلياً الفضاء الفرعي ذو الصلة لفضاء التمثيل بفضاء التضمين. ومع ذلك، فإن هذا التكييف عالمي وغير كافٍ للماني فولد المنحنية حيث يتباين الانحناء المحلي.

2. الرؤوس غير الخطية كمكيفات مقياس محلية

يُظهر أن الرؤوس غير الخطية (MLPs) القدرة على تكييف المقياس محلياً على طول مسارات التحسين المنحنية. يثبت البحث أنه بينما لا تستطيع الرؤوس الخطية تسطيح ماني فولد الخسارة المنحنية عالمياً (التقرير 3.3)، فإن الرؤوس غير الخطية العميقة بما يكفي يمكنها تقريب المقياس المثالي الذي يجعل هسيان الفعالية $\epsilon$-متماثل المناحي (Isotropic) على طول المسار (النظرية 3.2).

3. عدم الاستقرار الناجم عن الانحناء والانهيار

مساهمة مركزية هي الحل الهندسي لسبب تجنب الطرق غير التباينية (مثل BYOL, SimSiam) للانهيار البعدي دون عينات سالبة صريحة.

• النظرية 4.1: يثبت المؤلفون أنه بالنسبة للرؤوس غير الخطية الناعمة، يقوم حد التفاعل في هسيان الفعالية بحقن قيم ذاتية سالبة عند نقاط التوازن المنهارة. هذا يحول الحالة المنهارة من حد أدنى مستقر إلى نقطة سرج غير مستقرة، مما يوفر آلية هروب طبيعية لتدفق التدرج.
• فجوة ReLU: تفتقر التنشيطات الخطية بالتدريج (مثل ReLU) إلى الانحناء من الدرجة الثانية الجوهري ($\nabla^2 \text{ReLU} = 0$). وبناءً عليه، لا يمكنها توليد هذا الانحناء السالب تحت تدفق الزمن المستمر. يجادل البحث بأن رؤوس ReLU تتجنب الانهيار فقط عبر الضوضاء في الزمن المنفصل (أحجام الخطوات المحدودة) وBatchNorm، بينما توفر التنشيطات الناعمة (Swish, GELU) ضماناً هندسياً أصيلاً لعد عدم الاستقرار.

4. تدهور المقياس والمقايضة بين المعلومات والثبات

يصيغ البحث استراتيجية "التدريب مع، والاستخدام بدون" من خلال تفرد المقياس.

• التقرير 5.2: لتلبية أهداف الثبات، يجب أن يستحث رأس الإسقاط مقيساً مسحوباً مفرداً حيث يقع مماس التعزيز في الفضاء الصفري ($v^\top G(z) v = 0$).
• النظرية 5.3: يتسبب هذا التفرد في نقص الرتبة في مصفوفة معلومات فيشر بالنسبة للخلفية. يعمل الرأس كمرشح تمرير منخفض هندسي، حيث يبيد المعلومات على طول اتجاهات التعزيز.
• الاستنتاج: التخلص من الرأس هو ضرورة نظرية. تحتفظ الخلفية بكامل أبعاد ماني فولد البيانات، بينما يمتص الرأس تدهور المقياس المطلوب لفرض الثبات. استخدام الرأس في الاستدلال سيحتفظ بالمعلومات المدمرة (أو فقدانها)، بينما تحتفظ الخلفية الخام بالدلالات القابلة للفصل خطياً.

النتائج

• تتبع الهسيان: يؤكد التتبع التجريبي أن الرؤوس الناعمة تحقن بنشاط قيماً ذاتية سالبة في هسيان الفعالية، مما يؤدي إلى "تحول طوري" يهرب من الحالات المنهارة. في المقابل، لا تظهر رؤوس ReLU والرؤوس الخطية هذا الانحناء السالب وتظل محاصرة في أحواض الانهيار تحت التدفق المستمر ما لم تساعدها الديناميكيات المنفصلة.
• ضغط المدار: تظهر التجارب أن رأس الإسقاط يضغط مدارات التعزيز بمعاملات تتراوح بين ~20 ضعفاً (ResNet) إلى ~4000 ضعف (ViT)، مع الحفاظ على الفصل الدلالي بين الفئات. وهذا يؤكد أن الرأس يعمل كمضغط هندسي انتقائي.
• النماذج التأسيسية: يكشف تحليل النماذج المدربة مسبقاً (DINO, VICReg, Barlow Twins) عن ثنائية هندسية. تعمل رؤوس DINO كـ مضغفات هندسية (تنهار المدارات لفرض الثبات)، بينما تعمل رؤوس تقليل الحشو (VICReg) كـ موسعات بعدية (تحافظ على التباين لتلبية قيود إلغاء الارتباط). في كلتا الحالتين، يفصل الرأس الخلفية عن القيود الصارمة للهدف.
• استئصال العمق: تظهر الرؤوس الأكثر عمقاً (3-layer MLPs) قدرة فائقة على تشويه الماني فولد وعزل تفرد المقياس، مما يؤدي إلى دقة أفضل للخلفية في المهام اللاحقة مقارنة بالرؤوس الضحلة أو الخطية، التي تفشل في حماية الخلفية بشكل كافٍ من تدهور المقياس.

الأهمية

يزعم البحث أنه يقدم تفسيراً هندسياً ميكانيكياً للضرورة التجريبية لرؤوس الإسقاط في SSL. إنه يحل لغزين مركزيين:

1. تجنب الانهيار: يوضح أن الانحناء الجوهري للرؤوس غير الخطية الناعمة كافٍ لزعزعة استقرار الحلول التافهة المنهارة، مما يقدم بديلاً هندسياً للتفسيرات التي تعتمد فقط على BatchNorm أو الضوضاء في الزمن المنفصل.
2. تأثير المقصلة: يثبت أن الرأس يجب التخلص منه لأنه يستحث تفرد المقياس الذي يدمر المعلومات المطلوبة للمهام اللاحقة. يعمل الرأس كـ "مخزن هندسي عالمي"، حيث يمتص القيود المدمرة لهدف ما قبل التدريب لحماية الخلفية الدلالية.

تشير الدراسة إلى أن استبدال ReLU بتنشيطات ناعمة ليس مجرد وسيلة تجريبية بل هو متطلب طوبولوجي لتحسين قوي في SSL، كما أن بنية MLP القياسية المكونة من 2-3 طبقات هي بنية مثبتة تجريبياً كأقل قدرة مطلوبة لتلبية هذه الشروط الهندسية.