ملخص تقني: فهم التعلم الذاتي الإشراف عبر مطابقة التوزيع الكامن

بيان المشكلة

برز التعلم الذاتي الإشراف (SSL) كنموذج مهيمن لاستخراج التمثيلات العامة من البيانات غير المصنفة في مجالات الرؤية، واللغة، والصوت. ورغم النجاحات التجريبية، يفتقر المجال إلى إطار نظري موحد يفسر تنوع الأساليب القائمة (التباينية، وغير التباينية، والتنبؤية، ونهج "توقف التدرج") ويوفر إرشادات مبدئية لتطوير أساليب جديدة.

تُظهر التفسيرات الحالية قيوداً كبيرة:

• المحاذاة الهندسية: على الرغم من كونها بديهية (تعزيز التقارب بين المشاهد المزدوجة والتنافر مع غيرها)، إلا أن هذا المنظور يفتقر إلى أساس إحصائي رسمي ويقدم توجيهاً محدوداً للأساليب غير التباينية مثل BYOL أو SimSiam.
• تعظيم المعلومات المتبادلة (MI): رغم شعبيتها، إلا أن المعلومات المتبادلة ثابتة تحت التحويلات العكسية التعسفية، مما يعني أنها بطبيعتها لا تعزز تمثيلات ذات معنى دلالي أو قابلة للتمييز. وقد ثبت تجريبياً أن تعظيم المعلومات المتبادلة ليس ضرورياً ولا كافياً لنجاح التعلم الذاتي الإشراف.
• النماذج التنبؤية: على الرغم من تحقيقها لأداء عالٍ في البيانات الزمنية، إلا أن هذه النماذج غالباً ما تعتمد على أهداف استدلالية أو استراتيجيات تنظيم (مثل "توقف التدرج") دون فهم كامل لسبب عملها أو كيفية تصميمها بشكل منهجي.

المنهجية: مطابقة التوزيع الكامن (LDM)

يقترح المؤلفون صياغة التعلم الذاتي الإشراف كـ مطابقة للتوزيع الكامن (LDM). الفرضية الأساسية هي أن التعلم الذاتي الإشراف يتعلم التمثيلات من خلال مطابقة توزيع البيانات المحولة مع توزيع نموذج كامن مفترض.

الصياغة النظرية

يحدد الإطار توزيعاً كامناً مشتركاً $R(z, z')$، ناتجاً عن مشفر حتمي $f(x)$ وتوزيع بيانات $P_{data}(x, x')$. الهدف هو مطابقة هذا التوزيع التجريبي مع نموذج كامن معلمي $P_\theta(z, z')$. يتم صياغة دالة الهدف كـ "سالب تباعد كولباك - ليبلر" (KL divergence):

$$F_{LDM} = -D_{KL}[R(z, z') \parallel P_\theta(z, z')]$$

ويؤدي توسيع هذا التباعد إلى حدين متميزين:

1. المحاذاة (الاحتمالية/Likelihood): $\langle \log P_\theta(z, z') \rangle_{R(z,z')}$. يعزز هذا الحد محاذاة التمثيلات المتعلمة مع بنية النموذج المفترضة (مثل التنبؤ بالحالات المستقبلية أو مطابقة النسخ المعززة).
2. التوحيد (الإنتروبيا/Uniformity): $H_R[z, z']$. يعمل هذا الحد على تعظيم إنتروبيا التمثيلات الكامنة، ويمنع انهيار التمثيل (حيث تُسقط جميع المدخلات إلى نفس النقطة)، ويعزز كون المشفر عكسياً على منوع البيانات (data manifold).

الاتصال بالأساليب القائمة

يوضح العمل أن مجموعة واسعة من خوارزميات التعلم الذاتي الإشراف الراسخة يمكن اشتقاقها كحالات خاصة من LDM عبر تغيير اختيار النموذج الكامن $P_\theta$ ومقدر الإنتروبيا:

• VICReg: مشتق بافتراض توزيع مسبق مسطح ونموذج غاوسي شرطي باستخدام مقدر إنتروبيا معلمي (LogDet).
• SimCLR: مشتق بافتراض توزيع منتظم على كرة ونموذج "فون ميسيس-فايشر" شرطي باستخدام تقدير كثافة النواة (KDE) للإنتروبيا.
• التعلم الذاتي الإشراف التنبئي (مثل CPC، BYOL، SimSiam): مشتق عبر استخدام نماذج شرطية حيث يقوم المتنبئ بتقدير الحالات الكامنة المستقبلية. يوضح العمل أن نهج "توقف التدرج" ينفذ ضمنياً عملية تقريبية لتعظيم الإنتروبيا الشرطية.

تقدير الإنتروبيا

المكون الحاسم للإطار هو تقريب حد الإنتروبيا. يحلل المؤلفون عدة مقدرات:

• KDE: يؤدي إلى أهداف تباينية (مثل SimCLR).
• المعلمي (LogDet): يؤدي إلى أهداف غير تباينية (مثل VICReg).
• التقدير الشرطي: يُنفذ ضمنياً بواسطة النماذج التي تحتوي على متنبئات و"توقف التدرج".
• k-الأقرب للجيران (kNN): مقترح كمقدر قوي يرتبط ارتباطاً وثيقاً بالأساليب التباينية.

المساهمات الرئيسية

1. إطار موحد: يرسخ العمل LDM كهدف موحد للتعلم الذاتي الإشراف. ويوضح أن الاختلافات بين الأساليب تنشأ طبيعياً من خيارات مختلفة للنماذج الكامنة (المسبقات والشروط) ومقدرات الإنتروبيا، وليس من مبادئ مختلفة جوهرياً.
2. توضيح المعلومات المتبادلة: يثبت المؤلفون أنه بالنسبة للمشفرات التي تكون عكسية على منوع البيانات، فإن المعلومات المتبادلة يتم تعظيمها بالفعل من خلال تعظيم الإنتروبيا. وبالتالي، فإن التعظيم الصريح للمعلومات المتبادلة لا يساهم كثيراً في جودة التمثيل بما يتجاوز ما يحققه LDM. ويجادل العمل بأن النهج القائمة على المعلومات المتبادلة تنجح لأنها تؤدي ضمنياً إلى مطابقة التوزيع عبر متنبئات مقيدة (مثل التوزيع الغاوسي)، وليس لأن المعلومات المتبادلة هي القوة الدافعة بحد ذاتها.
3. اشتقاق أهداف جديدة: يتيح الإطار الاشتقاق المنهجي لمتغيرات جديدة من التعلم الذاتي الإشراف. وكدليل على ذلك، يشتق المؤلفون نموذج مرشح بايزي غير خطي وخالٍ من العينات للسلاسل الزمنية عالية الأبعاد. يجمع هذا النموذج بين مشفر عميق ومتنبئ قائم على "مرشح كالمان" (Kalman-based predictor)، ويسمح بتقدير عدم اليقين المبدئي للحالات الكامنة دون الحاجة إلى إعادة بناء صريحة.
4. ضمانات القابلية للتمييز (Identifiability): يوفر العمل براهين نظرية تظهر أن نماذج التعلم الذاتي الإشراف التنبؤية المدربة عبر LDM يمكنها استعادة المتغيرات الكامنة الأساسية حتى التحويلات التآلفية (affine transformations). وهذا يتحقق تحت فرضيات مخففة، بما في ذلك المتنبئ الغاوسي والمشفر الذي يكون عكسياً على منوع البيانات. يقدم هذا تفسيراً رسمياً للأداء التجريبي القوي للأساليب التنبؤية.

النتائج والتحقق التجريبي

• تكافؤ LDM والأساليب القائمة على المعلومات المتبادلة: تُظهر التجارب على مجموعات بيانات الصور الطبيعية (CIFAR-10, CIFAR-100, ImageNet-100) أن النماذج المدربة باستخدام $F_{LDM}$ (بدون تعظيم صريح للمعلومات المتبادلة) و $F_{MI}$ (مع تعظيم المعلومات المتبادلة) تنتج تمثيلات وأداءً متماثلاً تقريباً في المهام اللاحقة. وكان اختيار مقدر الإنتروبيا وهندسة الفضاء الكامن له تأثير أكبر بكثير على الأداء من تضمين حد المعلومات المتبادلة.
• استعادة المصدر في ICA الخطي: نجح الإطار في استعادة المكونات المستقلة في مهام ICA الخطية، مما يتوافق مع الحدس بأن مطابقة توزيعات المصدر تؤدي إلى فك الارتباط (disentanglement).
• التعلم الذاتي الإشراف التنبئي على البيانات الاصطناعية والحقيقية:
  • في الأنظمة الديناميكية الاصطناعية، استعادت كل من نماذج الترميز التنبئي المقارن (CPC) ونماذج "توقف التدرج" التنبؤية المتغيرات الكامنة الحقيقية بدقة عالية ($R^2 \approx 0.99$).
  • تم تطبيق نموذج SSL القائم على كالمان على بيانات حية (in-vivo) لنبضات الخلايا العصبية من حصين الجرذان. تعلم النموذج بنجاح ترتيب نبضات الخلايا العصبية المشفرة على دائرة تتوافق مع موقع واتجاه الجرذ، وقدم تقديرات لعدم اليقين في توقعات الموقع لم تكن متاحة للأساليب التنبؤية السابقة.
• القابلية للتمييز في الأنظمة غير الخطية: أكدت عمليات المحاكاة على الأنظمة الديناميكية غير الخطية أن نموذج LDM التنبئي يستعيد الفضاء الكامن الحقيقي حتى التحويلات التآلفية، مما يؤكد نتائج القابلية للتمييز النظرية.

الأهمية والادعاءات

يزعم العمل أن إطار LDM يوفر أساساً إحصائياً رسمياً للتعلم الذاتي الإشراف، متجاوزاً التفسيرات الاستدلالية. ومن خلال صياغة التعلم الذاتي الإشراف كمطابقة للتوزيع، يوضح المؤلفون الافتراضات التي تقوم عليها الأساليب الراسخة ويفسرون سبب نجاحها: فهي تعمل بفعالية على فرض أن التوزيع الكامن المتعلم يطابق بنية نموذج محدد، وهو ما يؤدي - تحت افتراضات العكسية - إلى تمثيلات قابلة للتمييز وذات معنى.

يؤكد المؤلفون أن التعلم الذاتي الإشراف لا يعمل أساساً من خلال الضغط الخاسر (التخلص من التفاصيل) بل من خلال إعادة التوصيف الهندسي لمنوع البيانات. ومن خلال تحديد احتمالية النموذج في الفضاء الكامن، يمارس التعلم الذاتي الإشراف تحكماً دقيقاً في كيفية بسط المنوع، مما يعزز الهياكل حيث تكون الميزات المجردة مفككة ومتاحة للمتنبئات.

أخيراً، يسلط العمل الضوء على أن تطوير مقدرات إنتروبيا دقيقة، وفعالة من حيث العينات، وقابلة للتحسين، يظل تحدياً عملياً حاسماً. ويشير الإطار إلى أن التطورات المستقبلية في التعلم الذاتي الإشراف قد تعتمد بشكل كبير على تطوير مقدرات إنتروبيا أفضل بناءً على النمذجة الإحصائية، بدلاً من الاعتماد فقط على التغييرات الهيكلية أو التنظيمات الاستدلالية.