🤖 machine learning

Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets

تُوصّف هذه الورقة هندسة التمثيلات المثلى في التعلم التبايني في ظل عدم توازن الفئات، حيث تُثبت أنه بينما تُظهر الفئات المتوازنة ظاهرة الانهيار العصبي (Neural Collapse)، فإن الفئات غير المتوازنة تتبع تناظراً زاوياً يعتمد على النسبة، مما قد يؤدي إلى "الانهيار الأقلي" (Minority Collapse) عندما يتجاوز عدم التوازن حداً معيناً.

المؤلفون الأصليون: Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC0 1.0

المؤلفون الأصليون: Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: تعليم روبوت فرز خزانة ملابس فوضوية

تخيل أنك تعلم روبوتاً كيفية فرز كومة ضخمة من الملابس. مهمة الروبوت هي أن يتعلم ما الذي يجعل "القميص" يبدو كقميص و"البنطال" يبدو كبنطال.

في التعلم التبايني (Contrastive Learning - CL)، يتعلم الروبوت من خلال لعب لعبة:

المرتكز (The Anchor): يلتقط الروبوت قطعة واحدة (مثلاً: قميص أزرق).
الإيجابي (The Positive): يجد قطعة أخرى مشابهة (قميص أزرق آخر). يحاول تقريب هاتين القطعتين من بعضهما البعض في عقله.
السلبيات (The Negatives): ينظر إلى قطع مختلفة (سروال جينز، قبعة، جورب). يحاول إبعاد هذه القطع عن القميص الأزرق.

الهدف هو أن ينشئ الروبوت خريطة ذهنية حيث تتجمع الأشياء المتشابهة معاً، وتتباعد الأشياء المختلفة عن بعضها.

المشكلة: الخزانة "غير المتوازنة"

تفترض معظم الأبحاث أن الخزانة متوازنة تماماً: 100 قميص، 100 بنطال، 100 قبعة. لكن في العالم الحقيقي، الخزانات فوضوية. قد يكون لديك 1,000 قميص، ولكن 5 سراويل فقط و3 قبعات. هذه هي مجموعات البيانات غير المتوازنة (imbalanced datasets).

تساءل مؤلفو هذه الورقة: ماذا يحدث للخريطة الذهنية للروبوت عندما تكون الخزانة منحازة بشدة؟ هل لا يزال يفرز الأشياء بشكل صحيح؟

الاكتشاف الرئيسي: "الانهيار العصبي" و"انهيار الأقلية"

أثبتت الورقة شيئين رئيسيين حول كيفية تنظيم الروبوت لعقله عندما يحاول القيام بأفضل عمل ممكن.

1. "التكتل المثالي" (انهيار التباين داخل الفئة - Intra-class Variance Collapse)

عندما يتعلم الروبوت بشكل مثالي، فإنه يتوقف عن معاملة كل قميص كقطعة فريدة. بدلاً من ذلك، يدرك: "مهلاً، كل هذه القمصان الزرقاء هي في الأساس الشيء نفسه".

التشبيه: تخيل سرباً من الطيور. قبل التعلم، يطيرون في سحابة مبعثرة. بعد التعلم، يطير كل طائر في مجموعة "القميص الأزرق" إلى نفس النقطة تماماً في السماء. جميعهم ينهارون في نقطة واحدة.
النتيجة: تثبت الورقة أنه لأي فئة (حتى الفئات النادرة)، فإن أفضل طريقة للروبوت للتعلم هي جعل كل عنصر في تلك الفئة متطابقاً مع "متوسط" تلك الفئة.

2. "الرقصة الهندسية" (شكل التكتلات - The Shape of the Clumps)

بمجرد أن يضغط الروبوت كل القمصان في نقطة واحدة، وكل السراويل في نقطة أخرى، وكل القبعات في نقطة ثالثة، كيف يتم ترتيب هذه النقاط؟

الخزانة المتوازنة: إذا كان لديك أعداد متساوية من القمصان والسراويل والقبعات، فسترتب النقاط نفسها في شكل متماثل ومثالي (مثل مثلث متساوي الأضلاع أو هرم مثالي). هذا يسمى إطاراً ضيقاً متساوي الزوايا (Equiangular Tight Frame - ETF).
الخزانة غير المتوازنة: إذا كان لديك الكثير من القمصان مقارنة بالسراويل، فإن التماثل ينكسر. تتحرك نقطة "القميص"، وتتحرك نقاط "السراويل" و"القبعات" لتستوعب وزن القمصان.
الاكتشاف: توفر الورقة وصفة رياضية (مسألة تحسين محدب) لحساب أين يجب أن توضع هذه النقاط بالضبط لتكون الأكثر كفاءة، حتى عندما تكون الأعداد غير متساوية.

3. "انهيار الأقلية" (العتبة الخطيرة - Minority Collapse)

هذا هو الاكتشاف الأكثر إثارة. نظر المؤلفون فيما يحدث عندما يكون عدم التوازن شديداً.

السيناريو: تخيل أن لديك 95% قمصان، 2.5% سراويل، و2.5% قبعات.
الظاهرة: تثبت الورقة أنه إذا أصبحت مجموعات "الأقلية" (السراويل والقبعات) صغيرة جداً، فإنها تفقد تميزها. يرتبك الروبوت ويقرر: "بما أن السراويل والقبعات نادرة جداً، فسأعاملهما كشيء واحد بالضبط".
التشبيه: تخيل جزيرتين صغيرتين في محيط شاسع. إذا أصبحت الجزر صغيرة جداً، تختفي المياه بينهما، وتندمجان في بقعة واحدة صغيرة. ينهار الروبوت نقطة "السراويل" ونقطة "القبعات" في متجه واحد، وغالباً ما يشيران إلى الاتجاه المعاكس تماماً لنقطة "القميص".
العتبة: حسب المؤلفون "نقطة تحول" محددة (عتبة). إذا استولت الفئة الأكثرية على أكثر من 93% من البيانات (لنوع معين من خوارزميات التعلم)، فإن فئات الأقلية ستنهار حتماً لتصبح شيئاً واحداً.

كيف أثبتوا ذلك؟

لم يكتفِ المؤلفون بالتخمين؛ بل استخدموا رياضيات ثقيلة لإثبات حدوث ذلك في السيناريو "المثالي" حيث يمتلك الروبوت قدرات عقلية غير محدودة ("نموذج الميزات غير المقيد" - Unconstrained Features Model).

الحد الأدنى (Lower Bound): أنشأوا "أرضية" لمدى سوء أداء الروبوت. وأثبتوا أنه للوصول إلى هذه الأرضية المثالية، يجب على الروبوت ضغط العناصر في متوسطات فئاتها.
التحسين المحدب (Convex Optimization): أظهروا أن إيجاد الترتيب المثالي لهذه النقاط المنهارة يشبه حل لغز لا يوجد له سوى حل واحد صحيح، ويمكن العثور عليه باستخدام أدوات رياضية قياسية.
المحاكاة (Simulation): أجروا تجارب حاسوبية باستخدام بيانات صور حقيقية (من مجموعة بيانات CIFAR-10). قاموا بصنع مجموعات بيانات غير متوازنة اصطناعياً وراقبوا عملية تعلم الروبوت.
- النتيجة: تطابقت نتائج الكمبيوتر مع الرياضيات تماماً. الصور من فئة "الأقلية" انهارت فيزيائياً إلى نقطة واحدة في التصور البصري، تماماً كما توقعت النظرية.

ملخص النتائج الرئيسية

عدم التوازن يغير الهندسة: عندما تكون البيانات غير متوازنة، فإن الترتيب المثالي للميزات المتعلمة ليس شكلاً متماثلاً، بل هو شكل مشوه تحدده نسب البيانات.
كل شيء ينهار: للتعلم بشكل مثالي، يجب على الروبوت جعل كل عنصر في الفئة يبدو تماماً مثل متوسط تلك الفئة.
عدم التوازن الشديد خطير: إذا سيطرت فئة واحدة بشكل كبير جداً (مثلاً > 93%)، فإن الفئات النادرة تفقد فرديتها وتندمج في نقطة واحدة، مما يجعل من المستحيل على الروبوت التمييز بينها.
الأمر قابل للحل: على الرغم من تعقيد الهندسة، توفر الورقة طريقة لحساب الترتيب الأمثل باستخدام التحسين المحدب.

ترسم الورقة البحثية أساساً "فيزيائياً" لكيفية تنظيم نماذج التعلم الآلي للمعلومات عندما يكون العالم الذي تتعلم منه فوضوياً وغير متوازن.

ملخص تقني: التمثيلات المثلى للتعلم التبايني المعمم مع مجموعات البيانات غير المتوازنة

بيان المشكلة

يهدف التعلم التبايني (Contrastive Learning - CL) إلى تعلم خرائط تمثيل تسحب العينات "المتشابهة" (الإيجابية) لتقترب من بعضها البعض، وتدفع العينات "المختلفة" (السلبية) بعيدًا عنها. وبينما تُعد هندسة التمثيلات المثلى مفهومة جيدًا في حالات مجموعات البيانات المتوازنة — حيث تظهر ظاهرة الانهيار العصبي (Neural Collapse - NC) حيث تشكل متوسطات الفئات إطارًا ضيقًا متساوي الزوايا (Equiangular Tight Frame - ETF) — إلا أن سلوك التعلم التبايني تحت توزيعات الفئات غير المتوازنة لا يزال غير مشخص بشكل كافٍ. ركزت الأعمال النظرية الحالية بشكل أساسي على:

النسخ التجريبية من خسارة InfoNCE مع أعداد قريبة من الحد الأقصى من العينات السلبية ( $k \approx$ حجم الدفعة).
إعدادات الفئات المتوازنة حيث تكون جميع الفئات ذات احتمالية متساوية.
شبكات التصنيف ذات الخسائر الصريحة المعتمدة على التسميات (مثل MSE أو Cross-Entropy)، بدلاً من مخاطر CL العامة.

تعالج هذه الورقة الفجوة في فهم هندسة التمثيل الأمثل لـ خسائر CL المعممة تحت اختلالات الفئات التعسفية، وتستقصي تحديدًا ما إذا كانت بنية الـ ETF تستمر، وتحدد ظواهر جديدة مثل انهيار الأقلية (Minority Collapse - MC).

المنهجية

يتبنى المؤلفون إطار نموذج الميزات غير المقيدة (Unconstrained Features Model - UFM)، حيث يتم التعامل مع ناقلات الميزات في الطبقة الأخيرة كمتغيرات تحسين حرة بدلاً من أوزان الشبكة. يسمح هذا بتحليل قابل للتتبع للحد الأدنى العالمي (Global Optimum).

الافتراضات الأساسية والإعداد

دالة الخسارة المعممة: تدرس الدراسة عائلة واسعة من خسائر CL المعرفة كـ $\ell_k = \psi(\dots)$ ، حيث $\psi: \mathbb{R}^k \to \mathbb{R}$ دالة محدبة تمامًا ومتزايدة بالنسبة لكل وسيط. وهذا يشمل خسائر شائعة مثل InfoNCE.
توزيعات أخذ العينات: يغطي التحليل كلاً من التعلم التبايني غير الخاضع للإشراف (UCL)، حيث تُسحب العينات السلبية من كامل مجموعة البيانات (مما يسمح بـ "تصادم الفئات")، والتعلم التبايني الخاضع للإشراف (SCL)، حيث تُسحب العينات السلبية من فئات مختلفة عن العينة المرجعية (Anchor).
اختلال الفئات: تصيغ الورقة نماذج لمجموعات بيانات تكون فيها احتمالات الفئات $\lambda_i$ غير متساوية بالضرورة، بما في ذلك السيناريوهات ذات الاختلال الشديد (فئة أغلبية واحدة وعدة فئات أقلية متساوية الاحتمال).
استراتيجية التحسين:
1. بناء الحد الأدنى: يتم اشتقاق حد أدنى وثيق $G(M)$ لمخاطر CL، يُعبر عنه فقط من خلال ناقلات متوسط الفئات $M = [\mu_1, \dots, \mu_C]$ .
2. الاسترخاء المحدب (Convex Relaxation): يتم تحويل مشكلة تقليل المخاطر إلى تقليل دالة $S(A)$ عبر مصفوفة جرام (Gram matrix) $A = M^\top M$ . يثبت المؤلفون أن $S(A)$ محدبة تمامًا فوق مجموعة مصفوفات الارتباط الصالحة.
3. التوصيف التحليلي: يتم تحليل خصائص المثالي الفريد $A^*$ لتحديد البنية الهندسية لمتوسطات الفئات المثلى.

المساهمات الرئيسية

1. الحد الأدنى المعمم وانهيار التباين

تضع الورقة حدًا أدنى جديدًا وثيقًا (Lemma 1) لمخاطر CL ينطبق على أي دالة خسارة محدبة تمامًا ومتزايدة بالنسبة للوسيط وأي عدد من العينات السلبية $k$ .

انهيار التباين داخل الفئة: يثبت المؤلفون أنه لتحقيق هذا الحد الأدنى، يجب أن تنهار خريطة التمثيل لجميع العينات داخل الفئة الواحدة لتصبح مساوية لمتوسط الفئة الخاصة بها (أي $f(x) = \mu_{y(x)}$ ).
الوحدة المعيارية (Unit Norm): يجب أن يكون لمتوسطات الفئات المثلى معيار إقليدي يساوي الوحدة.

2. هندسة متوسطات الفئات المثلى

لأبعاد التمثيل $d \ge C-1$ :

نقص الرتبة (Rank Deficiency): يُثبت أن مصفوفة جرام المثلى الوحيدة $A^*$ تعاني من نقص في الرتبة بحيث تكون رتبتها $C-1$ على الأكثر، حتى بدون قيود صريحة على الرتبة.
الحساب المحدب: يمكن حساب متوسطات الفئات المثلى عن طريق حل مشكلة تحسين محدبة على مصفوفة جرام، متبوعة بالتحلل الطيفي.
بنية التماثل: على عكس الحالة المتوازنة حيث تشكل المتوسطات ETF، فإن الهندسة المثلى للفئات غير المتوازنة تظهر بنية تماثل متساوية الزوايا محددة بنسب الفئات النسبية. وتحديدًا، إذا كان لفئتين نفس الاحتمالية، فإن متوسطاتهما تحافظ على نواتج ضرب داخلي متطابقة مع جميع متوسطات الفئات الأخرى (Theorem 3).

3. ظاهرة انهيار الأقلية (MC)

تقدم الورقة برهانًا نظريًا صارمًا لظاهرة انهيار الأقلية في CL.

التعريف: عندما يكون اختلال الفئات شديدًا (تحديدًا، عندما يتجاوز احتمال فئة الأغلبية $\lambda_1$ عتبة غير تقاربية $\tau$ )، تنهار التمثيلات المثلى لجميع العينات من فئات الأقلية في ناقل واحد.
اشتقاق العتبة: يتم اشتقاق شرط كافٍ لحدوث MC بدلالة عدد الفئات $C$ ، وعدد العينات السلبية $k$ ، وخصائص ليبشيتز (Lipschitz) لدالة الخسارة $\psi$ .
خصوصيات InfoNCE: بالنسبة لخسارة InfoNCE، تشتق الورقة عتبات خالية من المعلمات (Parameter-free):
- $\tau \approx 0.9292$ لإعداد UCL.
- $\tau \approx 0.9438$ لإعداد SCL.
  هذه العتبات تضمن حدوث MC بغض النظر عن $C$ أو $k$ .

4. توحيد الإعدادات

تُظهر النتائج أنها صالحة لكل من إعدادات UCL وSCL، مع تعديلات طفيفة على توزيعات الاحتمالات، مما يوحد الفهم النظري للتعلم التبايني عبر آليات أخذ العينات المختلفة.

النتائج والتحقق

الاتساق النظري: الحدود الدنيا المستمدة والخصائص الهندسية مثبتة رياضيًا كضرورية وكافية للتحسين تحت نموذج UFM.
التجارب العددية:
- الانهيار داخل الفئة: تؤكد التجارب على مجموعات بيانات CIFAR-10 غير المتوازنة (3 فئات) باستخدام ResNet-50 أن الشبكات المدربة تسبب انهيار التباين داخل الفئة إلى متوسطات الفئات. وتتطابق مصفوفات جرام الناتجة مع تلك المحسوبة عبر التحسين المحدب (CVX).
- انهيار الأقلية: تُظهر التجارب مع الاختلال الشديد ( $\lambda_1 = 0.9$ ) أن متوسطات فئات الأقلية تنهار في ناقل واحد يقع في الاتجاه المعاكس تمامًا لمتوسط فئة الأغلبية، مما يؤكد ظاهرة MC النظرية.
- الهندسة: تؤكد التجارب أن الفئات غير المتوازنة لا تشكل مثلثًا متساوي الأضلاع (ETF) بل مثلثًا متساوي الساقين، وهو ما يتوافق مع خصائص التماثل المستمدة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول توصيف قابل للحساب لتمثيلات CL المثلى تحت اختلال الفئات العام. وتكمن أهميتها في:

تعميم الانهيار العصبي: توسيع ظاهرة NC من الإعدادات المتوازنة إلى غير المتوازنة، وإظهار أنه بينما يستمر الانهيار داخل الفئة، فإن الهندسة بين الفئات (ETF) لا تستمر.
تفسير انهيار الأقلية: توفير أساس نظري لـ "انهيار الأقلية" الملاحظ تجريبيًا في CL، وتحديده كحل أمثل (وإن كان غير مرغوب فيه محتملًا) لمشكلة تقليل المخاطر تحت الاختلال الشديد.
الكفاءة الحسابية: إثبات أنه يمكن إيجاد متوسطات الفئات المثلى عبر التحسين المحدب، مما يشير إلى أن فضاءات التمثيل عالية الأبعاد قد تكون غير فعالة لتعلم الميزات المثلى في CL.
متانة النظرية: إثبات أن هذه الظواهر متأصلة في هندسة دالة الخسارة وتوزيع أخذ العينات، وليست مجرد نتاج لهياكل شبكية معينة أو ديناميكيات تدريب.

يختتم المؤلفون بتحديد المشكلات المفتوحة، بما في ذلك توصيف الهندسة المثلى عندما يكون $d < C-1$ (وهو أمر ذو صلة بالنماذج اللغوية الكبيرة) وتحليل تأثيرات أخذ العينات السلبية الصعبة.