🤖 machine learning

JEPAMatch: Geometric Representation Shaping for Semi-Supervised Learning

تقدم هذه الورقة البحثية JEPAMatch، وهو أسلوب تعلم شبه مُشرف يعزز إطار عمل FixMatch من خلال دمج حد تنظيم في الفضاء الكامن مستوحى من LeJEPA لتشكيل التمثيلات الهندسية بشكل صريح، مما يؤدي إلى التخفيف من عدم توازن الفئات والسمات الزائفة الضوضائية مع تسريع التقارب وتقليل التكاليف الحسابية بشكل كبير.

المؤلفون الأصليون: Ali Aghababaei-Harandi, Aude Sportisse, Massih-Reza Amini

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ali Aghababaei-Harandi, Aude Sportisse, Massih-Reza Amini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طفل كيفية التعرف على الحيوانات المختلفة، ولكن ليس لديك سوى عدد قليل من كتب الصور التي تحتوي على تسميات (بيانات مصنفة) وكومة هائلة وغير منظمة من صور الحيوانات التي لا تحمل أي أسماء (بيانات غير مصنفة).

هذا هو تحدي التعلم شبه الموجه (Semi-Supervised Learning). الهدف هو استخدام تلك الكومة الضخمة من الصور غير المصنفة لمساعدة الطفل على التعلم بشكل أسرع وأفضل، دون الحاجة لشراء آلاف الكتب المصورة المكلفة الأخرى.

تقدم الورقة البحثية طريقة جديدة تسمى JEPAMatch. ولفهم سبب تميزها، دعونا نلقي نظرة على كيفية عمل "الطريقة القديمة" مقابل "طريقة JEPAMatch الجديدة".

الطريقة القديمة: المعلم المفرط في الثقة

تعمل الطرق السابقة (مثل FixMatch) كمعلم متحمس أكثر من اللازم.

لعبة التخمين: ينظر المعلم إلى صورة غير مصنفة ويخمن: "أظن أن هذا قط!"
فخ الثقة: إذا شعر المعلم بثقة كبيرة (على سبيلך 90%)، فإنه يكتب كلمة "قط" على الصورة ويستخدمها لتعليم الطفل. أما إذا لم يكن متأكداً، فإنه يرمي الصورة بعيداً.
المشكلة:
- تأثير "الطفل المشهور": يصبح المعلم بارعاً جداً في تخمين "كلب" لأن هناك الكثير من صور الكلاب. يستمر في تخمين "كلب" لكل شيء، حتى عندما يكون حيواناً "ثعلباً". يتعلم الطفل أن كل شيء هو كلب، ويتم تجاهل الحيوانات النادرة (مثل النمر المرقط/الجاغوار).
- البداية البطيئة: في البداية، يكون المعلم سيئاً في التخمين. لذا فهو يرمي معظم الصور بعيداً. يجلس الطفل هناك لفترة طويلة يتعلم فقط من الكتب المصنفة القليلة، منتظراً أن يصبح المعلم شجاعاً بما يكفي للتخمين على كومة الصور غير المصنفة. هذا يستغرق وقتاً طويلاً جداً.

الطريقة الجديدة: JEPAMatch (المهندس والمدرب)

تغير JEPAMatch الاستراتيجية. فبدلاً من مجرد تخمين التسميات، تركز على كيفية تنظيم الدماغ للمعلومات. وهي تقسم المهمة إلى دورين:

1. المدرب (على مستوى المنهج الدراسي)

يتولى هذا الجزء مهمة "التخمين" (وضع التسميات الافتراضية)، لكنه أكثر ذكاءً.

بدلاً من قاعدة واحدة للجميع، فإنه يعطي قواعد ثقة مختلفة لمختلف الحيوانات. فهو يعلم أن "الكلاب" سهلة التمييز، لذا يتطلب من المعلم أن يكون متأكداً للغاية قبل تسمية الكلب. ولكن بالنسبة لـ "النمر المرقط"، فإنه يقبل مستوى أقل من الثقة حتى لا يفوته الطفل.
النتيجة: لا يهيمن حيوان واحد على الدرس. تحصل الحيوانات النادرة على نصيبها العادل من الاهتمام.

2. المهندس (على مستوى التمثيل)

هذا هو السر الحقيقي. بينما يقوم المدرب بتخمين التسميات، يقوم المهندس بإعادة ترتيب الخريطة الذهنية للطفل عن العالم.

الخريطة القديمة: في الطرق السابقة، كانت الخريطة الذهنية فوضوية. قد تتجمع كل أفكار "الكلب" معاً، لكن أفكار "القط" قد تكون مبعثرة في كل مكان، أو قد تنضغط الخريطة بأكملها في زاوية صغيرة (مشكلة تسمى "الانهيار البعدي").
خريطة JEPAMatch: يستخدم المهندس مفهوماً يسمى LeJEPA. تخيل المساحة الذهنية كبالون ضخم ومستدير تماماً.
- القاعدة: يجب أن يشكل كل نوع من أنواع الحيوانات (الفئة) فقاعته المستديرة والمثالية الخاصة به داخل هذا البالون.
- السحر: ينظر النظام إلى صورة من زوايا مختلفة (رؤية بعيدة، رؤية مقربة، رؤية ضبابية). إنه يجبر عقل الطفل على إدراك: "حتى لو بدا هذا الجزء الضبابي مختلفاً عن الصورة الكاملة، إلا أنه لا يزال جزءاً من فقاعة 'القط' نفسها".
- الفائدة: من خلال إجبار هذه "الفقاعات" على أن تكون مرتبة، مستديرة، ومنفصلة عن بعضها البعض، يتعلم الطفل شكل المفهوم، وليس مجرد اسمه. هذا يجعل عملية التعلم أسرع بكثير لأن الدماغ لا يحتاج إلى فك عقدة فوضوية؛ فالعقد مرتبة ومنظمة بالفعل.

لماذا يعد هذا أمراً هاماً؟

تظهر الورقة البحثية أن JEPAMatch تشبه الشاحن التربو للتعلم:

السرعة: لأن "المهندس" ينظم الخريطة الذهنية بدقة، يتعلم الطفل أسرع بـ 3 مرات. إنه يصل إلى نفس مستوى الذكاء في جزء بسيط من الوقت.
العدالة: يمنع "الطفل المشهور" (الفئات الأكثر انتشاراً) من الاستحواذ على انتباه المعلم. يتم تعليم الحيوانات النادرة بشكل صحيح، مما يؤدي إلى نموذج أكثر توازناً ودقة.
الكفاءة: يقلل من إضاعة الوقت في رمي الصور. حتى عندما لا يكون المعلم متأكداً بنسبة 100%، لا يزال "المهندس" يستخدم تلك الصور لتحديد شكل الفقاعات الذهنية.

الخلاية

فكر في JEPAMatch كترقية من معلم يكتفي بالصراخ بالإجابات إلى مهندس بارع يبني مكتبة مثالية ومنظمة في عقل الطالب.

بدلاً من مجرد حفظ "هذا قط"، يتعلم الطالب أين يعيش "القط" في عقله، وكيف يرتبط بـ "الكلب"، وكيف يمكنه رصده حتى في الظلام. ينتج عن ذلك طالب أكثر ذكاءً يتعلم بشكل أسرع، ويستخدم موارد أقل، ولا يرتبك بسبب الحشود المشهورة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "JEPAMatch: تشكيل التمثيل الهندسي للتعلم شبه الإشرافي".

1. بيان المشكلة

يهدف التعلم شبه الإشرافي (SSL) إلى الاستفال من كميات كبيرة من البيانات غير المصنفة لتحسين أداء النموذج عندما تكون البيانات المصنفة شحيحة. وبينما حققت الأساليب القائمة على FixMatch (التي تجمع بين التعزيزات الضعيفة والقوية مع التسمية المستعارة القائمة على الثقة) نتائج رائدة، إلا أنها تعاني من عقبتين حرجتين:

عدم التوازن والتحيز بين الفئات: يعتمد اختيار التسميات المستعارة (pseudo-labels) على عتبات ثقة ثابتة أو متكيفة. يؤدي هذا غالبًا إلى هيمنة الفئات الأكثر انتشارًا على عملية التعلم، حيث تتجاوز العتبة بسهولة، بينما تتلقى الفئات الأقل انتشارًا إشرافًا نادرًا. وتؤدي التسميات المستعارة غير الصحيحة إلى تضخيم هذا التحيز، مما يؤدي إلى نماذج منحازة.
البطء في التقارب: في بداية التدريب، تكون ثقة النموذج منخفضة، مما يتسبب في استبعاد معظم العينات غير المصنفة (حجبها). يعتمد النموذج بشكل كبير على المجموعة الصغيرة المصنفة لعدة دورات، مما يؤدي إلى استخدام غير فعال للموارد الحسابية ويتطلب عددًا كبيرًا من خطوات التدريب (غالبًا > 220 ألف دورة) للوصول إلى التقارب.
الانهيار الهندسي: تركز أساليب التعلم شبه الإشرافي القياسية على التصنيف المنفصل ولكنها غالبًا ما تفشل في هيكلة فضاء الميزات الكامن بشكل فعال، مما يؤدي إلى "الانهيار البعدي" حيث تفقد التمثيلات خصائصها المتناحية (isotropic) وتفشل في التعميم بشكل جيد.

2. المنهجية: JEPAMatch

يقترح المؤلفون JEPAMatch، وهو تحول جذري من مجرد عتبة المخرجات المنطقية إلى التشكيل الهندسي الصريح للتمثيل. تدمج الطريقة إطار عمل LeJEPA (بنية التنبؤ بالتمثيل المشترك المتوافق مع معيار يوربيد في الفضاء الكامن) مع العتبة المتكيفة لـ FlexMatch.

يتم تفكيك عملية التعلم إلى مستويين متكاملين:

أ. المستوى المنهجي (اختيار التسميات المستعارة)

الهدف: اختيار تسميات مستعارة موثوقة مع التخفيف من عدم التوازن بين الفئات.
الآلية: يستخدم FlexMatch، الذي يوظف عتبات ثقة ديناميكية لكل فئة ( $\tau_c$ ) بدلاً من عتبة عالمية واحدة.
العملية:
- تُنتج الرؤى المعززة ضعيفًا ( $x^w$ ) تنبؤات.
- تحدد العتبات الديناميكية ما إذا كان التنبؤ واثقًا بما يكفي ليكون تسمية مستعارة.
- يتم تدريب الرؤى المعززة بقوة ( $x^s$ ) باستخدام هذه التسميات المستعارة عبر فقدان الإنتروبيا المتقاطعة (cross-entropy loss).
- يضمن هذا المستوى تلقي المصنف لإشراف عالي الجودة دون التحيز نحو الفئات الأكثر انتشارًا.

ب. مستوى التمثيل (التشكيل الهندسي)

الهدف: هيكلة فضاء الميزات الكامن ليكون قويًا، وثابتًا، ومتناحيًا، مما يمنع الانهيار البعدي.
الآلية: تعتمد على LeJEPA، التي تفترض أن التمثيلات عالية الجودة يجب أن تتبع توزيع غاوسي متناحي (isotropic Gaussian distribution).
البنية:
- استراتيجية الرؤى المتعددة: لكل صورة غير مصنفة، يولد النموذج:
  1. رؤية ضعيفة ( $x^w$ ): تعزيز طفيف (سياق عالمي).
  2. رؤية قوية ( $x^s$ ): تعزيز كثيف (سياق عالمي).
  3. رؤى محلية ( $x^{loc}$ ): $K$ من المحاصيل المحلية الأصغر مع تعزيز طفيف.
- فقدان التنبؤ بالتعلم الذاتي ( $L_{pred}$ ): يتنبأ النموذج بتمثيل الرؤية الضعيفة ( $z^w$ ) باستخدام الرؤية القوية ( $z^s$ ) والرؤى المحلية ( $z^{loc}$ ). هذا يجبر المشفر على تعلم الاتساق الهندسي بين الأجزاء العالمية والمحلية.
- SIGReg المتكيف لكل فئة: لمنع الانهيار البعدي مع الحفاظ على القدرة على الفصل بين الفئات، قدم المؤلفون استراتيجية تنظيم مرحلية:
  1. مرحلة الإحماء: تطبق SIGReg العالمية (تنظيم غاوسي متناحي مرسوم). وهي تجبر توزيع الميزات المحلية على مطابقة التوزيع الطبيعي القياسي $N(0, I)$ . يضمن هذا أن الشبكة تستخدم جميع الأبعاد وتبني فضاءً غير منهار قبل وجود عناقيد فئات موثوقة.
  2. المرحلة الرئيسية: تنتقل إلى SIGReg المتكيف لكل فئة.
    - متوسطات الفئات: تحسب المتوسط $\mu_c$ لكل فئة باستخدام البيانات المصنفة والتسميات المستعارة الواثقة.
    - المركزية: يتم توسيط الميزات بالنسبة لمتوسط الفئة الخاصة بها.
    - تخميد التباين: يتم تخميد التباين المستهدف $\sigma$ من 1.0 إلى 0.1، مما يجبر الميزات على تشكيل عناقيد غاوسية ضيقة ومعزولة لكل فئة.
    - التنافر النشط: يعمل حد التنافر ( $L_{repulsion}$ ) على معاقبة التشابه بين متوسطات الفئات المختلفة لمنع انهيارها في نقطة واحدة.

ج. الفقد الإجمالي

يجمع الهدف النهائي بين الفقد الخاضع للإشراف، وفقد الاتساق غير الخاضع للإشراف، وفقد التمثيل:
$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda_{unsup}\mathcal{L}_{unsup} + \lambda_{rep}\mathcal{L}_{rep}$
حيث يتضمن $\mathcal{L}_{rep}$ فقد التنبؤ، و SIGReg، وفقد التنافر.

3. المساهمات الرئيسية

تحول في النموذج: ينتقل من الاعتماد فقط على عتبات الثقة إلى تشكيل هندسة الفضاء الكامن صراحةً باستخدام مبادئ LeJEPA.
فك الارتباط على مستويين: يفصل مهمة التصنيف المنفصل (المستوى المنهجي) عن التنظيم الهندسي للميزات (مستوى التمثيل)، مما يسمح بتحسين كل منهما بشكل مستقل ولكن بشكل تآزري.
SIGReg المتكيف لكل فئة: تقنية تنظيم مبتكرة تنتقل من القيد المتناحي العالمي (لمنع الانهيار) إلى العناقيد الضيقة المحددة للفئة (لتحسين التمييز)، مما يعالج بفعالية مشكلة عدم التوازن بين الفئات المتأصلة في التسمية المستعارة.
هندسة الرؤى المتعددة: يقدم استراتيجية تستخدم المحاصيل المحلية جنبًا إلى جنب مع الرؤى العالمية لفرض الاتساق الهيكلي في الفضاء الكامن.

4. النتائج التجريبية

تم تقييم الطريقة على CIFAR-100 و STL-10 و Tiny-ImageNet.

الأداء: تفوق JEPAMatch باستمرار على النماذج المرجعية ذات الحالة الراهنة (FixMatch، FlexMatch، FreeMatch، SoftMatch، SimMatch، إلخ).
- في CIFAR-100 (400 عينة مصنفة)، حقق معدل خطأ بنسبة 34.25% (مقابل 37.98% لـ FreeMatch).
- في STL-10 (40 عينة مصنفة)، حقق معدل خطأ بنسبة 13.44%.
- أظهر متانة كبيرة تحت ظروف عدم التوازن الشديد بين الفئات (عوامل عدم التوازن $\gamma=20, 50, 100$ ).
سرعة التقارب:
- يتقارب JEPAMatch أسرع بـ 3 مرات من FlexMatch.
- يصل إلى ذروة الدقة قبل حوالي 50,000 دورة من FlexMatch.
- يتطلب فقط 217 دورة (مقابل 220 ألف+ دورة قياسية للعديد من أساليب SSL)، مما يقلل التكاليف الحسابية بشكل كبير.
جودة التسميات المستعارة: يحافظ JEPAMatch على دقة أعلى بكثير للتسميات المستعارة المخصصة طوال فترة التدريب (مثلاً، ~50% مقابل ~35% لـ FlexMatch في CIFAR-100)، مما يشير إلى تصفية أفضل للضوضاء.

5. الأهمية

الكفاءة: من خلال تسريع التقارب، يجعل JEPAMatch التعلم شبه الإشرافي أكثر عملية للبيئات محدودة الموارد.
المتانة: يعمل نهج التشكيل الهندسي على التخفيف بفعوة من "تحيز التأكيد" ومشكلات عدم التوازن بين الفئات التي تعاني منها أساليب SSL التقليدية القائمة على الثقة.
الأساس النظري: من خلال دمج LeJEPA، تجسر هذه الورقة الفجوة بين تعلم التمثيل ذاتي الإشراف (الذي يركز على البنية) والتعلم شبه الإشرافي للتصنيف (الذي يركز على الملصقات)، مما يشير إلى أن هيكلة الفضاء الكامن لا تقل أهمية عن استراتيجية التسمية نفسها.

باختصار، يثبت JEPAMatch أن فرض تمثيل هندسي متناحٍ ومنظم جيدًا يسمح لنماذج SSL بالتعلم بشكل أسرع، والتعامل مع عدم التوازن بين الفئات بشكل أفضل، وتحقيق دقة أعلى مع عدد أقل من العينات المصنفة ودورات التدريب.