🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

تقترح هذه الورقة TriNoL، وهو إطار عمل للتكيف شبه المُشرف لنماذج الرؤية التأسيسية يعزز المتانة تجاه الملصقات الزائفة المشوشة عن طريق توجيه العينات غير المصنفة إلى ثلاث مناطق قائمة على الثقة وتدريب خبراء LoRA متخصصين للإشارات الإيجابية، والمحاذاة، والسلبية مع إبقاء النموذج الأساسي مجمدًا.

المؤلفون الأصليون: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

نُشر 2026-08-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية التعرف على الحيوانات. لديك بضع صور مع أسماء مكتوبة عليها بدقة، ولكن لديك أيضًا كومة ضخمة من الصور التي لا توجد عليها أي أسماء. لتعليم الروبوت، تطلب منه تخمين الأسماء للصور غير المصنفة. إذا خمن بثقة، فإنك تكتب هذا التخمين وتستخدمه كـ "معلم" للجولة التالية. هذا هو عالم التعلم شبه الإشرافي (Semi-Supervised Learning)، وهو حيلة ذكية في علوم الحاسوب تسمح لنا بالتعلم من كميات هائلة من البيانات غير المصنفة.

لكن هنا تكمن المشكلة، فالروبوت ليس مثاليًا. أحيانًا يخمن بثقة ولكنه يخطئ تمامًا. تُسمى هذه التخمينات الخاطئة "العلامات الضوضائية" (noisy labels). إذا تركت الروبوت يتعلم من جميع تخميناته فحسب، فقد يبدأ في تصديق أخطائه الخاصة، مما يجعله يرتبك ويتعلم أشياء خاطئة. هذا الأمر معقد بشكل خاص عند استخدام نماذج الرؤية التأسيسية (Vision Foundation Models) — وهي عقول ذكاء اصطناعي ضخمة مدربة مسبقًا وتعرف الكثير عن العالم. نحن لا نريد إعادة تدريب العقل بأكد، فهذا ثقيل ومكلف للغاية؛ بل نريد فقط إضافة "مهايئ" (adapter) صغير وخفيف الوزن لمساعدته على تعلم مهمتنا المحددة. السؤال الكبير هو: كيف نعلم هذا المهايئ عندما يكون "المعلمون" (تخمينات الروبوت) مزيجًا من العباقي، والطلاب المرتبكين، والكاذبين تمامًا؟

هذه هي بالضبط المشكلة التي يعالجها أسلوب جديد يسمى TriNoL (التعلم من ثلاثة خبراء من العلامات الضوضائية). أدرك الباحثون أن معامل جميع الصور غير المصنفة بنفس الطريقة هو خطأ. فالمهايئ الصغير الواحد الذي يحاول التعتماد على مزيج من التخمينات المثالية، والتخمينات المهتزة، والتخمينات العشوائية يصاب بالارتباك. إنه يشبه محاولة تعليم طالب واحد ليكون عبقريًا في الرياضيات، وكاتبًا مبدعًا، ومفتش سلامة في آن واحد باستخدام مجموعة مختلطة من التعليمات. قد تتعارض تعليمات الرياضيات مع تعليمات السلامة، وينتهي الأمر بالطالب بتعلم لا شيء على الإطلاق.

ولحل هذه المشكلة، يقترح المؤلفون تقسيم مهمة التعلم إلى ثلاثة "خبراء" متخصصين، لكل منهم مهايئ صغير خاص به. يقومون بفرز الصور غير المصنفة إلى ثلاث مجموعات بناءً على مدى ثقة الروبوت في تخمينه:

الخبير الإيجابي (العباقرة ذوو الثقة العالية): ينظر هذا الخبير فقط إلى الصور التي يكون فيها الروبوت متأكدًا للغاية (مثل 95% من الثقة). هذه التخمينات عادة ما تكون صحيحة، لذا يتعلم هذا الخبير بقوة وسرعة، مما يصقل قدرة الروبوت على التمييز بين القطة والكلب.
خبير المحاذاة (المنطقة الوسطى المرتبكة): يتعامل هذا الخبير مع الصور التي يكون فيها الروبوت "مترددًا" (ربما بنسبة ثقة 50-70%). هذه هي الحالات الصعبة القريبة من حواف الفئات. بدلًا من فرض تخمين قاطع، يقوم هذا الخبير بدفع الروبوت بلطف نحو الاتساق، مما يساعده على فهم الخطوط الضبابية بين الفئات دون إجباره على ارتكاب خطأ.
الخبير السلبي (شبكة الأمان للكاذبين): يتعامل هذا الخبير مع الصور التي يكاد الروبوت يخمنها (ثقة منخفضة). بدلًا من تجاهلها أو محاولة إجبارها على أن تكون صحيحة، يتعلم هذا الخبير كيفية تجنب الإجابات الخاطئة. إنه يعمل كمرشح، مما يضمن عدم وقوع الروبوت في فخ تخميناته العشوائية.

يشير الباحثون إلى أنه من خلال فصل هذه المجموعات الثلاث إلى ثلاثة "مسارات تعلم" مختلفة، يصبح النظام أكثر قوة. المسار "الإيجابي" يظل نظيفًا وقويًا لأنه لا يتلوث بالتخمينات الضوضائية. مسار "المحاذاة" يساعد الروبوت على فهم المناطق الرمادية، والمسار "السلبي" يحمي النظام من التضليل.

اختبر الباحثون هذه الفكرة على عدة مجموعات بيانات، بما في ذلك صور للطعام، والطيور، والأشياء العامة. ووجدوا أن TriNoL يعمل بشكل جيد بشكل خاص عندما تكون هناك أمثلة مصنفة قليلة جدًا والبيانات غير المصنفة فوضوية. على سبيل المثال، في مجموعة بيانات طعام تحتوي على عدد قليل جدًا من الصور المصنفة، حسن TriNoL الدقة من حوالي 87.58% إلى 88.42%، متفوقًا على الأساليب الأخرى. كما أظهروا أن هذا التحسن ليس بسبب جعل النظام أكبر فحسب؛ فحتى عندما قارنوا TriNoL بمهايئ واحد أكبر بكثير بنفس قدرة الحوسبة، ظل TriNoL هو الفائز. وهذا يشير إلى أن "الخلطة السرية" ليست مجرد امتلاك المزيد من القدرة الذهنية، بل هي امتلاك النوع الصحيح من التنظيم.

ومع ذلك، يلاحظ المؤلفون بحذر أن هذا ليس حلًا سحريًا لكل المواقف. ففي الحالات التي تتوفر فيها الكثير من الصور المصنفة أو كانت البيانات نظيفة بالفعل، تتقلص ميزة وجود ثلاثة خبراء. كما اعترفوا بأنه إذا كانت درجات الثقة الأولية للروبوت خاطئة تمامًا (غير معايرة بدقة)، فقد يرتبك نظام الفرز. ولكن بالنسبة للتحدي المحدد المتمثل في تكييف نماذج الذكاء الاصطناعي القوية مع بيانات محدودة وتخمينات ضوضائية، فإن نهج "الخبراء الثلاثة" هذا يقدم طريقة منظمة وواعدة لإبقاء التعلم على المسار الصحيح.

ملخص تقني: TriNoL – التعلم من ثلاثة خبراء من الملصقات الضوضائية للتكيف شبه الموجه مع نماذج الرؤية التأسيسية (VFM)

1. بيان المشكلة

تتناول الورقة البحثية تحدي تكييف نماذج الرؤية التأسيسية (VFMs)، مثل CLIP وسلسلة مشفرات DINO، في إعدادات التعلم شبه الموجه (SSL) حيث تكون البيانات المصنفة شحيحة وتعتمد البيانات غير المصنفة على الملصقات الزائفة (pseudo-labels). وبينما توفر نماذج VFM تمثيلات قوية مسبقة التدريب، فإن تكييفها يتضمن عادةً تجميد الهيكل الأساسي وتحديث وحدات الضبط الدقيق فعالة المعلمات (PEFT) خفيفة الوزن، مثل LoRA (التكيف منخفض الرتبة).

المشكلة الجوهرية المحددة هي حساسية محول LoRA أحادي التخصيص تجاه الملصقات الزائفة الضوضائية. في التعلم شبه الموجه القياسي، تُظهر الملصقات الزائفة موثوقية مختلطة: الملصقات عالية الثقة غالبًا ما تكون صحيحة، والملصقات متوسطة الثقة تكون غامضة (قريبة من حدود القرار)، والملصقات منخفضة الثقة غالبًا ما تكون ضوضائية. وتستخدم الطرق الحالية عادةً ثقة الملصق الزائف كوزن قياسي أو كمرشح ثنائي (اختيار العينات عالية الثقة واستبعاد الباقي). ومع ذلك، يرى المؤلفون أن ضغط التدرجات من هذه المناطق الثلاث المتميزة للموثوقية في فضاء تحديث واحد منخفض الرتبة يتسبب في تداخل التدرجات. فالتدرجات الموثوقة، والتدرجات الغامضة، والتدرجات الضوضائية تتنافس داخل نفس المحول، مما قد يؤدي إلى تشويه اتجاه التكييف وتعزيز حدود القرار الخاطئة (التحيز التأكيدي).

2. المنهجية: TriNoL

يقترح المؤلفون TriNoL (التعلم من ثلاثة خبراء من الملصقات الضوضائية)، وهو إطار عمل يقوم بتفكيك الإشراف بالملصقات الزائفة إلى ثلاث مناطق قائمة على الثقة، يتم التعامل مع كل منها بواسطة خبير LoRA متخصص.

2.1 البنية الهيكلية

الهيكل الأساسي المجمد (Frozen Backbone): يظل هيكل VFM المدرب مسبقًا ( $\psi$ ) مجمدًا.
خبراء LoRA الثلاثة: بدلاً من محول واحد، يستخدم TriNoL ثلاثة فروع مستقلة لـ LoRA ( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ ) يتم إدراجها في عمليات الإسقاط الخطي المجمدة:
1. الخبير الإيجابي ( $e^+$ ): يتعامل مع الملصقات الزائفة عالية الثقة.
2. خبير المحاذاة ( $e^a$ ): يتعامل مع الملصقات الزائفة متوسطة الثقة (الغامضة).
3. الخبير السلبي ( $e^-$ ): يتعامل مع الملصقات الزائفة منخفضة الثقة (الضوضائية).
رأس التصنيف (Classifier Head): يتم تحديث رأس تصنيف مشترك ( $C_\omega$ ) جنبًا إلى جنب مع الخبراء.

2.2 التوجيه القائم على الثقة

أثناء التدريب، تتم معالجة العينات غير المصنفة عبر عرض معزز ضعيف لتوليد ملصقات زائفة ودرجات ثقة ( $q_i$ ). يقسم حدّان، $\tau^-$ و $\tau^+$ ، الدفعة غير المصنفة $B_u$ إلى ثلاث مجموعات:

الثقة العالية ( $B_u^+$ ): حيث $q_i \ge \tau^+$ . يتم توجيهها إلى الخبير الإيجابي.
الثقة المتوسطة ( $B_u^a$ ): حيث $\tau^- \le q_i < \tau^+$ . يتم توجيهها إلى خبير المحاذاة.
الثقة المنخفضة ( $B_u^-$ ): حيث $q_i < \tau^-$ . يتم توجيهها إلى الخبير السلبي.

2.3 أهداف التعلم الخاصة بكل خبير

يتم تحسين كل خبير باستخدام دالة خسارة متميزة مصممة خصيصًا لموثوقية العينات المخصصة له:

خسارة الإيجاب ( $L_{pos}$ ): تستخدم الإشراف بالملصقات الزائفة الصلبة (Cross-Entropy) على العينات عالية الثقة لتعزيز التكيف التمييزي.
خسارة المحاذاة ( $L_{align}$ ): تستخدم المحاذاة الناعمة (تباعد Kullback-Leibler) للعينات متوسطة الثقة. وهي تطابق تنبؤ العرض القوي لخبير المحاذاة مع احتمالية العرض الضعيف المفصول ( $sg(p_i^w)$ ). هذا يتجنب فرض قرارات صلبة على العينات الغامضة مع الحفاظ على معلومات الحدود.
الخسارة السلبية ( $L_{neg}$ ): مصممة لتثبيط الالتزام المفرط بالملصقات غير الموثوقة. بدلاً من معاملة الملصقات الزائفة منخفضة الثقة كأهداف، تقوم هذه الخسارة بمعاقبة الخبير السلبي لتعيين احتمالية عالية لأعلى ملصق زائف حالي. هذا يمنع الإشارات الضوضائية من الهيمنة على التحديث دون افتراض أن جميع العينات منخفضة الثقة خاطئة تمامًا.

الهدف الإجمالي هو مجموع موزون: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 الاستدلال

في وقت الاستدلال، يتم استخدام الخبير الإيجابي فقط، حيث تم تدريبه على الملصقات الحقيقية والملصقات الزائفة الموثوقة. تعمل الخبراء الأخرى على تنظيم عملية التدريب.

3. التحليل النظري

تقدم الورقة البحثية تبريرًا نظريًا لهذا النهج:

تداخل التدرجات: يقوم محول واحد بتحديث بناءً على تدرج مختلط $G_{single} = G^+ + G^a + G^-$ . الانحراف عن التحديث الموثوق المثالي ( $G^+$ ) يتناسب طرديًا مع مقدار التدرجات الغامضة والضوضائية.
تقليل التلوث: من خلال توجيه العينات، يضمن TriNoL أن الخبير الإيجابي يتلقى تدرجًا $G^+_{TriNoL}$ بأقل قدر من التلوث من $G^a$ و $G^-$ ، مما يؤدي إلى انحراف أصغر عن الهدف الموثوق.
استقرار الفضاء الجزئي: في سياق التقريب منخفض الرتبة، يسمح فصل الإشارة "النظيفة" ( $S$ ) عن الضوضاء ( $E$ ) والغموض ( $A$ ) للخبير الإيجابي بتقريب مصفوفة هدف أنظف، مما ينتج عنه فضاء جزئي منخفض الرتبة أقرب إلى الاتجاه الأمثل الحقيقي مقارنة بمحول واحد مدرب على المصفوفة الملوثة.
استقرار التحسين: يؤدي تقليل التحيز في تدرج الخبير الإيجابي إلى تقليل نصف قطر التحيز في الحالة المستقرة في التحسين المحلي، مما يحسن استقرار التقارب.

4. النتائج التجريبية

تم تقييم TriNoL على مجموعات بيانات CIFAR-100، وFOOD-101، وSemi-Aves، وImageNet تحت إعدادات شبه موجهة مختلفة (تغيير نسب البيانات المصنفة ومستويات الضوضاء).

الأداء: يحقق TriNoL نتائج هي الأفضل في حالتها (state-of-the-art) في الإعدادات منخفضة الملصقات والضوضائية. تشمل التحسينات الملحوظة:
- FOOD-101 (N2): بنسبة 88.42% مقابل 87.58% لـ (V-PET) و87.27% لـ (FineSSL).
- Semi-Aves (Mixed OOD): بنسبة 61.82% مقابل 61.30% لـ (FineSSL).
- CIFAR-100 (N4): بنسبة 80.92% مقابل 80.66% لـ (FineSSL).
الكفاءة: يستخدم TriNoL ثلاثة خبراء LoRA برتبة 8 (إجمالي حوالي 0.96 مليون معلمة)، وهو ما يماثل محول LoRA واحد برتبة 24. على الرغم من تماثل عدد المعلمات والتكاليف الحسابية، يتفوق TriNoL على المحول أحادي الرتبة المطابقة في الرتبة (88.42% مقابل 87.73% في FOOD-101 N2)، مما يثبت أن المكسب نابع من تخصص الخبراء وليس من زيادة السعة.
دراسات الاستئصال (Ablation Studies):
- إزالة أي من الخبراء الثلاثة يؤدي إلى تدهور الأداء، مما يؤكد أدوارهم المتكاملة.
- استبدال التوجيه القائم على الثقة بالتوجيه العشوائي أو دوال الخسارة المشتركة يعطي نتائج أدنى، مما يؤكد ضرورة كل من التوجيه والأهداف المتخصصة.
- يشير تحليل الحساسية إلى الأداء الأمثل مع عتبات $(\tau^-, \tau^+) = (0.3, 0.7)$ وأوزان خسارة محددة.

5. الأهمية والادعاءات

تدعي الورقة أن TriNoL تقدم تحولًا كبيرًا في كيفية تعامل تكييف VFM شبه الموجه مع ضوضاء الملصقات الزائفة. وتتمثل مساهماتها الرئيسية في:

تحديد قصور: تسلط الضوء على أن ضغط تدرجات الملصقات الزائفة ذات الموثوقية المختلطة في فضاء واحد منخفض الرتبة هو نقطة ضعف أساسية في تقنيات PEFT-based SSL الحالية.
التوجيه الواعي بالثقة: تقترح أن موثوقية الملصق الزائف يجب أن تتحكم في مسار التكيف، وليس فقط في وزن الخسارة. ومن خلال تخصيص العينات الموثوقة، والغامضة، وغير الموثوقة لخبراء متخصصين، تقلل الطريقة من تداخل التدرجات.
القوة مع التكلفة المنخفضة: يحسن TriNoL المتانة تجاه الإشراف الضوضائي مع الحفاظ على كفاءة تكييف الهيكل المجمد، مما يجعله مناسبًا للسيناريوهات محدودة الموارد ذات الملصقات المحدودة.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الطريقة تعتمد على التوجيه القائم على الثقة (والذي يمكن أن يتأثر بسوء المعايرة أو تغير النطاق/Domain Shift) وأنها تركز حاليًا على تصنيف الصور. ويُقترح العمل المستقبلي في مهام التنبؤ الكثيف والمهام متعددة الوسائط.