💻 computer science

Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation

تقترح هذه الورقة طريقة مبتكرة لتعزيز البيانات تعتمد على الانتشار الموجه بالثقة، والتي تولد عينات تحدي من خلال تعظيم التباين بين المعلم والطالب للتخفيف من حدة الانزياح المشترك في التوزيع وتحسين أداء تقطير المعرفة في ظل محدودية تغطية البيانات.

المؤلفون الأصليون: Niclas Popp, Kevin Alexander Laube, Matthias Hein, Lukas Schott

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC0 1.0

المؤلفون الأصليون: Niclas Popp, Kevin Alexander Laube, Matthias Hein, Lukas Schott

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب شاب كيفية التعرف على أنواع مختلفة من الطيور. لديك معلم حكيم وعليم (المعلم) درس الملايين من الطيور من كل ركن من أركان المعم من أنحاء العالم. لكن المتدرب (الطالب) لا يمكنه سوى حمل دفتر ملاحظات صغير وليس لديه سوى وقت ضئيل للدراسة. لمساعدته، تسمح للمتدرب بمراقبة المعلم أثناء عمله. هذه هي الفكرة الجوهرية لـ تقطير المعرفة (Knowledge Distillation): نقل المعرفة الهائلة والمعقدة لنموذج ذكاء اصطناٍعي ضخم إلى نموذج أصغر وأسرع يمكنه العمل على الأجهزة اليومية مثل الهواتف أو أجهزة الكمبيوتر المحمول.

ومع ذلك، هناك عقبة. ماذا لو لم يرَ المعلم سوى طيور تجلس على الماء، بينما أُرسل المتدرب إلى غابة حيث تجلس الطيور على الأشجار؟ قد يرتبك المتدرب، معتقداً أن "طائر" تعني دائماً "جالساً على الماء". في عالم الذكاء الاصطناعي، يسمى هذا التباين بين ما تتدرب عليه وما تواجهه بالفعل بـ انزياح المتغيرات المصاحبة (Covariate Shift). الأمر يشبه الدراسة لاختبار في الرياضيات باستخدام مسائل الجمع فقط، ثم الحضور إلى الامتحان لتجد مزيجاً من الضرب والقسمة. قد يحفظ الطالب الاختصارات الخاطئة، مثل "إذا كان على الماء، فهو طائر"، ويفشل فشلاً ذريعاً. تتناول هذه الورقة البحثية مشكلة كيفية تدريب طلاب الذكاء الاصطناعي الصغار ليكونوا أذكياء وأقوياء، حتى عندما تكون بيانات التدريب مفتقدة لقطع حاسمة من اللغز.

المشكلة: فخ "الاختصار"

لاحظ مؤلفو هذه الورقة نمطاً محبطاً. فعندما حاولوا تعليم نماذج ذكاء اصطناعي صغيرة باستخدام نماذج "معلم" كبيرة وذكية، غالباً ما تعلم الطلاب الدروس الخاطئة. إذا كانت بيانات التدريب منحازة — على سبيل المثال، إذا كانت كل صورة لـ "ذكر" في مجموعة التدريب تصادف أن تكون لرجل مسن بشعر رمادي، وكل "أنثى" كانت امرأة شابة بشعر أشقر — فإن نموذج الطالب الذكي سيغش. لن يتعلم التعرف على الجنس بناءً على بنية الوجه؛ بل سيتعلم الاختصار: "الشعر الرمادي = ذكر، الشعر الأشقر = أنثى".

هذا يعمل بشكل مثالي على بيانات التدريب. ولكن في اللحظة التي يرى فيها الذكاء الاصطناعي رجلاً شاباً بشعر أسود أو امرأة مسنة بشعر أشقر، ينهار. لقد تعلم الطالب "ميزة زائفة" (دليلاً مزيفاً) بدلاً من الحقيقة الفعلية. نموذج المعلم الكبير يعرف الحقيقة لأنه تدرب على كل شيء، لكن الطالب الصغير عالق في فقاعة من البيانات المحدودة.

الحل: ConfiG (الموجه بالثقة)

لإصلاح ذلك، ابتكر الباحثون خدعة ذكية جديدة تسمى ConfiG. فكر في الأمر كـ "مولد للتحديات".

عادةً، عندما تريد جعل الذكاء الاصطناعي أكثر ذكاءً، فإنك تعرض عليه المزيد من الصور فقط. لكن ConfiG أكثر ذكاءً من ذلك؛ فهو يستخدم نوعاً خاصاً من مولدات الصور (يسمى نموذج الانتشار - Diffusion Model) لإنشاء صور جديدة مصممة خصيصاً لإرباك الطالب.

إليك كيف يحدث السحر:

كاشف عدم الاتفاق: يبحث النظام في صورة ما ويسأل كلاً من المعلم الحكيم والطالب المرتبك عما يعتقدان. إذا اتفقا، فهي صورة مملة. أما إذا اختلفا — على سبيل المثال، المعلم يقول "هذه امرأة" لكن الطالب يقول "هذا رجل بسبب الشعر" — فهذا منجم ذهب.
التحدي: يأخذ ConfiG هذا الاختلاف ويستخدمه لإنشاء صورة اصطناعية جديدة تماماً. إنه ينشئ صورة تكون صعبة على الطالب ولكنها سهلة على المعلم. إنه يشبه المدرب الذي يرى لاعباً يعاني مع حركة معينة ويقوم فوراً بإنشاء تمرين يستهدف ذلك الضعف تحديداً.
الدرس: يُجبر الطالب بعد ذلك على دراسة هذه الصور الجديدة والمراوغة. ولأن المعلم لا يزال واثقاً وصحيحاً، يُجبر الطالب على التخلي عن اختصاراته السيئة (مثل "لون الشعر = الجنس") وتعلم القواعد الحقيقية والمتينة لتتوافق مع المعلم.

ما وجدوه

اختبر الفريق هذه الفكرة على عدة مجموعات بيانات، بما في ذلك صور الوجوه (CelebA-HQ)، والطيور (SpuCo Birds)، والأنشطة الرياضية (BAR). وضعوا سيناريوهات حيث كانت بيانات التدريب منحازة بشدة، وتفتقر إلى مجموعات كاملة من البشر أو الحيوانات.

كانت النتائج مبهرة. في تجاربهم، ساعدت طريقة ConfiG النماذج الطلابية الصغيرة باستمرار على الأداء بشكل أفضل بكثير في المجموعات "غير المرئية" مقارنة بأي طريقة أخرى جربوها.

في مجموعة بيانات الوجوه، بينما حقق الطالب القياسي دقة 53.44% فقط في المجموعات الأصعب (التي كانت مفقودة من التدريب)، قفز طالب ConfiG إلى 88.15%.
في مجموعة بيانات الطيور، كان التحسن أكثر وضوحاً، حيث ارتفعت دقة أسوأ مجموعة من نسبة هزيلة بلغت 12.97% إلى 39.50%.

تشير الورقة البحثية إلى أنه من خلال البحث بنشاط عن مواضع اختلاف الطالب والمعلم، يجبر ConfiG الطالب على التخلي عن اختصاراته الكسولة ليصبح أكثر موثوقية. الأمر لا يتعلق فقط بإضافة المزيد من البيانات؛ بل يتعلق بإضافة النوع الصحيح من البيانات — النوع الذي يكشف نقاط ضعف الطالب.

الحدود والمستقبل

يلاحظ المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. فطريقتهم تعمل بشكل أفضل عندما يكون لديك "معلم" قوي وموثوق لتوجيه العملية. إذا كان المعلم ضعيفاً أو مرتبكاً، فإن النظام بأكره سيعاني. كما وجدوا أنه بينما يعد ConfiG رائعاً في إصلاح هذه المشكلات المحددة المتعلقة بـ "الاختصارات"، فإنه يتطلب بعض القوة الحوسبية الإضافية لإنشاء الصور الجديدة.

ومع ذلك، فإن الفكرة الجوهرية تمثل تحولاً قوياً في المنظور. فبدلاً من الأمل في أن يتعلم الطالب الشيء الصحيح بالصدفة، يقوم ConfiG بالبحث بنشاط عن الأشياء الخاطئة التي يفعلها الطالب ويجبره على تصحيحها. إنه يشبه إلى حد كبير مدرساً لا يكتفي بإعطائك المزيد من الواجبات المنزلية، بل يصمم خصيصاً مسائل تستهدف الأخطاء التي ترتكبها باستمرار، مما يضمن فهمك للمادة حقاً قبل مواجهة الاختبار الحقيقي.

ملخص تقني: تحسين تقطير المعرفة تحت تأثير انزياح المتغيرات غير المعروف من خلال تعزيز البيانات الموجه بالثقة

1. بيان المشكلة

تتناول الورقة البحثية القيود المفروضة على تقطير المعرفة (Knowledge Distillation - KD) عند تطبيقها في سيناريوهات انزياح المتغيرات (Covariate Shift) غير المعروف. بينما تُظهر النماذج التأسيسية قدرات قوية في التعميم الصفري (Zero-shot) والمتانة التوزيعية، فإن نشر هذه النماذج في بيئات محدودة الموارد يتطلب غالباً نقل المعرفة إلى شبكات طالب (Student networks) أصغر حجماً. يعتمد تقطير المعرفة القياسي على "المعرفة المظلمة" (Soft labels) من نموذج معلم (Teacher) لتحسين قدرة الطالب على التعميم. ومع ذلك، عندما لا تغطي بيانات التدريب ( $P_{train}$ ) توزيع الاختبار ( $P_{test}$ ) بشكل كافٍ، غالباً ما يفشل الطالب في تعلم حدود القرار الحقيقية.

بدلاً من ذلك، يستغل الطالب الميزات الزائفة (Spurious features) (مثل لون الشعر أو العمر في تصنيف النوع الاجتماعي) التي تكون مرتبطة بالتسمية (Label) في مجموعة بيانات التدريب ولكنها ليست مرتبطة سببياً بها. يؤدي هذا إلى تعلم الاختصارات (Shortcut learning)، حيث يؤدي النموذج أداءً جيداً على بيانات التدريب ولكنه يفشل في مجموعات الاختبار التي كانت غائبة أو ممثلة تمثيلاً ناقصاً أثناء التدريب (مثل الإناث الشقراوات المسنات أو الذكور غير الشقراوات الشباب). وغالباً ما تفشل طرق تعزيز البيانات القائمة على الانتشار (Diffusion-based data augmentation) في استهداف هذه الانحيازات المحددة لأنها لا تستفيد صراحة من التباين بين معلم قوي وطالب منحاز.

2. المنهجية: ConfiG

يقترح المؤلفون إطار عمل ConfiG (الموجه بالثقة - Confidence-Guided)، وهو إطار عمل جديد لتعزيز البيانات مصمم للتخفيف من انزياح المتغيرات عبر توليد عينات اصطناعية تتحدى تحديداً اعتماد الطالب على الميزات الزائفة.

الآلية الجوهرية

يستخدم ConfiG نموذج انتشار (يعتمد على Stable Diffusion) موجهاً بـ الاختلاف (Disagreement) بين نموذج معلم قوي ( $t$ ) ونموذج طالب منحاز ( $f$ ). الهدف هو توليد صور حيث:

يحافظ المعلم على ثقة عالية في الفئة الصحيحة (للحفاظ على الميزات السببية).
يمتلك الطالب ثقة منخفضة في الفئة الصحيحة (مما يشير إلى الاعتماد على الميزات الزائفة).

التنفيذ التقني

تعمل الطريقة في مرحلتين رئيسيتين:

خلط الفئات البينية (البدء الدافئ - Warm-Starting):
لتجنب النهايات الصغرى المحلية وضمان توليد عينات تحدّية، يقوم ConfiG أولاً بعملية خلط للفئات البينية. باستخدام تحرير (Prompt-to-prompt editing)، يتم تحرير الصورة الأصلية إلى فئة مستهدفة عشوائية (مختلفة عن الفئة الأصلية). يوفر هذا تهيئة كامنة متميزة دلالياً عن الأصلية، مما يسهل استكشاف تركيبات ميزات جديدة.
التحسين الكامن (Latent Optimization):
يتضمن جوهر ConfiG تحسين الكود الكامن ( $z_0$ )، والنص الفارغ ( $\emptyset$ )، وإشارة التكييف ( $C$ ) لتعظيم الاختلاف بين المعلم والطالب. تعمل عملية التحسين على تقليل دالة الخسارة التالية:
$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$
حيث أن:

$f$ و $t$ هما نموذجا الطالب والمعلم.
$y$ هي الثقة في الفئة المستهدفة.
$\gamma$ هو تحويل غير خطي (تم ضبطه تجريبياً على 2) للتعامل مع الحالات التي يكون فيها الطالب واثقاً جداً في البداية.
$\mathcal{M}_{\epsilon_\theta}$ هو نموذج التنبؤ بالضوضاء، و $\mathcal{D}$ هو وحدة فك التشفير (Decoder).

تولد هذه العملية صوراً يتم فيها "خداع" الطالب بواسطة الميزات الزائفة (مثل وجه ذكر بشعر أشقر يتم تصنيفه كأنثى) بينما يحدد المعلم الفئة الحقيقية بشكل صحيح.

مسار التدريب (Training Pipeline):

يتم أولاً تقطير طالب مساعد (Auxiliary student) على بيانات تدريب حقيقية محدودة ومنحازة. يكتسب هذا الطالب طبيعياً الارتباطات الزائفة.
يستخدم ConfiG هذا الطالب المساعد لتوليد تعزيزات اصطناعية.
بعد ذلك، يتم تدريب طالب قوي (Robust student) على مزيج من البيانات الحقيقية وتعزيزات ConfiG المولدة (مع احتمال استبدال $\alpha = 0.5$ ).

3. المساهمات الرئيسية

تحديد المشكلة: يوضح المؤلفون أنه بينما يحسن التقطير من معلم قوي الأداء العام، إلا أنه يظل غير كافٍ في ظل انزياح المتغيرات غير المعروف، مما يؤدي إلى ضعف الأداء على المجموعات غير المرئية في مجموعة الاختبار.
إطار عمل ConfiG: يقدمون طريقة تعزيز بالانتشار موجهة بالثقة تستهدف صراحة انزياح المتغيرات من خلال تعظيم الاختلاف بين المعلم والطالب، دون الحاجة إلى معرفة صريحة بالانحياز أو تسميات المجموعات.
التحقق التجريبي والنظري: توفر الورقة دافعاً نظرياً يوضح أن التعزيزات التي تشكل تحدياً للطالب ولكنها سهلة للمعلم يمكن أن تقلل من خطأ التعميم ( $\Omega$ ). تجريبياً، يتفوق ConfiG على أفضل الطرق المرجعية القائمة على الانتشار عبر مجموعات بيانات متعددة.

4. النتائج التجريبية

قيم المؤلفون ConfiG على أربع مجموعات بيانات: CelebA-HQ، و SpuCo Birds، و BAR (التعرف على النشاط المنحاز)، وجزء من ImageNet (Spurious ImageNet).

مجموعات انزياح المجموعات (CelebA-HQ, SpuCo Birds, BAR):
- حقق ConfiG باستمرار أفضل أو ثاني أفضل متوسط دقة للعينة (SMA) وأفضل متوسط دقة للمجموعة (GMA) و أفضل دقة للمجموعة الأسوأ (WGA) مقارنة بستة نماذج مرجعية (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
- في CelebA-HQ، حسن ConfiG دقة المجموعة الأسوأ بأكثر من 34% مقارنة بالتدريب باستخدام البيانات الحقيقية فقط، مما قلص الفجوة مع المعلم بشكل كبير.
- في SpuCo Birds و BAR، قلل ConFis من فجوة الأداء مع المعلم بنسبة 23% و 37% على التوالي، متفوقاً على جميع النماذج المرجعية في أداء المجموعة الأسوأ.
ImageNet-100 (الميزات الزائفة):
- حقق ConfiG أعلى دقة تحقق و درجة زائفة (SpuScore)، مما يشير إلى تحسن في المتانة ضد الميزات الزائفة الخاصة بالفئات.
- لوحظت تحسينات في كل من بنيات الطالب ViT-T و ViT-S.
دراسات الاستئصال (Ablation Studies):
- المكونات: أدى الجمع بين خلط الفئات البينية وتحسين الكامن إلى أفضل النتائج؛ حيث كان استخدام أي منهما بمفرده أقل فعالية.
- التعزيزات الأقوى: أدى دمج ConfiG مع تعزيزات غير اصطناعية أقوى (مثل AutoAugment، MixUp) إلى تحسين الأداء بشكل أكبر.
- قوة المعلم: ظل ConfiG فعالاً حتى عند استخدام نماذج معلم أضعف (مثل ResNet50 أو متغيرات CLIP الأصغر)، وإن كان الأداء المطلق ينخفض.
- تخفيف الانحياز المرتكز على النموذج: حسنت تعزيزات ConFiG بشكل كبير من أداء طرق تخفيف الانحياز المرتكزة على النموذج (LfF, uLA, ERM) عند دمجها معها.

5. الأهمية والادعاءات

تدعي الورقة أن ConfiG يقدم حلاً مرتكزاً على البيانات لمشكلة محدودية تغطية بيانات التدريب وانزياح المتغيرات غير المعروف. من خلال الاستفادة من التباين بين معلم قوي وطالب منحاز، تولد الطريقة بيانات اصطناعية مستهدفة تجبر الطالب على التخلي عن الارتباطات الزائفة وتقريب حدود قرار المعلم بدقة أكبر.

يؤكد المؤلفون أن نهجهم لا يتطلب تسميات مجموعات صريحة أو معرفة بالانحيازات المحددة، مما يجعله قابلاً للتطبيق في السيناريوهات الواقعية حيث تكون هذه المعلومات غير متوفرة. وبينما تظهر الطريقة أداءً فائقاً في متانة المجموعات والتعامل مع الميزات الزائفة، يشير المؤلفون إلى بعض القيود:

الطريقة مصممة حالياً لتعزيز الصور العالمية في مهام التصنيف وقد تتطلب تكيفاً لمهام مدركة للموقع مثل اكتشاف الأشياء.
تعتمد على نماذج معلم ونماذج انتشار مدربة مسبقاً، مما يترتب عليه تكاليف حوسبية، رغم أن المؤلفين أظهروا التوافق مع نماذج الانتشار الأسرع ذات الخطوة الواحدة (Hyper-SD).
يفترض التحليل النظري شروطاً معينة (مثل دقة المعلم) وهي محققة تقريباً في الممارسة العملية ولكن يصعب توصيفها بشكل نقي من مجموعات التعزيز المنفصلة.

في الختام، يمثل ConfiG خطوة نحو تقطير معرفة أكثر متانة في البيئات محدودة البيانات والمنحازة، حيث يجسّر الفجوة بفعالية بين قدرات النماذج التأسيسية الضخمة وشبكات الطلاب الأصغر القابلة للنشر.