🤖 machine learning

Continual Distillation of Teachers from Different Domains

تقدم هذه الورقة البحثية "التقطير المستمر" (Continual Distillation)، وهو نموذج يتعلم فيه نموذج طالب بشكل متسلسل من تدفق من المعلمين غير المتجانسين دون الوصول إلى بيانات التدريب الخاصة بهم، وتقترح "تقطير البيانات الخارجية الذاتية" (Self External Data Distillation - SE2D) لمواجهة نسيان المعرفة غير المعروفة بفعالية أثناء نقل المعرفة غير المعروفة باستخدام بيانات خارجية غير مصنفة.

المؤلفون الأصليون: Nicolas Michel, Maorong Wang, Jiangpeng He, Toshihiko Yamasaki

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nicolas Michel, Maorong Wang, Jiangpeng He, Toshihiko Yamasaki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول أن تصبح أعظم خبير في العالم من خلال التعلم من سلسلة من المعلمين المشهورين. ومع ذلك، هناك عقبة: لا يمكنك التحدث إلا مع معلم واحد في كل مرة، وبمجرد أن يغادر المعلم، فإنه يتلاشى إلى الأبد. لا يمكنك العودة لسؤاله أي أسئلة، وليس لديك أي وصول إلى الكتب المرجعية الأصلية التي استخدمها لتعلم حرفته.

هذه هي المشكلة الجوهرية التي تتناولها الورقة البحثية، والتي تسميها التقطير المستمر (Continual Distillation).

إليك تفصيل لفكرتهم، والمشكلات التي وجدوها، وحلهم، باستخدام تشبيهات بسيطة.

الإعداد: مشكلة "المعلم المتلاشي"

في الأيام الخوالي للذكاء الاصطناعي، إذا أراد نموذج طالب أن يتعلم، كان بإمكانه الوصول إلى جميع البيانات (الكتب المرجعية) الخاصة بالمعلمين السابقين. لكن اليوم، نماذج الذكاء الاصطناعي (التي تسمى "نماذج التأسيس" أو Foundation Models) ضخمة ومكلفة للغاية لدرجة أننا لا نستطيع الاحتفاظ بها جميعًا. يجب علينا التعلم منها واحدًا تلو الآخر مع صدورها، ثم نفقد القدرة على الوصول إليها.

يجب على نموذج الطالب أن يتعلم من تدفق من المعلمين:

المعلم (أ) يعلم عن الحيوانات.
المعلم (ب) يعلم عن الحشرات.
المعلم (ج) يعلم عن النباتات.

يجب على الطالب أن يتعلم من (أ)، ثم من (ب)، ثم من (ج)، دون أن يرى (أ) أو (ب) مرة أخرى أبداً.

التحديان الرئيسيان

1. مشكلة "النقطة العمياء" (نقل المعرفة غير المرئية)
المعلمون يعرفون أشياء لم يرها الطالب من قبل. على سبيل المثال، قد يكون المعلم (أ) خبيراً في "الحيوانات البحرية"، لكن الطالب لم يرَ سوى صور "الحيوانات البرية".

اكتشاف الورقة: إذا تدرب الطالب على مجموعة عشوائية من الصور التي لم يرها الطالب ولا المعلم من قبل (لنسمها "البيانات الخارجية" أو External Data)، يحدث شيء سحري. عندما ينظر المعلم إلى هذه الصور العشوائية، فإنه يظهر حالة من عدم اليقين أو الثقة. ومن خلال مراقبة كيفية تفاعل المعلم مع هذه الصور المجهولة، يمكن للطالب فعلياً أن يتعلم عن مجال "الحيوانات البحرية"، رغم أن الطالب لم يرَ حيواناً بحرياً بشكل مباشر.
التشبيه: تخيل طباخاً ماهراً (المعلم) يتذوق فاكهة غريبة وغير معروفة. حتى لو لم يكن الطالب قد رأى هذه الفاكهة من قبل، فإن رد فعل الطباخ (مثل: "هذا المذاق مزيج بين الليمون والعسل") يعلّم الطالب ملامح نكهة تلك الفاكهة. وهذا ما يسمى نقل المعرفة غير المرئية (UKT).

2. مشكلة "فقدان الذاكرة" (نسيان المعرفة غير المرئية)
هنا يأتي الخبر السيئ. عندما ينتقل الطالب للتعلم من المعلم (ب) (الحشرات)، يبدأ في نسيان ما علمه إياه المعلم (أ) عن الحيوانات البحرية.

الورقة اكتشفت: بما أن الطالب لم "يرَ" الحيوانات البحرية مباشرة، فإن هذه المعرفة تكون هشة. بمجرد وصول معلومات جديدة، تختفي هذه "المعرفة الشبحية" القديمة.
التشبيه: الأمر يشبه تعلم لغة جديدة. إذا تعلمت الفرنسية من كتاب ولكنك لم تتحدثها أبداً، ثم بدأت فوراً في دراسة الألمانية، فقد تنسى الكلمات الفرنسية التي تعلمتها فقط "عن طريق القراءة". هذا ما يسمى نسيان المعرفة غير المرئية (UKF).

الحل: "التقطير الخارجي الذاتي" (SE2D)

أدرك المؤلفون أن الطرق القياسية تحاول حفظ إجابات المعلم لكنها تفشل في الحفاظ بأمان على "المعرفة الشبحية". لذا اقترحوا حيلة جديدة تسمى SE2D.

كيف يعمل:
في كل مرة ينتهي فيها الطالب من التعلم من معلم ما، يأخذ "لقطة" (نقطة تفتيش/Checkpoint) لدماغه.

في الحالة العادية، عندما يتعلم الطالب من المعلم التالي، فإنه يتدرب على كل شيء.
تحول SE2D: عندما يتدرب الطالب على "البيانات الخارجية" (الصور العشوائية التي لم يعرفها أحد)، فإنه يتدرب أيضاً على لقطته السابقة الخاصة.
التشبيه: تخيل أنك طالب. قبل البدء في دورة اللغة الألمانية الجديدة، تأخذ لحظة لمراجعة ملاحظاتك الفرنسية القديمة تحديداً أثناء النظر إلى فاكهة غريبة وعشوائية. تسأل نفسك: "بناءً على ملاحظاتي القديمة، كيف سأصف هذه الفاكهة؟". هذا يجبر دماغك على إبقاء المعرفة الفرنسية حية بينما أنت مشغول بتعلم الألمانية.

من خلال القيام بذلك، يقوم الطالب بتثبيت "المعرفة الشبحية" للمعلمين السابقين دون الحاجة لرؤية المعلمين الأصليين مرة أخرى.

ماذا وجدوا (النتائج)

نوع "العشوائية" أمر بالغ الأهمية: يجب أن تكون "البيانات الخارجية" (الصور العشوائية) مرتبطة بما يعرفه المعلمون إلى حد ما.
- إذا كان المعلمون يعرفون عن الحيوانات وكانت الصور العشوائية لحيوانات أخرى، فإن الطالب يتعلم الكثير.
- إذا كانت الصور العشوية عن الشاحنات (غير مرتبطة تماماً)، فإن الطالب يصاب بالارتباك وينسى أكثر.
المقايضة (Trade-off): هناك توازن. إذا ركزت كثيراً على المعلم الجديد، فستنسى المعلم القديم. وإذا ركزت كثيراً على المعلم القديم، فلن تتعلم الجديد. يساعد SE2D في إيجاد "منطقة الاعتدال المثالية" حيث يحتفظ الطالب بالمعرفة القديمة أثناء تعلم الجديدة.
الطريقة تعمل: في اختبارات متنوعة (مثل التعرف على سلالات مختلفة من القطط أو الأرقام)، ساعدت طريقتهم الطالب على الاحتفاظ بالمزيد مما تعلمه من المعلمين الذين "تلاشوا" مقارنة بالطرق القياسية الأخرى.

الخاتمة

تقدم الورقة طريقة جديدة لكيفية تعلم الذكاء الاصطناعي من تدفق من المعلمين الذين يتلاشون بعد الاستخدام. وجدوا أن استخدام البيانات "العشوائية" يساعد الطالب على تعلم أشياء لم يسبق له رؤيتها، لكنه يؤدي أيضاً إلى نسيان هذه الأشياء بسرعة. حلهم، SE2D، هو بمثابة تمرين ذاكرة يجبر الطالب على مراجعة دروسه الماضية على هذه البيانات العشوائية، مما يضمن عدم فقدان الرؤى القيمة من معلمين لم يعد بإمكانه الوصول إليهم.

ملاحظة هامة: يحذر المؤلفون من أن "نقل المعرفة غير المرئية" هذا هو سلاح ذو حدين. إذا كانت البيانات العشوائية سيئة أو منحازة، فقد يتعلم الطالب عن طريق الخطأ عادات سيئة أو انحيازات دون أن يلاحظ ذلك. ويشيرون إلى أن هذا يحتاج إلى مزيد من البحث، لكنهم لا يدعون أنهم حلوا هذه المخاطرة المحددة بعد.

ملخص تقني: التقطير المستمر للمعلمين من مجالات متنوعة

1. تعريف المشكلة: التقطير المستمر (Continuous Distillation - CD)

يقدم هذا العمل مفهوم التقطير المستمر (CD)، وهو نموذج جديد مصمم لمعالجة التحديات الناجمة عن التطور السريع وتكاليف التخزين العالية للنماذج التأسيسية (Foundation Models). على عكس التعلم المستمر (CL) التقليدي، حيث يتعلم النموذج من سلسلة من مجموعات البيانات، يركز التقطير المستمر على نموذج طالب واحد يتعلم بالتتابع من مجموعة من النماذج المعلمة.

القيود والتحديات الرئيسية:

الوصول المتسلسل: يتعلم نموذج الطالب بالتتابع من معلمين $T_1, T_2, \dots, T_N$ . وبمجرد معالجة المعلم، لا يعود متاحاً، كما لا يمكن الوصول إلى بيانات التدريب الأصلية الخاصة به.
عدم توفر البيانات: عادة ما تكون بيانات التدريب الأصلية للمعلمين غير معلنة، أو مملوكة لجهات خاصة، أو كبيرة جداً بحيث يصعب تخزينها.
الخبرات المتباينة: تم تدريب المعلمين على مجالات مختلفة (على سبيل المثال، أحدهم يتفوق في مجال الحيوانات، والآخر في الحشرات)، رغم وجود منطقة مشتركة جزئياً بينهم (مثل ImageNet).
بيانات التقطير الثابتة: يتم تدريب نموذج الطالب على مجموعة بيانات ثابتة $D_S$ لا تتغير بمرور الوقت.

قام المؤلفون بتقسيم مجموعة بيانات التقطير الثابتة $D_S$ إلى فئتين:

البيانات الداخلية (Internal Data - ID): البيانات المعروفة لجميع المعلمين (المنطقة المشتركة، $D_i$ ).
البيانات الخارجية (External Data - ED): البيانات التي لا يعرفها أي معلم ( $D_e$ ).

الظواهر الجوهرية المحددة:

انتقال المعرفة غير المرئية (Transfer of Unseen Knowledge - UKT): الظاهرة التي يكتسب فيها الطالب معرفة حول مجالات لم يراها أبداً أثناء التدريب، وذلك فقط لأن المعلم يمتلك هذه المعرفة ولأن نموذج الطالب يتعرض لبيانات خارجية (ED) أثناء عملية التقطير.
نسيان المعرفة غير المرئية (Forgetting of Unseen Knowledge - UKF): الظاهرة التي تُفقد فيها المعرفة التي نقلها المعلمون السابقون فيما يتعلق بالمجالات غير المرئية عندما يتعلم نموذج الطالب من معلمين لاحقين. يختلف هذا عن "النسيان الكارثي" التقليدي، حيث أن المعرفة "المنسية" لم تكن جزءاً من بيانات تدريب الطالب الأصلية، بل اكتُسبت عبر التقطير.

التحدي المركزي في التقطير المستمر هو تحسين المقايضة بين انتقال المعرفة غير المرئية (UKT) ونسيان المعرفة غير المرئية (UKF).

2. المنهجية: تقطير البيانات الخارجية الذاتي (Self-External-Data Distillation - SE2D)

للتخفيف من حدة نسيان المعرفة غير المرئية (UKF) مع الحفاظ على فوائد انتقال المعرفة غير المرئية (UKT)، يقترح المؤلفون منهجية تقطير البيانات الخارجية الذاتي (SE2D).

الآلية:
تتكيف SE2D مع مفهوم التقطير الذاتي (الشائع في التعلم المستمر CL) لتناسب القيود المحددة للتقطير المستمر (CD). في كل خطوة $t$ ، يتم تحسين نموذج الطالب $S_t$ باستخدام حدي خسارة (Loss terms):

تقطير المعلم: تقطير المعرفة القياسي من المعلم الحالي $T_t$ إلى الطالب $S_t$ على كامل مجموعة بيانات التقطير $D_S$ (بما في ذلك البيانات الداخلية ID والبيانات الخارجية ED).
التقطير الذاتي: التقطير من النسخة السابقة للطالب $S_{t-1}$ إلى الطالب الحالي $S_t$ ، ولكن حصرياً على البيانات الخارجية ( $D_e$ ).

دالة الخسارة (Loss Function):
تُعرف الخسارة الإجمالية كالتالي:
$L_{SE2D} = L_{KD}(S_t, T_t; D_S) + L_{KD}(S_t, S_{t-1}; D_e)$

المبررات المنطقية:

إن قصر التقطير الذاتي على البيانات الخارجية ( $D_e$ ) أمر بالغ الأهمية؛ إذ إن تطبيقه على البيانات الداخلية ( $D_i$ ) لن يؤدي سوى إلى تعزيز المعرفة المستقرة بالفعل عبر جميع المعلمين.
من خلال التركيز على التقطير الذاتي للبيانات الخارجية، تعمل الطريقة تحديداً على الحفاظ على المعرفة "الهشة" التي نقلها المعلمون السابقون فيما يتعلق بالمجالات التي لم يشهدها نموذج الطالب من قبل.
يساهم هذا النهج في استقرار التعلم عبر المعلمين المتباينين دون الحاجة إلى الوصول إلى المعلمين السابقين أو بيانات تدريبهم.

3. المساهمات الرئيسية

تقديم نموذج جديد: يُعرف هذا العمل التقطير المستمر وينقل التركيز من التعلم المستمر القائم على البيانات إلى التعلم المستمر القائم على النماذج، مما يعكس واقع النماذج التأسيسية المتطورة التي تصبح نسخها السابقة غير قابلة للوصول.
اكتشاف UKT و UKF: يوضح المؤلفون أن استخدام البيانات الخارجية يتيح انتقال المعرفة غير المرئية (UKT)، مما يسمح للطلاب بتعلم مجالات مفقودة من بيانات تدريبهم. وعلى العكس من ذلك، حددوا نسيان المعرفة غير المرئية (UKF)، حيث تُفقد هذه المعرفة المكتسبة أثناء التعلم المتتابع.
الحل المقترح (SE2D): قدموا SE2D، وهي طريقة تحافظ على القيم المنطقية (logits) للبيانات الخارجية للتخفيف من حدة UKF.
التحقق التجريبي: تؤكد التجارب المكثفة عبر عدة اختبارات معيارية (CIFAR20, Digits, DomainNet) أن SE2D يقلل من UKF مقارنة بالنماذج المرجعية للتقطير القياسي ويحسن التعميم عبر المجالات المختلفة.

4. النتائج التجريبية

قيم المؤلفون SE2D مقابل نماذج مرجعية، بما في ذلك تباعد KL (KL Divergence)، ومعايرة اللوجيت (Logits Standardization - LS)، وأخذ عينات الصعوبة المتوسطة (Medium-Difficulty Sampling - MDS)، وتقطير المعرفة المفكك (Decoupled Knowledge Distillation - DKD)، والتقطير الذاتي القياسي.

النتائج الرئيسية:

ضرورة البيانات الخارجية: التدريب حصرياً على البيانات الداخلية يؤدي إلى أداء جيد لنموذج الطالب فقط في المنطقة المشتركة. لذا، فإن تضمين البيانات الخارجية ضروري لتحقيق UKT ويعزز الأداء بشكل كبير في المجالات غير المرئية.
المقايضات: بينما تتيح البيانات الخارجية (ED) تحقيق UKT، إلا أنها قد تفاقم من مشكلة UKF إذا لم يتم إدارتها. غالباً ما تعاني طرق التقطير القياسية من انخفاض كبير في الأداء في المجالات غير المرئية السابقة بمجرد تقديم معلمين جدد.
أداء SE2D:
- في اختبار CIFAR20 مع بيانات خارجية ذات صلة، حسنت SE2D متوسط الدقة في المجالات غير المرئية بأكثر من 9% مقارنة بالنماذج المرجعية لمهام محددة (مثل Domain 1).
- تفوقت SE2D باستمرار على التقطير الذاتي القياسي في المجالات القديمة، مما أظهر قدرة أفضل على الحفاظ على المعرفة المنقولة.
الحساسية للفجوة بين المجالات: تعتمد فعالية البيانات الخارجية (ED) وSE2D بشكل كبير على التشابه الدلالي بين البيانات الخارجية ومجالات المعلم.
- البيانات الخارجية ذات الصلة: استخدام بيانات ذات تشابه دلالي (مثل طيور CUB لـ CIFAR20) يؤدي إلى مكاسب كبيرة.
- البيانات الخارجية غير ذات الصلة: استخدام بيانات غير متماثلة تماماً (مثل أرقام MNIST لـ CIFAR20) يمكن أن يقلل الأداء وقد يؤدي أحياناً إلى دقة أقل من استخدام البيانات الداخلية فقط.
- جودة المعلم: تعتمد SE2D على تقديم المعلم لإشراف عالي الجودة على البيانات الخارجية. إذا كان أداء المعلم ضعيفاً في المجال الخار \text{الخارجي} (جودة منخفضة)، فإن فوائد SE2D تتضاءل.

5. الأهمية والادعاءات

يدعي هذا العمل أن التقطير المستمر يعد نموذجاً حاسماً في عصر النماذج التأسيسية، لأنه يعالج الاستحالة العملية لتخزين أو إعادة الوصول إلى النماذج الضخمة والمتطورة وبيانات تدريبها.

التحكم في المعرفة: يسلط العمل الضوء على أن مصدر بيانات التقطير هو الرافعة الأساسية للتحكم في نوع المعرفة التي يتم نقلها. ويرى المؤلفون أن القدرة على نقل "المعرفة غير المرئية" (UKT) هي سلاح ذو حدين: فهي توفر فرصاً للتعميم، ولكنها تثير أيضاً مخاطر ترسيخ الانحيازات غير المعروفة أو المعرفة غير المنضبطة في نموذج الطالب.
القيود المتواضعة: يقر المؤلفون بأن SE2D ليس حلاً عالمياً. نجاحها يعتمد على كون الفجوة بين البيانات الخارجية والمعلم ضمن نطاق يمكن إدارته، ويجب أن يكون المعلم كفؤاً في التعامل مع البيانات الخارجية. كما يشيرون إلى أن تحديد البيانات الخارجة عن مجال المعلم ليس بالأمر الهين عندما يتم توليد البيانات لمحاكاة مجموعات التدريب.
الاتجاهات المستقبلية: يقترح العمل أن UKT يحمل فرصاً ومخاطر، خاصة فيما يتعلق بالانحيازات غير المقصودة. ويُقترح إجراء عمل مستقبلي لاستكشاف النماذج الأكبر (اللغوية ومتعددة الوسائط) بالإضافة إلى الآثار الأمنية لنقل المعرفة غير المنضبطة.

باختملال، يخلص العمل إلى أنه في عالم المعلمين المتطورين وغير المتاحين، يعد الاستخدام الاستراتيجي للبيانات الخارجية والتقطير الذاتي على هذه البيانات أمراً ضرورياً لإنشاء نماذج طلابة قوية تحافظ على المعرفة عبر سلسلة من المعلمين المتباينين.