🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

تحدد هذه الورقة نمط فشل يُسمى "عدم التماثل في الفرع السالب" (Negative Branch Asymmetry) في عملية تقطير الانتشار داخل السياسة (on-policy diffusion distillation) تحت توجيه خالي من المصنف (classifier-free guidance)، حيث يتسبب مطابقة السرعة الساذجة في أخطاء فرعية متضادة، وتقترح "مطابقة الاتجاه الإيجابي" (Positive-Direction Matching) كهدف مدرك للفرع لتمكين نقل المعرفة القوي.

المؤلفون الأصليون: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

نُشر 2026-07-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فنان كيف يرسم لوحة فنية رائعة. في عالم الذكاء الاصطिनी الحديث، تُسمى هذه "الروبوتات" نماذج الانتشار (diffusion models). وهي تعمل بشكل يشبه النحات الذي ينحت من كتلة من الرخام: تبدأ بسحابة ضوضاء مشوشة من البكسلات ثم تقوم بتنقيحها ببطء لتتحول إلى صورة واضحة. وللتأكد من أن الروبوت يرسم بالضبط ما تريده (مثل "قطة ترتدي قبعة")، نستخدم خدعة خاصة تسمى التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG). فكر في CFG كمعلم فن صارم يعطي الروبوت تعليمتين في آن واحد: إحداهما تقول "ارسم قطة بقبعة" (التعليم الإيجابي)، والأخرى تقول "ارسم لا شيء محدد" (التعليم السلبي). ثم يقوم الروبوت بخلط هاتين الفكرتين معاً، مستخدماً قرص تحكم يسمى مقياس التوجيه (guidance scale) ليقرر مقدار الوزن الذي سيعطيه للتعليم الصارم مقابل التعليم الغامض.

الخلط العظيم: عندما تسوء عملية التقليد

اكتشف مؤلفو هذه الورقة أن الطريقة القياسية التي يحاول بها الطلاب تقليد المعلمين الذين يستخدمون CFG هي في الواقع فخ. هم يسمون الطريقة القياسية "التقطير القائم على CFG الساذج" (Naive CFG-Based OPD). وإليك المشكلة: عندما يخلط المعلم بين التعليمات "الإيجابية" و"السلبية" ليعطي إجابة نهائية، فإن الطالب لا يرى سوى تلك الإجابة المختلطة النهائية فقط. يحاول الطالب مطابقة المزيج النهائي للمعلم، لكنه لا يعرف كيف وصل المعلم إلى تلك النتيجة.

تخيل أن المعلم يصنع عصيرًا (smoothie). يخلط 70% فراولة (إيجابي) و30% موز (سلبي) ليحصل على مشروب وردي مثالي. يتذوق الطالب المشروب الوردي ويحاول محاكاته. ولكن نظرًا لأن الطالب لا يعرف الوصفة الدقيقة، فقد يخلط بالخطأ 40% فراولة و60% موز ومع ذلك يحصل على مشروب يبدو ورديًا بما يكفي لخداع المعلم في تلك اللحظة المحددة. هذا ما تسميه الورقة غموض التفرع (branch ambiguity). لقد وجد الطالب "حلاً منحطًا" (degenerate solution)—وهي خدعة تجعلهم يحصلون على الإجابة الصحيحة لأسباب خاطئة.

تظهر الورقة أن هذه الخدعة تعمل جيدًا إذا كان المعلم والطالب يستخدمان نفس المكون "السلبي" تمامًا (مثل استخدام كليهما للماء العادي كقاعدة). في هذه الحالة، يتحسن كل من الطالب والمعلم معًا، ويسير كل شيء على ما يرام.

ومع ذلك، وجدت الورقة نمط فشل رئيسي يسمونه عدم تماثل الفرع السلبي (Negative Branch Asymmetry - NBA). يحدث هذا عندما يمتلك المعلم "مكونًا سريًا" في فرعه السلبي لا يمتلكه الطالب. على سبيل المثال، ربما ينظر المعلم إلى صورة مرجعية لتوجيه عملية تفكيره "السلبية"، بينما الطالب أعمى عن تلك الصورة. في هذا السيناريو، يحاول الطالب تقليد المشروب الوردي النهائي، ولكن لكي يفعل ذلك، يتعين عليه إفساد وصفته الخاصة. قد يتقن جزء الفراولة (الجزء الإيجابي) تمامًا، لكنه يضطر لجعل جزء الموز (الجزء السلبي) سيئًا جدًا للتعويض عن ذلك.

توضح الورقة أنه تحت هذه الظروف، يصبح تعلم الطالب بمثابة شد وجذب. فبينما يصبحون أفضل في رسم القطة (تقليل الخطأ الإيجابي)، يصبحون أسوأ في فهم جزء "اللاشيء" (زيادة الخطأ السلبي). تلغي الأخطاء بعضها البعض في المزيج النهائي، لذا يعتقد المعلم أن الطالب يبلي بلاءً حسنًا. لكن هذه كذبة.

العاقبة: قرص الهلاك

تبدأ المشكلة الحقيقية عندما تقوم بتدوير القرص. "مقياس التوجيه" هو إعداد يمكنك تغييره بعد انتهاء التدريب. إذا دربت الطالب والقرص مضبوط على رقم معين، فقد تعلم كيفية الغش باستخدام ذلك المزيج المحدد. ولكن إذا قمت بتدوير القرص إلى رقم مختلف لاحقًا (مثل الاستخدام في العالم الحقيقي)، فإن التوازن سيتغير. وصفة "الغش" الخاصة بالطالب لن تعد تعمل. تظهر الورقة أن الطلاب الذين تدربوا بالطريقة الساذجة يعملون بشكل جيد عند إعداد التدريب، لكنهم ينهارون تمامًا عند تغيير مقياس التوجيه، مما ينتج صورًا مشوهة أو يفقدون الأسلوب الذي كان من المفترض أن يتعلموه. هذا هو "التدهور المفرط" (excess degradation) الذي يحذر منه المؤلفون—الأمر لا يقتصر على كون الروبوت أصبح أسوأ فحسب؛ بل إنه أصبح أسوأ بكثير مما ينبغي، وتحديدًا بسبب طريقة التدريب السيئة.

الحل: إصلاح "الاتجاه الإيجابي"

لإصلاح ذلك، يقترح المؤلفون طريقة جديدة تسمى مطابقة الاتجاه الإيجابي (Positive-Direction Matching - PDM). بدلاً من مجرد مطالبة الطالب بتقليد المشروب المختلط النهائي، تجبر PDM الطالب على تعلم شيئين منفصلين:

التنبؤ الإيجابي: "أرني بالضبط كيف ترسم القطة."
اتجاه CFG: "أرني الفرق بين فكرة 'القطة' وفكرة 'اللاشيء' لديك."

من خلال التحقق من هذين الأمرين بشكل منفصل، يمكن للمعلم معرفة ما إذا كان الطالب يغش. إذا حاول الطالب إفساد الجزء السلبي لإصلاح الجزء الإيجابي، فسوف يكشفه المعلم فورًا لأن "الفرق" (الاتجاه) لن يتطابق. هذا يجبر الطالب على تعلم الوصفة الحقيقية، وليس الخدعة.

اختبرت الورقة ذلك في مهمة تسمى التحكم من الكثيف إلى الشحيح في الفيديو (dense-to-sparse video control)، حيث يرى المعلم فيديو كاملًا لشخص يتحرك (تحكم كثيف) ويحاول تعليم طالب لا يرى سوى بضع إطارات رئيسية (تحكم شحيح). كانت النتائج واضحة:

الطلاب الساذجون كانوا حساسين جدًا لمقياس التوجيه. عندما تغير المقياس، انهار التحكم في الفيديو لديهم، حيث قفزت مقاييس الجودة مثل FID (مقياس جودة الصورة) من 13.49 إلى 78.20 في بعض الحالات.
طلاب PDM ظلوا مستقرين. حتى عندما تغير مقياس التوجيه، استمروا في إنتاج فيديوهات عالية الجودة، حيث ظل FID حول 13–15.

كما قارنت الورقة بين PDM وطريقة أخرى تسمى مطابقة الفرع المستقل (Independent Branch Matching - IBM)، والتي تخبر الطالب ببساطة بتقليد الفروع الإيجابية والسلبية بشكل منفصل دون النظر إلى "الاتجاه". كانت كل من PDM و IBM أفضل بكثير من الطريقة الساذاجة، لكن PDM قدمت عمومًا أكثر اتساقًا في دقة التحكم عبر أنواع مختلفة من مهام الفيديو (مثل التحكم في الوضعية، العمق، والرسومات التخطيطية).

الخلاصة

تخلص الورقة إلى أنه بينما قد تبدو الطريقة القديمة لتقليد المعلمين (التقطير الساذج) وكأنها تعمل أثناء التدريب، إلا أنها في الواقع تبني بيتًا من ورق ينهار بمجرد تغيير الإعدادات. من خلال استخدام مطابقة الاتجاه الإيجابي، يمكننا بناء طالب يفهم حقًا منطق المعلم، مما يجعله قويًا وموثوقًا بغض النظر عن كيفية تعديل قرص التوجيه لاحقًا. إنه تذكير بأنه في مجال الذكاء الاصطناعي، ليس كافيًا مجرد الحصول على الإجابة الصحيحة؛ بل يجب عليك تعلم كيفية الحصول عليها، خاصة عندما يكون المعلم ممسكًا بمكون سري.

ملخص تقني: إعادة التفكير في توجيه التصنيف الخالي من الفئات (Classifier-Free Guidance) في تقطير الانتشار داخل السياسة (On-Policy Diffusion Distillation)

بيان المشكلة

يعمل التقطير داخل السياسة (On-Policy Distillation - OPD) على تكييف نماذج الانتشار عبر تدريب نموذج طالب ليطابق تنبؤات السرعة المحلية للمعلم على طول المسارات التي يولدها الطالب نفسه. وبينما تستخدم أنظمة الانتشار الحديثة عالميًا "التوجيه الخالي من الفئات" (Classifier-Free Guidance - CFG) لتحسين جودة التوليد، إلا أن التفاعل بين CFG و OPD لا يزال غير مفهوم بشكل جيد.

يقوم نظام CFG القياسي بتركيب تنبؤ السرعة الموجه ( $v_{cfg}$ ) من فرعين منفصلين: فرع إيجابي ( $v_+$ ) مشروط بالوصف المستهدف، وفرع سلبي ( $v_-$ ) مشروط بوصف فارغ أو سلبي. ويُعرف السرعة الموجهة كالتالي: $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , حيث $\gamma$ هو مقياس التوجيه.

تستخدم طرق OPD الحالية عادةً مطابقة السرعة لهذا التنبؤ المركب، من خلال تقليل قيمة $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ . وقد حدد المؤلفون خللاً حرجًا في هذا النهج: عدم تحديد الهوية على مستوى الفروع (branch-level under-identification). نظرًا لأن الخسارة تقيد فقط التركيبة الخطية للفرعين، فإن أخطاء الفرع الإيجابي والسلبي ( $e_+$ و $e_-$ ) يمكن أن تعوض بعضها البعض. وتحديدًا، فإن الشرط $\gamma e_+ + (1-\gamma)e_- = 0$ يسمح بوجود عدد لا نهائي من أزواج الأخطاء غير الصفرية.

يؤدي هذا الغموض إلى نمط فشل يُسمى عدم التماثل في الفرع السلبي (Negative Branch Asymmetry - NBA). في السيناريوهات التي يمتلك فيها المعلم "معلومات مميزة" (privileged information) في فرعه السلبي (مثل الصور المرجعية أو إشارات التحكم الكثيفة) والتي يفتقر إليها الطالب، يؤدي هدف التكوين الساذج إلى ديناميكيات متضادة: حيث تعمل عملية التدريب على تقليل خطأ الفرع الإيجي مع زيادة خطأ الفرع السلبي في الوقت نفسه. وبينما قد يؤدي هذا التعويض إلى خسارة منخفضة عند مقياس التوجيه أثناء التدريب، فإنه يتسبب في انحراف كبير للطالب عند التقييم بمقاييس توجيه مختلفة أثناء الاستدلال، لأن تعويض الخطأ المتعلم لم يعد صامدًا.

المنهجية

لحل غموض الفروع ومنع تعويض الخطأ، يقترح المؤلفون مطابقة الاتجاه الإيجابي (Positive–Direction Matching - PDM)، وهو هدف OPD مدرك للفروع.

1. مطابقة الاتجاه الإيجابي (PDM)

بدلاً من مطابقة السرعة الموجهة المركبة، يقوم PDM بتقييد كل من:

التنبؤ الإيجابي: مطابقة سرعة الفرع الإيجابي ( $v_+$ ) مباشرة.
الاتجاه الشرطي لـ CFG: مطابقة متجه الفرق $d = v_+ - v_-$ .

تُصاغ دالة الخسرة كالتالي:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
حيث يتحكم $\lambda > 0$ في قوة مطابقة الاتجاه. تؤدي الخسارة الصفرية في PDM إلى جعل كل من $e_+$ و $e_-$ صفرًا، مما يلغي القدرة للخطأ على إلغاء بعضه البعض.

2. مطابقة الفروع المستقلة (Independent Branch Matching - IBM)

كخط أساس لعزل فوائد الإشراف على مستوى الفروع عن التصميم المحدد لـ PDM، قدم المؤلفون IBM. تقوم هذه الطريقة بمطابقة الفروع الإيجابية والسلبية مباشرة بأوزان مشتقة من الهدف المركب الساذج الموسع:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
على عكس PDM، لا يفرض IBM الاتجاه الشرطي صراحةً، ولكنه يزيل مصطلح التفاعل بين الفروع الموجود في خسارة التكوين الساذجة.

3. الإشراف الفعال للفيديو

لتطبيقات التحكم من الكثيف إلى الشحيح في الفيديو، يقترح المؤلفون الإشراف فقط على أول $K$ حالة من مسار إزالة الضجيج الخاص بالطالب بدلاً من المسار الكامل. وهذا يقلل من التكلفة الحسابية لتقييمات المعلم مع الحفاظ على الأداء.

المساهمات الرئيسية

تحديد غموض الفروع: يوضح البحث أن عملية OPD المكونة من CFG تفتقر إلى تحديد الهوية على مستوى الفروع. كما يثبت أن هذا الغموض يكون حميدًا في حالة "الشرط السلبي المشترك" (حيث يتشارك المعلم والطالب نفس الشرط الفارغ)، ولكنه يصبح ضارًا تحت الشرط السلبي المميز، مما يؤدي إلى NBA.
عدم التماثل في الفرع السلبي (NBA): يعرّف المؤلفون NBA كنمط فشل حيث يؤدي المطابقة الساذجة إلى تقليل خطأ الفرع الإيجابي على حساب زيادة خطأ الفرع السلبي، مما يسبب حساسية مفرطة لتغيرات مقياس التوجيه أثناء الاستدلال.
مطابقة الاتجاه الإيجابي (PDM): هدف مبتكر مدرك للفروع يقوم بالإشراف بشكل منفصل على التنبؤ الإيجابي والاتجاه الشرطي لـ CFG. هذا يمنع تعويض الخطأ المتبادل بين الفروع ويعيد الإشراف القابل للتحديد.
التحقق التجريبي: تقدم الدراسة أدلة كمية عبر مجالات الصور والفيديو، حيث تظهر أن الإشراف المدرك للفروع يحسن المتانة ونقل المعرفة، خاصة في الإعدادات التي يمتلك فيها المعلم وصولاً إلى معلومات غير متاحة للطالب.

النتائج التجريبية

تشخيصات مجال الصور

أجرى المؤلفون تجربتين محكمتين لتشخيص ديناميكيات خطأ الفروع:

تقطير رسم النصوص (الشرط المشترك): يتشارك المعلم والطالب في نفس الشرط السلبي. هنا، تؤدي المطابقة الساذجة و PDM إلى تقليل مشترك لأخطاء الفرع الإيجابي والسلبي. يتتبع الطالب حساسية CFG الجوهرية للمعلم، مما يؤكد أن الغموض حميد في هذا النطاق.
التقطير المشروط بالمرجع (الشرط المميز): يتلقى المعلم صورة مرجعية في فرعه السلبي، بينما لا يتلقى الطالب ذلك.
- المطابقة الساذجة: تظهر ديناميكيات متضادة، حيث تقلل $e_+$ بينما تزيد $e_-$ .
- PDM: ينجح في تقليل $e_+$ مع منع نمو $e_-$ .
- حساسية التوجيه: عند الاستدلال، تعاني النماذج التي تم تدريبها بالمطابقة الساذجة عند $\gamma=2$ من تدهور كبير عند اختبارها عند $\gamma=1$ (تظهر انحرافًا في الأسلوب وتشوهًا)، بينما تظل نماذج PDM مستقرة وتتبع سلوك المعلم عن كثب عبر المقاييس المختلفة.

التحكم من الكثيف إلى الشحيح في الفيديو

تم تطبيق الطريقة على معيار Wan-VACE، حيث يلاحظ المعلم تحكمًا كثيفًا لكل إطار (الوضعية، العمق، الخربشة) بينما يتلقى الطالب فقط إطارات مفتاحية شحيحة.

دقة التحكم: عند مقياس التوجيه للتدريب ( $\gamma=5$ )، تفوق PDM على OPD الساذجة، وSFT، والتقطير خارج السياسة (off-policy distillation) في جميع الوسائط (الوضعية، العمق، الخربشة) في مقاييس مثل MPJPE وPCK وFVD.
التعميم على مقياس التوجيه: عند الاختبار بمقاييس استدلال مختلفة عن التدريب (مثل $\gamma=1$ أو $\gamma=3$ )، تدهور أداء OPD الساذجة بشكل حاد. في المقابل، ظل PDM وIBM مستقرين، مما يثبت أن الإشراف المدرك للفروع يخفف من الحساسية المفرطة الناتجة عن المطابقة المركبة.
الكفاءة: وفر الإشراف فقط على أول $K=8$ حالات من المسار أفضل توازن بين دقة التحكم وتكلفة التدريب، محققًا نتائج مقاربة للإشراف على المسار الكامل مع تقليل الحوسبة بشكل كبير.

الأهمية والادعاءات

يزعم البحث أن الممارسة القياسية لمطابقة تنبؤات CFG المركبة في التقطير داخل السياسة معيبة جوهريًا عندما يكون لدى المعلم والطالب وصول غير متماثل للمعلومات في الفرع السلبي. ويجادل المؤلفون بأن عدم التماثل في الفرع السلبي هو نمط فشل متميز يتجلى في الحساسية المفرطة لتغيرات مقياس التوجيه.

تكمن أهمية هذا العمل في:

تصحيح فجوة نظرية: لقد حدد أن "مطابقة المخرج الموجه" غير كافية عندما لا تكون الفروع الأساسية مقيدة بشكل متماثل.
نقل معرفة قوي ومتين: من خلال فرض قيود على مستوى الفروع (عبر PDM)، يتعلم الطالب تمثيلًا أكثر دقة لمنطق الشرط الخاص بالمعلم، مما يؤدي إلى أداء قوي عبر ظروف استدلال متنوعة.
القابلية للتطبيق العملي: الطريقة المقترحة قابلة للتطبيق مباشرة في مهام التوليد المعقدة مثل التحكم في الفيديو، حيث غالبًا ما يمتلك المعلم سياقًا مميزًا (إطارات كثيفة) يجب على الطالب تعلم تقريبه من مدخلات شحيحة.

يشير المؤلفون بتواضع إلى أنه بينما يتفوق PDM تجريبيًا على IBM، فإن الأسباب النظرية لتفوق PDM المحدد على صياغات أخرى مدركة للفروع (مثل IBM) تظل سؤالًا مفتوحًا للعمل المستقبلي. المساهمة الأساسية هي تحديد نمط الفشل وإثبات أن فصل الإشراف على الفرع الإيجابي والاتجاه الشرطي يحل هذه المشكلة.