🤖 AI

Continuous-Time Distribution Matching for Few-Step Diffusion Distillation

تقدم هذه الورقة البحثية "مطابقة التوزيع في الزمن المستمر" (CDM)، وهو إطار عمل تقطير مبتكر يعزز نماذج الانتشار ذات الخطوات القليلة عبر استبدال الإشراف المنفصل المتناثر بتحسين ديناميكي مستمر في الزمن ومحاذاة خارج المسار، مما يحقق دقة بصرية عالية دون الاعتماد على وحدات مساعدة معقدة.

المؤلفون الأصليون: Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tao Liu, Hao Yan, Mengting Chen, Taihang Hu, Zhengrong Yue, Zihao Pan, Jinsong Lan, Xiaoyong Zhu, Ming-Ming Cheng, Bo Zheng, Yaxing Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم فنان موهوب لكنه بطيء (المعلم) كيف يرسم لوحة فنية رائعة في بضع ضربات فرشاة سريعة فقط، بدلاً من أسلوبه المعتاد المكون من مئات الطبقات البطيئة والدقيقة. هذا هو تحدي "تقطير الانتشار" (Diffusion Distillation): جعل مولدات الصور بالذكاء الاصطناعي سريعة دون فقدان الجودة.

يقدم البحث طريقة جديدة تسمى CDM (مطابقة التوزيع في الوقت المستمر) والتي تحل مشكلة محددة في طرق التدريس السابقة. إليك التفاصيل باستخدام تشبيهات بسيطة:

المشكلة: المعلم "الذي يتوقف وينطلق"

حاولت الطرق السابقة (مثل DMD2) تعليم الطالب السريع من خلال التحقق من عمله فقط عند نقاط تفتيش محددة وثابتة.

التشبيه: تخيل مدرب قيادة لا يتحقق من موقع سيارتك إلا في تمام الساعة 10:00 صباحاً، و10:15 صباحاً، و10:30 صباحاً. سيقول لك: "كنت مثالياً في الساعة 10:15"، لكنه لا يهتم بما فعلته بين هذه الأوقات.
النتيجة: لأن الطالب يتعلم فقط من هذه "اللقطات" المتباعدة، فإنه يميل للقيادة بشكل غير منتظم بين تلك الأوقات. وعندما يحاول القيادة بسرعة (إنتاج صورة في 4 خطوات)، فإنه ينحرف عن الطريق، مما ينتج صوراً باهتة و"شديدة النعومة" تفتقر إلى التفاصيل الدقيقة مثل خصلات الشعر أو ملمس القماش. ولإصلاح ذلك، اضطرت الطرق القديمة لإضافة "شبكات أمان" معقدة (مثل نماذج GANs أو نماذج المكافأة)، وهي أدوات ثقيلة ومكلفة في التشغيل.

الحل: "الطريق السريع السلس" (CDM)

يقترح المؤلفون CDM، الذي يغير أسلوب التدريس من "التوقف والانطلاق" إلى "الطريق السريع السلس". يفعلون ذلك من خلال حيلتين رئيسيتين:

1. الجدول الزمني الديناميكي (لا مزيد من نقاط التفتيش الثابتة)

بدلاً من التحقق من الطالب في أوقات ثابتة فقط، يقوم المعلم الآن بالتحقق منه في لحظات عشوائية على طول الرحلة.

التشبيه: مدرب القيادة الآن يقفز داخل السيارة في أوقات عشوائية—أحياناً في الساعة 10:03، وأحياناً في 10:27، وأحياناً في 10:41. إنه يتحقق من موقع الطالب وتوجيهه في أي نقطة على الطريق، وليس فقط عند التوقفات المجدولة.
الفائدة: يتعلم الطالب القيادة بسلاسة في كل مكان، وليس فقط عند نقاط التفتيش المحددة. وهذا يمنع القيادة "المضطربة" التي تسبب الصور الباهتة.

2. اختبار "الخروج عن الطريق" (الاستقراء المدفوع بالسرعة)

هذا هو الابتكار الأكثر تميزاً في البحث. عندما يتخذ الطالب خطوة كبيرة للأمام (لأنه يحاول أن يكون سريعاً)، فقد يتجاوز المسار المثالي. تقوم CDM بالتحقق بنشاط مما يحدث إذا تجاوز الطالب المسار بالفعل.

التشبيه: تخيل أن الطالب يقود بسرعة. يقول المعلم: "حسناً، لقد اتخذت خطوة كبيرة للأمام. الآن، دعنا نتظاهر بأنك اتخذت خطوة أخرى بناءً على سرعتك واتجاهك الحالي". ثم يتحقق المعلم مما إذا كانت هذه النقطة "الخيالية" لا تزال على الطريق. إذا كانت سرعة الطالب خاطئة، فستكون هذه النقطة الخيالية بعيدة جداً عن الطريق. عندها يقوم المعلم بتصحيح سرعة الطالب قبل أن يرتكب الخطأ فعلياً.
الفائدة: يعمل هذا مثل نظام GPS ذاتي التصحيح. فهو يجبر الطالب على تعلم سرعة (velocity) سلسة ومتسقة، بحيث حتى عندما يتخذ خطوات كبيرة وسريعة، فإنه لا يصطدم أو ينحرف عن المسار. هذا يحافظ على التفاصيل الحادة دون الحاجة إلى "شبكات أمان" إضافية.

النتائج: سريع وحاد

اختبر البحث هذه الطريقة الجديدة على مولدات صور قوية (SD3-Medium و Longcat-Image).

السرعة: يمكن للطالب الجديد إنتاج صور عالية الجودة في 4 خطوات فقط (سريع جداً).
الجودة: صور أكثر حدة وتحتوي على تفاصيل دقيقة (مثل الأنسجة الواقعية) مقارنة بالطرق السريعة السابقة.
البساة: على عكس الطرق السريعة الأخرى، لا تحتاج CDM إلى أدوات إضافية معقدة (مثل GANs أو نماذج المكافأة) لإصلاح البهتان؛ فهي تعالج نفسها من خلال طريقة تدريس "الطريق السريع السلس".

الملخص

باخت-الاختصار، يقول البحث: "لجعل توليد الصور بالذكاء الاصطناعي سريعاً، توقف عن التحقق من الطالب في أوقات ثابتة فقط. بدلاً من ذلك، تحقق منه في أوقات عشوائية واختبر سرعته في مسارات 'خيالية' خارج الطريق. هذا يعلمه القيادة بسلاسة وسرعة، مما يؤدي إلى صور واضية وتفصيلية دون الحاجة إلى معدات إضافية معقدة".

ملخص تقني: مطابقة التوزيع في الزمن المستمر لتقطير الانتشار في خطوات معدودة

بيان المشكلة

أحدثت نماذج الانتشار (Diffusion) ومطابقة التدفق (Flow-matching) ثورة في توليد الصور من النصوص، لكنها تعاني من اختناق حوسبي شديد بسبب عمليات أخذ العينات التكرارية، والتي تتطلب غالبًا عشرات أو مئات التقييمات للشبكة. وبينما ظهرت نماذج تقطير الانتشار (مثل تقطير الاتساق - Consistency Distillation، وتقطير مطابقة التوزيع - Distribution Matching Distillation) لتسريع هذه العملية، تواجه طرق مطابقة التوزيع (DMD) الحالية قيودًا هيكلية. وتحديدًا، تعتمد طريقة DMD التقليدية على إشراف متفرق عند نقاط زمنية منفصلة محددة مسبقًا للحفاظ على محاذاة صارمة بين جداول التدريب والاستنتاج. هذا الصياغة الزمنية المنفصلة المقيدة، مقترنة بطبيعة البحث عن النمط (mode-seeking) لتباعد KL العكسي، تؤدي غالبًا إلى عيوب بصرية، ومخرجات مفرطة في النعومة، وفقدان للتفاصيل الدقيقة. وبناءً على ذلك، تتطلب طرق DMD المتطورة حاليًا وحدات مساعدة معقدة، مثل الشبكات التنافسية التوليدية (GANs) أو نماذج المكافأة، لاستعادة الدقة البصرية.

المنهجية: مطابقة التوزيع في الزمن المستمر (CDM)

يقترح المؤلفون مطابقة التوزيع في الزمن المستمر (CDM)، وهو إطار عمل ينقل نموذج DMD من الارتكاز المنفصل إلى التحسين المستمر. تتكون الطريقة من تصميمين أساسيين للزمن المستمر:

1. جدول زمني مستمر ديناميكي

على عكس DMD التقليدية، التي تقيد المحاكاة العكسية بمجموعة ثابتة من النقاط المرجعية المنفصلة التي تطابق جدول الاستنتاج، يستخدم CDM جدولاً مستمراً ديناميكياً.

الآلية: في كل تكرار تدريبي، يتم أخذ طول المحاكاة $N$ عشوائيًا من توزيع منتظم $U\{1, N_{max}\}$ . يتم إنشاء الخطوات الزمنية $t_1, \dots, t_N$ كمتتالية مستمرة متناقصة بصرامة ضمن النطاق $(0, 1]$ .
الأثر: هذا يفصل عملية تحسين التدريب عن جدول الاستنتاج الثابت. يتم تدريب النموذج الطالب عبر فضاء الزمن المستمر الكامل بدلاً من نقاط منفصلة ثابتة، مما يجعله يتلقى إشارات تدرج من نطاق واسع من المسارات. تشير التحليلات النظرية إلى أن هذا يشجع الطالب على تعلم مجال سرعة أكثر سلاسة عبر النطاق المستمر، بدلاً من الإفراط في التخصيص (overfitting) للنقاط المرجعية المنفصلة المتفرقة.

2. المحاذاة خارج المسار عبر الاستقراء المدفوع بالسرعة

لمعالجة أخطاء التقطيع العددي المتأصلة في التوليد ذي الخطوات القليلة (حيث تسبب خطوات التكامل الكبيرة انحراف المسارات عن المنوال المثالي)، يقدم CDM خسارة CDM ( $L_{CDM}$ ) مبتكرة.

الآلية: بدلاً من قصر الإشراف على اللاتنتات (latents) الواقعة على المسار، تقوم الطريقة بإجراء مطابقة نشطة خارج المسار. حيث تأخذ خطوة أويلر (Euler step) من الدرجة الأولى على طول مجال السرعة المتوقع للطالب لاستقراء لاتنت خارج المسار $x'_{t_i} = x_{t_i} + (t'_i - t_i)v_{t_i}$ .
الهدف: تفرض الخسارة مطابقة التوزيع على هذه النقاط المستقرأة. ومن خلال تثبيت الهدف إلى تقدير البيانات النظيفة المحلي عند النقطة المستقرأة، تخلق الطريقة قيدًا للاتساق الذاتي لمجال المتجه الخاص بالطالب. وهذا يؤدي فعليًا إلى معاقبة تنبؤات السرعة غير الصالحة خارج المسار الرئيسي، مما يخفف من عدم الاتساق بين النقاط المرجعية ويسمح للطالب بتصحيح أخطاء التكامل ذاتيًا.

هدف التدريب

يوحد هدف التدريب الكامل ثلاثة مكونات:
$L = L_{CA} + L_{DM} + L_{CDM}$

$L_{CA}$ (تعزيز CFG): يضمن المحاذاة بين النص والصورة.
$L_{DM}$ (مطابقة التوزيع): يحاذي التوزيع الهامشي للطالب مع توزيع المعلم الخالي من CFG.
$L_{CDM}$ (المطابقة في الزمن المستمر): ينظم مجال السرعة عبر نطاق الزمن المستمر عبر الإشراف خارج المسار.

المساهمات الرئيسية

رؤى تجريبية: يكشف المؤلفون أن ربط التدريب بخطوات زمنية منفصلة ثابتة ليس ضروريًا، وأن خسارة مطابقة التوزيع (DM) ليست مجرد منظم، بل هي المحرك الأساسي الذي يحاذي الطالب مع توزيع المعلم الخالي من CFG.
إطار عمل CDM: اقتراح إطار عمل موحد يجمع بين الجدولة المستمرة الديناميكية وهدف المحاذاة خارج المسار المدفوع بالسرعة. وهذا ينقل التحسين إلى نطاق الزمن المستمر دون الاعتماد على التدريب التنافسي أو نماذج المكافأة الخارجية.
أداء متفوق (SOTA): تُظهر التجارب الواسعة أن CDM يحقق دقة بصرية واتباعًا دلاليًا فائقًا في التوليد ذي الخطوات القليلة (4 NFE) عبر بنيات مختلفة (SD3-Medium و Longcat-Image)، متفوقًا على النماذج المرجعية القوية مثل DMD2 و D-DMD و Hyper-SD.

النتائج التجريبية

يُقيم البحث نموذج CDM على SD3-Medium و Longcat-Image بدقة 1024×1024 عند 4 تقييمات لوظائف الشبكة (NFE).

الأداء الكمي: في SD3-Medium، يحقق CDM أفضل النتائج في الجمالية (6.075)، و DPGBench (85.26)، و PickScore (21.95)، و HPSv3 (9.561)، متفوقًا على النموذج المرجعي القوي D-DMD. والجدير بالذكر أن طالب CDM (بـ 4-NFE) يطابق أو يتفوق على المعلم (بـ 100-NFE) في عدة مقاييس (مثل DPGBench و HPSv3).
التحسينات النوعية: تُظهر المقارنات البصرية أن CDM ينتج أنسجة أكثر حدة، وتفاصيل أدق وأغنى، واتباعًا أفضل للمطالبات المعقدة مقارنة بالنماذج المرجعية، التي تعاني غالبًا من فرط النعومة.
دراسات الاستئصال (Ablation Studies):
- إزالة $L_{CA}$ تؤدي إلى انهيار هيكلي.
- إزالة $L_{DM}$ أو $L_{CDM}$ بشكل فردي يؤدي إلى تدهور في اتباع المطالبة أو الدقة البصرية، على التوالي.
- العودة إلى جدول زمني ثابت أو استخدام اضطراب الضوضاء الغاوسية بدلاً من الاستقراء المدفوع بالسرعة يؤدي إلى أداء أقل، مما يؤكد ضرورة التصميمات المستمرة والقائمة على السرعة.

الأهمية والادعاءات

يزعم البحث أن CDM هو أول عمل ينقل إطار عمل تقطير DMD من الجداول المنفصلة إلى فضاء التحسين المستمر. وتكمن أهميته في إثبات أنه يمكن تحقيق توليد عالي الدقة في خطوات قليلة دون الاعتماد على أهداف مساعدة معقدة (مثل GANs أو نماذج المكافأة) التي تُستخدم عادةً لإصلاح عيوب التقطير الزمني المنفصل.

من خلال محاكاة وتصحيح انحرافات التقطيع صراحةً للعودة إلى منوال البيانات عبر الإشراف المستمر، يضع CDM نتائج جديدة متفوقة لتوليد الصور بـ 4 خطوات. ويضع المؤلفون هذا العمل كخطوة نحو تقطير انتشار أكثر سهولة، مما يتيح توليدًا عالي الجودة على الأجهزة العادية من خلال تقليل تكاليف الاستنتاج بمقدار مرتبة عشرية كاملة مع الحفاظ على الجودة البصرية.