🤖 machine learning

TMPDiff: Temporal Mixed-Precision for Diffusion Models

تقدم الورقة البحثية TMPDiff، وهو إطار عمل زمني مختلط الدقة يقوم بتعيين دقات عددية متفاوتة بشكل تكيفي لخطوات إزالة الضجيج المختلفة في نماذج الانتشار لتقليل زمن انتقال الاستدلال بشكل كبير مع الحفاظ على الجودة الإدراكية أو تحسينها مقارنة بالنماذج المرجعية ذات الدقة الموحدة.

المؤلفون الأصليون: Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف ماهر يحاول خبز كعكة معقدة ومثالية (توليد صورة) باستخدام فرن باهظ الثمن وبطيء للغاية (نموذج ذكاء اصطناعي ضخم).

المشكلة هي أن هذا الفرن يستغرق وقتاً طويلاً لخبز الكعكة لأنه يجب أن يمر عبر 20 مرحلة متميزة من الخبز، وفحص العجين، وضبط درجة الحرارة عند كل خطوة. إذا حاولت تسريع العملية عن طريق خفض الحرارة (استخدام حسابات ذات دقة منخفضة)، فقد تخرج الكعكة محترقة أو مليئة بالكتل. أما إذا حافظت على الحرارة عالية (دقة كاملة) طوال الوقت، فسيستغرق الأمر دهراً.

TMPDiff هو "مؤقت فرن ذكي" يحل هذه المشكلة، لأنه يدرك: أنت لست بحاجة لإعداد الحرارة العالية لكل دقيقة من وقت الخبز.

إليك تفصيل كيفية عمله، باستخدام تشبيهات بسيطة:

1. المشكلة: نهج "الكل أو لا شيء"

في الوقت الحالي، معظم مولدات الصور بالذكاء الاصطناعي تشبه الطهاة الذين يقررون: "سأستخدم إما الفرن فائق الدقة والبطيء لـ كامل الـ 20 دقيقة، أو سأستخدم الفرن السريع والخشن لـ كامل الـ 20 دقيقة."

الفرن البطيء (الدقة الكاملة): يصنع كعكة رائعة الجمال، ولكنه يستغرق ساعات.
الفرن السريع (الكمية/Quantization): يصنع الكعكة بسرعة، ولكنها غالباً ما تبدو "غريبة" أو ضبابية لأن الفرن الخشن ارتكب أخطاء في البداية أفسدت النتيجة النهائية.

2. الرؤية: ليست كل الخطوات متساوية في الأهمية

اكتشف الباحثون شيئاً مذهلاً حول كيفية عمل خطوات "الخبز" هذه:

الخطوات الأولى (الأساس): الدقائق الأولى من الخبز حاسمة جداً. هذا هو الوقت الذي يتشكل فيه شكل الكعكة وهيكلها. إذا أفسدت الأمر هنا، فستفسد الكعكة بأكملها. هذه الخطوات تحتاج إلى الفرن عالي الدقة.
الخطوات الأخيرة (التفاصيل): الدقائق الأخيرة هي مجرد عملية تنعيم للكريمة أو إضافة القليل من اللون. إذا استخدمت الفرن السريع هنا، فستظل الكعكة تبدو رائعة لأن العمل الشاق قد تم بالفعل.

الطريقة القديمة تجاهلت ذلك؛ فقد كانت تعامل كل دقيقة من الخبز على أنها متساوية في الأهمية. يقول TMPDiff: "لنستخدم الفرن الفاخر للخطوات الأولى الحرجة، والفرن السريع للخطوات النهائية السهلة."

3. الخدعة السحرية: نظرية "الخطأ التراكمي"

كيف يعرف الذكاء الاصطناعي أي الخطوات هي الحرجة؟

وضع الباحثون نظرية تسمى نموذج الخطأ الإضافي (Additive Error Model). تخيل أنه في كل مرة تستخدم فيها "الفرن السريع"، تسقط فتات صغيرة من الأوساخ في العجين.

إذا أسقطت فتاتاً في البداية، فسوف يختلط في الكعكة بأكملها ويفسد قوامها.
إذا أسقطت فتاتاً في النهاية تماماً، فسيظل مجرد قطعة فوق السطح ومن السهل مسحها.

لقد أثبتوا أن هذه "الفتات" (الأخطاء) تتراكم بطريقة يمكن التنبؤ بها. ومن خلال قياس مقدار الضرر الذي تسببه "فتات" في كل دقيقة محددة، يمكنهم إنشاء قائمة أولويات. وقد وجدوا أن الأخطاء الناتجة عن الخطوات المبكرة تكون ضخمة، بينما الأخطاء في الخطوات المتأخرة تكون ضئيلة جداً.

4. الحل: TMPDiff (المجدول الذكي)

بدلاً من تجربة كل الاحتمالات الممكنة لمزيج "السريع مقابل البطيء" (والذي قد يستغرق مليون سنة لحسابه)، يستخدم TMPDiff استراتيجية "التنصيف التكيفي" (Adaptive Bisection) الذكية.

فكر في الأمر كأنك تبحث عن إبرة في كومة قش، لكنك تعلم أن الإبرة ثقيلة.

أنت لا تفحص كل قطعة قش.
أنت تفحص المنتصف، والبداية، والنهاية.
ترى أين يتركز "الثقل" (احتمالية الخطأ) بشكل أكبر.
تقوم بالتركيز على تلك المناطق الثقيلة لتحديد المواضع الدقيقة التي تحتاج إلى "الفرن البطيء".
تترك المناطق الخفيفة لـ "الفرن السريع".

يسمح هذا للنظام بتحديد الجدول الزمني المثالي في ثوانٍ، بدلاً من أيام.

5. النتيجة: أفضل ما في العالمين

عندما اختبروا هذا على نماذج ذكاء اصطناعي شهيرة (مثل FLUX و Stable Diffusion):

السرعة: حصلوا على صور أسرع بـ 2.5 مرة من النسخة عالية الجودة.
الجودة: الصور كانت أفضل بنسبة 10-20% من النسخة "السريعة" القياسية.
النقطة المثالية: في نموذج FLUX، حصلوا على صورة بنسبة 90% من مثالية النسخة البطيئة، ولكن في أقل من نصف الوقت.

الملخص

TMPDiff يشبه مراقب حركة المرور الذكي لتوليد الصور بالذكاء الاصطناعي. بدلاً من معاملة كل ثانية من العملية بنفس الطريقة، فهو يعرف بالضبط متى يبطئ وينتبه (دقة عالية) ومتى يسرع ويواصل المسير (دقة منخفضة). هذا يتيح لنا الحصول على صور عالية الجودة بسرعة أكبر بكثير دون أن يرتبك الكمبيوتر أو تبدو الصورة سيئة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TMPDiff: الدقة المختلطة الزمنية لنماذج الانتشار (Temporal Mixed-Precision for Diffusion Models)."

1. تعريف المشكلة

تعاني نماذج الانتشار (Diffusion models)، ولا سيًا نماذج تحويل النص إلى صورة (T2I)، من زمن استجابة (latency) مرتفع أثناء الاستنتاج بسبب عمليات إزالة الضجيج التكرارية التي تتضمن مليارات المعلمات. وبينما يعد التقليل الكمي (Quantization) (تقليل عرض البت من FP16/BF16 إلى INT4/INT8) وسيلة قياسية لتسريع الاستنتاج، فإن الأساليب الحالية تطبق دقة ثابتة عبر جميع خطوات إزالة الضجيج.

حدد المؤلفون فجوة حرجة:

الدقة المختلطة المكانية (Spatial Mixed-Precision): (تغيير الدقة عبر طبقات النموذج) مستكشفة جيدًا ولكنها تظل ثابتة أثناء وقت التشغيل.
الحساسية الزمنية (Temporal Sensitivity): يتم تجاهلها. تفترض الورقة أن خطوات إزالة الضجيح المختلفة لها حساسيات متفاوتة لأخطاء التقليل الكمي. فالخطوات المبكرة (التي ترسي الهيكل العام) قد تكون أكثر حساسية من الخطوات اللاحقة (التي تصقل التفاصيل)، أو العكس.
التحدي: إيجاد التعيين الأمثل للدقة (الدقة الكاملة مقابل الدقة المقللة كميًا) لكل خطوة من الخطوات $T$ هو مشكلة بحث توافقية ( $2^T$ )، وهي غير قابلة للحل حسابيًا لـ $T$ الكبيرة.

2. المنهجية: إطار عمل TMPDiff

يقترح المؤلفون TMPDiff، وهو إطار عمل يقوم بتعيين دقات عددية مختلفة لخطوات إزالة الضجيح المختلفة بناءً على نموذج الخطأ الجمعي (Additive Error Model).

أ. الأساس النظري: نموذج الخطأ الجمعي

المساهمة النظرية الجوهرية هي الاشتقاق الذي يثبت أن أخطاء التقليل الكمي تتراكم بشكل جمعي تقريبي عبر الخطوات الزمنية.

انتشار الخطأ: باستخدام توسيع تايلور من الدرجة الأولى لقاعدة تحديث DDIM، اشتق المؤلفون تعبيرًا مغلق الصيغة للانحراف المتراكم النهائي ( $\delta_0$ ) في الفضاء الكامن (latent space).
الفرضية (The Ansatz): اقترحوا أنه بالنسبة لجدول الدقة المختلطة $Z$ (حيث $z_t=1$ هي الدقة الكاملة و $z_t=0$ هي الدقة المقللة كميًا)، فإن الخطأ النهائي هو مجموع أوزان أخطاء كل خطوة زمنية:
$\boldsymbol{\delta}_0(Z) \approx \sum_{t=1}^{T} \left( \prod_{j=1}^{t-1} \mathbf{A}_j \right) B_t \boldsymbol{\epsilon}_t (1 - z_t)$
وهذا يعني أن تأثير تقليل الدقة في خطوة زمنية معينة مستقل عن خيارات الدقة للخطوات الأخرى، مما يسمح بتفكيك المشكلة.

ب. التحقق التجريبي

تحقق المؤلفون من صحة هذا الافتراض الجمعي تجريبيًا:

تحليل الخطوة الواحدة: قاموا بقياس "مكسب رفع الدقة" (تقليل الخطأ عبر تحويل خطوة واحدة إلى FP) و"خسارة خفض الدقة" (زيادة الخطأ عبر تحويل خطوة واحدة إلى INT). ووجدوا ارتباطًا خطيًا قويًا ( $R^2 > 0.88$ ، معامل بيرسون $r > 0.94$ ) بين هذه المقاييس، مما يؤكد أن الأخطاء تتراكم جمعيًا.
التنبؤ متعدد الخطوات: أظهروا أن إجمالي الخطأ لجدول معقد يمكن التنبؤ به عن طريق جمع المكاسب/الخسائر الفردية للخطوات المختارة، مع اتفاق عالٍ في ترتيب الرتب (معامل سبيرمان $\rho > 0.99$ ).

ج. خوارزمية TMPDiff (التنصيف التكيفي)

لحل مشكلة التحسين (تقليل الخطأ مقابل ميزانية زمن استجابة ثابتة $K$ من خطوات الدقة الكاملة) دون البحث الشامل:

ميزانية زمن الاستجابة: تحديد عدد خطوات الدقة الكاملة ( $K$ ) المسموح بها بناءً على تسريع الهدف باستخدام قانون أمدال (Amdahl's Law).
أخذ العينات المتفرق (Sparse Sampling): بدلاً من تقييم جميع الخطوات $T$ $T$ ، تستخدم الخوارزمية استراتيجية تنصيف تكيفية:
- البدء بنقاط مرجعية (البداية، المنتصف، النهاية).
- تحديد الجزء الذي يحتوي على أعلى متوسط مكسب محتمل بشكل تكراري.
- أخذ عينة من منتصف ذلك الجزء.
- التكرار حتى استنفاد ميزانية أخذ العينات.
الاختيار الجشع (Greedy Selection): استكمال (Interpolate) المكاسب للخطوات غير المأخوذة منها عينات، واختيار أفضل $K$ خطوة تمتلك أعلى إمكانية لتقليل الخطأ لتشغيلها بالدقة الكاملة.
التعقيد: يقلل هذا من البحث من التعقيد الأسي ( $2^T$ ) إلى الزمن الخطي ( $O(T)$ أو $O(B)$ حيث $B$ هي ميزانية أخذ العينات).

3. المساهمات الرئيسية

نموذج الخطأ الجمعي: الاشتقاق النظري والتحقق التجريبي من أن أخطاء التقليل الكمي في نماذج الانتشار تتراكم جمعيًا، مما يسمح بفصل حساسية الخطوات الزمنية.
إطار عمل TMPDiff: إطار عمل جديد لجدولة الدقة المختلطة زمنيًا يقوم بالتبديل ديناميكيًا بين النماذج ذات الدقة الكاملة والمقللة كميًا أثناء الاستنتاج.
التحسين الفعال: خوارزمية تنصيف تكيفية تجد جدول الدقة الأمثل بتعقيد تقييم زمني خطي، متجنبة البحث بالقوة الغاشمة.
العمومية: أثبتوا أن تسجيل الحساسية الزمنية لا ينطبق فقط على التقليل الكمي، بل أيضًا على خلط النماذح ذات الأحجام المختلفة (مثل استخدام نموذج صغير للخطوات غير الحساسة ونموذج كبير للخطوات الحساسة).

4. النتائج التجريبية

تم تقييم إطار العمل على أربعة نماذج من أحدث التقنيات (FLUX.1-dev, PixArt- $\Sigma$ , Sana, StableDiffusion XL) وثلاث مجموعات بيانات (COCO, DCI, MJHQ).

الأداء مقابل النماذج الموحدة المرجعية:
- عند تساوي سرعة التسريع، تفوق TMPDiff باستمرار على النماذج ذات الدقة الموحدة (سواء كانت دقة كاملة أو مقلة كميًا بشكل موحد).
- تحسين الجودة: حقق تحسنًا بنسبة 10% إلى 20% في مقاييس الجودة الإدراكية (SSIM, PSNR, LPIPS).
- نتائج FLUX.1-dev: حقق 90% من قيمة SSIM مقارنة بالنموذج ذي الدقة الكاملة مع تقديم تسريع بمقدار 2.5 ضعف مقارنة باستنتاج 16-بت. يمثل هذا تقليلًا بنسبة 60% في زمن الاستجابة مع حد أدنى من تدهور الجودة.
- نتائج SDXL: تفوق بشكل كبير على نموذج TensorRT 8-bit، محققًا 0.85 SSIM مقابل 0.42 SSIM مع تسريع بمقدار 1.33 ضعف.
جبهة باريتو (Pareto Frontier): نجح TMPDiff في ملء الفجوة بين مسار الدقة الكاملة عالي الجودة/البطيء ومسار الدقة المقللة كميًا/السريع، مما يوفر مقايضة قابلة للضبط.
خلط النماذج: عند تطبيقه على خلط نموذجي Sana (1.6B) و Sana (600M)، تفوق TMPDiff على طرق البحث الاستدلالي والتطوري (DDSM) بتكلفة حوسبة أقل.

5. الأهمية والأثر

محور تحسين جديد: يقدم TMPDiff "الدقة المختلطة الزمنية" كمحور تحسين مكمل لتقنيات "الدقة المختلطة المكانية" (على مستوى الطبقة) الموجودة حاليًا.
النشر العملي: من خلال تقليل تعقيد البحث من الأسي إلى الخطي، يجعل TMPDiff جدولة الدقة الديناميكية أمرًا ممكنًا لنماذج الانتشار واسعة النطاق في بيئات الإنتاج.
الكفاءة: يتيح للمستخدمين تحقيق جودة قريبة من الدقة الكاملة مع تقليل زمن استجابة الاستنتاج بشكل كبير، مما يعالج العائق الرئيسي أمام اعتماد نماذج الانتشار في التطبيقات التي تتطلب استجابة فورية.
العمل المستقبلي: يشير المؤلفون إلى أن التكامل الفعال على مستوى النواة (kernel-level) للتبديل بين الدقات واستراتيجيات تفريغ الأوزات (weight offloading) ضرورية لمزيد من تحسين النشر.

باختصار، يوفر TMPDiff طريقة مبدئية، قائمة على أسس رياضية، ومثبتة تجريبيًا لتسريع نماذج الانتشار من خلال تخصيص الموارد الحوسبية (الدقة) بذكاء عبر البعد الزمني لعملية التوليد.