💻 computer science

Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation

تقدم هذه الورقة البحثية "Patch Forcing" (PF)، وهو إطار عمل يستخدم أخذ عينات تكيفي مدرك للصعوبة مع مقاييس ضوضاء وجداول زمنية على مستوى الرقعة لتخصيص الموارد الحسابية ديناميكيًا أثناء توليد الصور، مما يؤدي إلى دفع المناطق الأسهل لتوفير سياق للمناطق الأكثر صعوبة وتحقيق أداء متفوق عبر مهام تركيب متنوعة.

المؤلفون الأصليون: Johannes Schusterbauer, Ming Gui, Yusong Li, Pingchuan Ma, Felix Krause, Björn Ommer

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Johannes Schusterbauer, Ming Gui, Yusong Li, Pingchuan Ma, Felix Krause, Björn Ommer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك فنان تحاول رسم لوحة طبيعية معقدة، ولديك قدر محدود من الوقت والطاقة (الحوسبة) لإنهاء هذه التحفة الفنية.

الطريقة القديمة (نماذج الذكاء الاصط🎨 التقليدية):
تقليديًا، تعمل مولدات الصور بالذكاء الاصطناعي مثل رسام جامد ومنضبط للغاية. ينظر إلى اللوحة بأكملة ويقول: "حسنًا، سأقضي بالضبط 10 دقائق في تنعيم السماء، و10 دقائق على الجبال، و10 دقائق على التفاصيل الدقيقة لريش الطائر". إنهم يعاملون كل جزء من الصورة بنفس الطريقة تماماً، بغض النظر عن مدى صعوبة رسمه.

المشكلة: السماء سهلة؛ يمكنك إنهاؤها في دقيقتين. أما ريش الطيور فهو صعب؛ قد يحتاج إلى 20 دقيقة. وبسبب قضاء وقت متساوٍ لكل منهما، يهدر الذكاء الاصطناعي الطاقة في الأجزاء السهلة ويتسرع في الأجزاء الصعبة، مما يؤدي إلى تفاصيل ضبابية أو عيوب غريبة.

الطريقة الجديدة (فرض الرقع - Patch Forcing):
تقدم هذه الورقة البحثية نهجاً أكثر ذكاءً يسمى الرقع القهرية/الإلزامية (Patch Forcing). بدلاً من رسم اللوحة بأكملة بنفس السرعة، يتعلم الذكاء الاصطناعي رسم أجزاء مختلفة من الصورة بسرعات متفاوتة.

إليك كيف يعمل ذلك باستخدام بعض التشبيهات البسيطة:

1. مناطق "السريع والبطيء"

تخيل الصورة كأنها خريطة مدينة.

مناطق "سهلة" (سريعة): تشبه الطرق السريعة الواسعة والخالية أو السماء الزرقاء الصافية. يعرف الذكاء الاصطناعي تماماً كيف يجب أن تبدو. يمكنه المرور عبر هذه المناطق بسرعة البرق، مستخدماً ضربات فرشاة واسعة وواثقة.
مناطق "صعبة" (بطيئة): تشبه ساحة سوق مزدحمة أو غابة كثيفة ومعقدة. هناك الكثير من التفاصيل، والتداخلات، والحواف الصعبة. يحتاج الذكاء الاصطناعي للتباطؤ، والنظر بتمعن أكبر، والتفكير بعمق لإتقان هذه الأجزاء.

الرقع القهرية (Patch Forcing) تسمح للذكاء الاصطناعي بأن يقول: "سأنهي الطريق السريع أولاً (الجزء السهل). بمجرد الانتهاء منه، سأستخدم هذا الطريق المكتمل كدليل لمساعدتي في رسم ساحة السوق المعقدة بجواره بعد ذلك."

2. خدعة "السياق"

لما لكان إنهاء الأجزاء السهلة أولاً يساعد الأجزاء الصعبة؟
فكر في الأمر كحل أحجية صور مقطوعة (Jigsaw Puzzle). إذا كان لديك صندوق به قطع مختلطة، فسيكون من الصعب معرفة مكان قطعة محددة. ولكن إذا قمت أولاً بتجميع السماء الزرقاء الصافية (الجزء السهل)، فقد أصبح لديك الآن مرجع للمقارنة. ستعرف وتقول: "حسناً، هذه القطعة لا بد وأن تكون الشجرة لأنها تتصل بالسماء التي انتهيت منها للتو".

في الورقة البحثية، يسمون هذا تقديم السياق (Providing Context). من خلال السماح للذكاء الاصطناعي بـ "تسريع" مرور الأجزاء السهلة، تصبح تلك المساحات النظيفة والمكتملة بمثابة دليل مفيد للأجزاء غير المنظمة وغير المؤكدة التي لا تزال بحاجة إلى عمل.

3. "كاشف الصعوبة"

كيف يعرف الذكاء الاصطناعي أي الأجزاء سهلة وأيها صعبة؟
لقد أعطى الباحثون للذكاء الاصطناعي وحدة خاصة تُسمى "رأس عدم اليقين" (وهي وحدة دماغ إضافية صغيرة). قبل أن يبدأ الرسم، تقوم هذه الوحدة بفحص الصورة وتنشئ خريطة للصعوبة.

المناطق الخضراء: "أنا واثق جداً هنا. لنذهب بسرعة!"
المناطق الحمراء: "أنا مرتبك. أحتاج إلى مزيد من الوقت والمساعدة."

يستخدم الذكاء الاصطناعي هذه الخريطة لتحديد استراتيجيته. هو لا يخمن فحسب؛ بل يقيس بنشاط مدى شعوره بـ "العجز" في أجزاء مختلفة من الصورة.

4. مشكلة التدريب (إصلاح عملية "الغش")

اضطر المؤلفون لحل مشكلة شائكة أثناء "تعليم" (تدريب) الذكاء الاصطناعي.

القضية: إذا علّمتَ ذكاءً اصطناعياً من خلال تركه يرى السماء المكتملة بينما يحاول تعلم كيفية رسم الغابة، فسينتهي به الأمر بالتكاسل لأنه سيغش برؤية نموذج الإجابة. لكن في العالم الحقيقي (عندما تطلب منه توليد صورة من الصفر)، فإنه يبدأ بلوحة فارغة مليئة بالضجيج. ولا يمكنه الغش حينها.
الحل: ابتكر الباحثون جدولة زمنية خاصة لأخذ العينات (Sampling Schedule) (أي كتاب قواعد للتدريب). لقد تأكدوا أنه حتى عندما كان الذكاء الاصطناعي يتمرن، لم يكن مسموحاً له رؤية السماء "المثالية" المكتملة إلا بعد بذل جهد كافٍ. لقد تحكموا في "الحد الأقصى للمعلومات" التي يمكن للذكاء الاصطناعي رؤيتها، مما ضمن تعلُّمه لكيفية إنشاء الأجزاء الصعبة دون الاعتماد على ورقة الغش. هذا يسد الفجوة بين "التمرين" و"الأداء".

النتيجة

باستخدام هذا الاختيار المتكيف المدرك للصعوبة (Difficulty-Aware Adaptive Sampling):

جودة أفضل: ينفق الذكاء الاصطناعي طاقته حيث تشتد الحاجة إليها، مما ينتج عنه تفاصيل أكثر حدة وأخطاء أقل.
كفاءة أذكى: لا يهدر وقته فيما يعرف بالفعل كيف يقوم به.
تعدد الاستخدامات: يعمل هذا النهج مع الصور البسيطة (مثل التصنيف بين القطط والكلاب) وكذلك مع توليد النصوص والصور المعقدة (مثل "لوحة نيون مكتوب عليها Patch Forcing").

بإيجاز شديد:
بدلاً من معاملة كل بكسل في الصورة وكأنه بنفس درجة الصعوبة، يعلم هذا النهج الجديد الذكاء الاصطناعي كيف يكون فناناً استراتيجياً. إنه يمر سريعاً عبر الأشياء السهلة لبناء أساس، ثم يبطئ لرسم التفاصيل الصعبة بعناية، مستخدماً الأجزاء المكتملة لحل المسائل الأكثر غموضاً. إنه الفرق بين روبوت يسير بخطوات منتظمة وبين رسام بشري يعرف تماماً أين يركز انتباهه.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation" (فرض الرقع - Patch Forcing).

١. بيان المشكلة

تخصص نماذج توليد الصور الحديثة القائمة على الانتشار (Diffusion) أو التدفق (Flow-based)، مثل (Diffusion Transformers و SiT)، الموارد الحسابية بشكل موحد عبر الصورة. ففي كل خطوة من خطوات إزالة الضجيج (denoising)، يتم تحديث جميع الرقع المكانية (spatial patches) بنفس الخطوة الزمنية العالمية (global timestep) وبنفس عدد تقييمات الدالة (NFE).

هذا النهج الموحد يتجاهل التباين الجوهري في الصور الطبيعية:

المناطق السهلة: الخلفيات الكبيرة ذات التردد المنخفض أو المناطق المشبعة تكون سهلة الإزالة وتتطلب خطوات أقل.
المناطق الصعبة: الهياكل الدقيقة، حدود الأجسام، النصوص الصغيرة، وحدود الحجب (occlusion boundaries) هي مناطق غامضة وتتطلب مزيدًا من الصقل والسياق.

إن معاملة جميع المناطق بشكل متماثل يجبر النموذج على هدر الحوسبة في المناطق السهلة بينما يقلل تخصيص الموارد للمناطق الصعبة. علاوة على على ذلك، فإن المحاولات الحالية لإدخال خطوط زمنية متباينة (مثل Diffusion Forcing للفيديو، أو نماذج الاستدلال المكاني للصور) تعاني من فجوة بين التدريب والاختبار (train-test gap). فالعينات المأخوذة من مستوى الرقعة (patch-level sampling) بشكل عشوائي غالبًا ما تؤدي إلى وجود رقع تحتوي على معلومات "نظيفة" (ضجيج منخفض) لا توجد أثناء مرحلة الاستنتاج (التي تبدأ من ضجيج خالص)، مما يؤدي إلى ضعف التعميم.

٢. المنهجية: فرض الرقع (Patch Forcing - PF)

يقترح المؤلفون إطار عمل "فرض الرقع" (PF)، وهو إطار يتيح توليد صور تكيفي مكانيًا عن طريق تخصيص مسارات ضجيج متميزة لرقع صور مختلفة. تتكون الطريقة من ثلاثة مكونات أساسية:

أ. التدريب المدرك للصعوبة (مُنتقي LTG)

لسد الفجوة بين التدريب والاختبار، قدم المؤلفون استراتيجية محددة لأخذ عينات الخطوات الزمنية تسمى التوزيع الطبيعي اللوجستي المقطوع (Logit-Normal Truncated Gaussian - LTG).

المشكلة: كانت الطرق السابقة (مثل SRM) تأخذ عينات من متوسط الخطوة الزمنية بشكل موحد، مما سمح لبعض الرقع بأن تكون شبه خالية تمامًا من الضجيج ( $t \approx 1$ ) أثناء التدريب عن غير قصد. هذا خلق "تسربًا للسياق" حيث تعلم النموذج من معلومات غير متاحة أثناء الاستنتاج.
الحل: يتحكم منتقي LTG صراحةً في أقصى قدر من المعلومات المتاحة لكل عينة تدريب.
1. يتم أخذ عينة لأقصى خطوة زمنية $t_{max}$ من توزيع Logit-Normal.
2. يتم أخذ عينات لخطوات زمنية فردية للرقع $t_i$ من توزيع طبيعي (Gaussian) ممركز حول $t_{max}$ ولكنه مقطوع في النصف الأدنى ( $t_i \le t_{max}$ ).
النتيجة: يضمن هذا عدم وجود أي رقعة خالية تمامًا من الضجيج أثناء التدريب، مما يجبر النموذج على تعلم توليد المحتوى حتى عندما يكون السياق محدودًا، وهو ما يطابق تمامًا توزيع الاستنتاج.

ب. تعلم صعوبة الرقعة

يتم تعزيز النموذج برأس (head) خفيف الوزن لقياس عدم اليقين (uncertainty head) (يتنبأ بالانحراف المعياري لمجال السرعة).

الآلية: يتنبأ النموذج بخريطة عدم يقين لكل رقعة إلى جانب سرعة إزالة الضجيج.
التفسير: يُفسر عدم اليقين العالي على أنه صعوبة عالية. وقد أثبت المؤلفون أن عدم اليقين المتوقع يرتبط ارتباطًا قويًا بخسارة التحقق (validation loss/error)، وأن توفير سياق "مستقبلي" (من المناطق الأسهل) يقلل من عدم اليقين في المناطق الأصعب.

ج. منتخبات الاستنتاج التكيفية (Adaptive Inference Samplers)

باستخدام خريطة الصعوبة المتوقعة، يقدم PF استراتيجيتين للاستنتاج التكيفي تخصص الحوسبة ديناميكيًا:

المنتخب ثنائي الحلقة (Dual-Loop Sampler):
- الحلقة الخارجية: تأخذ خطوات زمنية كبيرة على الرقع ذات عدم اليقين المنخفض (السهلة) لتقدمها بسرعة.
- الحلقة الداخلية: تستخدم الحالات المتقدمة للرقع السهلة كـ "سياق" لإزالة الضجيج عن الرقع ذات عدم اليقين العالي (الصعبة) بخطوات أصغر وأكثر دقة.
- وهذا يخلق حلقة تغذية راجعة حيث توفر المناطق السهلة السياق للمناطق الصعبة.
المنتخب الاستباقي (Look-Ahead Sampler):
- يقوم بنشر الرقع الواثقة (السهلة) للأمام إلى خطوة زمنية مستقبلية $t_{ctx} = \min(\alpha \cdot t, 1)$ .
- تعمل هذه الحالات "المستقبلية" كسياق عالي الدقة لتوجيه عملية إزالة الضجيج للمناطق غير المستقرة عند الخطوة الزمنية الحالية.

٣. المساهمات الرئيسية

أخذ عينات الخطوات الزمنية على مستوى الرقعة: استراتيجية تدريب مبتكرة (LTG) تحل مشكلة عدم التطابق بين التدريب والاختبار في إزالة الضجيج المتباين عبر التحكم في أقصى قدر من المعلومات لكل عينة بدلاً من المتوسط.
إطار عمل مدرك للصعوبة: دمج رأس عدم يقين متعلم لتحديد المناطق الصعبة مقابل السهلة، مما يسمح للنموذج بتوليد توجيه سياقي ذاتيًا.
المنتخبات التكيفية: تقديم منتخبات (samplers) "ثنائية الحلقة" و"استباقية" تخصص موارد الحوسبة ديناميكيًا، مما يتقدم بالمناطق السهلة للمساعدة في حل المناطق الصعبة.
التعامد (Orthogonality): أظهرت النتائج أن الإطار يعمل بشكل متعامد مع التقنيات الحالية مثل Classifier-Free Guidance (CFG) و Representation Alignment (REPA)، مما يسمح بتحقيق مكاسب أداء مشتركة.

٤. النتائج

قيم المؤلفون "فرض الرقع" (Patch Forcing) على ImageNet 256x256 (مشروط بالفئة) وتوليد النص إلى صورة (Text-to-Image).

أداء ImageNet:
- النموذج المرجعي (Baseline): يحقق نموذج SiT القياسي (SiT-B/2) قيمة FID تبلغ 33.0.
- فرض الرقع (التوازي - Parallel): مجرد استخدام الخطوات الزمنية على مستوى الرقعة مع أخذ العينات بالتوازي يحسن FID إلى 27.9.
- الاستنتاج التكيفي: إضافة منتخب Look-Ahead يقلل من FID أكثر ليصل إلى 24.2 (لنموذج SiT-B/2) و 9.8 (لنموذج SiT-XL/2)، متفوقًا بشكل كبير على النموذج المرجعي.
- أفضل النتائج الحالية (SOTA): يحقق مزيج PFT-XL/2 + Look-Ahead + REPA قيمة FID تبلغ 6.7، متجاوزًا الطرق السابقة التي حققت أعلى مستويات الأداء.
النص إلى صورة (T2I):
- حقق نموذج PFT بـ 1.2 مليار معلمة تم تدريبه على بيانات COYO نتائج تنافسية في T2I-CompBench++ و GenEval.
- رسم النصوص: لوحظ تحسن نوعي وكمي ملحوظ في رسم النصوص. تنتج نماذج PFT نصوصًا أكثر وضوحًا ودقة مقارنة بنماذج Flow Matching القياسية، ويرجع ذلك على الأرجوات إلى القدرة على صقل مناطق النص الغامضة باستخدام السياق من المناطق الأكثر وضوحًا.
الكفاءة: تحقق المنتخبات التكيفية جودة أفضل عند نفس ميزانية الـ NFE مقارنة بـ Euler sampling الموحد.

٥. الأهمية

يغير هذا العمل بشكل جذري نموذج توليد الانتشار من المعالجة الموحدة إلى المعالجة التكيفية المدركة للصعوبة.

الكفاءة: يثبت أن ليس كل أجزاء الصورة تتطلب نفس الجهد الحسابي، مما يوفر مسارًا لتوليد أكثر كفاءة دون التضحية بالجودة.
توليد السياق: يقدم آلية حيث يولد النموذج سياقه الداخلي الخاص (عبر تقديم المناطق السهلة) لحل المناطق الصعبة، مما يحاكي عملية تفكير "حل الأجزاء السهلة أولاً، ثم استخدمها لحل الأجزاء الصعبة".
القدرة على التعميم: يعمل النهج عبر أحجام نماذج مختلفة (B, L, XL) وأنماط متعددة (مشروط بالفئة ومشروط بالنص)، مما يشير إلى أن جداول إزالة الضجيج على مستوى الرقعة تشكل أساسًا قويًا لأنظمة توليد الصور التكيفية المستقبلية.

باختًا، يثبت فرض الرقع (Patch Forcing) أنه من خلال الاعتراف باختلاف صعوبة مناطق الصورة وتكييف جدول إزالة الضجيج وفقًا لذلك، يمكن تحسين جودة التوليد، ورسم النصوص، والكفاءة الحسابية بشكل كبير.