💻 computer science

Colored Noise Diffusion Sampling

تقدم هذه الورقة البحثية "أخذ عينات الضوضاء الملونة" (CNS)، وهو حل للوقت الاستدلالي، خالي من التدريب، وقابل للتوصيل والتشغيل، يعمل على تحسين توليد الصور في نماذج الانتشار عبر استبدال الضوضاء البيضاء المنتظمة بجدول ضوضاء ديناميكي يعتمد على التردد، والذي يتوافق بشكل أفضل مع الانحياز الطيفي المتأصل للنموذج لتحقيق درجات FID أقل بكثير عبر مختلف البنى الهيكلية.

المؤلفون الأصليون: Hadar Davidson, Noam Issachar, Sagie Benaim

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hadar Davidson, Noam Issachar, Sagie Benaim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: رسم لوحة فنية بالفرشاة الخاطئة

تخيل أنك فنان تحاول رسم منظر طبيعي واقعي. لديك فرشاة سحرية (نموذج الذكاء الاصطناعي) تعرف تماماً كيف ترسم. ومع ذلك، أنت تستخدم تقنية محددة تسمى أخذ عينات الانتشار (Diffusion Sampling).

في هذه التقنية، تبدأ بلوحة مغطاة بضجيج "الستاتيك" (مثل تشويش التلفاز). خطوة بخرة، تطلب من الذكاء الاصطناعي "تنظيف" هذا الضجيج وتحويله إلى صورة.

الخطوات الأولى: يحدد الذكاء الاصطناعي الأشكال الكبيرة (الجبال، السماء، الأشجار).
الخطوات اللاحقة: يضيف الذكاء الاصطناعي التفاصيل الدقيقة (أوراق الأشجار، ملمس العشب، ريش الطائر).

تجادل الورقة البحثية بأن الطرق الحالية تهدر طاقتها؛ فهي تعامل كل جزء من اللوحة بنفس الط la الطريقة، مما يؤدي إلى تفاصيل ضبابية أو أنسجة غريبة. يقترح المؤلفون طريقة جديدة لإدارة "الضجيج" الذي يحقنونه لإصلاح الصورة، ويسمونها أخذ عينات الضجيج الملون (Colored Noise Sampling - CNS).

المشكلة: خطأ "الضجيج الأبيض"

لفهم المشكلة، تخيل أن الضجيج الذي تحقنه في اللوحة يشبه طلاء الرش.

الطريقة القياسية (الضجيج الأبيض): تخيل أن لديك علبة طلاء رش ترش طلاءً أبيض بالتساوي في كل مكان. ترش الطلاء على الجبال، والسماء، والأوراق الصغيرة في آن واحد.
- المشكلة: بحلول الوقت الذي تعمل فيه على الأوراق الصغيرة (التفاصيل عالية التردد)، تكون الجبال (الهياكل منخفضة التردد) قد اكتملت بالفعل. رش المزيد من الطلاء على الجبال المكتملة هو هدر للطلاء. وفي الوقت نفسه، لا تزال الأوراق الصغيرة "تتضور جوعاً" للطلاء.
- النتيجة: يتم "الإفراط في طلاء" الجبال (مما يجعلها ضبابية أو مشوهة)، ولا تحصل الأوراق على قدر كافٍ من التفاصيل، مما يترك الصورة تبدو ناعمة أو غير واضحة.

تسمي الورقة البحثية هذا "الانحياز الطيفي". ينهي الذكاء الاصطناعي الأشكال الكبيرة أولاً ثم التفاصيل الصغيرة أخيراً بشكل طبيعي. لكن "الضجيج الأبيض" القياسي لا يحترم هذا الجدول الزمني؛ فهو يهدر الطاقة على الأشياء التي انتهت بالفعل.

الحل: "الضجيج الملون" (CNS)

يقدم المؤلفون أخذ عينات الضجيج الملون (CNS). فكر في هذا كـ علبة طلاء رش ذكية متغيرة الألوان.

بدلاً من رش الطلاء الأبيض في كل مكان، تغير هذه العلبة لونها بناءً على ما الذي ترسمه و متى ترسمه.

في بداية العملية: يكون الرش "أحمر" (تردد منخفض). يركز كل طاقته على بناء الأشكال الكبيرة (الجبال، السماء).
لاحقاً في العملية: مع اكتمال الجبال، يتحول الرش تلقائياً إلى اللون "الأزرق" (تردد عالي). يتوقف عن إضاعة الطلاء على الجبال ويوجه كل تلك الطاقة إلى التفاصيل الدقيقة (الأوراق، الفراء، الريش).

القاعدة الذهبية: كمية الطلاء التي تملكها ثابتة. لا يمكنك ببساطة شراء المزيد من الطلاء. يجب عليك إعادة تخصيص الطلاء الذي تملكه بالفعل. يأخذ نظام CNS الطلاء الذي كان سيُهدر على الأجزاء المكتملة وينقله إلى الأجزاء التي لا تزال بحاجة إلى عمل.

كيف يعمل الأمر (الـ "سحر" خلف الكواليس)

تشرح الورقة البحثية ذلك من خلال بعض الأفكفار الرئيسية:

"ميزانية الطاقة": تخيل أن لديك ميزانية صارمة قدرها 100 دولار لإصلاح الصورة. الطرق القياسية تنفق دولاراً واحداً على كل جزء من الصورة، بغض النظر عما إذا كان يحتاج إلى إصلاح أم لا. أما نظام CNS فينظر إلى الصورة، ويرى أن الجبال قد تم إصلاحها بالفعل، فيقول: "حسناً، لا نحتاج لإنفاق المال هناك بعد الآن. لنأخذ هذا الدولار وننفقه على ريش الطائر بدلاً من ذلك".
لا حاجة لإعادة التدريب: هذا هو الجزء الأفضل. لا تحتاج إلى إعادة تعليم الذكاء الاصطناعي كيفية الرسم. أنت فقط تغير طريقة رش الطلاء (طريقة أخذ العينات) أثناء عمل الذكاء الاصطناعي. إنه يشبه إعطاء نفس الفنان مجموعة أفضل من التعليمات دون تغيير مستوى مهارته.
"الفجوة الطيفية": توضح الورقة أن الطرق القياسية تترك "فجوة" بين العالم الحقيقي وصورة الذكاء الاصطناٍ. الصور الحقيقية لها توازن محدد بين الأشكال الكبيرة والتفاصيل الصغيرة. صور الذكاء الاصطناعي القياسية غالباً ما تحتوي على الكثير من الأشكال الكبيرة وليس الكثير من التفاصيل الصغيرة. يسد نظام CNS هذه الفجوة عن طريق نقل الطاقة تماماً إلى حيث تشتد الحاجة إليها.

النتائج: صور أكثر حدة وواقعية

اختبر المؤلفون هذا على عدة مولدات صور شهيرة بالذكاء الاصطناعي (مثل SiT و JiT و FLUX).

قبل (SDE القياسي): كانت الصور جيدة، لكنها أحياناً تبدو ضبابية قليلاً أو ذات أنسجة غريبة.
بعد (CNS): أصبحت الصور أكثر حدة بشكل ملحوظ. التفاصيل الدقيقة (مثل الفراء على الأسد أو ريش الطائر) برزت بوضوح أكبر بكثير.
النتيجة: استخدموا مقياساً يسمى FID (يقيس مدى قرب صور الذكاء الاصطناعي من الصور الحقيقية). الدرجة الأقل هي الأفضل.
- في أحد الاختبارات، انخفضت الدرجة من 8.26 إلى 6.27.
- في اختبار آخر، انخفضت من 32.39 إلى 26.69.
- باللغة البسيطة: أصبحت الصور أكثر واقعية وأقرب لما يلتقطه البشر بالكاميرا.

الملخص

فكر في مولد صور الذكاء الاصطناعي كفريق بناء يبني منزلاً.

الطريقة القديمة: يستمر الفريق في طرق الأساس (الهيكل الكبير) حتى بعد انتهائه، بينما لا يزال السقف (التفاصيل) مجرد كومة من الخشب. ينفد منهم النشاط قبل أن ينتهوا من السقف.
طريقة CNS: يراقب الفريق التقدم. بمجرد أن يصبح الأساس صلباً، يتوقفون عن طرقه ويرسلون فوراً جميع أدواتهم وطاقتهم إلى السقف.

من خلال تحويل "الضجيج" (الطاقة) ديناميكياً إلى أجزاء الصورة التي لم تكتمل بعد، يقوم أخذ عينات الضجيج الملون بإنشاء صور أكثر حدة وواقعية دون الحاجة إلى إعادة تدريب نموذج الذكاء الاصطناعي. إنها طريقة أذكى لاستخدام الطاقة التي يمتلكها الذكاء الاصطناعي بالفعل.

ملخص تقني: أخذ عينات الضجيج الملون (CNS)

بيان المشكلة

حققت نماذج الانتشار (Diffusion models) أداءً رائدًا في توليد الصور، ومع ذلك، تظهر مساراتها التوليدية تحيزًا طيفيًا جوهريًا: فهي تحل الهياكل العالمية ذات الترددات المنخفضة في وقت مبكر من عملية أخذ العينات، بينما تحل التفاصيل الدقيقة ذات الترددات العالية لاحقًا. تفشل حلول المعادلات التفاضلية العشوائية (SDE) التقليدية في مراعاة هذه الديناميكية؛ فهي تقوم بحقن ضجيج أبيض منتظم بشكل ساذج طوال عملية التوليد بأكملها، معتبرةً جميع النطاقات الترددية متساوية. هذا النهج يسيء استخدام "ميزانية الطاقة" المحدودة للعملية العشوائية، حيث يخصص طاقة الضجيج لنطاقات ترددية تم حل هياكلها بالفعل، بينما يهمل تلك التي لا تزال متأخرة. ونتيجة لذلك، غالبًا ما تفشل الـ SDEs القياسية في استعادة كثافة القدرة الطيفية (PSD) للبيانات الحقيقية بدقة، مما يؤدي إلى "فجوة طيفية" بين الصور المولدة والحقيقية.

الحلول الموجودة إما تغير إطار التدريب (مما يتطلب إعادة تدريب مكلفة) أو تطبق تعديلات في وقت الاستدلال تعامل المذيب العشوائي كصندوق أسود ثابت (مثل العمليات منفصلة التردد أو تعديلات حجم الخطوة). وتظل هذه الطرق مقيدة باعتمادها على مذيبات منتظمة طيفيًا.

المنهجية: أخذ عينات الضجيج الملون (CNS)

يقترح المؤلفون أخذ عينات الضجيج الملون (CNS)، وهو مذيب عشوائي مبتكر لا يتطلب إعادة تدريب، يستغل بفاعلية التحيز الطيفي المتأصل في النموذج. الفكرة الجوهرية هي إعادة صياغة استدلال الانتشار كعملية نقل طاقة مستهدفة ومنفصلة التردد.

1. الإطار الرياضي

يؤكد المؤلفون أن استدلال الانتشار يعمل كآلية نقل محافظة على الإشارة. وبينما يتم الحفاظ على الضجيج الأولي إلى حد ما، فإن الزيادات العشوائية المحقونة بواسطة مذيبات SDE طوال المسار تُسقط أيضًا مباشرة في الميزات المكانية للصورة النهائية. والأهم من ذلك، أن هذه الخريطة هي منفصلة التردد: فالضجيج المحقون في نطاق ترددي معين يُسقط في الميزات المكانية في نفس ذلك النطاق.

يوضح المؤلفون أنه يمكن التخلي بأمان عن شرط "لانجفان" الكلاسيكي للضجيج الأبيض المنتظم. فمن خلال ضمان بقاء إجمالي الطاقة المحقونة لكل خطوة ضمن المعايير الطبيعية (قيد الحفاظ على التباين العالمي)، فإن الحالات المتوسطة لا تخرج عن التوزيع، حتى لو تغير التركيب الطيفي للضجيج.

2. خوارزمية CNS

تستبدل CNS حقن الضجيج الأبيض المنتظم بـ جدول زمني ديناميكي يعتمد على الخطوة الزمنية والتردد.

تتبع التقدم: تستخدم الطريقة مؤشر تقدم محدود، $\gamma(f, t)$ ، يقيس مدى اكتمال حل الهيكل النهائي لنطاق ترددي معين بواسطة الشبكة عند الخطوة الزمنية $t$ . تُحل الترددات المنخفضة مبكرًا ( $\gamma \to 1$ )، بينما تُحل الترددات العالية متأخرًا.
التخصيص الديناميكي: تحسب CNS وزن قياس $\beta_f(t)$ $β_{f} (t)$ لكل نطاق ترددي. هذا الوزن يتناسب عكسيًا مع الحل الهيكلي للنطاق. وتحديدًا، يتناسب مضاعف التباين مع العجز الهيكلي ( $1 - \gamma(f, t)$ $1 - γ (f, t)$ ).
- النطاقات التي تم حلها بالكامل ( $\gamma \approx 1$ ) تتلقى طاقة محقونة أقل (توهين).
- النطاقات غير المحلولة هيكليًا ( $\gamma \approx 0$ ) تتلقى طاقة محقونة أكثر (تضخيم).
القيد العالمي: للحفاظ على الاستقرار، يتم تطبيع أوزان القياس بحيث يظل متوسط الطاقة المحقونة عبر جميع الأبعاد ثابتًا: $\frac{1}{D}\sum \beta_f^2(t) = 1$ . هذا يعامل حقن الضجيج كلعبة صفرية المجموع، حيث يعيد تخصيص الطاقة من النطاقات "المحلولة" إلى النطاقات "المتأخرة".

3. التنفيذ

يتم تنفيذ CNS كبديل "وصل وشغل" (plug-and-play) لمذيبات SDE القياسية (مثل Euler-Maruyama، Heun، SRK). وهي لا تتطلب إعادة تدريب النموذج وتعمل بالكامل في وقت الاستدلال. تقوم الخوارزمية بتلوين زيادة الضجيج ديناميكيًا عند كل خطوة بناءً على الملف الطيفي للحالة الحالية.

المساهمات الرئيسية

الإطار النظري: وضع البحث إطارًا رياضيًا يعيد صياغة حقن ضجيج SDE كعملية نقل طاقة مستهدفة. وأثبت أن شرط "لانجفان" الصارم للضجيج الأبيض المنتظم يمكن التخلي عنه لحل الفجوات الطيفية دون دفع الحالات المتوسطة خارج التوزيع.
المذيب المبتكر (CNS): تقديم أخذ عينات الضجيج الملون، وهو مذيب عشوائي لا يتطلب إعادة تدريب، يقوم بتخصيص طاقة ضجيج الانتشار ديناميكيًا نحو النطاقات الترددية غير المحلولة هيكليًا، مستفيدًا بفاعلية من التحيز الطيفي للنموذج.
التحقق التجريبي: أظهرت التجارب المكثفة عبر بنيات متنوعة (SiT، JiT، FLUX) وأنماط مختلفة (فضاء البكسل، الفضاء الكامن، نص-إلى-صورة) أن CNS يتفوق بشكل كبير على خطوط الأساس لـ ODE وSDE القياسية.

النتائج التجريبية

قيم المؤلفون CNS على معايير ImageNet-256 وtext-to-image (FLUX)، باستخدام مقاييس مثل Fréchet Inception Distance (FID)، وspatial FID (sFID)، وInception Score (IS)، ومقاييس التفضيل البشري.

التوليد المشروط بالفئة (ImageNet-256):
- SiT-XL/2: قللت CNS مسافة FID غير الموجهة من 8.26 (SDE) إلى 6.27.
- JiT-B/16: قللت CNS مسافة FID غير الموجهة من 32.39 (SDE) إلى 26.69.
- JiT-H/16: قللت CNS مسافة FID غير الموجهة من 11.88 (SDE) إلى 8.31.
- تحقق CNS أيضًا تحسينات متسقة في FID النسبي عند استخدام Classifier-Free Guidance (CFG)، تتراوح بين ~8% إلى ~50% فوق الخطوط المرجعية.
توليد النص إلى صورة (FLUX):
- أدى دمج CNS في FLUX.1-dev وFLUX.2-klein إلى تحسين درجات التفضيل البشري التلقائي (ImageReward) والدرجات الجمالية (aesthetic scores) مع الحفاظ على التوافق الدلالي (CLIPScore).
المتانة: تفوقت CNS باستمرار على أخذ العينات القياسي عبر خطوات التجزئة ومراتب المذيبات المختلفة (من الأولى إلى الخامسة).
التعامد: توفر CNS تحسينات حتى عند تطبيقها على نماذج مدربة باستخدام توزيعات ضجيج بديلة (مثل Blue Noise)، مما يؤكد فائدتها العامة.

الأهمية والادعاءات

يزعم البحث أن CNS يعالج عدم كفاءة جوهري في حلول SDE للانتشار القياسية: وهي الحقن غير المنتظم والموحد للضجيج الأبيض. ومن خلال إعادة تصور الاستدلال كعملية نقل طاقة مستهدفة، توجه CNS التوزيع المولد بشكل منهجي نحو مجمع البيانات الحقيقي.

يؤكد المؤلفون أن CNS هو حل "وصل وشغل" حصري. فهو يعزز دقة التوليد والجودة البصرية دون الحاجة إلى أي إعادة تدريب للنموذج أو تعديل لبنية الشبكة الأساسية. يشير العمل إلى أن "الفجوة الطيفية" في الصور المولدة ليست مجرد خطأ عددي، بل هي نتيجة لتخصيص طاقة غير متوافق، وهو ما يمكن تصحيحه عبر تلوين الضجيج ديناميكيًا ليتناسب مع منحنى التعلم الهيكلي للنموذج.

القيود: أشار المؤلفون إلى أن CNS يعتمد على إطار عمل SDE، وبالتالي فهو غير متوافق مع مذيبات ODE الحتمية، والتي تظل مفضلة للاستدلال فائق السرعة وبخطوات قليلة. ويُقترح في العمل المستقبلي استكشاف توسيع توجيه الطاقة المعتمد على التردد إلى النماذج الحتمية وتطبيق الطريقة على توليد الفيديو.