🤖 machine learning

Why DDIM Hallucinates More than DDPM: A Theoretical Analysis of Reverse Dynamics

تُثبت هذه الورقة نظرياً أن الطبيعة الحتمية لنموذج DDIM تجعله يقع في فخ بين الأنماط (modes) ويقوم بالهلوسة في أهداف الخليط الغاوسي (Gaussian mixture)، في حين أن العشوائية في نموذج DDPM تمكنه من الهروب من هذه المناطق، وهو اكتشاف يشير إلى أن دمج الخطوات العشوائية يمكن أن يحسن جودة أخذ العينات في DDIM.

المؤلفون الأصليون: Muhammad H. Ashiq, Samanyu Arora, Abhinav N. Harish, Ishaan Kharbanda, Hung Yun Tseng, Grigorios G. Chrysos

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammad H. Ashiq, Samanyu Arora, Abhinav N. Harish, Ishaan Kharbanda, Hung Yun Tseng, Grigorios G. Chrysos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "لماذا تهلوس DDIM أكثر من DDPM: تحليل نظري للديناميكيات العكسية"، مقسمة إلى مفاهيم وتشبيهات بسيطة.

الصورة الكبيرة: طريقتان لإزالة التغبيش عن صورة

تخيل أن لديك صورة ضبابية جداً ومليئة بالضجيج لقط وكلب. هدفك هو "عكس" عملية التغبيش للحصول على صورة واضحة إما لقط أو لكلب.

في عالم توليد الصور بالذكاء الاصطناعي، هناك طريقتان شائعتان (عينات/Samplers) للقيام بذلك:

DDPM: طريقة تضيف قدراً ضئيلاً من "العشوائية" (الضجيج) في كل خطوة من عملية إزالة التغبيش. الأمر يشبه اتخاذ خطوة، ثم هز يدك قليلاً لتعديل توازنك.
DDIM: طريقة حتمية (Deterministic) تماماً. فهي تتبع مساراً رياضياً مستقيماً ومثالياً دون أي اهتزاز. الأمر يشبه المشي على حبل مشدود وعيناك مغمضتان، تتبع خطاً محسوباً مسبقاً بدقة.

المشكلة: وجدت الورقة البحثية أن المسار المستقيم والمثالي (DDIM) غالباً ما يؤدي إلى "الهلوسة". فبدلاً من توليد قط واضح أو كلب واضح، يقوم الذكاء الاصطناعي بتوليد مخلوق هجين غريب وضبابي، نصفه قط ونصفه كلب. يحدث هذا لأن الذكاء الاصطناعي يعلق في "المنطقة الوسطى" بين الخيارين.

الاكتشاف الجوهري: فخ "المنطقة الوسطى"

درس الباحثون ما يحدث عندما يحاول الذكاء الاصطناعي الاختيار بين خيارين متميزين (مثل نمطين مختلفين في توزيع البيانات). وقد صاغوا ذلك باستخدام نموذج "خليط غاوسي" (Gaussian Mixture)، وهو مجرد طريقة معقدة لقول "مشهد طبيعي يحتوي على تلتين متميزتين (أنماط) ووادٍ بينهما".

إليك كيف تتصرف الطريقتان عندما تقتربان من نهاية العملية:

1. فخ DDIM (المشي على الحبل المشدود)

تخيل أن الذكاء الاصطناعي يمشي على جسر طويل وضيق يربط بين "تلة القطط" و"تلة الكلاب".

الرحلة: بينما يتحرك الذكاء الاصطناعي من البداية الضوضائية نحو النهاية الواضحة، فإنه يجد هذا الجسر بسرعة ويبدأ في المشي على طوله.
نقطة التعثر: عندما يصل الذكاء الاصطناعي إلى المنتصف تماماً، فإنه يعلق. ولأن DDIM حتمي (لا يوجد عشوائية)، إذا استقر في المنتصف تماماً، فإن الرياضيات تقول إنه ليس لديه سبب للتحرك يميناً أو يساراً. لذا يبقى مكانه.
النتيجة: الصورة النهائية هي "استيفاء للنمط" (Mode Interpolation)؛ أي مخلوق مهلوس ليس قطاً ولا كلباً، بل مزيج غريب من كليهما. تثبت الورقة أن DDIM بمجرد دخوله في هذا "الحي الموسط"، غالباً ما يفتقر إلى الطاقة للهروب نحو التلال الحقيقية.

2. هروب DDPM (الماشي المخمور)

الآن، تخيل ماشي DDPM على نفس الجسر.

الرحلة: هو أيضاً يجد الجسر ويمشي على طوله.
الهروب: عندما يصل إلى المنتصف، لا يكتفي بالجلوس هناك. لأن DDPM يضيف القليل من الضجيج العشوائي في كل خطوة، فإنه يتلقى "دفعة" أو "هزة" صغيرة.
النتيجة: هذه الدفعة العشوائية كافية لدفع الماشي بعيداً عن نقطة المركز تماماً. وبمجرد دفعه قليلاً نحو اليسار أو اليمين، يأخذ السحب الطبيعي نحو "تلة القطط" أو "تلة الكلاب" زمام المبادرة، مما يجعله يتدحرج وصولاً إلى صورة واضحة وصحيحة. العشوائية هنا تساعده فعلياً على تجنب الهلوسة.

النتائج الرئيسية

تطرح الورقة ثلاث نقاط رئيسية، مجردة من الرياضيات المعقدة:

الأمر لا يتعلق بالسرعة أو الأخطاء: كان الناس يعتقدون سابقاً أن DDIM يهلوس أكثر لأنه يتخطى الخطوات ليكون أسرع (مما يسبب أخطاء عددية). أثبت المؤلفون أن هذا خاطئ. حتى لو جعلت DDIM يتخذ كل خطوة بشكل مثالي، فإنه سيظل يعلق في المنتصف أكثر من DDPM. المشكلة هي نقص الضجيج، وليس السرعة.
نقطة "السرج" (Saddle Point): رياضياً، منتصف الجسر هو "نقطة سرج". إنها توازن غير مستقر. بالنسبة لنظام حتمي (DDIM)، هي فخ. أما بالنسبة لنظام عشوائي (DDPM)، فإن الضجيج يعمل كشبكة أمان تدفعك بعيداً عن الفخ ونحو حل حقيقي.
حل بسيط: اختبر المؤلفون نهجاً هجيناً. تركوا DDIM يقوم بالعمل السريع والنظيف لمعظم الرحلة، ولكن قبل النهاية مباشرة (عندما يقترب الذكاء الاصطناعي من المنتصف)، قاموا بالتحول إلى DDPM لبضع خطوات لإضافة تلك "الدفعة العشوائية" الحاسمة. هذا التكتيك البسيط قلل بشكل كبير من عدد حالات الهلوسة.

الخلاصة

تخيل توليد صورة كأنك تتنقل في متاهة لها مخرجان (قط وكلب).

DDIM يشبه روبوتاً يتبع خريطة بدقة. إذا قادت الخريطة الروبوت إلى طريق مسدود في منتصف المتاهة، فسيتوقف هناك ويخلق مخرجاً وهمياً (هلوسة).
DDPM يشبه بشراً يستكشف المتاهة. حتى لو تعثر في المنتصف، فقد يتعثر أو يتخذ خطوة عشوائية تؤدي به بالصدفة خارج الطريق المسدود وإلى مخرج حقيقي.

تخلص الورقة إلى أن القليل من الفوضى (الضجيج) ضروري لمنع الذكاء الاصطناعي من العلق في حلول "وسطى" زائفة. ومن خلال فهم هذا، يمكننا تصميم عينات ذكاء اصطناعي أفضل تحافظ على سرعة DDIM ولكن تضيف القدر الكافي من العشوائية في النهاية لضمان أن النتيجة حقيقية وليست هلوسة.

العنوان: لماذا تعاني نماذج DDIM من الهلوسة أكثر من نماذج DDPM: تحليل نظري للديناميكيات العكسية

بيان المشكلة
على الرغم من التقدم الكبير، لا تزال نماذج الانتشار الحديثة تعاني من ظاهرة "الهلوسة" (hallucinations)—وهي توليدات تنتهك القيود الهيكلية أو الدلالية لتوزيع التدريب، مثل الأجسام المشوهة أو عدم الاتساق الزمني. وتحدث صورة محددة من الهلوسة، تُسمى "استكمال الأنماط" (mode interpolation)، عندما ينتهي مسار أخذ العينات في نموذج الانتشار على القطعة المستقيمة التي تصل بين نمطين من أنماط التوزيع المستهدف بدلاً من التقارب نحو نمط حقيقي. وبينما اقترحت أعمال سابقة استراتيجيات للكشف عن هذه الأخطاء أو التخفيف منها، إلا أنها لم تستكشف بشكل منهجي الأسباب الميكانيكية الكامنة وراء كون أخذ العينات الحتمي (DDIM) يعاني من الهلوسة بشكل متكرر أكثر من نظائره العشوائية (DDPM). تعالج هذه الورقة السؤال التالي: هل يمكننا توصيف سبب حدوث الهلوسة في DDIM أكثر من DDPM بشكل رسمي؟

المنهجية
يجري المؤلفون تحليلاً نظرياً صارماً للديناميكيات العكسية لمُعينات الانتشار الأساسية: نموذج الانتتاز التناقصي الاحتمالي (DDPM) العشوائي، ونموذج الانتتاز التناقصي الضمني (DDIM) الحتمي.

التوزيع المستهدف: يفترض التحليل وجود توزيع مستهدف $p_{data}$ يتكون من خليط غاوسي متعدد الأنماط ( $N$ -mode Gaussian mixture) ذات أنماط متباعدة جيداً.
الديناميكيات: تدرس الورقة مقارنة بين معادلة التفاضل العادية (ODE) لتدفق الاحتمالية (PF) العكسية التي تحكم DDIM، ومعادلة التفاضل العشوائية (SDE) العكسية للحفاظ على التباين (VP) التي تحكم DDPM.
الافتراضات: تفترض الاشتقاقات النظرية إمكانية الوصول إلى دالة الدرجة (score function) الدقيقة (الدرجة المتوقعة باستخدام عينات لانهائية)، رغم إجراء التحقق التجريبي باستخدام درجات الشبكة العصبية المتعلمة. يركز التحليل على نظام "هيمنة النمطين" (two-mode dominance)، حيث يكون المسار قريباً بما يكفي من زوج من الأنماط بحيث يكون تأثير الأنماط الأخرى مهملًا.
مراحل التقارب: يقسم المؤلفون العملية العكسية إلى مرحلتين: (1) مرحلة مبكرة يتقارب فيها المسار نحو القطعة المستقيمة التي تصل بين أقرب نمطين، و(2) مرحلة متأخرة تحدث فيها الحركة على طول هذه القطعة المستقيمة.

المساهمات الرئيسية والنتائج النظرية

آلية الاحتجاز في DDIM: يثبت المؤلفون أنه تحت ظل معادلة التفاضل العادية (ODE) لـ DDIM، بمجرد دخول المسار في أنبوب $\epsilon$ المحيط بالقطعة المستقيمة الواصلة بين نمطين، فإن المسافة العمودية إلى القطعة تتلاشى أسياً. داخل هذا الأنبوب، تخضع الديناميكيات لحركة موازية على طول القطعة المستقيمة. يوضح المؤلفون أن النقطة الوسطى بين النمطين تعمل كنقطة توازن زائفة (hyperbolic unstable equilibrium). ومع ذلك، نظراً للطبيعة الحتمية لـ ODE، إذا دخل المسار في جوار $\vartheta$ محدد لهذه النقطة الوسطى، فإنه يفتقر إلى الآلية اللازمة للهروب؛ وبالتالي، يظل المسار "عالقاً" بالقرب من النقطة الوسطى، مما يؤدي إلى استكمال الأنماط (الهلوسة).
آلية الهروب في DDPM: في المقابل، يظهر المؤلفون أن حد الضوضاء العشوائي في SDE الخاص بـ DDPM يسمح للمسار بالهروب من منطقة النقطة الوسطى. ومن خلال نمذجة الحركة على طول المستوى الفائق المُنصف (bisector hyperplane) كمعادلة تفاضلية عشوائية (SDE) أحادية البعد، يثبتون أن احتمال انتهاء مسار DDPM بالقرب من النقطة الوسطى ضئيل جداً بشكل أسي. فالضوضاء تدفع المسار فعلياً بعيداً عن نقطة التوازن غير المستقرة نحو أحد الأنماط الحقيقية.
الاستقلالية عن تخطي الخطوات: تفند الورقة الفرضية القائلة بأن معدل الهلوسة الأعلى في DDIM ناتج فقط عن الأخطاء العددية الناتجة عن تخطي الخطوات (التقطيع الخشن). فقد تم اشتقاق النتائج النظرية تحت ظروف خطأ عددي صفري، وأظهر التحقق التجريبي أن فجوة الهلوسة لا تزال قائمة حتى عندما يستخدم كل من DDIM وDDPM مخططات تقطيع متطابقة.
استراتيجية أخذ العينات الهجينة: بناءً على الاستبصار النظري بأن الضوضاء تساعد في الهروب من منطقة الاحتجاز، يقترح المؤلفون ويتحققون من صحة نهج هجين: تشغيل DDIM حتى يتقارب المسار بالقرب من جوار النقطة الوسطى، ثم حقن بعض خطوات DDPM العشوائية. تقلل هذه الاستراتيجية بشكل كبير من معدل الهلوسة مقارنة بـ DDIM الصرف.

النتائج التجريبية
يتحقق المؤلفون من نتائجهم النظرية من خلال تجارب مكثفة على خلطات غاوسية (25 نمطاً في بُعدين وأبعاد أعلى) ومجموعات بيانات صور (مثلثات).

معدلات الهلوسة: تؤكد النتائج التجريبية أن DDIM ينتج استكمال أنماط أكثر بكثير مما ينتجه DDPM.
ديناميكيات التقارب: لوحظ تقارب سريع للمسارات لكلا المُعينين إلى أقرب قطعة مستقيمة بين الأنماط، مما يؤكد فرضية "هيمنة النمطين".
احتجاز النقطة الوسطى: تظهر التجارب أن مسارات DDIM التي تبدأ ضمن نصف قطر محدد من النقطة الوسطى تفشل في الوصول إلى الأنماط الحقيقية، بينما تتمكن مسارات DDPM من الهروب من هذه المنطقة.
فعالية النهج الهجين: إن إضافة عدد صغير من خطوات DDPM (على سبيل المثال من 2 إلى 8) في نهاية مسار DDIM يقلل بفعالية من معدل الهلوسة، مما يؤكد أن حقن الضوضاء يساعد في الهروب من منطقة الاحتجاز.

الأهمية والادعاءات
تدعي الورقة أنها تقدم أول توصيف رياضي للخلل الهيكلي الذي يسبب زيادة الهلوسة في DDIM مقارنة بـ DDPM. والنتيجة الجوهرية هي أن إزالة الضوضاء في العملية العكسية (DDIM) تخلق ثغرة يمكن أن تتعثر فيها المسارات بالقرب من "جوار النقطة الوسطى" بين الأنماط، مما يؤدي إلى استكمال الأنماط. وعلى العكس من ذلك، تعمل العشوائية في DDPM كآلية ضرورية للهروب من هذه المناطق غير المستقرة.

يؤكد المؤلفون أن هذا التحليل يظل قائماً حتى مع استخدام دالة الدرجة الدقيقة، مما يعزل الظاهرة كخاصية أساسية للديناميكيات العكسية بدلاً من كونها ناتجة عن تقريب الدرجة أو التقطيع العددي. ويخلصون إلى أن الضوضاء هي عامل مفيد لتقليل هلوسات استكمال الأنماط، ويقترحون أن تصميمات المُعينات المستقبلية يجب أن تنظر في آليات للكشف عن اللحظات التي يعلق فيها المسار وحقن العشوائية وفقاً لذلك، بدلاً من الاعتماد كلياً على التدفق الحتمي من أجل الكفاءة. يهدف هذا العمل إلى توجيه الممارسين نحو نماذج توليدية أكثر أماناً من خلال تسليط الضوء على مخاطر تفضيل DDIM على DDPM في السياقات التي تكون فيها الدقة الهيكلية بالغة الأهمية.