ملخص تقني: TAG: التوجيه التضخيمي المماسي لمقاومة الهلوسة في عملية أخذ العينات

1. بيان المشكلة

حققت نماذج الانتشار (Diffusion models) أداءً فائقاً في توليد الصور، لكنها غالباً ما تعاني من الهلوسة (hallucinations)، والتي تُعرف بأنها عدم اتساق دلالي أو انتهاكات لتوزيع البيانات (مثل المستحيلات التشريحية كزيادة عدد الأصابع، أو اختلاط الكائنات). تشير الأبحاث الحديثة إلى أن هذه الأخطاء تنبع من الاستيفاء بين الأنماط (mode interpolation)، حيث تعبر مسارات أخذ العينات وديانًا ذات كثافة منخفضة بين أنماط متميزة من توزيع البيانات، مما يؤدي إلى عدم تطابق السمات وعدم الاتساق الهيكلي.

تعتمد طرق التوجيه الحالية أثناء الاستدلال، مثل التوجيه الخالي من المصنف (Classifier-Free Guidance - CFG) ومتغيراته، عادةً على توسيع المتبقي (residual scaling) بين الفروع الشرطية وغير الشرطية. ورغم فعاليتها، إلا أن هذه الطرق تفتقر إلى الوعي الهندسي؛ فهي تطبق تكبيراً قياسياً واحداً للمتبقي دون مراعاة البنية الاتجاهية المحلية لتوزيع البيانات. وهذا قد يؤدي عن غير قصد إلى تشويه مسار إزالة الضجيج (denoising trajectory)، مما يسبب انحرافاً عن "المنطو" (off-manifold drift) أو تنعيماً مفرطاً. علاوة على ذلك، تتطلب العديد من الحلول الحالية إشارات خارجية، أو تعديلات معمارية، أو تقييمات إضافية لإزالة الضجيء، مما يضيف عبئاً حسابياً كبيراً.

2. المنهجية: التوجيه التضخيمي المماسي (TAG)

يقترح المؤلفون التوجيه التضخيمي المماسي (TAG)، وهو طريقة توجيه تعمل كإضافة جاهزة (plug-and-play)، لا تعتمد على بنية محددة، ولا تتطلب إعادة تدريب، وتعمل بالكامل على إشارات المسار. يعتمد TAG على التفكيك الهندسي لخطوة تحديث أخذ العينات.

المفهوم الجوهري

بالاستناد إلى هوية تودي (Tweedie's identity) ونظرية الحلقة الكروية الغاوسية (Gaussian annulus theorem)، لاحظ المؤلفون أن منطقة الاحتمالية العالية للتوزيع المشوه تقع على غلاف كروي رقيق (منطو بيانات مشوش، $M_k$). يمكن تفكيك تحديث أخذ العينات إلى:

1. المكون الشعاعي (العمودي): يحرك الحالة على طول نصف القطر، ويتم التحكم فيه بواسطة جدول الضجيج.
2. المكون المماسي: يحرك الحالة على طول المنطو (manifold)، مع الحفاظ على نصف القطر أثناء تحسين البنية الدلالية.

يفترض المؤلفون أن المكون المماسي يحمل معلومات هيكلية ودلالية غنية، بينما المكون الشعاعي هو ضجيج غير مهيكل إلى حد كبير. إن تضخيم المكون المماسي يوجه المسار نحو مناطق ذات كثافة أعلى في منطو البيانات دون تغيير التقدم الشعاعي.

الخوارزمية

بفرض أن $\Delta_{k+1}$ هو مقدار الزيادة الأساسي للمحلل (solver increment) (مثل DDIM) عند الخطوة الزمنية $k+1$:

1. الإسقاط: يتم تفكيك التحديث باستخدام مساقط على الاتجاه الشعاعي ($P_{M_{k+1}}$) والاتجاه المماسي المتعامد ($P^\perp_{M_{k+1}}$) بالنسبة للحالة الحالية $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. التضخيم: يتم تضخيم المكون المماسي بمعامل $\eta \ge 1$، بينما يظل المكون الشعاعي دون تغيير.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

التبرير النظري

تقدم الورقة تحليلاً من الدرجة الأولى لـ "تايلور" يظهر أن تضخيم المكون المماسي يزيد بشكل رتيب من كسب لوغاريتم الاحتمالية من الدرجة الأولى. وتحديداً، يثبت النظر (Theorem 4.1) أن زيادة $\eta$ تدفع مسار أخذ العينات نحو مناطق ذات كثافة نموذج أعلى، مما يقلل من عيوب "خارج المنطو" (off-manifold artifacts/hallucinations) مع الحفاظ على المعايرة الشعاعية المطلوبة لإزالة الضجيج السليم.

التوسع في CFG

بالنسبة للتوجيه الخالي من المصنف (CFG)، يعالج المؤلفون عدم الاتساق بين التنبؤات الشرطية وغير الشرطية. يقترحون مواءمة التنبؤ الشرطي مع المتبقي المماسي (الفرق بين درجات التنبؤ الشرطي وغير الشرطي المسقطة على الفضاء المماسي). هذا التوفيق يقلل من عدم التطابق الذي غالباً ما يضعف جودة التوليد في نظام CFG القياسي.

3. المساهمات الرئيسية

• الرؤية الهندسية: ترسي الورقة صلة ملموسة بين الهندسة الجوهرية لدالة الدرجة (score function) وجودة العينة، مثبتة أن تضخيم المكونات المماسية يوجه أخذ العينات نحو المنطو الصحيح للبيانات.
• خوارزمية TAG: تقديم خوارزمية مدعومة نظرياً، خفيفة حسابياً، ولا تعتمد على بنية معينة، تحقق هذا المبدأ الهندسي. وهي لا تتطلب إعادة تدريب، ولا تقييمات إضافية للشبكة، ولا تغييرات معمارية.
• التوافق الجاهز للاستخدام (Plug-and-Play): صُممت TAG لتندمج بسلاسة مع المحللات (solvers) وطرق التوجيه الحالية (مثل PAG وSEG وSSG) كخطوة معالجة لاحقة لمتجه التحديث.

4. النتائج التجريبية

قيم المؤلفون TAG على مختلف هياكل Stable Diffusion (v1.5, v2.1, XL, 3) والنماذج الحديثة (Qwen-Image, Wan2.2 video) باستخدام مجموعة بيانات COCO 2014 وT2I-CompBench.

• التحسينات الكمية:
  • التوليد غير الشرطي: حسّن TAG باستمرار قيم FID (على سبيل المثال، SD v1.5: 58.41 $\to$ 46.20) وCMMD عبر جميع الهياكل دون زيادة في عدد تقييمات الدالة (NFEs).
  • التوليد الشرطي: حسّن TAG دقة العينة والمواءمة مع النص (ImageReward, CLIP-Score) عبر SD v1.5, v2.1, XL, و3.
  • تقليل الهلوسة: في اختبار T2I-CompBench (المجموعات الفرعية المكانية والمعقدة)، حسّنت TAG مقاييس الأمانة التركيبية، مما يشير إلى تقليل الهلوسات الهيكلية (مثل الوضع الخاطئ للأشياء أو العلاقات) بدلاً من مجرد تغييرات في الأسلوب الإدراكي.
  • توليد الفيديو: عند تطبيقها على Wan2.2، حسّنت TAG درجة الديناميكية، وجودة الصورة، والاتساق الزمني، مما قلل من العيوب الهيكلية في المشاهد المعقدة.
• الكفاءة:
  • تضيف TAG عبئاً حسابياً ضئيلاً (حوالي +9.4% في زمن الاستجటు/latency) مقارنة بالنماذج المرجعية، لأنها تتضمن فقط عمليات إسقاط متجهة خفيفة.
  • في المقابل، تضاعف طرق مثل PAG (Perturbed Attention Guidance) زمن الاستجటు تقريباً (+112.8%) بسبب تقييمات UNet الإضافية.
• التوافق: أدى دمج TAG فوق طرق التوجيه الحالية (PAG, SEG, SSG) إلى مزيد من التحسينات في درجات FID وتفضيلات البشر، مما يثبت استقلاليتها (orthogonality) عن التوجيه القائم على المتبقي.

5. الأهمية والادعاءات

تدعي الورقة أن TAG تقدم رؤية هندسية للهلوسة، حيث تحددها كفشل في البقاء على منطو البيانات أثناء الاستيفاء بين الأنماط. ومن خلال عزل وتضخيم المكون المماسي لتحديث المسار، تقوم TAG بتصحيح مسار أخذ العينات بفعالية نحو المناطق ذات الكثافة العالية.

يؤكد المؤلفون أن TAG هي تحسين تكميلي وليست بديلاً للمحللات الحالية. فهي تحسن جودة العينة وتقلل الهلوسة بأقل تكلفة حسابية، مما يجعلها مناسبة للدمج في خطوط الإنتاج الحالية. تشير الورقة بتواضع إلى أنه بينما يثبت التحليل النظري كسب الاحتمالية المحلي من الدرجة الأولى، فإنه لا يصف بالكامل سلوك المسار العكسي طوال عملية أخذ العينات بأكملها. ويُقترح في العمل المستقبلي استكشاف التوسيع التكيفي وتقديرات هندسة المنطو المحلية الأكثر تعقيداً.