💻 computer science

Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation

تقدم هذه الورقة البحثية إطار عمل "مزج المطالبات المساعدة التكيفي" (AAPB)، وهو إطار عمل لا يتطلب تدريباً يستخدم معاملًا تكيفيلاً ذا صيغة مغلقة يستند إلى هوية "تودي" (Tweedie's identity) للموازنة ديناميكيًا بين المطالبات المرجعية المساعدة والمطالبات المستهدفة، مما يضمن توليد صور دقيقة دلاليًا وأمينة بنيويًا للمفاهيم النادرة ومهام التحرير في نماذج الانتشار.

المؤلفون الأصليون: Kwanyoung Lee, SeungJu Cha, Yebin Ahn, Hyunwoo Oh, Sungho Koh, Dong-Jin Kim

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kwanyoung Lee, SeungJu Cha, Yebin Ahn, Hyunwoo Oh, Sungho Koh, Dong-Jin Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً فائق الذكاء يُدعى Diffusion. لقد قضى هذا الفنان سنوات في دراسة ملايين الصور وأوصافها. إنه بارع في رسم الأشياء الشائعة مثل "قطة"، أو "شاطئ"، أو "سيارة".

ولكن، إذا طلبت منه رسم شيء نادر أو غريب، مثل "ضفدع مشعر" أو "كلب دالماتيان مخطط بنمر"، فإنه يصاب بالارتباك. لأنه رأى الكثير من الضفادع العادية والكلاب الدالماتيان العادية، يعود عقله تلقائياً إلى النسخة الأكثر شيوعاً. قد يرسم ضفدعاً ناعماً وعادياً وينسى جزء "الشعر"، أو قد يرسم كلباً عاماً بدلاً من المزيج المحدد الذي طلبته. إنه يبتعد عن طلبك المحدد نحو ما يعرفه جيداً.

تقدم هذه الورقة تقنية جديدة تسمى AAPB (مزج المطالبات المساعدة التكيفي) لإصلاح ذلك. وإليك كيف تعمل، باستخدام بعض التشبيهات من الحياة اليومية:

المشكلة: "السفينة المنجرفة"

فكر في عملية التوليد لدى الذكاء الاصطناعي كأنها سفينة تحاول الإبحار إلى جزيرة محددة وخفية (فكرتك النادرة، مثل "الضفدع المشعر").

المحيط: بيانات تدريب الذكاء الاصطناعي هي المحيط. معظم المحيط مليء بـ "الجزر الشائعة" (الضفادع العادية).
الانجراف: ولأن جزيرة "الضفدع المشعر" نادرة جداً، فإن بوصلة السفينة (المنطق الداخلي للذكاء الاصطناعي) تكون ضعيفة هناك. تنحرف السفينة طبيعياً نحو أقرب جزيرة مزدحمة (الضفدع العادي) لأن المياه هناك أكثر عمقاً وأماناً.

الحل القديم: "سترة النجاة الصلبة"

حاولت الطرق السابقة إصلاح ذلك عبر إعطاء السفينة سترة نجاة (مطالبة مرجعية/Anchor Prompt).

إذا كنت تريد "ضفدعاً مشعراً"، فإن سترة النجاة هي "حيوان مشعر".
العيب: كانت الطرق القديمة تستخدم سترة نجاة ثابتة. كانت تقول: "تمسك بهذه السترة بنسبة 50% من الوقت".
- إذا تمسكوا بها بقوة شديدة، ستعلق السفينة في جزيرة "الحيوان المشعر" ولن تصل أبداً إلى جزء "الضفدع".
- إذا تمسكوا بها بضعف، ستنجرف السفينة عائدة إلى جزيرة "الضفدع العادي".
- المشكلة هي أن السفينة تحتاج إلى قدر مختلف من المساعدة في أوقات مختلفة؛ فأحياناً تحتاج إلى قبضة قوية، وأحياناً أخرى تحتاج إلى ترك السترة وتوجيه نفسها.

الحل الجديد: "المرشد الذكي المتكيف"

طريقة المؤلفين، AAPB، تشبه إعطاء السفينة مرشداً ذكياً ومتكيفاً بدلاً من سترة نجاة صلبة.

المطالبتان:
- المطالبة المستهدفة (Target Prompt): "ضفدع مشعر" (الوجهة).
- المطالبة المرجعية (Anchor Prompt): "حيوان مشعر" (شبكة الأمان).
المعادلة السحرية (المعامل التكيفي):
بدلاً من التقسيم الثابت بنسبة 50/50، يحسب الذكاء الاصطناعي توازناً مثالياً ومتغيراً عند كل خطوة من خطوات عملية الرسم.
- في بداية العملية: تكون السفينة بعيدة عن الجزيرة وتكون مرتبكة جداً. يقول المرشد: "تمسك بقوة بمفهوم 'الحيوان المشعر' حتى لا تنجرف بعيداً!" (اعتماد عالٍ على المرجع).
- في وقت لاحق: تقترب السفينة من شكل "الضفدع". يقول المرشد: "حسناً، لقد استقر وضعكم الآن. اتركوا جزء 'الحيوان' وركزوا تماماً على جعلها 'ضفدعاً'!" (اعتماد منخفض على المرجع).
السر الخفي (هوية تويدي - Tweedie's Identity):
تستخدم الورقة خدعة رياضية (هوية تويدي) لمعرفة مقدار الاعتماد على المرجع في أي ثانية بدقة. إنها تشبه نظام GPS يعيد حساب المسار باستمرار بناءً على الرياح والأمواج الحالية، مما يضمن بقاء السفينة على المسار الصحيح تماماً نحو "الضفدع المشعر" دون الاصطدام بـ "الضفدع العادي".

لماذا هذا أفضل؟

لا حاجة لإعادة التدريب: لا تحتاج لتعليم الذكاء الاصطناعي لغة جديدة. أنت فقط تغير طريقة تفكيره أثناء الرسم.
يعمل في التعديل: يعمل أيضاً في تغيير الصور. إذا أردت تحويل "قطة رمادية" إلى "أسد"، يستخدم الذكاء الاصطناعي الصورة الأصلية كـ "مرجع" للحفاظ على شكل القطة، بينما تقوم مطالبة "الأسد" بتغيير الفراء والوجه. المرشد المتكيف يعرف بالضبط متى يحافظ على شكل القطة ومتى يترك ملامح الأسد لتطغى على الشكل.

النتيجة

في الاختبارات، كان هذا الأسلوب بمثابة منح الفنان قوة خارقة.

المفاهيم النادرة: نجح في رسم "ضفادع مشعرة"، و"سيارات على شكل موزة"، و"كلاب دالماتيان مخططة بنمر" بدت بالفعل كما في الوصف، وليس فقط كنسختها الشائعة.
الهيكل: عند تعديل الصور، حافظ على الهيكل الأصلي (مثل شكل الوجه أو المبنى) مع تطبيق التغييرات الجديدة بشكل مثالي.

باخت تختصر: يمنع نظام AAPB الذكاء الاصطناعي من التكاسل والعودة تلقائياً للأفكار الشائعة. إنه يعمل كمدرب ديناميكي، يعدل باستمرار مقدار المساعدة التي يحتاجها الذكاء الاصطناعي ليبقى وفياً لأفكارك المحددة، الغريبة، والرائعة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation" (مزج المطالبات المساعدة التكيفي لتوليد الانتشار المخلص للهدف).

1. بيان المشكلة (Problem Statement)

تتفوق نماذج الانتشار (Diffusion models) لتحويل النص إلى صورة (T2I) في توليد صور واقعية للمفاهيم الشائعة، لكنها تعاني عندما تقع المفاهيم المستهدفة في مناطق منخفضة الكثافة من توزيع بيانات التدريب. وتتجلى هذه المشكلة في سيناريوهين رئيسيين:

توليد المفاهيم النادرة: تفشل النماذج في تخليق مفاهيم نادرة دلاليًا أو تركيبية (مثل "ضفدع مشعر" أو "قطة من الأوريجامي") لأن هذه التوليفات غير ممثلة بشكل كافٍ في بيانات التدريب. غالبًا ما تنزرف الصور المولدة نحو مفاهيم مهيمنة دلاليًا وعالية الكثافة (مثل توليد ضفدع عادي بدلاً من ضفدع مشعر).
تحرير الصور: عند تحرير الصور باستخدام تعليمات غير شائعة أو معقدة، تجد النماذج صعوبة في الحفاظ على بنية الصورة الأصلية مع الالتزام بالمطالبة الدلالية الجديدة، مما يؤدي إلى تدهور هيكلي أو انزياح دلالي.

السبب الجذري هو الطبيعة ذات الذيل الطويل (long-tailed nature) لمجموعات البيانات النصية-الصورية. تصبح دالة الدرجة (score function) المتعلمة غير مقيدة بشكل كافٍ في المناطق منخفضة الكثافة، مما يسبب انزياح مسار إزالة الضجيج (denoising trajectory) نحو الأنماط عالية الكثافة. تعتمد الحلول الحالية غالبًا على جداول استدلالية ثابتة (fixed heuristic schedules) للتناوب بين المطالبة المستهدفة ومرساة مساعدة (مفهوم متكرر أو الصورة الأصلية)، لكن هذه النهج الثابتة تفشل في موازنة الاستقرار والدقة بشكل أمثل عبر خطوات الانتشار المختلفة.

2. المنهجية: مزج المطالبات المساعدة التكيفي (AAPB)

يقترح المؤلفون إطار عمل AAPB، وهو إطار عمل لا يتطلب تدريبًا يعمل على تثبيت عملية الانتشار من خلال تعديل تأثير المطالبة المساعدة (المرساة) بشكل تكيفي عند كل خطوة انتشار.

الآلية الجوهرية

يعمم AAPB مفهوم توجيه المصنف الحر (Classifier-Free Guidance - CFG). فبدلاً من الجمع الخطي الثابت، يقدم معاملًا تكيفيًّا مغلق الصيغة ( $\gamma^*_t$ ) يوازن ديناميكيًا بين المطالبة المستهدفة ( $\tilde{c}_T$ ) والمطالبة المساعدة/المرساة ( $\tilde{c}_A$ ).

دالة الدرجة الممزوجة (Blended Score Function):
يتم إعادة تعريف الدرجة الشرطية كخليط خطي:
$s_\theta(x_t, c) = (1 - \gamma_t) s_\theta(x_t, \tilde{c}_T) + \gamma_t s_\theta(x_t, \tilde{c}_A)$
يتم دمج هذا في صيغة CFG لتوجيه مسار إزالة الضجيج.
الاشتقاق عبر هوية تويدي (Tweedie's Identity):
تستند الطريقة إلى هوية تويدي، التي تربط المتوسط البعدي للبيانات النظيفة بدالة الدرجة. لاحظ المؤلفون أن المتوسط البعدي للدرجة الممزوجة يميل للانزياف نحو منطقة الكثافة العالية للمرساة. ولتصحيح ذلك، صاغوا فقدانًا تنظيميًا لتقليل المسافة بين المتوسط البعدي للتقدير الممزوج والمتوسط البعدي المستهدف.

من خلال تقليل الخطأ التربيعي بين الدرجة الممزوجة والدرجة المستهدفة في فضاء الدرجة، اشتقوا صيغة مغلقة للمعامل الأمثل $\gamma^*_t$ عند كل خطوة زمنية $t$ :
$\gamma^*_t(x_t) = \frac{1 - w}{w} \cdot \frac{\langle s_\theta(x_t, \tilde{c}_T) - s_\theta(x_t), s_\theta(x_t, \tilde{c}_A) - s_\theta(x_t, \tilde{c}_T) \rangle}{\| s_\theta(x_t, \tilde{c}_A) - s_\theta(x_t, \tilde{c}_T) \|^2_2}$
حيث تمثل $w$ مقياس CFG، وتمثل حدود الضرب الداخلي التوافق بين درجات الهدف، والدرجة غير المشروطة، ودرجة المرساة.

الضمان النظري:
تقدم الورقة اقتراحًا نظريًا يوضح أنه تحت افتراضات التوزيع لوغاريتمي التقعر (log-concave)، فإن هذا الإسقاط التكيفي النقطي ينتج حدًا علويًا أضيق على مسافة وايسرشتاين التربيعية (squared 2-Wasserstein distance) للهدف مقارنة بأي استراتيجية استيفاء ثابتة.

سيناريوهات التطبيق

توليد المفاهيم النادرة: تكون المرساة $\tilde{c}_A$ مفهومًا متكررًا ذا صلة دلالية (مثل "حيوان مشعر" لـ "ضفدع مشعر")، وغالبًا ما يتم توليده بواسطة نموذج لغوي كبير (LLM).
تحرير الصور: تكون المرساة $\tilde{c}_A$ هي المطالبة الأصلية للمصدر (أو سياق الصورة غير المحرر)، مما يضمن الاتساق الهيكلي مع تطبيق التعديل.

3. المساهمات الرئيسية

إطار عمل موحد: تقديم AAPB، وهو طريقة لا تتطلب تدريبًا توحد بين توليد المفاهيم النادرة وتحرير الصور تحت مبدأ تحسين تكيفي واحد.
معامل تكيفي مغلق الصيغة: اشتقاق معامل تكيفي خطوة بخطوة ومبني رياضيًا يستبدل جدولة المطالبات الثابتة والاستدلالية. يضمن هذا بقاء مسار إزالة الضجيح متوافقًا مع المفهوم المستهدف دون انزياح.
رؤية نظرية: تقديم إثبات نظري (عبر هوية تويدي وحدود وايسرشتاين) يوضح أن المزج التكيفي يتفوق على الاستيفاء الثابت في تقليل المسافة التوزيعية للهدف.
التحقق التجريبي: إثبات التحسينات المتسقة عبر نماذج متنوعة (SD3, SDXL, IterComp) ومهام مختلفة دون الحاجة لإعادة التدريب.

4. النتائج التجريبية

قيم المؤلفون AAPB على معيارين رئيسيين: RareBench (توليد المفاهيم النادرة) و FlowEdit (تحرير الصور).

توليد المفاهيم النادرة (RareBench):
- حقق AAPB متوسط درجة 84.1 (باستخدام تقييم GPT-4o)، متفوقًا على أفضل النتائج السابقة (R2F) بمقدار 8.4 نقطة.
- لوحظت مكاسب كبيرة في فئات محددة: الخصائص (+7.5)، الشكل (+10.0)، والعلاقة بين الأشياء المتعددة (+6.8).
- أظهرت الطريقة متانة عبر استراتيجيات المرساة المختلفة، حيث أدت أداءً جيدًا حتى مع المراسي المولدة بواسطة LLM أو استبدالات "الكائن" البسيطة، رغم أن المراسي المولدة بواسطة GPT-4o أعطت أفضل النتائج.
تحرير الصور (FlowEdit):
- حسن AAPB بشكل كبير مقاييس الحفاظ على البنية (CLIP-I, DINO, LPIPS, DreamSim) مقارنة بـ FlowEdit والأساليب المرجعية الأخرى مثل SDEdit و ODE Inversion.
- حقق أعلى درجة CLIP-I (0.905) وأقل قيمة LPIPS (0.155)، مما يشير إلى احتفاظ فائق بالسلامة المكانية والنسيجية للصورة الأصلية مع تطبيق التعديلات بأمانة.
دراسات الاستئصال (Ablation Studies):
- التكيفي مقابل الثابت: أكدت التجارب أنه لا يوجد معامل ثابت واحد ( $\gamma_t$ ) يمكنه تحسين الأداء عبر جميع الخطوات الزمنية. النهج التكيفي تفوق باستمرار على النماذج الثابتة و R2F.
  ‌* حساسية المرساة: ظلت الطة فعالة حتى مع وجود مراسي ضوضائية أو ضئيلة، مما يؤكد متانة المعامل التكيفي.

5. الأهمية

يعالج هذا العمل قصورًا جوهريًا في نماذج الانتشار: عدم القدرة على توليد أو تحرير المفاهيم النادرة دون التضحية بالدقة الدلالية أو السلامة الهيكلية. من خلال الانتقال من الجداول الاستدلالية الثابتة إلى تعديل مدروس في فضاء الدرجة، يقدم AAPB حلاً قابلًا للتعميم للتحكم في التوليد.

لا يتطلب تدريبًا (Training-Free): لا يتطلب أي تدريب إضافي أو ضبط دقيق (fine-tuning)، مما يجعله قابلًا للتطبيق الفوري على النماذج المدربة مسبقًا الموجودة.
صرامة نظرية: يوفر الاشتقاق القائم على هوية تويدي أساسًا رياضيًا متينًا لمزج المطالبات، متجاوزًا مرحلة التجربة والخطأ التجريبية.
قابلية تطبيق واسعة: ينجح إطار العمل في سد الفجوة بين توليد مفاهيم نادرة جديدة تمامًا وتحرير الصور الموجودة، مما يشير إلى اتجاه واعد لأنظمة الانتشار القابلة للتحكم في المستقبل.