ADAPT: Attention Driven Adaptive Prompt Scheduling and InTerpolating Orthogonal Complements for Rare Concepts Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ADAPT: جدولة المطالبات التكيفية القائمة على الانتباه والاستكمال المتعامد للتعويضات النادرة لتوليد المفاهيم النادرة."

1. بيان المشكلة

تواجه نماذج الانتشار (Diffusion Models) من نص إلى صورة صعوبة في توليد المفاهيم التركيبية النادرة (مثل "تفاحة ملتحية" أو "بجع بقرون")، لا سيًا عندما تكون تركيبات السمات والأجسام المحددة غير شائعة أو غائبة في بيانات التدريب.

بينما تحاول الأساليب الحديثة مثل R2F (من نادر إلى شائع) حل هذه المشكلة باستخدام النماذج اللغوية الكبيرة (LLMs) مثل GPT-4o لرسم خريطة للمفاهيم النادرة إلى مفاهيم شائعة وجدولة تبديل المطالبات، إلا أنها تعاني من قصورين حرجين:

1. التباين العشوائي (Stochastic Variance): الاعتماد على النماذج اللغوية الكبيرة يُدخل عشوائية في المطالبات المساعدة المولدة ومستويات التفاصيل البصرية، مما يؤدي إلى مخرجات صور غير متسقة لنفس المدخلات.
2. التوجيه غير الأمثل (Suboptimal Guidance): يستخدم R2F نقاط توقف ثابتة وتجريبية للتبديل بين المطالبات النادرة والشائعة، ويقوم بتبديل تضمينات النصوص بشكل تكراري. هذا النهج لا يتوافق مع التقدم الدلالي على مستوى الرمز (token-level)، مما يؤدي غالبًا إلى ضعف في ربط السمات أو فقدان السلامة البصرية.

2. المنهجية: إطار عمل ADAPT

ADAPT هو إطار عمل لا يتطلب تدريبًا (training-free) مصمم للتخطيط الحتمي ومواءمة المطالبات دلاليًا. يعمل ضمن بنية المحول الانتشار متعدد الوسائط (MM-DiT) (تحديدًا Stable Diffusion 3) باستخدام ثلاثة مكونات أساسية:

أ. جدولة المطالبات التكيفية (APS)

بدلاً من الاعتماد على النماذج اللغوية الكبيرة لتحديد وقت الانتقال من مفهوم شائع إلى مفهوم نادر، يستخدم APS درجات الانتباه المكاني لتحديد نقاط التوقف المثلى ديناميكيًا.

• الآلية: يقوم الإطار بالتناوب بين "المطالبة التدريجية" ($y_{prog}$، التي تحتوي على مفاهيم شائعة) و"المطالبة المستهدفة" ($y_{tar}$، التي تحتوي على مفاهيم نادرة).
• مؤشر التقارب: يراقب الحد الأقصى لدرجة الانتباه المكاني لكل رمز في المطالبة المستهدفة. الرموز التي تمثل مفاهيم نادرة (مثل "بقرن" في "بجع بقرن") تظهر عادةً تقاربًا أبطأ من الرموز الشائعة.
• الانتقال التكيفي: عندما تنخفض درجة الانتباه للرمز النادر الأكثر نشاطًا (الرابع من أصل $k$) عن حد معين ($\tau_s$)، يفترض النظام أن المفهوم قد ترسخ بشكل كافٍ، وينتقل من المفهوم الشائع المقابل إليه إلى المفهوم النادر. هذا يخلق جدولاً زمنياً حتمياً ومتوافقاً دلاليًا دون عشوائية النماذج اللغوية الكبيرة.

ب. التلاعب بالتضمين المجمع (PEM)

لتوفير توجيه ثابت، يتجنب ADAPT التبديل التكراري لتضمينات النصوص، وبدلاً من ذلك، يقوم بدمج التضمينات النصية المجمعة للمفاهيم الشائعة والنادرة في إشارة توجيه واحدة مستقرة.

• الإسقاط المتعامد (Orthogonal Projection): لفصل الدلالات النادرة عن الدلالات الشائعة الأساسية، يتم إسقاط التضمين النادر على المكمل المتعامد للتضمين الشائع، مما يعزل الاتجاه الفريد للسمة النادرة.
• الاستكمال التكيفي (Adaptive Interpolation): الاستكمال الخطي البسيط غالبًا ما يثبط الدلالات الأساسية بشكل مفرط أو يقلل من التأكيد على السمات النادرة. يقدم ADAPT استراتيجية وزن تكيفية بناءً على تشابه جيب التمام (cosine similarity) بين التضمينات النادرة والشائعة. يقوم هذا بضبط قوة الاستكمال ديناميكيًا، مما يضمن تعزيز السمة النادرة دون تدمير هوية الكائن الأساسي.

ج. التلاعب بالفضاء الكامن (LSM)

في الحالات التي تكون فيها الفجوة الدلالية بين المفاهيم الشائعة والنادرة كبيرة جدًا بحيث لا يمكن علاجها بمجرد التلاعب بالتضمين (مثل "بشري معدني" مقابل "مهرج مصنوع من الفولاذ")، يقوم ADAPT بحقن توجيه خاص بالسمة مباشرة في الفضاء الكامن.

• استخراج السمات: يستخرج النظام عبارات سمات محددة (مثل "مصنوع من الفولاذ") باستخدام تعليمات معدلة للنماذج اللغبية الكبيرة.
• التوجيه المتعامد: على غرار PEM، يقوم بحساب المكون المتعامد لمخرجات طبقة انتباه السمة بالنسبة لتضمين النص الفارغ (null text embedding).
• الحقن: يتم إضافة متجه التوجيه المنفصل هذا إلى التمثيل الكامن للنموذج مع عامل قياس قابل للضبط، مما يسمح بالتحكم الدقيق في سمات محددة دون تعطيل التكوين العام.

3. المساهمات الرئيسية

1. جدولة المطالبات الحتمية (APS): يلغي الاعتماد على مخرجات النماذج اللغبية الكبيرة العشوائية للجدولة عبر استخدام تقارب الانتباه كمؤشر مبدئي على مستوى الرمز للتبديل بين المطالبات.
2. التلاعب بالتضمين ثنائي المستوى:
   • PEM: يوفر توجيهاً مستقراً ومنفصلاً للدلالات النادرة عبر الإسقاط المتعامد والاستكمال التكيفي.
   • LSM: يتيح تحكماً دقيقاً ومحدداً بالسمات في الفضاء الكامن للتحولات الدلالية المعقدة.
3. تنفيذ لا يتطلب تدريبًا: يعمل إطار العمل بأكمله كطريقة استدلال (inference) صفرية، مما لا يتطلب أي ضبط دقيق (fine-tuning) لنموذج الانتشار الأساسي.

4. النتائج التجريبية

قيم المؤلفون ADAPT باستخدام معيار RareBench، الذي يقيم توليد المفاهيم الدلالية النادرة عبر فئات مختلفة (كائن واحد، أجسام متعددة، علاقات معقدة، إلخ).

• الأداء الكمي: يتفوق ADAPS بشكل كبير على SOTA السابق (R2F) وغيره من النماذج المرجعية (SD1.5, SDXL, PixArt, FLUX).
  • الدرجة الإجمالية: حقق ADAPT متوسط درجة محاذاة قدره 83.1، مقارنة بـ 75.7 لـ R2F.
  • المكاسب المحددة: لوحظت تحسينات ملحوظة في "علاقة الأجسام المتعددة" (+16.2 نقطة) و"شكل الكائن الواحد" (+9.4 نقطة).
• دراسات الاستئصال (Ablation Studies): أدى حذف أي من المكونات الثلاثة (APS, PEM, LSM) إلى تدهور الأداء، مما يؤكد ضرورة جميع الوحدات لتحقيق النتائج المثلى.
• النتائج النوعية: تُظهر المقارنات البصرية أن ADAPT ينجح في توليد تركيبات معقدة (مثل "مبنى شائك يظلل رجل ثلج ملتحي") بدقة أعلى ومحاذاة أفضل بين النص والصورة مقارنة بـ R2F، الذي يفشل غالبًا في ربط السمات بشكل صحيح.
• جودة الصورة: تشير مقاييس مثل PickScore و ImageReward إلى أن ADAPT لا يحسن المحاذاة الدلالية فحسب، بل يحافظ أيضًا على الجودة الجمالية أو يحسن درجات التفضيل البشري مقارنة بـ R2F.

5. الأهمية

يمثل ADAPT خطوة مهمة نحو توليد الصور القائم على النصوص القابل للتحكم. من خلال التحول من الجدولة القائمة على القواعد والاعتماد على النماذج اللغبية الكبيرة إلى التحكم الحتمي القائم على الانتباه، يحل هذا الأسلوب مشكلات عدم الاستقرار التي تعاني منها تقنيات توليد المفاهيم النادرة الحالية.

إن قدرته على فصل الاتجاهات الدلالية عبر الإسقاطات المتعامدة تسمح بالتحكم الدقيق في السمات النادرة دون المساس بالسلامة البصرية للكائن الأساسي. يضع هذا الإطار نموذجًا جديدًا لتوليد صور معقدة ونادرة وتركيبية بطريقة صفرية، مما يجعل نماذج الانتشار أكثر قوة للتطبيقات الإبداعية والمتخصصة حيث تكون بيانات التدريب شحيحة.