Self-Adversarial One Step Generation via Condition Shifting

إليك ملخص تقني مفصل لورقة البحث "APEX: Self-Adversarial One Step Generation via Condition Shifting" (التوليد عبر خطوة واحدة بأسلوب التنافس الذاتي من خلال إزاحة الشرط).

1. بيان المشكلة (Problem Statement)

يواجه مجال توليد النصوص إلى صور حالياً ثلاثية معضلة (trilemma) عند محاولة تحقيق توليد عالي الدقة في خطوة واحدة (NFE=1):

1. الدقة مقابل السرعة: نماذج الانتشار متعددة الخطوات (التي تتطلب 20-50 خطوة) تنتج صوراً عالية الجودة ولكنها تعاني من زمن انتقال مرتفع أثناء الاستدلال. أما النماذج ذات الخطوة الواحدة فهي سريعة ولكنها غالباً ما تفتقر إلى التفاصيل الدقيقة والأنسجة عالية التردد.
2. كفاءة التدريب مقابل الاستقرار:
   • المميزات الخارجية (External Discriminators): الطرق التي تستخدم مميزات خارجية (مثل GANs أو DMD) يمكنها شحذ مخرجات الخطوة الواحدة، لكنها تسبب عدم استقرار في التدريب، وتستهلك ذاكرة رسومية (GPU) عالية، وتؤدي إلى بطء في التقارب (convergence). كما أنها غالباً ما تتطلب مجموعات بيانات مُعدة مسبقاً بتكلفة عالية أو شبكات معلم (teacher networks) مجمدة، مما يعقد عملية التوسع والضبط الفعال للمعلمات (مثل LoRA).
   • التقطير القائم على الانحدار (Regression-based Distillation): الطرق مثل نماذج الاتساق (Consistency Models) أو مطابقة التدفق (flow matching) أسهل في التحسين، ولكنها تميل إلى فقدان التفاصيل الدقيقة والأنسجة عالية التردد عندما تتقيد بخطوة واحدة لأنها تعتمد على الاتساق الذاتي دون إشارة تنافسية لفرض الواقعية.

السؤال الجوهري: كيف يمكننا تحقيق دقة بمستوى GAN في خطوة واحدة (NFE=1) دون استخدام مميز خارجي، مع ضمان القابلية للتوسع مع النماذج الأساسية الضخمة والتوافق مع تقنيات الضبط الفعال للمعلمات؟

2. المنهجية: APEX

يقترح المؤلفون APEX (الاضطراب التنافسي عبر إزاحة الشرط الممتدة)، وهو إطار عمل خالٍ من المميز (discriminator-free) يولد إشارات تنافسية داخلياً داخل نموذج التدفق.

الرؤية النظرية الأساسية

يستفيد APEX من ثنائية درجة (Score-Velocity Duality) تحت مسار النقل الأمثل (Optimal Transport). ويفترض أن إشارة التصحيح التنافسية التي تُشتق عادةً من مميز خارجي يمكن توليدها داخلياً عن طريق فصل درجات (scores) "الحقيقي" و"المزيف" في فضاء الشرط (condition space) بدلاً من فضاء الزمن.

الآلية الجوهرية: إزاحة الشرط (Condition Shifting)

بدلاً من استخدام الزمن ($t$ مقابل $-t$) للتمييز بين الفروع الحقيقية والمزيفة (كما في TwinFlow)، يستخدم APEX تحويلاً تآلفياً (affine transformation) على مدخل الشرط $c$:
$$c_{fake} = Ac + b$$
حيث $A$ و $b$ هما معلمات قابلة للتعلم (أو قيم معدة مسبقاً). عادةً ما يكون $A$ عامل قياس سالب (على سبيل المثال $-I$) لعكس تضمين الشرط، مما يخلق فرعاً متضاداً لأقصى درجة.

هدف التدريب (Training Objective)

يعمل الإطار في مرحلتين:

1. ملاءمة التدفق المزيف ($L_{fake}$): يتم تدريب النموذج تحت الشرط المزيف $c_{fake}$ لإعادة بناء مخرجاته الحالية للخطوة الواحدة ($x_{fake}$). هذا يجبر الفرع تحت $c_{fake}$ على أن يصبح مُقدِّراً مستقلاً لمجال السرعة (velocity field) "المزيف" الحالي للنموذج ($v_{fake}$).
2. خسارة الاتساق المختلط ($L_{mix}$): يتم تدريب الفرع الرئيسي (تحت الشرط الحقيقي $c$) لمطابقة هدف مختلط. هذا الهدف هو مزيج محدب (convex combination) بين نهاية البيانات الحقيقية والنهاية التي توقعها الفرع المزيف.
   • تقلل الخسارة من التفاوت في السرعة بين تنبؤ النموذج الحالي ومُقدِّر $v_{fake}$ المستقل.
   • هذا يخلق حلقة تنافسية ذاتية حيث يصحح النموذج أخطاء التوليد الخاصة به دون ناقد خارجي.

الضمان النظري: تدرج محاذٍ لـ GAN

أثبت المؤلفون أن تدرج APEX يأخذ شكل فرق درجة GAN القياسي:
$$\nabla_\theta \mathcal{L} \propto \mathbb{E}[(s_\theta(x_t) - s_{mix}(x_t)) \cdot \frac{\partial x_t}{\partial \theta}]$$
والأهم من ذلك، على عكس نماذج GAN القياسية حيث يعتمد الوزن $w(x)$ على مخرج المميز (مما يؤدي إلى تلاشي التدرجات عندما تكون العينات واقعية)، يستخدم APX وزناً ثابتاً $w \equiv 1$. وهذا يتوافق مع تقليل تباعد فيشر (Fisher Divergence) بين توزيع النموذج وتوزيع مختلط ضمني، مما يضمن إشارات تدريب مستقرة بغض النظر عن جودة العينة.

3. المساهمات الرئيسية

1. الأساس النظري: تأسيس تكافؤ رسمي بين APEX وديناميكيات GAN. وإثبات أن APX يحقق تدرجاً محاذياً لـ GAN بوزن ثابت، مما يتجنب عدم استقرار الأوزان المعتمدة على العينة في المميزات.
2. المنهجية (إزاحة الشرط): تقديم إطار عمل جاهز للاستخدام (plug-and-play) وخالٍ من المميز، يفصل بين الفروع الحقيقية والمزيفة عبر إزاحة الشرط ($c_{fake} = Ac+b$). هذا يحافظ على بنية النموذج الأصلية وتضمينات الزمن، مما يجعله متوافقاً تماماً مع LoRA وطرق الضبط الفعال للمعلمات الأخرى.
3. الأداء المتفوق (SOTA): أثبت APEX قدرته على سد الفجوة النوعية بين المولدات ذات الخطوة الواحدة ومتعددة الخطوات مع الحفاظ على زمن استجابة منخفض.

4. النتائج التجريبية

قيمت الورقة البحثية APEX على أحجام مختلفة من النماذج الأساسية (0.6B، 1.6B، و20B) ومجموعات بيانات (ShareGPT-4o، BLIP-3o).

• الكفاءة والجودة (NFE=1):

  • نموذج 0.6B: يتفوق على FLUX-Schnell 12B (الذي يمتلك 20 ضعف عدد المعلمات) في درجة GenEval (0.84 مقابل 0.69) مع زمن انتقال قدره 0.20 ثانية.
  • نموذج 20B (LoRA): عند ضبطه باستخدام LoRA على Qwen-Image 20B، يحقق APEX درجة GenEval تبلغ 0.89 في 6 ساعات فقط من التدريب (2k خطوة). هذا يتفوق على النموذج المعلم الأصلي ذو الـ 50 خطوة (0.87) ويوفر تسريعاً في الاستدلال بمقدار 15.33 ضعفاً.
  • الإنتاجية (Throughput): يحقق APEX 0.6B حوالي 7.3 عينة/ثانية على وحدة A100 واحدة.

• المقارنة مع SOTA:

  • يتفوق على طرق الخطوة الواحدة الأخرى مثل Sana-Sprint، وSD3.5-Turbo، وTwinFlow عبر مقاييس GenEval وFID وCLIP.
  • عند NFE=2، يصل APEX 1.6B إلى 0.85 في GenEval، متفوقاً بشكل كبير على أقوى النماذج المرجعية ذات الخطوتين (مثل Sana-Sprint 1.6B الذي حقق 0.77).

• دراسات الاستئصال (Ablation Studies):

  • إزاحة الشرط: حقق القياس السالب ($A \approx -1.0$) أفضل النتائج، مما يؤكد أن عكس تضمين الشرط يخلق الفصل التمثيلي المطلوب.
  • توازن الخسارة: يعد التوازن في الأوزان بين ملاءمة التدفق المزيف ($L_{fake}$) والاتساق المختلط ($L_{mix}$) أمراً حاسماً للاستقرار والدقة العالية.

5. الأهمية

يمثل APEX تحولاً نوعياً في النمذجة التوليدية الفعالة:

• القابلية للتوسع: من خلال إزالة الحاجة إلى مميزات خارجية وشبكات معلم مجمدة، يقضي APX على الاختناقات الحسابية التي كانت تعيق سابقاً توسيع عملية التقطير للخطوة الواحدة في النماذج ذات المليارات من المعلمات.
• كفاءة المعلمات: توافقه مع LoRA يسمح بالتكيف السريع ومنخفض التكلفة للنماذج الضخمة سابقة التدريب (مثل Qwen-Image) لتصبح مولدات عالية الدقة في خطوة واحدة.
• الاستقرار: توفر آلية التدرج ذات الوزن الثابت حلاً مؤسساً نظرياً لعدم استقرار التدريب المرتبط غالباً بالتوليد التنافسي للخطوة الواحدة.

باختصار، يثبت APEX أن التدريب التنافسي الذاتي عبر إزاحة الشرط هو مسار قابل للتوسع، وفعال للغاية، ومستدام لتحقيق جودة بمستوى GAN في خطوة استدلال واحدة، مما يحل فعلياً معضلة (الدقة-السرعة-الكفاءة).