Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Drift-AR: التوليد البصري ذاتي التراجع بخطوة واحدة عبر الانجراف المتماثل عكسياً" (Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting).

1. بيان المشكلة

تجمع النماذج الهجينة الحالية بين النماذج ذاتية التراجع (AR) ونماذج الانتشار (Diffusion) (مثل MAR، وTransDiff، وNextStep-1) بين النمذجة الدلالية المهيكلة للنماذج ذاتية التراجع والتركيب عالي الدقة لنماذج الانتشار. ومع ذلك، تعاني هذه النماذج من عنق زجاجة مزدوج في السرعة:

1. مرحلة الـ AR المتسلسلة: تولد النماذج ذاتية التراجع الرموز (tokens) بشكل متسلسل، مما يحد من التوازي.
2. مرحلة الانتشار التكرارية: يتطلب فك الترميز البصري عادةً عملية إزالة ضجيج تكرارية متعددة الخطوات (على سبيل المثال، 20-50 خطوة) لإعادة بناء صور عالية الجودة.

تعالج طرق التسريع الحالية هذه الاختناقات بشكل منفصل:

• التوليد الاستنتاجي (Speculative Decoding): يُستخدم لتسريع الـ AR ولكنه غالباً ما يفشل في نماذج الرؤية ذات الفضاء المستمر بسبب عدم تطابق الإنتروبيا (Entropy Mismatch) بين النماذج المسودة الصغيرة والنماذج المستهدفة الكبيرة (حيث تكون النماذج المسودة مفرطة في الثقة/منخفضة الإنتروبيا، مما يؤدي إلى معدلات رفض عالية).
• التقطير (Distillation): (مثل DMD، وConsistency Distillation) يُستخدم لتسريع الانتشار ولكنه لا يزال يتطلب غالباً استدلالاً متعدد الخطوات أو يعتمد على ديناميكيات تدريب غير مستقرة بين المعلم والطالب.

هناك نقص في وجود مبدأ موحد يسرع كلا المرحلتين مع الحفاظ على جودة التوليد.

2. الملاحظة الجوهرية

حدد المؤلفون أن إنتروبيا التنبؤ لكل موضع (per-position prediction entropy) في النماذج ذاتية التراجع ذات الفضاء المستمر هي إشارة حاسمة وغير مستغلة بشكل كافٍ ولها دور مزدوج:

1. تسريع الـ AR: تعكس مدى موثوقية تنبؤات المسودة. تشير الإنتروبيا العالية إلى عدم اليقين، بينما تشير الإنتروبيا المنخفضة إلى الثقة. يؤدي عدم تطابق توزيعات الإنتروبيا بين نموذج المسودة والنموذج المستهدف إلى فشل التوليد الاستنتاجي.
2. فك التشفير البصري: تشفر صعوبة التوليد المحلية. المناطق ذات الإنتروبيا العالية (الأنسجة المعقدة، الحدود) تقابل أخطاء تنبؤ عالية وتتطلب "جهداً تصحيحياً" كبيراً أثناء فك التشفير. أما المناطق ذات الإنتروبيا المنخفضة (الخلفيات الناعمة) فتتطلب تصحيحاً طفيفاً.

تعمل إشارة الإنتروبيا هذه كجسر طبيعي لتوحيد تسريع كلتا المرحلتين.

3. المنهجية: Drift-AR

يستفيد إطار العمل المقترح، Drift-AR، من إشارة الإنتروبيا لتسريع كلتا المرحلتين من خلال مكونين رئيسيين:

أ. التوليد الاستنتاجي المستنير بالإنتروبيا (مرحلة الـ AR)

لإصلاح عدم تطابق الإنتروبيا في التوليد الاستنتاجي للفضاءات الكامنة المستمرة:

• انحدار الميزات المستمرة (Continuous-Feature Regression): يستبدل خسائر التصنيف المنفصلة بخسارة انحدار Smooth L1 على ميزات الـ AR المستمرة.
• خسارة الإنتروبيا المعيرة سببياً (Causal-Normalized Entropy Loss): يقدم حداً معيناً للخسارة يعمل على محاذاة توزيعات الإنتروبيا بين نموذج المسودة والنموذج المستهدف. يقوم بمعايرة الإنتروبيا بطول القناع السببي ($\log r$) لمنع معاقبة الرموز المبكرة.
• النتيجة: يتعلم نموذج المسودة إنتاج ميزات متنوعة وواعية بعدم اليقين تتوافق مع توزيع إنتروبيا النموذج المستهدف، مما يحسن معدلات القبول بشكل كبير.

ب. الانجراف المتماثل عكسياً المعتمد على الإنتروبيا (مرحلة فك التشفير البصري)

بدلاً من إزالة الضجيج التكرارية، يتم استبدال فك التشفير البصري بمولد خطوة واحدة (1-NFE) يعتمد على حقل انجراف متماثل عكسياً:

• الأولوية المعتمدة على الإنتروبيا (Entropy-Parameterized Prior): يعمل تنبؤ الـ AR كمتوسط لتوزيع الحالة الأولية. والأهم من ذلك، أن التباين (variance) لهذا التوزيع الغاوسي الأولي يتم تحديده ديناميكياً بواسطة إنتروبيا تنبؤ الـ AR ($E$).
  • إنتروبيا منخفضة (ثقة): تباين منخفض $\leftarrow$ الحالة الأولية تكون قريبة من تنبؤ الـ AR.
  • إنتروبيا عالية (عدم يقين): تباين عالٍ $\leftarrow$ الحالة الأولية تكون منتشرة، مما يسمح لحقل الانجراف بتطبيق تصحيح أقوى.
• حقل الانجراف المتماثل عكسياً (Anti-Symmetric Drifting Field): تتعلم شبكة عصبية حقلاً متجهياً $V_{p,q}$ يدفع التوزيع المولد $q$ نحو توزيع البيانات $p$. تم تصميم الحقل ليكون متماثلاً عكسياً ($V_{p,q} = -V_{q,p}$).
• التوليد في خطوة واحدة: عند التوازن، عندما يكون $q=p$، يتلاشى حقل الانجراف ($V=0$). وهذا يسمح للنموذج بتوليد الصورة النهائية في تمريرة أمامية واحدة (single forward pass) دون الحاجة إلى تحسين تكراري أو تقطير.

ج. مسار التدريب الموحد

يستخدم إطار العمل جدول تدريب مُلدن ذو مرحلتين (two-phase annealed training schedule) لاستقرار مشكلة "الأولو المتحركة":

1. المرحلة الأولى (التحسين المشترك): يتم تدريب كل من وحدة الـ AR وفك التشفير بالانجراف معاً. تقوم وحدة الـ AR بتثبيت تنبؤات الإنتروبيا الخاصة بها بينما يتعلم فك التشفير بالانجراف كيفية تصحيح الأولو المتطور.
2. المرحلة الثانية (الانجراف الصرف): يتم تجميد وحدة الـ AR. يقوم فك التشفير بالانجراف بتحسين الحقل فوق توزيع مصدر ثابت، مما يضمن تحقيق شرط التوازن ($q=p \implies V=0$).

4. المساهمات الرئيسية

1. إشارة إنتروبيا موحدة: تحديد إنتروبيا التنبؤ كإشارة مزدوجة الغرض تتحكم في كل من جودة التوليد الاستنتاجي وصعوبة التوليد المحلي، مما يتيح تسريعاً مشتركاً.
2. إطار عمل Drift-AR: اقتراح بنية مبتكرة تربط بين التوليد الاستنتاجي المستنير بالإنتروبيا وحقل انجراف متماثل عكسياً معتمد على الإنتروبيا.
3. توليد حقيقي بخطوة واحدة (1-NFE): تحقيق توليد بصري حقيقي في خطوة واحدة دون الحاجة إلى إزالة ضجيج تكرارية أو تقطير، مما يلغي الحاجة إلى معلمين متعددي الخطوات.
4. أداء رائد (State-of-the-Art): حقق تسريعاً كبيراً (3.8×–5.5×) مع مضاهاة أو تجاوز جودة النماذج المرجعية متعددة الخطوات.

5. النتالئج التجريبية

أُجريت التجارب على نماذج MAR وTransDiff وNextStep-1 عبر معايير ImageNet (256×256) ومعايير تحويل النص إلى صورة (GenEval، MJHQ-30K).

• التسريع:
  • MAR: حقق تسريعاً قدره 5.53× (MAR-L) و 5.16× (MAR-H).
  • TransDiff: حقق تسريعاً قدره 4.96× (TransDiff-L) و 5.06× (TransDiff-H).
  • NextStep-1: حقق تسريعاً قدره 3.81×.
• الجودة:
  • تفوق على النماذج المرجعية في مقاييس FID و IS. على سبيل المثال، في نموذج MAR-H، حقق Drift-AR قيمة FID بلغت 1.53 (مقابل 1.55 للمرجع) وقيمة IS بلغت 304.6 (مقابل 303.7 للمرجع).
  • في المقابل، تسبب التوليد الاستنتاجي القياسي (SD) غالباً في انهيار الجودة، كما أظهرت طرق التقطير (DMD) تدهوراً في قيم FID/IS.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الاعتماد على الإنتروبيا (Entropy Parameterization) (تثبيت التباين) إلى أكبر انخفاض في الأداء، مما يؤكد الفرضية الأساسية.
  • أدت إزالة النواة المتماثلة عكسياً (Anti-Symmetric Kernel) أو تجميد المرحلة الثانية (Phase II Freezing) أيضاً إلى تدهور النتائج بشكل كبير، مما يؤكد ضرورة ديناميكيات التدريب المحددة والاتساق الفيزيائي لحقل الانجراف.

6. الأهمية

يمثل Drift-AR تحولاً جذرياً في تسريع النماذج التوليدية. فمن خلال الابتعاد عن النهج القائم على التقطير الذي يعتمد على معلمين متعددي الخطوات، فإنه يؤسس نهجاً مبدئياً مستوحى من الفيزياء (حقول الانجراف) للتوليد في خطوة واحدة. يوضح هذا العمل أن تقدير عدم اليقين (الإنتروبيا) ليس مجرد أداة تشخيصية، بل هو متغير تحكم أساسي يمكنه توحيد تسريع النمذجة الدلالية والتركيب البصري، مما يمهد الطريق لتوليد بصري عالي الدقة وفي الوقت الفعلي.