Locality-aware Parallel Decoding for Efficient Autoregressive Image Generation
تقدم هذه الورقة البحثية إطار العمل "فك التشفير المتوازي المدرك للمحلية" (Locality-aware Parallel Decoding - LPD)، وهو إطار عمل مبتكر يجمع بين النمذجة ذاتية الانحدار المتوازية المرنة وترتيب التوليد المدرك للمحلية لتسريع توليد الصور ذات الانحدار الذاتي بشكل كبير عن طريق تقليل خطوات الاستدلال وزمن الاستجابة مع الحفاظ على نتائج عالية الجودة.
المؤلفون الأصليون:Zhuoyang Zhang, Luke J. Huang, Chengyue Wu, Shang Yang, Kelly Peng, Yao Lu, Song Han
تعمل مولدات الصور التقليدية للذكاء الاصطیعي (مثل تلك التي استُخدمت قبل هذه الورقة البحثية) كفنان صارم وبطيء للغاية. لديه قاعدة واحدة: "يجب أن ترسم بالضبط بوصة مربعة واحدة في كل مرة، بخط متعرج مثالي من أعلى اليسار إلى أسفل اليمين."
المشكلة: إذا كانت الجدارية بمقاس 256×256 بوصة، فسيتعين على الفنان القيام بـ 256 رحلة منفصلة عبر الحائط لإنهائها.
عنق الزجاجة: في كل مرة يختار فيها الفنان مربعاً جديداً، عليه أن يعود إلى رف الطلاء (ذاكرة الكمبيوتر) ليحضر اللون المحدد الذي يحتاجه. حتى لو كان الفنان سريعاً جداً في الرسم، فإنه يقضي 90% من وقته في الركض ذهاباً وإياباً إلى الرف. يُسمى هذا بكونه "مقيداً بالذاكرة" (memory-bound). الأمر يشبه سيارة سباق عالقة في زحام مروري؛ المحرك رائع، لكن الطريق ضيق جداً.
الطريقة الجديدة: الفريق "المدرك للمحلية" (LPD)
اخترع الباحثون في هذه الورقة البحثية (من MIT وNVIDIA وFirst Intelligence) طريقة جديدة تسمى الترميز المتوازي المدرك للمحلية (Locality-Aware Parallel Decoding - LPD). بدلاً من فنان واحد بطيء، قاموا بتحويل العملية إلى طاقم بناء ذكي.
في الطريقة القديمة، لم يكن بإمكان الفنان رسم المربع التالي حتى يجف المربع السابق. في الطريقة الجديدة، يستخدم الذكاء الاصطناعي "رموز استعلام الموقع" (Position Query Tokens). فكر في هذه الرموز كأنها قصاصات ورقية لاصقة سحرية.
بدلاً من انتظار رسم الحائط بالترتيب، يضع الذكاء الاصطناعي قصاصات ورقية على الأماكن التي يريد الرسم فيها لاحقاً.
يمكنه أن يقول: "حسناً يا طاقم العمل! ارسموا الركن العلوي الأيسر، والركن السفلي الأيمن، والمنتصف جميعاً في نفس الوقت!"
السر الخفي: عادةً، إذا رسمت مكانين في وقت واحد، فقد لا "يرى" أحدهما الآخر، مما يؤدي إلى نتيجة فوضوية (مثل سماء زرقاء بجانب شجرة خضراء لا تتناسب معها). لقد ابتكر الباحثون "قاعدة رؤية" خاصة (آلية انتباه) تضمن أن جميع الرسامين في الطاقم يمكنهم رؤية عمل بعضهم البعض فوراً، بحيث تمتزج الألوان بشكل مثالي رغم أنهم يعملون في وقت واحد.
الخدعة الثانية: قاعدة "الجوار الذكي" (ترتيب الإدراك المحلي)
مجرد القدرة على رسم أماكن متعددة في وقت واحد لا يعني بالضرورة اختيار أماكن عشوائية.
الخطأ: إذا طلبت من الطاقم رسم الركن العلوي الأيسر والركن السفلي الأيمن في نفس الوقت، فلن يكون لديهم أدنى فكرة عن اللون الذي يجب استخدامه لأنهم بعيدون جداً عن بعضهم البعض لدرجة تمنعهم من رؤية السياق المحيط.
الحل: لاحظ الباحثون أن الأشياء في الصور تكون عادةً محلية (Local)؛ فالورقة قريبة من الغصن، والسحابة قريبة من السماء.
الاستراتيجية: يستخدم الذكاء الاصطناعي جدولاً زمنياً لـ "الجوار الذكي":
البقاء قريباً: يختار أماكن جديدة للرسم تكون بجوار تماماً ما تم رسمه بالفعل. هذا يمنح الرسامين الكثير من السياق (على سبيل المثال: "أرى غصن شجرة هنا، لذا سأرسم ورقة بجانبه").
الانتشار: يحرص على أن تكون الأماكن التي يتم رسمها في نفس اللحظة بعيدة عن بعضها البعض. هذا يمنع الرسامين من التداخل أو الارتباك.
النتيجة: من ماراثون إلى سباق قصير
من خلال الجمع بين هاتين الخدعتين، كانت النتائج مذهلة:
الطريقة القديمة: لرسم صورة بمقاس 256×256، كان الذكاء الاصطناعي يستغرق 256 خطوة (خطوة لكل جزء).
الطريقة الجديدة (LPD): يمكن للذكاء الاصطناعي إنجاز نفس الصورة في 20 خطوة فقط.
السرعة: هي أسرع بـ 3.4 مرة من الطرق "السريعة" السابقة.
الجودة: رغم كونها أسرع بكثير، إلا أن الصور تبدو بجودة مماثلة (أو أفضل) من الصور الناتجة عن الطرق البطيئة. فقاعدة "الجوار الذكي" تضمن عدم ظهور الصورة بشكل مشوه أو غير متناسق.
لماذا يهم هذا؟
فكر في الأمر كترقية من طريق ترابي ذي مسار واحد إلى طريق سريع متعدد المسارات مع إشارات مرور ذكية.
قبل ذلك، كان الذكاء الاصطناعي عالقاً في مسار واحد، ينتظر السيارة التي أمامه لتتحرك.
الآن، لدى الذكاء الاصط cut 20 مساراً مفتوحاً، و"إشارات المرور" (قواعد المحلية) تخبر السيارات بالضبط أين تذهب حتى لا تصطدم ببعضها.
هذا يعني أنه يمكننا إنشاء صور عالية الجودة، أو تعديل الصور، أو حتى إنشاء مقاطع فيديو في وقت أقل بكثير مما كان يستغرقه الأمر سابقاً، مما يجعل أدوات الذكاء الاصطناعي أكثر عملية للاستخدام اليومي.
إليك ملخص تقني مفصل لورقة البحث بعنوان "Locality-Aware Parallel Decoding for Efficient Autoregressive Image Generation" (LPD).
1. بيان المشكلة
لقد برز توليد الصور عبر النماذج التوليدية ذاتية الانحدار (Autoregressive - AR) كنموذج قوي، لا سيما للأنظمة متعددة الوسائط الموحدة. ومع ذلك، تواجه نماذج AR التقليدية عقبة حرجة في الكفاءة:
تأخير مرتبط بسعة الذاكرة (Memory-Bound Latency): تقوم نماذج AR القياسية بتوليد الصور عبر توليد الرموز (tokens) واحداً تلو الآخر (التنبؤ بالرقعة التالية) بترتيب مسحي ثابت (raster order). هذا يخلق عبء عمل مرتبطاً بالذاكرة حيث يتناسب زمن التأخير خطياً مع عدد الرموز (على سبيل المثال، 256 خطوة لصورة بحجم 256×256)، حيث يجب على وحدة معالجة الرسومات (GPU) تحميل معاملات النموذج بشكل متكرر لكل خطوة.
توازي محدود: إن المحاولات الحالية لتسريع توليد AR عن طريق التنبؤ بعدة رقع في وقت واحد (التنبؤ متعدد الرقع) لم تحقق سوى توازٍ محدود. وغالباً ما تعاني من:
عدم الاتساق (Inconsistency): الرموز المتجاورة مكانياً لها تبعيات متبادلة قوية؛ والتنبؤ بها بشكل مستقل يؤدي إلى عيوب في التوليد.
الترتيب الجامد (Rigid Ordering): تعتمد العديد من الطرق على أوامر توليد ثابتة أو بنيات (encoder-decoder) تمنع تسلسلات التوليد التعسفية، مما يحد من المرونة في مهام مثل "الترميم" (inpainting).
عدم التوافق (Incompatibility): تستخدم بعض الطرق عالية السرعة (مثل التنبؤ متعدد المقاييس) تمثيلات متعددة المقاييس لا تتوافق مع تمثيلات الرموز المسطحة المستخدمة في النماذج الرؤية التأسيسية (مثل CLIP وDINO).
يقترح المؤلفون إطار عمل LPD المصمم لتعظيم التوازي مع الحفاظ على جودة التوليد والتوافق مع تمثيلات الرموز المسطحة. ويتكون من ابتكارين أساسيين:
أ. النمذجة ذاتية الانطلاق المتوازية المرنة
هذه بنية مبتكرة تفصل بين أدوار توفير السياق (context provision) وتوليد الرموز (token generation)، مما يسمح بأوامر توليد ودرجات توازي تعسفية.
رموز استعلام الموقع (Position Query Tokens): بدلاً من توليد الرمز التالي في التسلسل، يستخدم النموذج رموز استعلام موقع قابلة للتعلم تقابل مواقع مستهدفة محددة في شبكة الصورة.
الأدوار المفصولة:
السياق: توفر رموز الصورة التي تم توليدها سابقاً السياق (الحالات الخفية).
التوليد: تقود رموز استعلام الموقع عملية التنبؤ برموز جديدة في مواقع مستهدفة تعسفية.
آلية انتباه متخصصة:
انتباه السياق (Context Attention): يضمن أن تنتبه الرموز الجديدة سببياً (causally) إلى جميع الرموز التي تم توليدها سابقاً.
انتباه الاستعلام (Query Attention): وهو أمر بالغ الأهمية، حيث يضمن الرؤية المتبادلة (mutual visibility) بين جميع رموز استعلام الموقع التي يتم توليدها ضمن نفس الخطوة المتوازية. وهذا يسمح للرموز المولدة بالتزامن بالاعتماد على بعضها البعض، مما يمنع مشكلات عدم الاتساق التي تظهر في أخذ العينات المستقلة.
تحسين ذاكرة التخزين المؤقت لـ KV (KV Cache Optimization): على عكس بعض مناهج (encoder-decoder) حيث يجب تخزين رموز الاستعلام (مما يضاعف الذاكرة)، يقوم LPD بتخزين رموز الصورة المولدة فقط، مما يحافظ على انخفاض عبء الذاكرة.
ب. ترتيب التوليد المدرك للمحلية (Locality-Aware Generation Ordering)
لتعظيم فعالية فك التشفير المتوازي، قدم المؤلفون خوارزمية جدولة تعتمد على الملاحظة بأن انتباه توليد الصور يظهر محلية مكانية قوية (الرموز تنتبه أساساً للمناطق القريبة).
مبدأين توجيهيين:
القرب العالي من السياق: يجب أن تكون الرموز الجديدة قريبة مكانياً من الرموز التي تم توليدها بالفعل للاستفادة من الدعم السياقي القوي.
القرب المنخفض داخل المجموعات: يجب أن تكون الرموز التي يتم توليدها في نفس الخطوة المتوازية بعيدة مكانياً عن بعضها البعض لتقليل التبعية المتبادلة وتقليل عدم اتساق التوليد.
الخوارزمية: يختار المجدول الرموز للخطوة التالية بشكل تكراري من خلال:
حساب درجات القرب للرموز غير المختارة بالنسبة للسياق الحالي.
اختيار الرموز ذات القرب العالي والتي تكون متباعدة بما يكفي (باستخدام عتبة التنافر).
إذا لم يتم استيفاء حجم المجموعة، يتم استخدام أخذ العينات لأبعد نقطة (Farthest Point Sampling) لاختيار الرموز المتبقية من مناطق بعيدة لضمان انخفاض التبعية داخل المجموعة الواحدة.
النتيجة: يضبط هذا المجدول أحجام المجموعات (بدءاً من أحجام صغيرة ثم النمو) والترتيب، مما يحسن المقايضة بين توفر السياق والاستقلالية المتوازية.
3. المساهمات الرئيسية
بنية مبتكرة: تقديم نموذج AR متوازٍ مرن باستخدام رموز استعلام الموقع وآليات انتباه متخصصة لتمكين أوامر توليد تعسفية ورؤية متبادلة بين الرموز المتوازية.
جدولة مدركة للمحلية: خوارزمية ترتيب توليد تعمل صراحة على تحسين مبادئ المحلية المكانية، مما يقلل بشكل كبير من التبعيات داخل المجموعة مع تعظيم الدعم السياقي. ً3. الكفاءة دون فقدان الجودة: تقلل الطريقة خطوات التوليد بشكل جذري (على سبيل المثال، من 256 إلى 20 خطوة لـ 256×256) دون المساس بجودة الصورة (FID)، محققة تقليلاً في زمن التأخير يتراوح بين 3.4 إلى 4.2 ضعف مقارنة بنماذج AR المتوازية السابقة.
تعدد الاستخدامات: يدعم الإطار مهام تحرير الصور بدون معرفة مسبقة (zero-shot) (مثل الترميم، التوسيع، والتحرير المشروط بالفئة) بفضل قدرته على توليد الرموز بترتيبات تعسفية.
4. النتائج التجريبية
تم تقييم الطريقة على توليد الصور المشروط بالفئة لـ ImageNet (256×256 و 512×512) وتوليد الصور من النص (1024×1024).
تقليل خطوات التوليد:
256×256: انخفضت من 256 خطوة (ترتيب مسحي) إلى 20 خطوة (LPD).
512×512: انخفضت من 1024 خطوة إلى 48 خطوة.
1024×1024: انخفضت من 4096 خطوة إلى 64 خطوة.
الجودة (FID): حققت نماذج LPD درجات FID تنافسية أو متفوقة مقارنة بنماذج AR وDiffusion الحديثة.
مثال: حقق LPD-XL (بـ 752M معلمة) درجة FID 2.10 في 20 خطوة، مما يطابق جودة ARPG-XXL (بـ 1.3B معلمة) الذي يتطلب 64 خطوة، ولكن مع زمن تأخير أقل بمقدار 3.4 ضعف.
الكفاءة:
زمن التأخير: حقق زمن تأخير أقل بمقدار 3.4 ضعف على الأقل من نماذج AR المتوازية السابقة (مثل ARPG، RandAR).
الإنتاجية (Throughput): في الأنظمة المرتبطة بسعة الذاكرة (أحجام دفعات صغيرة)، أظهر LPD إنتاجية أعلى بـ 12 ضعفاً من خطوط الأساس ذات الترتيب المسحي، حيث يتوسع خطياً مع حجم الدفعة حتى الوصول إلى حدود الحوسبة.
دراسات الاستبعاد (Ablation Studies):
أدى إزالة آلية "الرؤية المتبادلة" إلى تدهور كبير في FID مع زيادة التوازي.
استخدام الجدول الزمني المدرك للمحلية تفوق على جداول الترتيب العشوائي، والمسحي، وجدول Halton، مما يؤكد أهمية التوازن بين القرب السياقي والاستقلالية داخل المجموعة.
5. الأهمية
يمثل LPD قفزة نوعية في توليد الصور عبر النماذج ذاتية الانطلاق من خلال حل المقايضة الجوهرية بين السرعة والجودة.
القابلية للتوسع: يجعل توليد الصور عبر AR قابلاً للتطبيق في التطبيقات التي تتطلب وقتاً حقيقياً من خلال تقليل اختناق التبعية التسلسلية بشكل جذري.
إمكانات تعدد الوسائط الموحدة: من خلال الحفاظ على تمثيل رموز مسطح، يظل LPD متوافقاً مع النماذج الرؤية التأسيسية الحالية (مثل CLIP)، مما يسهل تطوير أنظمة متعددة الوسائط موحدة يمكنها فهم وتوليد الصور بكفاءة.
المرونة: تفتح القدرة على التوليد بترتيبات تعسفية آفاقاً جديدة للتحرير التفاعلي ومهام التلاعب المعقدة بالصور التي كانت صعبة سابقاً مع نماذج AR ذات الترتيب المسحي الجامد.
باختصار، يثبت LPD أنه مع الفصل الهيكلي الصحيح والجدولة المدركة مكانياً، يمكن للنماذج ذاتية الانطلاق تحقيق كفاءة الطرق غير ذاتية الانطلاق مع الاحتفاظ بقدرات التوليد عالية الجودة التي تتميز بها نماذج AR.