UltraGen: Efficient Ultra-High-Resolution Image Generation with Hierarchical Local Attention

إليك ملخص تقني مفصل لورقة البحث بعنوان "UltraGen: توليد صور فائقة الدقة بكفاءة عبر الانتباه المحلي الهرمي."

1. بيان المشكلة

تواجه نماذج الانتشار (Diffusion Models) الحالية لتحويل النص إلى صورة (مثل FLUX وSD3) قيوداً في توليد صور بدقة تقل عن 2 ميجابكسل (عادةً أقل من 1K × 2K). إن توسيع نطاق هذه النماذج لتوليد دقة فائقة (4K و8K وما فوق) يواجه عقبتين رئيسيتين:

• التعقيد التربيعي: تعمل آليات الانتباه القياسية (Standard attention) بشكل تربيعي ($O(N^2)$) مع عدد التوكنات (Tokens). يتطلب توليد صورة بدقة 4K عشرات الآلاف من التوكنات، مما يؤدي إلى استهلاك باهظ للذاكرة ووقت الاستنتاج.
• ندرة البيانات: تندر وتكون مكلفة للغاية مجموعات البيانات عالية الجودة والضخمة بدقة 4K–8K. الحلول الحالية تتطلب إما إعادة تدريب مكلفة على بيانات اصطناعية أو تعتمد على طرق رفع الدقة (Upscaling) الخالية من التدريب، والتي غالباً ما تضحي بالاستقرار، أو التماسك العالمي، أو الكفاءة.

2. المنهجية: إطار عمل UltraGen

يقترح UltraGen إطار عمل مبتكر يُمكّن النماذج المدربة مسبقاً من توليد صور فائقة الدقة دون الحاجة لبيانات تدريب أصلية عالية الدقة. ويحقق ذلك من خلال ثلاثة ابتكارات تقنية جوهرية:

أ. الانتباه المحلي الهرمي مع الترتيب الأولي للنافذة (Window-First Permutation)

لمعالجة التعقيد التربيعي للانتباه:

• تقسيم النوافذ المحلية: يتم تقسيم تمثيلات الصور (Latents) عالية الدقة ($X$) إلى نوافذ محلية غير متداخلة وثابتة الحجم (على سبيل المثال، $256 \times 256$ توكن). يتم حساب الانتباه الذاتي (Self-attention) بشكل مستقل داخل كل نافذة، مما يقلل التعقيد من $O(N^2)$ إلى ما يقارب الخطية $O(N \cdot l^2)$، حيث $l$ هو حجم النافذة.
• الترتيب الأولي للنافذة (Window-First Token Permutation): بدلاً من ترتيب المسح الرأسي (Raster-scan) القياسي، يتم إعادة ترتيب التوكنات في تسلسل "نافذة أولاً". يضمن هذا أن كتل الانتباه تتوافق مباشرة مع نوافذ ثنائية الأبعاد ثابتة الحجم، مما يسمح للنموذج باستخدام كتل محلية كثيفة صديقة لوحدات معالجة الرسومات بغض النظر عن الدقة الإجمالية للصورة.
• الاتساق الموضعي: يضمن هذا الترتيب بقاء تضمينات الموضع النسبية (RoPE) ضمن النطاق الذي تدرب عليه النموذج مسبقاً، مما يتجنب الحاجة إلى الاستقراء (Extrapolation).

ب. التوجيه العالمي منخفض الدقة

لمنع فقدان البنية الدلالية العالمية والاعتمادات طويلة المدى الناتجة عن عزل النوافذ المحلية:

• المرتكز العالمي (Global Anchor): يتم توليد تمثيل (Latent) منخفض الدقة ($X_{lr}$) (على سبيل المثال، $256 \times 256$) ليعمل كمرتكز دلالي عالمي.
• تضمينات الموضع الموزونة (Scaled Positional Embeddings): يتم تغيير مقياس مؤشرات الموضع لـ $X_{lr}$ بنسبة $\rho$ (تم تحديدها تجريبياً بـ 4) لتتطابق مع المقياس المكاني للصورة عالية الدقة. يسمح هذا لتوكنات الدقة المنخفضة بالعمل كـ "مراكز" توفر سياقاً عالمياً لكل نافذة محلية.
• قناع الانتباه (Attention Masking): يفرض قناع انتباه مخصص تفاعلات محددة:
  • النوافذ المحلية تنتبه لنفسها وللنوافذ المجاورة (لضمان اتساق الحدود).
  • النوافذ المحلية تنتبه لتوكنات التوجيه العالمي الموزونة ($X_{lr}$).
  • توكنات $X_{lr}$ تنتبه لبعضها البعض عالمياً.

ج. تقليل الضجيج المشترك الموفر للمعلمات

• تكييف LoRA: لدمج التوجيه منخفض الدقة في نموذج MMDiT المدرب مسبقاً دون إعادة تدريب كاملة، استخدم المؤلفون تقنية التكيف منخفض الرتبة (LoRA).
• التدريب الانتقائي: يتم تدريب مصفوفات إسقاط الاستعلام والمفتاح والقيمة ($Q, K, V$) المرتبطة بتوكنات التوجيه منخفضة الدقة فقط. تظل الأوزان الأصلية للنوافذ المحلية عالية الدقة مجمدة، مما يحافظ على القدرات التوليدية للنموذج المدرب مسبقاً.
• بيانات التدريب: يتم تدريب النموذج حصرياً على دقات اعتيادية (مثل $256 \times 256$ إلى $1K \times 1K$)، مما يلغي الحاجة لمجموعات بيانات 4K+ باهظة الثمن.

د. تسريع الاستنتاج

• البدء الدافئ (Warm-Start Initialization): يتم رفع دقة التوجيه منخفض الدقة، وشحذه، وإضافته إلى التمثيل عالي الدقة عند خطوة زمنية متوسطة. يسمح هذا لعملية التوليد بتجاوز مراحل تقليل الضجيج المبكرة، مما يقلل بشكل كبير من خطوات الاستنتاج المطلوبة.

3. المساهمات الرئيسية

1. نموذج جديد لتوليد الصور فائقة الدقة (UHR): تقديم نهج هرمي يجمع بين انتباه النافذة المحلية والتوجيه العالمي منخفض الدقة، مما يتيح التوليد القابل للتوسع بما يتجاوز حدود التدريب المسبق.
2. القابلية للتوسع بدون تدريب: التخلص من الحاجة لبيانات تدريب عالية الدقة عبر الاستفادة من التوجيه منخفض الدقة المتوافق موضعياً للحفاظ على التماسك العالمي.
3. الكفاءة الحسابية: تحقيق تسريع كبير في السرعة (>10 أضعاف عند 8K) وتقليل في الذاكرة (>10 جيجابايت توفير) مقارنة بأساليب الانتباه الكثيفة، مما يجعل توليد 8K ممكناً على وحدات معالجة الرسومات الاستهلاكية.
4. المتانة: إثبات التوافق مع النماذج الأساسية المختلفة (FLUX.1 وFLUX.2) والحفاظ على دقة عالية عبر مختلف نسب العرض إلى الارتفاع.

4. النتائج التجريبية

قام المؤلفون بتقييم UltraGen مقابل أحدث الطرق (بما في ذلك SANA وDiffusion-4K وHiFlow وI-MAX وCLEAR) عند دقة 4K و8K.

• الأداء النوعي: ينتج UltraGen صوراً ذات تفاصيل دقيقة متفوقة (مثل الأيدي الصحيحة تشريحياً، والأنسجة الحادة في المجوهرات والنباتات) وهياكل عالمية متماسكة. كما يتجنب العيوب الشائعة التي تظهر لدى المنافسين، مثل العيال القطرية (HiFlow) أو الضبابية (SANS).
• المقاييس الكمية (4K × 4K):
  • FID: سجل 67.03 (UltraGen) مقابل 69.18 (HiFlow) و76.31 (SANA).
  • درجة CLIP: سجل 0.3231 (UltraGen)، متفوقاً على معظم الطرق القائمة على التدريب.
  • مقاييس الرقع (Patch Metrics): حقق أدنى قيمة لـ FIDpatch بلغت (61.78)، مما يشير إلى تفوق في الحفاظ على التفاصيل المحلية.
• الكفاءة:
  • السرعة: حقق تسريعاً إجمالياً في الاستنتاج قدره 10.77× عند دقة 8K مقارنة بأساليب FlashAttention-2.
  • الذاكرة: يتطلب 7.3 جيجابايت فقط من ذاكرة VRAM الإضافية لتوليد 4K (باستثناء النموذج الأساسي)، بينما تتطلب التطبيقات البدائية ~15.6 جيجابايت أو أكثر.
  • القابلية للتوسع: نجح في توليد صور بدقة 8K × 8K و4K × 10K، وهي دقات تفشل عندها الطرق الأخرى أو تنفد فيها الذاكرة (OOM).

5. الأهمية

يمثل UltraGen طفرة عملية في مجال الذكاء الاصطناعي التوليدي. فمن خلال فصل توليد التفاصيل الدقيقة عن الاستدلال الدلالي العالمي، فإنه يحل "عنق الزجاجة التربيعي" الذي منع نماذج الانتشار من التوسع إلى دقات فائقة جداً.

• سهولة الوصول: يجعل توليد الصور فائقة الدقة متاحاً، مما يسمح بتشغيلها على وحدات معالجة الرسومات الاستهلاكية (مثل 48GB VRAM) دون الحاجة لتقنيات تفريغ الوحدات (Module Offloading).
• كفاءة التكلفة: من خلال إزالة الاعتماد على مجموعات بيانات ضخمة بدقة +4K، فإنه يخفض بشكل كبير حاجز الدخول لتطوير أدوات توليد صور عالية الدقة.
• التطبيق: الإطار قابل للتطبيق الفوري في الصناعات التي تتطلب مخرجات عالية الدقة، مثل الفن الرقمي، الإعلانات، التصور العلمي، وإنشاء البيئات الافتراضية.