ملخص تقني: ضغط مفتاح-قيمة مدرك للرؤوس من أجل توليد الصور ذاتي الانحدار بكفاءة

بيان المشكلة

تحقق نماذج توليد الصور ذاتية الانحدار (AR)، التي تمثل الصور كمتواليات من الرموز البصرية، نتائج عالية الدقة وواقعية من خلال توسيع حجم النموذج وعدد الرموز. ومع ذلك، يؤدي هذا التوسع إلى عبء كبير على الذاكرة وانخفاض في إنتاجية الاستدلال بسبب ذاكرة المفتاح-القيمة (KV cache) المطلوبة أثناء فك التشفير ذاتي الانحدار. وبينما استكشفت الأعمال الحديثة في معالجة اللغات الطبيعية (NLP) إدارة ذاكرة KV (مثل اختيار الرموز، والاستبعاد، والكمية)، فإن تطبيق هذه التقنيات مباشرة على المجال البصري يعد أمراً صعباً بسبب البنية المكانية المتأصلة في الصور.

تحاول الأساليب الحالية المخصصة للرؤية، مثل LineAR، تقليل استخدام الذاكرة المخبأة عن طريق الاحتفاظ بمجموعة فرعية فقط من الرموز بناءً على ملاحظة أن الرموز تنجذب بشكل أساسي إلى الجيران المجاورين مكانياً. ومع ذلك، تخصص هذه النهج ميزانية ثابتة وموحدة لكل رأس انتباه. وتتجاهل هذه الاستراتيجية عدم التجانس بين رؤوس الانتباه، مما يؤدي إلى تخصيص غير مثالي للذاكرة. وتحديداً، تركز بعض الرؤوس على الجوار المحلي (مما يتطلب ميزانيات صغيرة)، بينما تلتقط رؤوس أخرى علاقات بعيدة المدى مثل هياكل الأشياء والمناطق الخلفية (مما يتطلب ميزانيات أكبر). يفشل التخصيص الموحد في التكيف مع هذه الأنماط المتميزة، مما يؤدي إما إلى هدر الذاية أو تدهور جودة التوليد.

المنهجية: HeadKV

يقترح المؤلفون HeadKV، وهو إطار عمل مبتكر لا يتطلب تدريباً يقوم بإجراء ضغط مدرك للرؤوس لذاكرة KV. تكمن الفكرة الجوريّة في أن رؤوس الانتباه في نماذج توليد الصور ذاتية الانحدار تظهر نمطين متميزين — محلي (Local) و عالمي (Global) — وأن سلوك الرأس يكون ثابتاً عبر مواضع الرموز ضمن نفس الطبقة لمدخل معين.

يتكون مسار عمل HeadKV من ثلاث خطوات رئيسية:

1. التعبئة المسبقة للمخزن (Cache Prefilling): يقوم النموذج بترميز المدخلات الشرطية وتوليد تسلسل أولي من الرموز البصرية دون ضغط. تجمع هذه المرحلة سياقاً كافياً لتقدير توزيعات انتباه الرؤوس.
2. تجميع الرؤوس (التصنيف): بمجرد وصول الذاكرة المخبأة إلى طول محدد مسبقاً، يقوم إطار العمل بتصنيف كل رأس انتباه كـ "محلي" أو "عالمي" باستخدام معيار تراكم انتباه قائم على العتبة.
   • لكل رأس، يتم تجميع درجات الانتباه تراجعياً من موضع الرمز الحالي حتى الوصول إلى عتبة ($\tau = 0.9$).
   • إذا كان عدد الرموز المطلوبة للوصول إلى العتبة أصغر من حجم النافذة المحلية المحدد مسبقاً، يتم تصنيف الرأس على أنه محلي (Local). خلاف ذلك، يتم تصنيفه على أنه عالمي (Global).
   • يتم إجراء هذا التصنيف مرة واحدة خلال مرحلة التوليد المبكرة ويُعاد استخدامه لعملية فك التشفير بأكملها، مما لا يتطلب أي تدريب إضافي أو إحصاءات على مستوى مجموعة البيانات.
3. ضغط الذاكرة المخبأة المدرك للرؤوس: يتم تطبيق استراتيجيات ضغط مختلفة بناءً على نوع الرأس:
   • الرؤوس المحلية (Local Heads): تنجذب هذه الرؤوس بشكل أساسي إلى السياق القريب. يخصص إطار العمل ميزانية مدمجة، حيث يحتفظ فقط بأحدث الرموز عبر آلية النافذة المنزلقة (sliding-window mechanism). ويتم استبعاد الرموز التاريخية تماماً.
   • الرؤوس العالمية (Global Heads): تلتقط هذه الرؤوس العلاقات بعيدة المدى. وللحفاظ على الرموز البعيدة المعلوماتية دون تحمل نمو خطي في الذاكرة، صمم المؤلفون استراتيجية استبعاد الرموز الطبقي (Stratified Token Eviction - STE).
     • استبعاد الرموز الطبقي: يتم تقسيم الرموز التاريخية المرشحة إلى مجموعتين فرعيتين منفصلتين: رموز المدى القريب (Near-Range) ورموز المدى البعيد (Long-Range) بناءً على مسافتها من الموضع الحالي.
     • يتم حساب درجات الأهمية لكل مجموعة بشكل مستقل باستخدام ميزات الاستعلام الماضية.
     • يتم استبعاد الرموز ذات الدرجات الأدنى من كل مجموعة (على سبيل المثال، $M/2$ من المدى القريب و $M/2$ من المدى البعيد). وهذا يمنع الرموز المهيمنة محلياً من طغيانها على الرموز البعيدة ذات الصلة دلالياً، مما يضمن الحفاظ المتوازن على كل من التفاصيل المحلية والهيكل العالمي.

المساهمات الرئيسية

1. تحليل عدم تجانس الانتباه: تقدم الورقة تحليلاً متعمقاً لنماذج توليد الصور ذاتية الانحدار، حيث تحدد نمطين متميزين للانتباه (محلي وعالمي) وتكشف أن سلوك الرؤوس ثابت عبر مواضع الرموز داخل طبقة واحدة لمدخل ثابت.
2. إطار عمل HeadKV: إطار عمل ضغط مبتكر لا يتطلب تدريباً يقوم بتخصيص ميزانيات غير متماثلة عبر رؤوس الانتباه. فهو يخصص ميزانيات مدمجة للرؤوس المحلية وميزانيات أكبر للرؤوس العالمية، مسترشداً بآلية تصنيف في المرحلة المبكرة.
3. استبعاد الرموز الطبقي (STE): استراتيجية محددة للرؤوس العالمية تقسم الرموز حسب المسافة لضمان الاحتفاظ بالاعتمادات بعيدة المدى المعلوماتية، مما يعالج قصور طرق التقييم القياسية التي غالباً ما تفضل الرموز المحلية.
4. التحقق التجريبي: تُظهر التجارب المكثفة أن HeadKV يقلل بشكل كبير من استخدام ذاكرة KV ويحسن إنتاجية الاستدلال عبر نماذج متعددة (Janus-Pro, Lumina-mGPT, LlamaGen-XL) مع الحفاظ على جودة صورة عالية.

النتائج

قيم المؤلفون HeadKV على أربعة نماذج خلفية لتوليد الصور ذاتية الانحدار: Janus-Pro-1B، وJanus-Pro-7B، وLumina-mGPT-768، وLlamaGen-XL.

• جودة الصورة: يحقق HeadKV أداءً مقارباً لنموذج الذاكرة الكاملة (full-cache baseline) في اختبارات مثل GenEval وDPG. على سبيل المثال، في نموذج Janus-Pro-7B مع نسبة ضغط ($\rho$) تبلغ 1/8، يحافظ HeadKV على درجة GenEval تبلغ 0.99 (مقابل 0.99 للنموذج الكامل) ودرجة DPG تبلغ 83.78 (مقابل 84.20 للنموذج الكامل).
• المقارنة مع LineAR: مقارنة بطريقة التخصيص الموحد LineAR، يُظهر HeadKV تدهوراً أقل في الأداء مع زيادة نسب الضغط (على سبيل المثال، عند $\rho=1/8$). في LlamaGen-XL، يحقق HeadKV درجة FID-50K أفضل (2.75) مقارنة بـ LineAR (2.95) تحت الضغط الشديد.
• الكفاءة: يقلل HeadKV بشكل كبير من استخدام الذاكرة ويحسن الإنتاجية.
  • في LlamaGen-XL ($\rho=1/6$)، يقلل HeadKV الذاكرة بنسبة 63.60% ويحقق تسريعاً بمقدار 3.00 ضعف مقارنة بالإعداد الكامل، متفوقاً على LineAR (2.93 ضعف).
  • في Janus-Pro-7B ($\rho=1/6$)، يحقق تسريعاً بمقدار 3.68 ضعف مع توفير في الذاكرة بنسبة 52.08%.
  • في Lumina-mGPT-768، ورغم أن زمن الاستجابة (latency) أعلى قليلاً من LineAR بسبب الأعباء الإضافية في عملية التجميع، إلا أنه لا يزال يحقق تسريعاً بمقدار 1.35 ضعف مع توفير كبير في الذاكرة.

الأهمية والادعاءات

تدعي الورقة أن HeadKV يقدم حلاً عملياً لعنق زجاجة الذاكرة في توليد الصور ذاتية الاندر دون الحاجة إلى تدريب إضافي أو إشراف خارجي. ومن خلال التعرف على عدم تجانس رؤوس الانتباه واستغلاله، يتجاوز هذا الأسلوب نهج "المقاس الواحد يناسب الجميع" المتبع في الأعمال السابقة لتخصيص الذاكرة المخبأة.

يؤكد المؤلفون أن نهجهم قابل للتعميم عبر مدخلات وهياكل نماذج مختلفة لأنه يعتمد على أنماط الانتباه الجوهرية الملحوظة خلال المراحل المبكرة من التوليد. ويُسلط الضوء على استراتيجية استبعاد الرموز الطبقي (Stratified Token Eviction) كعنصر حاسم للحفاظ على جودة الصور المولدة تحت ميزانيات ذاكرة ضيقة، وتحديداً من خلال الحفاظ على المعلومات الهيكلية بعيدة المدى التي غالباً ما تُفقد في طرق الاستبعاد القياسية. ويشير العمل إلى أن تخصيص الموارد التكيفي الخاص بكل رأس هو نموذج أكثر كفاءة لتوليد المرئيات من الاحتفاظ الموحد بالرموز.