ملخص تقني: CIVIC – تماسك التسلسل من البداية إلى النهاية لكفاءة نماذج الرؤية واللغة

1. بيان المشكلة

تواجه نماذج الرؤية واللغة (VLMs) اختناقات كبيرة في الذاكرة وزمن الاستجابة (latency) عند معالجة الصور عالية الدقة أو الفيديوهات الطويلة، ويرجع ذلك أساساً إلى العدد الهائل من الرموز (tokens) البصرية المتولدة. وبينما ركزت الأبحاث الحالية على تقليل الرموز (token sparsification)، ودمجها (merging)، وضغط ذاكرة التخزين المؤقت لـ KV (KV-cache compression) لتقليل العمليات الحسابية النظرية (FLOPs)، إلا أن هذه الأساليب غالباً ما تفشل في ترجمة ذلك إلى تسريع مادي ملموس على الأجهزة.

تتمثل المشكلة الجوهرية المحددة في "فجوة تحقيق الضغط" (compression-realization gap). فمعظم الطرق الحالية تطبق ضغطاً آنياً (post-hoc) بعد إنشاء التمثيلات البصرية الكثيفة بالفعل. وهذا يؤدي إلى أعباء هيكلية، تشمل:

• الوصول غير المتصل للذاكرة: عمليات مثل تسجيل النقاط للرموز (token scoring)، والتوجيه (routing)، والجمع/التشتيت (gather/scatter)، واستعادة الواجهة الكثيفة تعطل استمرارية ذاكرة وحدة معالجة الرسومات (GPU).
• الاختلال الهندسي: يؤدي تعطيل الشبكات ثنائية الأبعاد (2D grids) أثناء عملية التقليم (pruning) إلى فقدان القدرة على التحديد الدقيق للمواقع (localization).
• الضغط غير الفعال في المراحل اللاحقة: حتى لو تم تقليل الرموز البصرية في المشفر (encoder)، فإن عمليات مرحلة الـ prefill في نموذج اللغة (LLM) وعمليات KV-cache غالباً ما تستمر في معالجة واجهات كثيفة أو شبه كثيفة، مما يبطل مكاسب زمن الاستجواني.

وبناءً على ذلك، فإن تقليل العمليات الحسابية (FLOPs) النظري لا يؤدي إلى تسريع حقيقي في وقت التنفيذ الفعلي (wall-clock acceleration)، وتظل عمليات النشر في البيئات محدودة الموارد مقيدة بزمن الاستجابة وبصمة ذاكرة الـ KV-cache.

2. المنهجية: إطار عمل CIVIC

لمعالجة هذه العوائق، يقترح البحث إطار عمل CIVIC (الضغط المتكامل للرؤية واللغة من أجل استنتاج مدمج)، وهو إطار عمل متسق المسار مصمم للحفاظ على تمثيلات تسلسل مدمجة بسلاسة عبر كامل مسار الاستنتاج: من مشفر الرؤية وطبقة الإسقاط وصولاً إلى prefill نموذج اللغة و KV-cache.

المكونات الأساسية

1. التجميع القائم على المرتكزات المتعلمة (Learned Anchor-Based Aggregation):
   بدلاً من تقليم الرموز بعد الترميز، يقوم CIVIC بتحويل الرقع الكثيفة (dense patches) إلى رموز متتالية قبل الترميز البصري. يستخدم مرتكزات مدمجة متعلمة ($A$) لتجميع تضمينات الرقع الكثيفة ($X_0$) عبر آلية موزونة بـ softmax. هذا يحافظ على الخريطة المكانية ويحول التسلسل الكثيف إلى تسلسل كامن مدمج ($Z_0$) دون تعطيل بنية الشبكة ثنائية الأبعاد.

2. الترميز البصري المدمج مع ضغط KV:
   يعالج مشفر الرؤي المدمج ($E^c_v$) التسلسل المجمع. ومن الأهمية بمكان أنه بينما يظل إسقاط الاستعلام (query projection) قياسياً، يتم ضغط المفاتحات (keys) والقيم (values) في عدد ثابت من مرتكزات الذاكرة ($S$). هذا يقلل من تعقيد تفاعل الانتباه من $O(T_e^2)$ إلى $O(M_e \cdot S)$، حيث $M_e$ هو عدد الرموز المدمجة.

3. أرضية الاحتفاظ المكاني التكيفية (Adaptive Spatial Retention Floor):
   لمنع الضغط المفرط من تدمير التحديد الدقيق للمواقع، يستخدم CIVIC أرضية احتفاظ مكاني تكيفية. يضمن ذلك الحفاظ على حد أدتد من الرموز ذات الصلة مكانياً، مما يحمي الدقة البصرية أثناء عمليات الحذف القوية.

4. الـ Prefill متعدد الوسائط المدمج:
   يتم إسقاط التضمينات البصرية المدمجة مباشرة في الفضاء الخفي لنموذج اللغة ($\Pi_c$) وإدراجها في سياق الـ LLM. وخلافاً للطرق الأخرى التي تدرج نائبات (placeholders) كثيفة، يستبدل CIVIC هذه النطاقات بالكامل بالتسلسل المدمج ($V_c$)، مما يضمن أن عمليات prefill للـ LLM وعمليات فك التشفير التوليدي اللاحقة تعمل على تسلسل أقصر ($L + M_p$) بدلاً من الطول الكثيف الأصلي ($L + T_p$).

5. تباعد KL المتوافق مع النص (Text-Aligned KL Distillation):
   بما أن واجهة الرموز البصرية تتغير، فإن التباعد القياسي لا يكفي. يستخدم CIVIC مخطط تباعد KL متوافق مع النص. يقوم بمحاذاة الـ logits للنموذج الطالب المدمج مع النموذج المعلم الكثيف فقط عند المواضع النصية غير البصرية. يسمح هذا للتضمينات المدمجة باستبدال النطاقات الكثيفة مباشرة دون الحاجة إلى إعادة تدريب هيكلية لمعلمات نموذج اللغة المجمدة.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

• تحديد الفجوة: حدد المؤلفون أن تقليل العمليات الحسابية (FLOPs) النظرية في نماذج الرؤية واللغة لا يؤدي إلى تسريع مادي ما لم يتم الحفاظ على تماسك التسلسل من البداية إلى النهاية عبر مشفر الرؤية، وطبقة الإسقاط، و prefill الـ LLM.
• إطار عمل متسق المسار: اقتراح CIVIC، الذي يحل معضلات الهندسة والتدريب من خلال التجميع القائم على المرتكزات، وأرضية الاحتفاظ المكاني التكيفية، وتباعد KL المتوافق مع النص للحفاظ على تمثيلات كامنة مدمجة من البداية إلى النهاية.
• التحقق التجريبي: التقييم على بنية Qwen3-VL يظهر أن المعالجة المدمجة المستقرة تقلل بشكل كبير من زمن الاستجابة وبصمة KV-cache مع الحفاظ على الدقة متعددة الوسائط الدقيقة، مما يلغي الحاجة إلى التوجيه في وقت التشغيل أو الاستعادة الكثيفة.

4. النتائج التجريبية

أُجريت التجارب على نموذج Qwen3-VL-2B-Instruct باستخدام وحدة معالجة رسومات NVIDIA RTX 4090، ومقارنة CIVIC بخمسة أساليب أساسية لتقليل الرموز (DyMU, DiffRate, DynamicViT, VisionTrim, ZOO-Prune) عبر خمسة اختبارات معيارية (MMMU, MathVision, ODinW-13, RealWorldQA, VideoMME).

مقاييس الأداء

• تقليل زمن الاستجابة: حقق CIVIC إجمالي زمن استجابة قدره 2514.9 مللي ثانية، وهو انخفاض كبير عن زمن الأساس البالغ 3543.0 مللي ثانية. في المقابل، أظهرت العديد من طرق ما بعد التشغيل (مثل ZOO-Prune و DynamicViT) تراجعاً في زمن الاستجابة أو تحسناً طفيفاً بسبب الأعباء الإضافية.
• تحسين KV-Cache: انخفض استخدام ذاكرة الـ KV-cache من 122.7 ميجابايت (الأساس) إلى 44.61 ميجابايت (CIVIC)، أي حوالي ثلث الأساس تقريباً.
• ضغط التسلسل: تم تقليل عدد رموز الـ prefill من 1122.2 إلى 407.9.
• الحفاظ على الدقة: على عكس طرق التقليم ما بعد التشغيل التي عانت من تدهور شديد في المهام القائمة على الاستدلال (MathVision) والتحديد الدقيق للمواقع (ODinW-13)، حافظ CIVIC على حدود أداء مستقرة بل وعزز دقة التحديد في بعض الحالات.
• الأعباء الإضافية (Overhead): كان عبء الضغط لـ CIVIC ضئيلاً جداً (0.49 مللي ثانية)، بينما تحملت الأساليب الأساسية أعباءً كبيرة (مثلاً 18.45 مللي ثانية لـ ZOO-Prune) بسبب عمليات الحفظ الإداري (bookkeeping) في وقت التشغيل.

رؤى الاستئصال (Ablation Insights)

• ميزانية الرموز (Token Budget): قدمت ميزانيات الرموز المتوسطة (مثل C=256) أفضل توازن بين الكثافة البصرية وحمل العمل اللاحق؛ حيث أدى الضغط المفرط (C=64) إلى تدهور أداء فك التشفير بسبب نقص المعلومات.
• أرضية الاحتفاظ (Retention Floor): كانت نسبة الاحتفاظ الدنيا التكيفية أمراً حاسماً؛ إذ أدى الحذف غير المقيد (Min=0.0) إلى تدمير الدقة البصرية.
• الاتساق من البداية إلى النهاية: تبين أن استعادة النوابات الكثيفة قبل الـ LLM يبطل جميع عمليات التسريع، مما يؤكد أن التماسك الوسيط لا فائدة منه ما لم يستمر داخل الـ LLM.

5. الأهمية والادعاءات

يزعم البحث أن CIVIC ينجح في ترجمة الضغط النظري إلى كفاءة مادية للأجهزة. من خلال فرض مسار مدمج ومتصل، يتجنب إطار العمل الوصول غير المتصل للذاكرة وأعباء الاستعادة المحلية التي تعاني منها الطرق الحالية.

تكمن الأهمية في إثبات أن تماسك التسلسل الشامل هو المحرك الحقيقي للتسريع الملموس في نماذج الرؤية واللغة. وتشير النتائج إلى أنه من أجل النشر الفعال لنماذج الرؤية واللغة، يجب تحسين مخطط الاستنتاج بالكامل من أجل التماسك بدلاً من معاملة الضغط كإضافة لاحقة. يتيح هذا النهج أحجام دفعات (batch sizes) أكبر ونوافذ سياق ممتدة في السيناريوهات محدودة الموارد دون التضحية بقدرات الاستدلال متعدد الوسائط الدقيقة المطلوبة لتطبيقات عملية مثل الروبوتات والقيادة الذاتية.

يبقى المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن التقييمات الحالية تقتقت بحدود ميزانيات الرموز الثابتة، والصور المنفردة، وبنية Qwen3-VL-2B، مع الحاجة إلى عمل مستقبلي للتحقق من القابلية للتوسع عبر نماذج أكبر وسياقات ديناميكية متكيفة مع كل حالة.