🤖 AI

OxyGen: Unified KV Cache Management for Vision-Language-Action Models under Multi-Task Parallelism

يُعد OxyGen نموذجاً موحداً لإدارة ذاكرة التخزين المؤقت (KV cache) لنماذج الرؤية واللغة والعمل (Vision-Language-Action Models)، وهو يتيح توازياً فعالاً متعدد المهام على الأجهزة من خلال التعامل مع ذاكرة التخزين المؤقت (KV cache) كمورد مشترك، مما يؤدي إلى القضاء على الحوسبة الزائدة وتحقيق تسريع كبير في كل من توليد اللغة والعمل دون أي تدهور في الجودة.

المؤلفون الأصليون: Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً للغاية يُدعى "روبو" (Robo). يحاول روبو القيام بثلاثة أشياء في وقت واحد:

تحريك ذراعه لالتقاط كوب (حركة).
التحدث إليك عما يفعله (لغة).
تذكر أين وضع الكوب لاستخدامه لاحقاً (ذاكرة).

في الماضي، إذا طلبت من روبو القيام بكل هذه الأشياء، كان الأمر يشبه استئجار ثلاثة أشخاص مختلفين للقيام بنفس المهمة، لكنهم جميعاً يقفون في مطبخ صغير ويحاولون استخدام نفس الموقد. كانوا يصطدمون ببعضهم البعض، وينتظرون في الطوابير، ويعيدون طهي نفس المكونات مراراً وتكراراً. والنتيجة؟ كان روبو بطيئاً، وأخرقاً، وغالباً ما يسقط الكوب لأنه لم يستطع تحريك ذراعه بالسرعة الكافية أثناء انشغاله بالتحدث.

يقدم هذا البحث OxyGen، وهي طريقة جديدة لإدارة عقل روبو لكي يتمكن من تعدد المهام بسلاسة. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

المشكلة: "المطبخ المنعزل"

تعامل أنظمة الروبوت الحالية كل مهمة كما لو كانت تحدث في مطبخ منفصل ومعزول.

الطهي المتكرر: إذا احتاج روبو للنظر إلى صورة كوب لتحريك ذراعه وللتحدث عن الكوب أيضاً، فإن النظام القديم يجعل الروبوت "يطهو" (يعالج) تلك الصورة مرتين. هذا هدر للوقت والطاقة.
ازدحام مروري: حتى لو شاركوا في نفس الموقد، فقد تستغرق مهمة "التحدث" وقتاً طويلاً لإنهاء جملة واحدة. وبينما يتحدث الروبوت، تضطر مهمة "التحريك" للانتظار، رغم أن تحريك الذراع يجب أن يحدث فوراً (مثل رد الفعل المنعكس). وهذا يتسبب في تجمد الروبوت أو حركته بشكل متقطع.

الحل: OxyGen (المدير الموحد)

يعمل OxyGen مثل رئيس طهاة فائق الكفاءة يدير المطبخ بأكمده كمساحة واحدة مشتركة. وهو يستخدم خدعتين رئيسيتين:

1. "كتاب الوصفات المشترك" (مشاركة الـ KV عبر المهام)

في مجال الذكاء الاصطناعي، الـ "KV Cache" يشبه مسودة ملاحظات أو ذاكرة عمل حيث يكتب الروبوت ما رآه وفهمه بالفعل.

الطريقة القديمة: في كل مرة يبدأ فيها الروبوت مهمة جديدة (تحريك، تحدث، تذكر)، فإنه يرمي مسودة الملاحظات ويبدأ الكتابة من الصเสีย، حتى لو كان ينظر إلى نفس الكوب.
طريقة OxyGen: يقول رئيس الطهاة: "مهلاً، لقد نظرنا إلى الكوب بالفعل! دعونا نبقي تلك الصفحة في مسودة الملاحظات".
النتيجة: لا يضيع الروبوت وقته في إعادة قراءة الكوب. إنه يشارك ذلك الفهم فوراً بين مهمة تحريك الذراع ومهمة التحدث. الأمر يشبه مشاركة مستند "Google Doc" واحد بدلاً من إرسال ثلاثة ملفات "Word" مختلفة ذهاباً وإياباً عبر البريد الإلكتروني.

2. "خط التجميع" (التجميع المستمر عبر الإطارات)

الروبوتات لديها مواعيد نهائية مختلفة. تحريك الذراع يجب أن يحدث الآن (كل 1/60 من الثانية). أما التحدث فيمكن أن يحدث ببطء أكثر، على مدار عدة ثوانٍ.

الطريقة القديمة: يتوقف الروبوت عن كل شيء لينهي جملة كاملة قبل تحريك ذراعه مرة أخرى. هذا يجعل حركة الذراع تتوقف وتبدأ (حركة متقطعة).
طريقة OxyGen: تخيل خط تجميع. بينما يحرك الروبوت ذراعه لـ هذه الثانية، فإنه يعمل أيضاً بهدوء على الكلمات القليلة التالية من الجملة في الخلفية. يقوم بتجميع (Grouping) مهام التحدث معاً بحيث تعمل شريحة الكمبيوتر عليها جميعاً في وقت واحد وبكفاءة.
النتيجة: تتحرك الذراع بسلاسة وسرعة (مثل الإنسان)، بينما يقوم الروبوت في الوقت نفسه بإنتاج قصة طويلة ومفصلة دون أن يتباطأ.

التأثير في العالم الحقيقي

اختبر الباحثون ذلك على عقل روبوت قوي (يُسمى $\pi0.5$ ) يعمل على بطاقة رسومات ألعاب قياسية (RTX 4090).

السرعة: أصبح الروبوت أسرع بمقدار 3.7 مرة.
السلاسة: استطاع تحريك ذراعه 70 مرة في الثانية (سلاسة فائقة) بينما لا يزال يتحدث بسرعة كبيرة جداً (200 كلمة في الثانية).
الجودة: والأهم من ذلك، أنه لم يرتكب أخطاءً. لا يزال الروبوت يلتقط الكوب بشكل صحيح؛ لقد فعل ذلك فقط بشكل أسرع بكثير ودون أن يشعر بـ "التعب" من الازدحام المروري.

الملخص

فكر في OxyGen كفرق بين مطبخ فوضوي حيث يتشاجر ثلاثة طهاة على موقد واحد، وبين مطبخ منظم جيداً برئيس طهاة واحد يشارك المكونات ويدير خط تجميع. إنه يسمح لأصدقائنا الروبوتات أخيراً بفعل ما نفعله نحن البشر ببراعة: المشي ومضغ العلكة في نفس الوقت، ولكن بسرعة ودقة الآلة.

1. بيان المشكلة

تتطلب وكلاء الذكاء الاصطناعي المجسم (Embodied AI) بشكل متزايد التوازي متعدد المهام (multi-task parallelism)، حيث يجب على وكيل واحد تنفيذ مهام متنوعة في آن واحد (مثل: التحكم في حركة الروبوت، السرد اللغوي، وبناء الذاكرة) بناءً على ملاحظات بصرية مشتركة. وبينما تدعم نماذج الرؤية واللغة والعمل (VLA) القائمة على "خليط من المحولات" (Mixture-of-Transformers - MoT) مثل $\pi^{0.5}$ معمارياً توليد مخرجات غير متجانسة (أفعال ولغة) من نموذج واحد، إلا أن أنظمة الاستدلال الحالية تفشل في استغلال ذلك بكفاءة على الأجهزة محدودة الموارد (مثل وحدة معالجة رسومات واحدة).

تحدد الورقة البحثية إدارة ذاكرة التخزين المؤقت لـ KV المنعزلة (isolated KV cache management) كسبب جذري لعدم الكفاءة في الأنظمة الحالية. حيث تتعامل النهج الحالية مع كل مهمة بشكل مستقل، مما يؤدي إلى اختناقين حرجين:

الحوسبة المكررة: يتم تشفير الملاحظات المرئية المشتركة بشكل متكرر لكل مهمة، مما يولد مدخلات مفتاح-قيمة (KV) متطابقة عدة مرات.
نزاع الموارد: تتنافس المهام على موارد الأجهزة المحدودة (ذاكرة وحدة معالجة الرسومات/عرض النطاق الترددي) دون تنسيق. والأهم من ذلك، أن المهام لها مواعيد نهائية غير متماثلة (asymmetric deadlines): يتطلب توليد الأفعال مواعيد نهائية صارمة وفي الوقت الفعلي (مثلاً 50-70 هرتز) لضمان التحكم السلس، بينما تمتلك توليد اللغة مواعيد نهائية مرنة ويمكن أن تمتد عبر عدة إطارات. لا تستطيع الأنظمة الحالية فك الارتباط بين هذه القيود، مما يؤدي إلى تباطؤ كبير (يصل إلى 2.6 ضعف) وانخفاض في الإنتاجية.

2. المنهجية: OxyGen

يقترح المؤلفون OxyGen، وهو نظام استدلال مبني على نموذج جديد يسمى الإدارة الموحدة لذاكرة التخزين المؤقت لـ KV (Unified KV Cache Management). يتعامل هذا النهج مع ذاكرة التخزين المؤقت لـ KV ليس كأثر خاص بمهمة معينة، بل كمورد مشترك من الدرجة الأولى عبر المهام والزمن.

المكونات الأساسية:

مدير ذاكرة التخزين المؤقت الموحد لـ KV ( $\mathcal{M}$ ): مجدول مركزي يحافظ على حالة جميع الطلبات الجارية. ويتتبع حالات التوليد ( $\sigma_t$ ) التي تتكون من ذاكرة التخزين المؤقت لـ KV، وعمليات التخزين المؤقت للرموز (tokens)، وأعلام الإنهاء.
التحسين 1: مشاركة KV عبر المهام (Cross-Task KV Sharing):
- بدلاً من إعادة تشفير الملاحظة المرئية لكل من خبير الأفعال وخبير اللغة، يقوم النظام بإجراء تمريرة واحدة للمرحلة التمهيدية (prefill pass) لتوليد ذاكرة KV المشتركة ( $K_t$ ).
- يتم بعد ذلك تكرار $K_t$ واستهلاكه من قبل كلا الخبيرين ضمن نفس الإطار، مما يلغي حسابات المرحلة التمهيدية المكررة.
التحسين 2: التجميع المستمر عبر الإطارات (Cross-Frame Continuous Batching):
- يفصل النظام فك تشفير اللغة عن حلقة التحكم الصارمة لكل إطار.
- تُعالج مهام الأفعال فوراً ضمن الإطار الحالي لتلبية المواعيد النهائية الصارمة.
- تُعامل مهام اللغة كطلبات تدفق (streaming requests). يقوم المدير بتجميع عدة طلبات لغة نشطة من إطارات مختلفة في حالة مجمعة واحدة ( $\hat{\sigma}$ ).
- يقوم نموذج VLM بإجراء فك التشفيد التكراري (autoregressive decoding) على هذه المجموعة بالتوازي، مما يؤدي إلى تقليل تكلفة فك التشفيد عبر توزيعها على عدة طلبات وتعظيم استغلال وحدة معالجة الرسومات.

تدفق التنفيذ (لكل إطار):

المرحلة التمهيدية (Prefill): تشفير الملاحظة الجديدة $o_t$ مرة واحدة لإنتاج $K_t$ المشتركة.
توليد الأفعال: استخدام $K_t$ فوراً لتوليد كتلة الفعل $A_t$ (عبر الانتشار/مطابقة التدفق).
إدارة الحالة: تهيئة حالة طلب لغة جديدة $\sigma_t$ باستخدام $K_t$ وتخزينها في المدير.
فك التشفيد المجمع (Batched Decoding): استرداد جميع طلبات اللغة النشطة (بما في ذلك الطلب الجديد)، وتجميعها، وإجراء $k$ خطوة من فك التشفيد المتوازي.
التحديث: فك تجميع النتائج، وتحديث المدير بالرموز الجديدة، وإزالة الطلبات المكتملة.

3. المساهمات الرئيسية

صياغة المشكلة: تحدد الورقة البحثية رسمياً تعدد المهام المتوازي مع المواعيد النهائية غير المتماثلة كسيناريو استدلال حرج لنماذج MoT-VLAs، وتحدد إدارة ذاكرة التخزين المؤقت لـ KV المنعزلة كعائق رئيسي.
نموذج ذاكرة التخزين المؤقت لـ KV الموحد: تقدم نموذج استدلال جديد يعتبر ذاكرة التخزين المؤقت لـ KV مورداً مشتركاً، مما يسمح بـ المشاركة عبر المهام (إلغاء مرحلة التمهيد المكررة) والتجميع المستمر عبر الإطارات (فك ارتباط فك تشفير اللغة متغير الطول عن توليد الأفعال ثابت المعدل).
التنفيذ والتقييم التجريبي: تم تنفيذ OxyGen لنموذج $\pi^{0.5}$ (الأكثر شيوعاً في MoT VLA) والتحقق من صحته على معايير روبوتية ممثلة (LIBERO, DROID, ALOHA) باستخدام NVIDIA RTX 4090.

4. النتائج التجريبية

تم التقييم على وحدة معالجة رسومات NVIDIA RTX 4090 واحدة، حيث أظهر OxyGen مكاسب كبيرة في الأداء مقارنة بكل من التنفيذ المتسلسل والأساليب المتوازية البدائية (باستخدام CUDA MPS):

تسريع السرعة: يحقق تسريع يصل إلى 3.7 ضعف في تردد الأفعال وإنتاجية اللغة مقارنة بالتنفيذ المنعزل.
الإنتاجية: يحقق في آن واحد أكثر من 200 رمز/ثانية لفك تشفير اللغة و 70 هرتز لتوليد الأفعال دون تدهور جودة التحكم.
دراسات الاستئصال (Ablation Studies):
- توفير مشاركة KV عبر المهام وحده يوفر تسريعاً بنسبة ~1.4 ضعف عبر إزالة مرحلة التمهيد المكررة.
- التجميع المستمر عبر الإطارات أمر بالغ الأهمية لمهام فك التشفيد الطويلة، حيث يحافظ على تردد أفعال عالٍ (حوالي 60 هرتز) حتى مع زيادة خطوات فك تشفير اللغة، بينما تنخفض النماذج البدائية إلى ~19 هرتز.
الجودة والكفاءة:
- جودة الأفعال: تطابق معدلات نجاح المهام في معايير LIBERO أداء $\pi^{0.5$ الأصلي (ضمن الضوضاء الإحصائية)، مما يؤكد عدم وجود تدهور في جودة التحكم.
- كفاءة الطاقة: يقلل من الطاقة لكل طلب بنسبة تصل إلى 78% ومن متوسط استهلاك الطاقة بنسبة 47% مقارنة بالنماذج البدائية، وذلك بسبب تقليل الوصول إلى الذاكرة وتحسين استغلال الأجهزة.
- الذاكرة: يضيف حوالي 15% فقط من عبء الذاكرة مقارنة بالنموذج الأساسي، بينما تضاعف التوازي البدائي استخدام الذاكرة تقريباً.

5. الأهمية

يعالج OxyGen فجوة حرجة في نشر وكلاء الذكاء الاصطناعي المجسم المتقدمين. ومن خلال إعادة التفكير في إدارة ذاكرة التخزين المؤقت لـ KV كمورد موحد، فإنه يمكّن نماذج MoT-VLAs من تحقيق إمكاناتها المعمارية حقاً من أجل التنفيذ المتعدد المهام في آن واحد. يثبت هذا العمل أن الاستدلال الفعال على الأجهزة للوكلاء المعقدين ومتعددي الوسائط أمر ممكن دون التضحية بتردد التحكم أو سلاسة اللغة، مما يمهد الطريق لروبوتات منزلية وصناعية أكثر قدرة، وفي الوقت الفعلي، وأكثر كفاءة في استهلاك الطاقة.