ملخص تقني: OmniDrop

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الأنماط (Omni-LLMs) إمكانات كبيرة في الفهم الشامل لمتعدد الوسائط، حيث تدمج النصوص والصوت والفيديو. ومع ذلك، يبرز "انفجار الرموز" (token explosion) الناتج عن البيانات الزمنية عالية الدقة كعائق حاسم أمام التطبيقات في الوقت الفعلي والاستدلال طويل المدى. تولد إشارات الصوت والفيديو عدداً أكبر بكثير من الرموز مقارنة بالنصوص (على سبيل المثال، يمكن لمقطع فيديو مدته دقيقة واحدة أن ينتج أكثر من 10,000 رمز)، مما يؤدي إلى نمو تربيعي في التكاليف الحسابية واستهلاك الذاكرة.

تعتمد طرق ضغط الرموز الموجودة حالياً لنماذج Omni-LLMs عادةً على عملية التقليم (pruning) عند مستوى تضمين المدخلات (input embedding level). وتستند هذه النهج إلى افتراضات مفادها أن رموز الصوت والفيديو متوافقة دلالياً عبر مساحات تمثيل مشتركة أو عبر التزامن الزمني. ويرى المؤلفون أن هذه الافتراضات غير موثوقة لسببين رئيسيين:

1. ضعف المحاذاة قبل مرحلة الـ LLM: تشغل تضمينات الصوت والفيديو مساحات فرعية متميزة داخل مساحة تضمين الـ LLM قبل المعالجة، مما يؤدي إلى تشابه "جيب التمام" (cosine similarity) منخفض عبر الوسائط، وهو ما يفشل في تحديد العلاقات الدلالية ذات المعنى.
2. عدم موثوقية التزامن الزمني: لا يعني حدوث أحداث صوتية وبصرية متزامنة بالضرية وجود ارتباط دلالي (على سبيل المثال، قد لا تتوافق الموسيقى الخلفية أو التعليق الصوتي خارج الشاشة مع المحتوى المرئي).

وبناءً على ذلك، فإن التقليم على مستوى المدخلات بناءً على المسافة بين التضمينات أو التزامن الزمني غالباً ما يتخلص من الأدلة الهامة الخاصة بكل نمط، مما يؤدي إلى اختيار غير مثالي للرموز.

المنهجية: OmniDrop

لمعالجة هذه القيود، يقترح المؤلفون OmniDrop، وهو إطار عمل لتقليم الرموز على مستوى الطبقات (layer-wise) دون الحاجة لإعادة تدريب. وخلافاً للأساليات السابقة، يقوم OmniDrop بتقليم الرموز تدريجياً داخل طبقات فك التشفير (decoder layers) للنموذج بدلاً من مرحلة المدخلات، مستخدماً ثلاث آليات أساسية:

1. التقليم التدريجي للرموز عبر الطبقات (PLP)

مدفوعاً بالملاحظة التي تفيد بأن دمج المعلومات متعددة الأنماط يحدث تدريجياً عبر طبقات فك التشفير، يتبنى OmniDrop جدول تقليم ديناميكي.

• الطبقات المبكرة: يكون التقليم متحفظاً (نسبة منخفضة) للسماقة بدمج وتكامل المعلومات متعددة الأنماط بين مسارات الصوت والفيديو.
• الطبقات العميقة: يصبح التقليم هجومياً (نسبة عالية) بمجرد أن يشكل النموذج تفضيلات واضحة للرموز المتعلقة بالاستعلام (query).
• التنفيذ: تتبع نسبة التقليم $p_l$ للطبقة $l$ دالة سيجمويد (sigmoid function):
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  يضمن هذا الحفاظ على الرموز في الطبقات الضحلة من أجل التكامل، وإزالتها في الطبقات الأعمق حيث تكون الرموز المعلوماتية أكثر تميزاً.

2. أهمية الرموز الموجهة بالاستعلام

بدلاً من مقارنة رموز الصوت والفيديو مباشرة، يستخدم OmniDrop الاستعلام النصي كوسيط دلالي.

• الآلية: يتم حساب درجة الأهمية $S$ لرموز الصوت والفيديو بناءً على متوسط درجات الانتباه (attention scores) من الرموز النصية إلى الرموز السمعية والبصرية:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• التكيف: يسمح هذا للنموذج بتخصيص ميزانيات الرموز ديناميكياً بناءً على متطلبات المهمة. ففي المهام التي تركز على الصوت، يتم الاحتفاظ بمزيد من رموز الصوت؛ وفي المهام التي تركز على الفيديو، يتم الاحتفاظ بمزيد من رموز الفيديو. يضمن ذلك الحد الأدنى من فقدان المعلومات للمهمة المحددة.

3. درجة التنوع الزمني (TDS)

لمنع الإفراط في تقليم الرموز البعيدة زمنياً عن ذروة الانتباه الرئيسية (والذي قد يؤدي إلى فقدان السياق العالمي)، يقدم OmniDrop مقياس تنوع.

• العملية:
  1. تحديد "الكتلة الرئيسية" ($c_{max}$) التي تحتوي على الرمز صاحب أعلى درجة أهمية.
  2. اختيار مخزن مؤقت مرشح للرموز ذات الدرجات الأدنى.
  3. حساب المسافة الزمنية الموحدة $D$ من $c_{max}$.
  4. تعزيز الدرجة النهائية: $S_{TDS} = S + \lambda_{div} \cdot D$.
• الأثر: تحصل الرموز البعيدة زمنياً عن ذروة الانتباه الرئيسية على تعزيز في الدرجة، مما يشجع على بقاء الرموز بشكل متوازن عبر التسلسل ويحافظ على السياق الزمني العالمي.

4. التقليم داخل النمط الواحد (Intra-Modality Pruning)

قبل تغذية الرموز في الـ LLM، يقوم OmniDrop بعملية تقليم مستقلة داخل كل نمط لإزالة التكرار:

• الصوت: يحتفظ بالرموز ذات درجات الانتباه الأعلى من الطبقة الأخيرة لمشفر الصوت.
• الفيديو: يستخدم دمج الرموز الزمنية (TTM) لتصفية الرموز المرئية المتتالية والمتكررة بناءً على تشابه جيب التمام.
• النتيجة: تقلل هذه المعالجة المسبقة عدد الرموز الأولي إلى حوالي 45% قبل بدء التقليم عبر الطبقات.

المساهمات الرئيسية

1. تحليل قيود مستوى المدخلات: توضح الورقة أن تشابه الصوت والفيديو عند مستوى المدخلات يوفر إشارة ضعيفة لتقليم الرموز بسبب عدم كفاية المحاذاة في تضمينات ما قبل الـ LLM وعدم موثوقية التزامن الزمني كبديل للأهمية الدلالية.
2. إطار عمل OmniDrop: إطار عمل مبتكر لتقليم الرموز عبر الطبقات دون الحاجة لإعادة تدريب، يستفيد من الاستعلامات النصية للاختيار المتوافق مع المهام والمستقل عن النمط. كما يستخدم جدول تقليم تدريجي ودرجة تنوع زمني لتحقيق التوازن بين الكفاءة والحفاظ على السياق.
3. التحقق التجريبي: أظهرت التجاروات المكثفة على معايير متنوعة (VideoMME, WorldSense, AVUT) أن OmniDrop يتفوق على الطرق الحالية (OmniZip, DASH) مع تقليل زمن الاستجابة واستهلاك الذاكرة بشكل كبير.

النتائج التجريبية

عند تقييمه على نماذج Qwen2.5-Omni (بأحجام 7B و 3B)، حقق OmniDrop ما يلي:

• مكاسب الأداء: تفوق على جميع النماذج المرجعية بنسبة تصل إلى 3.58 نقطة (تحديداً في معيار AVUT مع نموذج 7B). والجدير بالذكر أن OmniDrop عند نسبة احتفاظ بالرموز تبلغ 30%، تفوق على نموذج الـ 100% كامل الرموز في معيار VideoMME.
• المتانة: تحت الضغط الشديد (احتفاظ بنسبة 20%)، أظهر OmniDrop انخفاضاً طفيفاً في الأداء (متوسط انخفاض 0.18–0.47 نقطة) مقارنة بالنماذج المرجعية التي انخفضت بأكثر من 1.0 نقطة.
• الكفاءة: قلل زمن انتظار الـ prefill بنسبة تصل إلى 40% واستهلاك ذاكرة الـ GPU بنسبة تصل إلى 14.7% مقارنة بالاستدلال بكامل الرموز، مع الحفاظ على أداء تنافسي.
• التكيف مع المهام: أكد التحليل أن آلية التوجيه بالاستعلام تنجح في تكييف نسب الاحتفاظ بالرموز وفقاً لاحتياجات المهمة المحددة (مثل الاحتفاظ بمزيد من الصوت لمهام التعرف على الصوت والمزيد من الفيديو لمهام التعرف على المشهد).

الأهمية والادعاءات

تدعي الورقة أن OmniDrop يقدم حلاً عملياً لنماذج Omni-LLMs القابلة للتوسع والاستجابة من خلال نقل عملية تقليم الرموز جذرياً من مستوى المدخلات إلى طبقات فك التشفير. ومن خلال الاستفادة من الاستعلامات النصية كإشارة توجيه والإقرار بالطبيعة التدريجية لدمج الوسائط المتعددة، يحقق الأسلوب كفاءة وأداءً متفوقين دون الحاجة لإعادة تدريب النموذج أو تعديل بنيته.

ويقر المؤلفون بوجود بعض القيود، مشيرين إلى أن الطريقة تعتمد حالياً على المطالبات النصية (prompts) لاختيار الرموز، مما يحد من استخدامها في السيناريوهات التي تحتوي فقط على مدخلات صوتية/بصرية. بالإضافة إلى ذلك، وبما أنه إطار عمل لا يتطلب إعادة تدريب، فإن المعلمات الفائقة (hyperparameters) (مثل جداول التقليم) يتم تحديدها تجريبياً وليس عبر التعلم. ويهدف العمل المستقبلي إلى استكشاف طرق لالتقاط العلاقات الدلالية دون توجيه نصي وتحسين قرارات التقليم عبر بيانات المعايرة.