💻 computer science

DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression

تقترح الورقة البحثية إطار عمل DASH، وهو إطار عمل لا يتطلب تدريباً يقوم بضغط الرموز متعددة الأنماط بكفاءة عبر استخدام التضمينات الصوتية للكشف عن الحدود الدلالية وتقسيم رموز الفيديو ديناميكياً، مما يحافظ على المعلومات الحرجة مع تقليل تكاليف الاستدلال بشكل كبير دون التضحية بالدقة.

المؤلفون الأصليون: Bingzhou Li, Tao Huang

نُشر 2026-03-18

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bingzhou Li, Tao Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تلخيص فيلم مدته ساعتان لصديق ليس لديه سوى 10 دقائق للاستماع.

إذا استخدمت طريقة قديمة، فقد تقول: "سأقوم ببساطة بقص كل عاشر ثانية من الفيلم، بغض النظر عما يحدث".

المشكلة: قد تقطع بالخطأ اللحظة التي يُخرج فيها البطل مسدسه تمامًا (وهي فترة صمت مملة لمدة 10 ثوانٍ قبل بدء الحركة) أو تقطع نكتة مضحكة في منتصفها. سينتهي بك الأمر بتلخيص لا معنى له لأنك تجاهلت ما كان يحدث بالفعل واتبعت مجرد ساعة جامدة.

إن DASH هو طريقة جديدة وأكثر ذكاءً لتلخيص الأفلام (أو أي فيديو يحتوي على صوت) لنماذج الذكاء الاصطناعي. يعمل DASH مثل محرر ذكي يفهم القصة، بدلاً من مجرد اتباع الساعة.

إليك كيف يعمل DASH، مقسمًا إلى مفاهيم بسيطة:

1. "المرساة الصوتية" (المايسترو)

في الأفلام، يخبرك الصوت (الحوار، الموسيقى، المؤثرات الصوتية) عادةً متى تتغير المشاهد.

التشبيه: فكر في الصوت كأنه مايسترو الأوركسترا. عندما يتوقف المايسترو عن التلويح بعصاه أو يغير الإيقاع، فإن الموسيقيين (الفيديو) عادة ما يغيرون أيضًا ما يعزفونه.
كيف يستخدمه DASH: بدلاً من النظر إلى إطارات الفيديو بشكل أعمى، يستمع DASH إلى الصوت أولاً. إنه ينتظر "المايسترو" ليعطي إشارة تغيير (مثل توقف في الكلام أو تغير في الموضوع). هذه الإشارات تخبر DASH بالضبط أين ينتهي "مشهد" ما وأين يبدأ المشهد التالي.

2. التقطيع الديناميكي (القص حسب القصة، وليس حسب الوقت)

الطرق القديمة تقطع الفيديوهات إلى كتل متساوية الحجم (مثل تقطيع رغيف خبز إلى قطع متطابقة بطول بوصة واحدة).

التشبيه: تخيل تقطيع رغيف خبز حيث تكون بعض الشرائح مجرد قشرة (صمت ممل) بينما تكون شرائح أخرى هي القلب اللذيذ والكثيف (حركة مثيرة). إذا قطعت جميع الشرائح بالتساوي، فستضيع وقتًا في القشرة وتفقد الأشياء الجيدة.
كيف يستخدمه DASH: يقوم DASH بتقطيع الفيديو إلى كتل متغيرة الحجم بناءً على القصة.
- إذا كان الشخصيات في جدال طويل وممل، يقوم DASH بعمل كتلة كبيرة ويلخصها بسرعة.
- إذا بدأت مطاردة سيارات أو دخلت شخصية جديدة، يقوم DASH بعمل كتلة صغيرة ومفصلة لضمان أن يرى الذكاء الاصطناعي كل التفاصيل المهمة.

3. "نظام الإنذار الثلاثي" (اتخاذ القرار بشأن ما يجب الاحتفاظ به)

بمجرد أن يقوم DASH بتقطيع الفيديو إلى كتل قائمة على القصة، فإنه يحتاج إلى تحديد أي الإطارات (frames) المحددة يجب الاحتفاظ بها وأيها يجب التخلص منها. الطرق القديمة كانت تنظر إلى شيء واحد فقط: "أي إطار لفت انتباه الذكاء الاصطناعي أكثر؟"

المشكلة: أحيانًا يتشتت انتباه الذكاء الاصطناعي بلون ساطع أو جسم عشوائي ويتجاهل الحبكة الفعلية. إذا احتفظت فقط بما "ينظر إليه" الذكاء الاصطناعي، فقد تفوت الحبكة.
كيف يستخدمه DASH: يستخدم DASH نظام إنذار ثلاثي لاختيار أفضل الإطارات:
1. إنذار الحدود: "هل هذا بداية مشهد جديد؟" (احتفظ به! إنه ضروري للسياق).
2. إنذار التفرد: "هل هذا الإطار مختلف تمامًا عن الإطارات التي سبقته؟" (احتفظ به! إنه يضيف معلومات جديدة).
3. إنذار الانتباه: "هل ينظر الذكاء الاصطناعي إلى هذا بالفعل؟" (احتفظ به، ولكن لا تعتمد عليه وحده).

من خلال الجمع بين هذه الثلاثة، يضمن DASH عدم التخلص من نقطة حبكة حاسمة لمجرد أن الذكاء الاصطناعي تشتت انتباهه للحظة.

لماذا يهم هذا؟

السرعة: نظرًا لأن DASH ذكي جدًا فيما يتعلق بما يتم قصه، فإنه يستطيع التخلص من 75% من بيانات الفيديو (الاحتفاظ بـ 25% فقط) ومع ذلك يفهم الفيلم بشكل مثالي.
الكفاءة: هذا يجعل نماذج الذكاء الاصطناعي تعمل أسرع بـ 3.5 مرة وتستهلك ذاكرة أقل بكثير.
نتائج أذكى: هو لا يوفر الوقت فحسب؛ بل إنه يفهم الفيديو بشكل أفضل من الطرق القديمة لأنه يحترم التدفق الطبيعي للقصة.

باختصار: يتوقف DASH عن معاملة الفيديوهات كتدفق لا نهائي من البكسلات العشوائية. بدلاً من ذلك، يعاملها كقصة، مستخدمًا الصوت لإيجاد الفصول، ثم يختار بعناية الصفحات الأكثر أهمية للقراءة، مما يوفر الوقت دون أن يفقد جوهر القصة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DASH: التقسيم الدلالي الديناميكي المدفوع بالصوت لضغط الرموز الفعال متعدد الوسائط (Omnimodal)."

1. بيان المشكلة

تدمج نماذج اللغات الكبيرة متعددة الوسائط (OmniLLMs) التدفقات الصوتية والبصرية لأداء مهام معقدة مثل الإجابة على الأسئلة المتعلقة بالفيديو. ومع ذلك، فإن معالجة هذه التدفقات تولد تسلسلات ضخمة من الرموز (Tokens) تصل إلى عشرات الآلاف، مما يؤدي إلى تكاليف حوسبة باهظة بسبب التعقيد التربيعي لآليات الانتباه الذاتي (Self-attention).

محددات الطرق الحالية:
تعامل تقنيات ضغط الرموز الحالية (مثل التجميع بنوافذ ثابتة، أو التقليم القائم على الانتباه) الرموز متعددة الوسائط كأنها تسلسلات مسطحة ومنتظمة البنية. وهي تعتمد على:

النوافذ الثابتة: تجميع الرموز في أجزاء (Chunks) متساوية الحجم وصلبة بغض النظر عن المحتوى الدلالي.
الاختيار أحادي الإشارة: الاعتماد بشكل أساسي على درجات الانتباه، والتي غالبًا ما تكون متفرقة وذات ذيول ثقيلة (Heavy-tailed).

المشكلة الجوهرية: تتجاهل هذه الطرق البنية المتماسكة جزئيًا (Piecewise-coherent structure) للإشارات السمعية والبصرية. فالتغيرات الدلالية (مثل التحولات في الموضوع أو تغير المتحدث أو قطع المشاهد) غالبًا ما تتزامن مع تحولات توزيعية في فضاء التضمين (Embedding space). إن التقليم العنيف بناءً على نوافذ ثابتة أو شظايا انتباه متفرقة يؤدي إلى تفتيت هذه الوحدات الدلالية، مما يسبب فقدانًا غير متناسب للمعلومات ويؤدي إلى تدهور أداء النموذج، خاصة عند نسب الضغط العالية.

2. المنهجية: إطار عمل DASH

يقترح المؤلفون DASH (التقسيم الدلالي الديناميكي المدفوع بالصوت)، وهو إطار عمل لا يتطلب تدريبًا (Training-free)، يعمل على مواءمة ضغط الرموز مع البنية الدلالية الجوهرية للبيانات. ويعمل كإضافة خفيفة الوزن بين مشفرات الوسائط ونموذج اللغة الكبير (LLM).

يتكون إطار العمل من ثلاث مراحل رئيسية:

أ. التقسيم الدلالي الديناميكي (على مستوى الجزء - Segment-level)

بدلاً من النوافذ الثمايتة، يستخدم DASH التدفق الصوتي كمرساة دلالية (Semantic anchor) لاكتشاف الحدود.

الآلية: يقوم بحساب تشابه جيب التمام (Cosine similarity) بين تضمينات الصوت المتجاورة. يشير الهبوط الحاد في التشابه إلى عدم استمرارية دلالية (مثل التوقف أو تغير الموضوع).
اكتشاف الحدود: يتم اكتشاف الحد إذا انخفض التشابه عن عتبة معينة ( $\tau_a$ ) وتجاوزت المسافة من آخر حد حجم الجزء الأدنى ( $C_{min}$ ) لتجنب التفتت الناتج عن الضجيج.
النتيجة: يؤدي هذا إلى إنشاء أجزاء صوتية متغيرة الطول تحترم الوحدات النطقية والدلالية الطبيعية.

ب. التجزئة البصرية المدفوعة بالصوت (على مستوى التفاعل بين الوسائط - Cross-Modal Level)

لضمان المواءمة عبر الوسائط دون معاملات قابلة للتعلم، يتم إسقاط حدود الصوت على رموز الفيديو.

رسم خرائط النسبة الزمنية: يتم تغيير حجم حدود الصوت خطيًا إلى مؤشرات رموز الفيديو بناءً على النسبة بين إجمالي رموز الصوت وإجمالي رموز الفيديو.
التحسين القائم على القوة: يتم تحسين الحدود المسقطة باستخدام استراتيجية جشعة (Greedy strategy). تُقبل الحدود فقط إذا كانت تؤدي إلى أجزاء فيديو كبيرة بما يكفي لعملية الضغط المكاني-الزماني اللاحقة (لضمان حد أدنى من إطارين). كما تُعطى الأولوية للحدود الأقوى (التي تسجل هبوطًا أكبر في تشابه الصوت).
النتيجة: يتم تقسيم كل من الصوت والفيديو إلى أجزاء مشتركة ومتماسكة دلاليًا.

ج. دمج الإشارات الثلاث لتقييم الرموز (على مستوى الرمز - Token-level)

داخل كل جزء ديناميكي، يختار DASH الرموز التي سيحتفظ بها باستخدام درجة دمج (Fused importance score)، لمعالجة مشكلة التشتت في الطرق التي تعتمد على الانتباه فقط. تتكون الدرجة من مجموع موزون لثلاث إشارات متعامدة:

احتمالية الحدود ( $w_b=0.4$ ): تعطي الأولوية للرموز عند نقاط التحول الدلالي (الأهمية الهيكلية).
التفرد القائم على الكثافة الاحتمالية ( $w_u=0.3$ ): يقيس التميز التمثيلي باستخدام نواة غاوسية متعددة المقاييس على قنوات الميزات ذات التباين المنخفض. وهذا يلتقط التفرد في المحتوى الذي قد يغفله الانتباه.
درجة الانتباه ( $w_a=0.3$ ): تعكس الأهمية التي يدركها النموذج.

الضغط التكيفي: يتم تعديل نسبة الاحتفاظ لكل جزء بناءً على معدل الاحتفاظ الصوتي. فالأجزاء الغنية بالمعلومات (التي لديها معدل احتفاظ صوتي عالٍ) تحتفظ بمزيد من رموز الفيديو، بينما يتم ضغط الأجزاء الشحيحة بشكل أكثر عدوانية. بالإضافة إلى ذلك، تتلقى الإطارات الموجودة عند الحدود الدلالية "دفعة حماية" للحفاظ على المرتكزات البصرية للتحولات السردية.

3. المساهمات الرئيسية

الصياغة الواعية بالبنية: تعيد الورقة صياغة ضغط الرموز كمسألة تقسيم واعية بالبنية، مجادلة بأن الضغط يجب أن يتبع الحدود الدلالية بدلاً من الانتظام الموضعي.
إطار عمل لا يتطلب تدريبًا: يقدم DASH طريقة مبتكرة وخالية من المعاملات (Parameter-free) تستخدم تضمينات الصوت لاكتشاف الانقطاعات الدلالية ونشرها عبر الوسائط لتحقيق مواءمة صريحة بين الوسائط.
دمج الإشارات الثلاث: يقترح آلية تقييم قوية تدمج الإشارات الهيكلية، والمحتوى، والانتباه، مما يخفف من تحيز التشتت في الاختيار القائم على الانتباه فقط ويحافظ على الرموز الحرجة للتحولات.

4. النتائج التجريبية

أُجريت التجارب على معايير AVUT و VideoMME و WorldSense باستخدام نموذج Qwen2.5-Omni (بنسختي 7B و 3B).

الدقة مقابل الضغط:
- يحقق DASH دقة متفوقة عند مستويات أقل بكثير من الاحتفاظ بالرموز مقارنة بالطرق الرائدة الأخرى.
- عند نسبة احتفاظ بالرموز تبلغ 25%، يضاهي DASH أو يتفوق في الأداء على الطرق السابقة (مثل OmniZip) التي تعمل عند نسبة احتفاظ 35%.
- في اختبار WorldSense، حقق DASH (عند احتفاظ 25%) دقة قدرها 44.9% على نموذج 7B، متفوقًا على OmniZip (الذي حقق 44.7% عند احتفاظ 35%) مع استخدام 30% أقل من عمليات الحساب (FLOPs).
مكاسب الكفاءة:
- تسريع مرحلة التجهيز (Prefill Speedup): يحقق DASH تسريعًا يصل إلى 3.8× في مرحلة التجهيز، وانخفاضًا بمقدار 1.7× في زمن الاستجابة النهائي (End-to-end latency) مقارنة بالاستدلال بالرموز الكاملة.
- العبء الحسابي (Overhead): تضيف آليات اكتشاف الحدود والتقييم عبئًا حسابيًا ضئيلًا (أقل من 40 مللي ثانية).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة التقسيم الديناميكي أو دمج الإشارات الثلاث بشكل منفصل إلى تدهور الأداء، مما يؤكد أن كلاً من التقسيم الهيكلي وتقييم الإشارات المتعددة ضروريان ومتكاملان.
- ثبت أن تشابه جيب التمام (Cosine similarity) هو المقياس الأكثر فعالية لاكتشاف الحدود مقارنة بالضرب النقطي (Dot product) أو معدل التغيير.

5. الأهمية

يمثل DASH تحولًا جذريًا في ضغط الرموز متعدد الوسائط. فمن خلال إدراك أن الإشارات السمعية والبصرية تمتلك بنية دلالية مجزأة وجوهرية، ينتقل DASH بعيدًا عن القواعد الموضعية الجامدة.

الكفاءة: يتيح تقليل الرموز بشكل عدواني (حتى 25%) دون التضحية بالاستمرارية السردية أو التماسك بين الوسائط، مما يجعل الاستدلال الفوري لنماذج OmniLLM ممكنًا على الأجهزة ذات الموارد المحدودة.
القابلية للتعميم: كإضافة لا تتطلب تدريبًا، يمكن تطبيق DASH على مختلف بنيات OmniLLM دون الحاجة لإعادة التدريب، مما يوفر حلاً عمليًا لنشر النماذج متعددة الوسائط الكبيرة في التطبيقات التي تتطلب استجابة سريعة.