🤖 AI

PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

تقدم هذه الورقة البحثية طريقة "تنعيم الطور المتجمع" (PAS)، وهي طريقة لا تتطلب تدريباً تعمل على تثبيت الترميز الزمني في النماذج اللغوية الكبيرة للفيديو عبر تطبيق إزاحات طور متضادة عبر رؤوس الانتباه لتنعيم التموجات الناتجة عن التردد في تضمينات الموضع الدوارة، مما يعزز المتانة تجاه تحولات توقيت الإطارات مع تكلفة حسابية ضئيلة للغاية.

المؤلفون الأصليون: Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Hang Wu, Yiwei Wang

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Hang Wu, Yiwei Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "PAS: مثبت خالي من التدريب للترميز الزمني في نماذج الفيديو اللغوية الكبيرة (Video LLMs)"، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة: تأثير "المصباح اليدوي المتذبذب"

تخيل أنك تحاول مشاهدة فيلم، لكن جهاز العرض (البروجيكتور) معطل. فبدلاً من عرض فيلم مستمر وسلس، يقوم بومض الإطارات (frames) تشغيلًا وإطفاءً بنمط إيقاعي غريب.

الإطارات الجيدة: أحياناً يسقط الضوء على الشاشة بشكل مثالي، فترى الحركة بوضوح.
الإطارات السيئة: في أحيان أخرى، ينخفض الضوء إلى "ظل" (منخفض الكسب/Gain). حتى لو حدثت لحظة حاسمة (مثل طيران طائر)، فإن الجهاز يخفت الضوء عنها بشدة لدرجة تجعل عقلك (الذكاء الاصطناعي) يظن: "أوه، هذا الإطار ليس مهماً"، فيتجاهله.

هذا ما يحدث لنماذج Video LLMs (نماذج الذكاء الاصطناعي التي تفهم الفيديو) الحالية. فهي تستخدم أداة رياضية تسمى RoPE (ترميز الموضع الدوار) لفهم متى تحدث الأشياء في الفيديو. وقد اكتشف المؤلفون أن هذه الأداة تخلق "تأثير تموج" في الزمن.

بسبب هذه التموجات، إذا قمت بإزاحة الفيديو بجزء ضئيل جداً من الثانية (أو غيرت معدل الإطارات قليلاً)، فقد يقرر الذكاء الاصطناعي فجأة أن إطاراً رئيسياً غير مرئي. الأمر يشبه محاولة الإمساك بكرة بينما الأرض تحت قدميك تهتز؛ أحياناً تمسك بها، وأحياناً تفشل، ليس بسبب الكرة، بل بسبب اهتزاز الأرض.

الحل: PAS (تنعيم تجميع الطور - Phase Aggregated Smoothing)

ابتكر المؤلفون حلاً يسمى PAS. فكر فيه كأنه "سماعات إلغاء الضجيج" لحاسة الزمن لدى الذكاء الاصطناعي.

إليك كيف يعمل، باستخدام تشبيه الجوقة الموسيقية (Choir):

تخيل أن لدى الذكاء الاصطناعي العديد من "الرؤوس" (تخيلها كمنشدين مختلفين في جوقة موسيقية)، وجميعهم يحاولون غناء نفس الأغنية (تحليل الفيديو).

الطريقة القديمة: يبدأ كل منشد بالضبط عند نفس النبضة (Beat). إذا تعثر المايسترو (الخط الزمني للفيديو)، ستتعثر الجوقة بأكملها معاً.
طريقة PAS: يطلب المايسترو من المنشدين البدء في أوقات مختلفة قليلاً.
- المنشد (أ) يبدأ تماماً عند الساعة 0:00.
- المنشد (ب) يبدأ عند الساعة 0:01.
- المنشد (ج) يبدأ عند الساعة 0:02.

الآن، عندما تضرب "التموجات" (خلل التوقيت)، قد تجعل المنشد (أ) يتعثر. ولكن لأن المنشدين (ب) و(ج) بدآ بعده بكسر من الثانية، فهما يصيبان جزءاً مختلفاً من التموج. وعندما يجمع (يدمج) الذكاء الاصطناعي أصواتهم جميعاً، فإن التعثرات تلغي بعضها البعض. والنتيبة هي أغنية سلسة ومستقرة.

لماذا هذا الأمر مميز؟

إنه "خالٍ من التدريب" (Training-Free): عادةً، لإصلاح نموذج ذكاء اصطناعي، عليك تغذيته بآلاف الساعات من الفيديو وإعادة تعليمه كل شيء (مثل العودة إلى المدرسة). لكن PAS لا يفعل ذلك. إنه ترقية جاهزة للتشغيل (Plug-and-play). أنت فقط تقوم بتثبيته، وسيعمل فوراً. إنه يشبه وضع مثبت لاهتزاز الكاميرا دون الحاجة لإعادة بناء الكاميرا نفسها.
إنه رخيص: لا يضيف أي عمل إضافي تقريباً للحاسوب. إنه يشبه إضافة مرشح (فلتر) صغير لعدسة؛ الصورة تصبح أفضل، لكن الكاميرا لا تصبح أثقل أو أبطأ.
إنه لا يغير "الحقيقة": أثبت المؤلفون رياضياً أنه بينما يبدأ المنشدون (الرؤوس) في أوقات مختلفة، إلا أنهم جميعاً يسمعون نفس النغمات تماماً. هم لا يغيرون ما يراه الذكاء الاصطناعي، بل يغيرون فقط كيفية متوسط حساب التوقيت لجعله أكثر استقراراً.

النتائج

اختبر الفريق هذا الحل في تسعة تحديات مختلفة للفيديو (مثل التعرف على الأفعال، فهم القصص الطويلة، أو رصد الأشياء).

النتيجة: أصبح الذكأ الاصطناعي أكثر اتساقاً. توقف عن تفويت اللحظات المهمة لمجرد أن الفيديو تم أخذ عينات منه (Sampling) بشكل مختلف قليلاً.
الملاحظة: يعمل هذا الإصلاح بشكل أفضل عندما يكون الفيديو "متفرقاً" (Sparse) (أي عدد إطارات أقل في الثانية الواحدة). إذا كان الفيديو بالفعل سلساً للغاية وعالي الجودة، فإن الإصلاح يساعد بشكل أقل، لأنه لم يكن هناك الكثير من الاهتزاز من الأساس.

ملخص في جملة واحدة

PAS هو خدعة برمجية ذكية ومجانية تعمل على تثبيت استقرار ذكاء الفيديو الاصطناعي عبر جعل أجزاء مختلفة من النموذج "تنظر" إلى الفيديو في أوقات مختلفة قليلاً ثم تقوم بمتوسط إجاباتها، مما يؤدي فعلياً إلى تنعيم الرياضيات المتذبذبة التي تتسبب عادةً في تفويت الذكاء الاصطناعي للحظات المهمة.

1. بيان المشكلة: عدم الاستقرار الزمني في نماذج الفيديو اللغوية الكبيرة (Video LLMs)

تعاني نماذج الفيديو اللغوية الكبيرة (Video LLMs) غالبًا من عدم الاتساق الزمني، حيث تؤدي التغييرات الطفيفة في توقيت الإطارات أو إزاحات أخذ العينات إلى تقلبات كبيرة في انتباه النموذج ودقة النتائج النهائية.

السبب الجذري: يعزو المؤلفون هذا عدم الاستقرار إلى تمديد تضمينات الموضع الدورانية (RoPE) إلى الفيديو عبر نظام M-RoPE. يقوم M-RoPE بتعيين مجموعة محدودة من الترددات الزمنية لترميز الوقت.
آلية الفشل:
- يحلل المؤلفون M-RoPE من خلال منظور فوريه (Fourier perspective). وقد أثبتوا أن "لوجيت" الانتباه (attention logit) لفارق زمني نسبي $\Delta t$ يمكن تقريبه كحاصل ضرب محتوى المحتوى (content dot product) في نواة تعديل زمنية (time-domain kernel) $m(\Delta t)$ ، وهي تحويل فوريه العكسي (IFT) لطيف تردد RoPE.
- نظرًا لأن الطيف يتكون من خطوط ترددية منفصلة، فإن النواة الزمنية $m(\Delta t)$ الناتجة تكون متعرجة جوهريًا (تذبذبية) عند مقياس الإطار.
- النتيجة: التغييرات الصغيرة في توقيت الإطار (الفارق الزمني) تجعل النموذج يأخذ عينات من نقاط مختلفة على هذه الموجة المتعرجة. يؤدي هذا إلى "تقلبات في الكسب" (gain swings) حيث تقع الإطارات ذات الصلة في فجوات منخفضة الكسب (مما يقلل الانتباه) أو في قمم عالية الكسب، مما يجعل النموذج حساسًا للغاية لإزاحات أخذ العينات ومعدلات الإطارات.

2. المنهجية: التنعيم المجمع للطور (Phase Aggregated Smoothing - PAS)

يقترح المؤلفون التنعيم المجمع للطور (PAS)، وهو إضافة جاهزة للاستخدام (plug-in) تعمل وقت الاستنتاج دون الحاجة لتدريب، مصممة لتنعيم نواة التعديل الزمنية دون تغيير هيكل ترميز الموضع الأساسي أو طلب إعادة التدريب.

المفهوم الجوهري

يستفيد PAS من خاصية أن الإزاحة الزمنية في المجال الزمني تقابل دوران طور (phase rotation) في مجال التردد، مع بقاء مقدار الطيف (spectrum magnitude) دون تغيير.

إزاحات الطور: تعين الطريقة إزاحات طور زمنية صغيرة ومتعاكسة ( $\delta_h$ ) لرؤوس الانتباه المختلفة. وتحديدًا، يتم تطبيق هذه الإزاحات فقط على تدفق الاستعلام (Query - Q).
تجميع الرؤوس: يلاحظ كل رأس نفس الرموز المدمجة للإطارات، ولكنه يأخذ عينات من نواة التعديل الزمنية $m(\Delta t)$ عند إزاحات زمنية مختلفة قليلاً.
تأثير التنعيم: عندما يقوم النموذج بتجميع مخرجات هذه الرؤوس، فإنه يقوم فعليًا بعملية متوسط متحرك محكوم للنواة المتعرجة. يعمل هذا على تخفيف التعرجات عالية التردد لـ $m(\Delta t)$ مع الحفاظ على الاتجاه منخفض التردد.

تفاصيل التنفيذ

المدخلات: تسلسلات الفيديو المرمزة.
العملية: لكل رأس انتباه $h$ ، يتم تطبيق عامل الطور $\Gamma_{\delta_h}$ على متجه الاستعلام $Q_h$ .
القيود:
- تُطبق الإزاحات على رموز الفيديو فقط (وليس النصوص).
- الإزاحات صغيرة (على سبيل المثال 0.5 وحدة bin) لضمان الحفاظ على الترتيب الزمني للإطارات عبر الرؤوس.
- الطريقة متوافقة مع الانتباه متعدد الرؤوس (MHA) والانتباه بنظام الاستعلام المجموع (GQA).
التكلفة الحسابية: ضئيلة للغاية. فهي تضيف فقط تحويلًا خطيًا للأبعاد الزمنية لنصف الأبعاد في الاستعلام، مما ينتج عنه نسبة تكلفة إضافية تبلغ $\approx p_t S_v / S^2$ ، وهي غير قابلة للتمييز إحصائيًا عن النموذج الأساسي في اختبارات الإنتاجية.

3. الأسس النظرية

تقدم الورقة ثلاث مبرهنات لتبرير النهج:

المبرهنة 1 (تقريب تعديل الطور): تصيغ رسميًا أن "لوجيت" RoME المدار هو حاصل ضرب المحتوى في الجزء الحقيقي من نواة تحويل فوريه العكسي $m(\Delta t)$ .
المبرهنة 2 (الـ IFT الناعم $\Leftarrow$ انتباه مستقر طوريًا): تثبت أنه إذا كانت نواة IFT أكثر نعومة (ثابت ليبشيتز أقل)، فإن "لوجيت" الانتباه يتغير خطيًا مع الاضطرابات الزمنية الصغيرة. تنعيم النواة يقلل الحساسية تجاه اضطراب التوقيت.
المبرهنة 3 (المتوسط متعدد الأطوار): توضح أن تجميع الرؤوس ذات الإزاحات الطورية الصغيرة والمتعاكسة يقلل رياضياً من التباين الزمني المحلي (التعرجات) لنواة التعديل الفعالة.
المبرهنة 4 (الثبات الطيفي): تثبت أنه تحت أخذ عينات صالح وفق معيار نايكويست (Nyquist-valid)، فإن تطبيق إزاحة زمنية على رأس ما يؤدي فقط إلى تدوير طور الطيف المستعاد، مما يترك المقدار (المعلومات المرمزة) ثابتًا. وبالتالي، فإن PAS يغير كيفية أخذ عينات التعديل، وليس ما يتم ترميزه.

4. النتائج التجريبية

قيم المؤلفون PAS على تسعة اختبارات مرجعية (benchmarks) تغطي التعرف على الأفعال وفهم الفيديو العام، باستخدام ميزانية رموز متطابقة (دون زيادة في الحمل الحسابي).

مجموعات البيانات: 20BN-Jester, Something-Something V2, Kinetics-700, Breakfast Actions, MVBench, TempCompass, PerceptionTest, EgoSchema, و MMBench-Video.
النماذج المرجعية: تمت المقارنة مع النموذج الأساسي (Qwen2.5-VL-7B) وطرق أخرى لا تتطلب تدريبًا مثل SlowFast-LLaVA و TS-LLAVA.
النتائج الرئيسية:
- مكاسب مستمرة: حقق PAS تحسنات مستمرة عبر جميع الاختبارات المرجعية، وحقق أفضل نتائج للنموذج المنفرد في 20BN-Jester و Kinetics-700.
- التراكم (Stacking): يمكن دمج PAS مع طرق أخرى (مثل SlowFast-LLaVA + PAS)، مما يؤدي إلى مزيد من التحسينات.
- متانة المعاملات (Parameter Robustness): الطريقة متينة تجاه خيارات المعاملات الفائقة (hyperparameters). الإعداد البسيط بوجود مجموعتين $K=2$ مع إزاحة قدرها $\Delta \approx 0.5$ وحدة bin يعمل بشكل جيد عبر مجموعات بيانات متنوعة.
- الحساسية لمعدل أخذ العينات:
  - أخذ العينات المتناثر (Sparse Sampling): يحقق PAS أكبر المكاسب عندما يكون أخذ العينات متناثرًا (FPS منخفض)، حيث تكون "التعرجات" في النواة أكثر وضوحًا.
  - أخذ العينات الكثيف (Dense Sampling): مع زيادة نسبة أخذ العينات (بالاقتراب من نايكويست)، يصبح النموذج الأساسي ناعمًا بشكل طبيعي، وتتضاءل الفائدة النسبية لـ PAS، مما يتماشى مع التوقعات النظرية.
  - تحت مستوى نايكويست (Sub-Nyquist): في مجموعات البيانات ذات أخذ العينات الناقص (مثل Breakfast Actions)، تكون المكاسب أصغر ولكنها لا تزال موجودة، وإن كانت محدودة بتأثيرات التعرج (aliasing).

5. الأهمية والمساهمات

التشخيص: تقدم الورقة تشخيصًا صارمًا قائمًا على فوريه لسبب فشل RoPE القياسي في سياقات الفيديو ذات الزمن المستمر، حيث حددت "النواة المتعرجة" كمصدر لعدم الاستقرار.
حل لا يتطلب تدريبًا: يقدم PAS ترقية "وصل وشغل" (plug-and-play) لا تتطلب إعادة تدريب، ولا تحديثات للمعاملات، ولا تحملًا حسابيًا يذكر.
المتانة: يعزز PAS بشكل كبير من متانة نماذج الفيديو اللغوية الكبيرة تجاه تغيرات معدل الإطارات وإزاحات أخذ العينات، وهو مطلب حاسم للنشر في العالم الحقيقي حيث تختلف جودة الفيديو المدخل.
ضمان نظري: يجسّر هذا العمل الفجوة بين نظرية معالجة الإشارات (تحليل فوريه، أخذ عينات نايكويست) وتصميم بنية التعلم العميق، مما يثبت أن تنعيم نواة التعديل يستقر عملية الانتباه دون فقدان المحتوى الدلالي.

باختصار، يحول PAS الترميز الزمني في نماذج الفيديو اللغوية الكبيرة من آلية هشة وحساسة للطور إلى عملية سلسة ومتينة، مما يتيح فهمًا أكثر موثوقية للفيديو تحت ظروف أخذ عينات متنوعة.