💬 NLP

DemaFormer: Damped Exponential Moving Average Transformer with Energy-Based Modeling for Temporal Language Grounding

تقدم الورقة البحثية DemaFormer، وهي بنية جديدة قائمة على الـ Transformer تجمع بين إطار عمل للنمذجة القائمة على الطاقة وآلية متوسط متحرك أسي مخمد لتعلم توزيعات استعلام اللحظة بفعالية والتفوق على الأساليب الرائدة في مهام التأسيس اللغوي الزمني.

المؤلفون الأصليون: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فيديو ضخمًا مدته ساعة كاملة لإجازة عائلية، وسألك أحدهم أن تجد المقطع المحدد الذي تبلغ مدته 10 ثوانٍ حيث "المرأة التي ترتدي نظارات شمسية تعبر جسراً صغيراً ملوناً". هذه هي مهمة التوجيه اللغوي الزمني (Temporal Language Grounding): العثور على اللحظة المحددة في الفيديو التي تطابق جملة معينة.

يجادل مؤلفو هذه الورقة البحثية، ثونج نغوين وفريقه، بأن أفضل الأدوات الحالية للقيام بذلك تشبه أمين مكتبة مشوش. فهم ينظرون إلى الفيديو والجملة، لكنهم غالباً ما يخطئون في فهم "الجو العام"، حيث يخلطون بين مشهد الجسر ومشهد عشوائي لشجرة قريبة.

لإصلاح ذلك، قاموا ببناء نظام جديد يسمى DemaFormer. وإليك كيف يعمل، مشروحاً من خلال تشبيهات بسيطة:

1. المشكلة: البحث "المضبب"

تخيل الفيديو كأنه صف طويل من الناس ينتظرون في طابور. "الهدف" هو الشخص الذي تبحث عنه.

الطرق القديمة: استخدمت نماذج الذكاء الاصطناعي السابقة آلية "انتباه" (attention) قياسية. تخيل أن الذكاء الاصطناعي يحاول اختيار الشخص المناسب من خلال النظر إلى الجميع في وقت واحد. المشكلة هي أنه غالباً ما يتشتت انتباهه. الشخص الذي تريده (المرأة على الجسر) يبدو مشابهاً جداً للأشخاص الواقفين بجانبها مباشرة (اللحظات المتبقية). في بيانات الورقة البحثية، تختلط هذه المشاهد المختلفة مع بعضها البعض، مما يجعل من الصادف فصل الهدف عن الضوضاء المحيطة.

2. الحل: القوتان الخارقتان لـ DemaFormer

منح المؤلفون نموذجهم الجديد خدعتين خاصتين لحل هذه الفوضى.

الخدعة (أ): الذاكرة "المخمدة" (DEMA)

تخيل أنك تسير في ممر وتحاول تذكر ما رأيته.

الذكاء الاصطناعي القياسي: ينظر إلى الغرفة الحالية، ثم الغرفة التالية، ويعاملهما كلقطات منفصلة تماماً. إنه لا يدرك أن الممر يربط بينهما.
DemaFormer: يستخدم ما يسمى المتوسط المتحرك الأسي المخمد (Damped Exponential Moving Average - DEMA). فكر في هذا كـ "ذاكرة ذكية" تتذكر الغرفة الحالية ولكنها تحمل أيضاً بلطف جزءاً من المعلومات من الغرفة السابقة والغرفة التالية.
عامل "التخميد": هذا هو السر. إنه يشبه مقبض التحكم في مستوى الصوت. يتعلم النموذج بالضبط مقدار "معلومات الجوار" التي يجب استعارتها. إذا استعار الكثير، ستندمج المشاهد معاً؛ وإذا استعار القليل، سيفقد السياق. مقبض "التخميد" يسمح للنموذج بضبط هذا التوازن بشكل مثالي بحيث يعرف: "حسناً، مشهد الجسر هذا مرتبط بمشهد النهر، لكنه لا يزال متميزاً عنه".

الخدعة (ب): مرشح "الطاقة" (النمذجة القائمة على الطاقة)

الآن، تخيل أن على الذكاء الاصطناعي أن يقرر أي مقاطع الفيديو هي "مطابقة جيدة" وأيها "مطابقة سيئة".

الطريقة القديمة: يحاول فقط تخمين الإجابة الصحيحة بناءً على الأنماط التي رآها من قبل.
الطريقة الجديدة (EBM): يعامل المؤلفون هذا الأمر كتجربة فيزياء تعتمد على الطاقة.
- طاقة منخفضة = مطابقة جيدة: فكر في كرة تتدحرج نحو وادٍ عميق. كلما كان الوادي أعمق، كانت الكرة أكثر استقراراً. يريد النموذج أن تكون لحظات الفيديو الصحيحة في "وادٍ عميق" (طاقة منخفضة).
- طاقة عالية = مطابقة سيئة: فكر في كرة مستقرة فوق قمة جبل مهتزة. إنها غير مستقرة. يريد النموذج أن تكون اللحظات الخاطئة على "قمم عالية" (طاقة عالية).
التدريب: لتعليم النموذج، يستخدمون عملية رياضية تسمى ديناميكيات لانجفان (Langevin Dynamics). تخيل هز صندوق من الكرات الزجاجية. في البداية، تكون الكرات (مقاطع الفيديو) مختلطة ببعضها البعض. ومع استمرار النموذج في "الهز" (التدريب)، فإنه يدفع الكرات الخاطئة (المطابقات السيئة) إلى القمم العالية غير المستقرة، ويترك الكرات الصحيحة (المطابقات الجيدة) تتدحرج إلى الوديان العميقة والآمنة. هذا يجبر النموذج على فصل مشهد "الجسر" بوضوح عن كل شيء آخر.

3. النتائج: تركيز أكثر حدة

اختبر الفريق DemaFormer على أربع مجموعات بيانات مختلفة للفيديو (مثل فيديوهات اليوميات، مقاطع الأخبار، وملخصات الرياضة).

الدليل البصري: في رسومات الورقة البحثية (الشكل 1)، يظهرون خريطة لكيفية "رؤية" الذكاء الاصطناعي للفيديو.
- النماذج القديمة (UMT): النقاط التي تمثل مشهد "الجسر" ومشهد "الشجرة" مختلطة كلها في سحابة كبيرة وفوضوية.
- DemaFormer: تشكل نقاط "الجسر" عنقوداً متماسكاً ومرتباً، ومنفصلاً تماماً عن نقاط "الشجرة". الأمر يشبه أن الذكاء الاصطناعي قد ارتدى نظارات أخيراً وأصبح بإمكانه رؤية الفرق بوضوح.
النتيجة: تفوق DemaFormer على النماذج الأفضل سابقاً (مثل UMT و Moment-DETR) بشكل كبير. لقد كان أفضل في تحديد أوقات البداية والنهاية الدقيقة لمقطع الفيديو، وكان أفضل في ترتيب المقطع الصحيح كخيار رقم 1.

الملخص

باختصار، DemaFormer هو محرك بحث فيديو يقوم بـ:

تذكر السياق بشكل أفضل من خلال دمج المعلومات بلطف من اللحظات المجاورة (DEMA).
تعلم فصل الإشارة عن الضوضاء من خلال دفع الإجابات الخاطئة إلى مناطق "الطاقة العالية" (غير المستقرة) وجذب الإجابات الصحيحة إلى مناطق "الطاقة المنخفضة" (المستقرة) (النمذجة القائمة على الطاقة).

النتيجة هي نظام يمكنه العثور على "المرأة التي تعبر الجسر" بدقة أكبر بكثير من ذي قبل، دون أن يتشتت بانتباهه بسبب المناظر الطبيوية المحيطة بها.

ملخص تقني: DemaFormer

بيان المشكلة

تتمثل مهمة التوطين اللغوي الزمني (TLG) في تحديد لحظات فيديو محددة تتوافق دلاليًا مع استعلام لغة طبيعية. وبينما تستخدم النهج الحديثة آليات الانتباه القائمة على المحولات (Transformer) لتعلم العلاقات بين لحظات الفيديو واستعلامات النصوص، يجادل البحث بأن الانتباه "الساذج" غالبًا ما يكون غير كافٍ. وتحديدًا، تفتقر آليات الانتباه القياسية إلى المعرفة المسبقة بالعناصر المدخلة، حيث تفشل في الاستفادة من حقيقة أن لحظات الفيديو في الجوارات الزمنية تظهر ميزات مترابطة وثيقة. يؤدي هذا القصور إلى نمذجة غير فعالة للعلاقة المشتركة بين اللحظة والاستعلام، حيث يصبح من الصعب التمييز بين اللحظات المستهدفة واللحظات غير المستهدفة في فضاء التمثيل (كما هو موضح في تصورات t-SNE التي تظهر توزيعات مختلطة).

المنهجية

يقترح المؤلفون DemaFormer، وهو بنية مبتكرة تعتمد على المحولات (Transformer) تدمج ابتكارين رئيسيين: آلية انتباه المتوسط المتحرك الأسي المخمد (DEMA) وإطار عمل قائم على نموذج الطاقة (EBM).

1. انتباه المتوسط المتحرك الأسي المخمد (DEMA)

لالتقاط التبعيات المحلية بين مدخلات اللحظة والاستعلام، قدم المؤلفون حساب DEMA في بنية المحول.

الآلية: يقوم النموذج برسم المدخلات في فضاء وسيط وحساب الحالة الخفية الحالية كمجموع مرجح للحالة الخفية السابقة والمدخل الحالي.
التخميد: على عكس المتوسطات المتحركة الأسية (EMA) القياسية، يستخدم DEMA معاملات تخميد ( $\delta$ ) قابلة للتعلم إلى جانب معاملات الوزن ( $\alpha$ ). تسمة هذه المعاملات النموذج لامتصاص المعلومات المجاورة بشكل كافٍ مع ضمان التمايز بين المدخلات.
التكامل: يتم معالجة مخرج DEMA عبر طبقة غير خطية (SiLU) ويُستخدم كمتجه القيمة (value tensor) في آلية الانتباه. يكون المخرج النهائي عبارة عن تجميع تكيفي للمدخل الأصلي ومخرج الانتباه.

2. إطار العمل القائم على نموذج الطاقة (EBM)

لتعلم توزيع تمثيلات اللحظة والاستعلام بشكل صريح وفصل التوطينات المستهدفة عن غير المستهدفة، استخدم المؤلفون إطار عمل EBM.

الهدف: يهدف النموذج إلى تقليل طاقة التوطينات ذات الصلة مع زيادة طاقة اللحظات المنحرفة. يتم صياغة ذلك كهدف تباعد تبايني (contrastive divergence).
أخذ العينات السلبية: بما أن EBM يتطلب عينات سلبية لتمثيل مناطق الطاقة العالية، فقد كيّف المؤلفون معادلة ديناميكيات لانجفان (Langevin dynamics) لأخذ عينات من المدخلات السلبية مباشرة من توزيع EBM.
- في البداية، تُضمن العينات المولدة كونها سلبية لأن التوزيع لا يتطابق بعد مع التوزيع الحقيقي.
- مع تقدم التدريب، تنتج معادلة لانجفان عينات "سلبية صعبة".
دالة الطاقة: تُعرف دالة الطاقة بأنها سالب درجة البروز المتوقعة ( $E_\theta = -\hat{s}_i$ ). وهذا يخلق علاقة عكسية بين البروز والطاقة، حيث تقابل زيادة البروز تقليل الطاقة.
خسارة التدريب: تجمع الخسارة الإجمالية بين خسارة المطابقة القياسية (للبروز، المركز، العرض، والإزاحة) مع خسارة السلب اللوغاريتمي (NLL) المستمدة من إطار عمل EBM. يتم تقليل وزن العينات السلبية في خسارة NLL عبر الدورات التدريبية.

3. البنية العامة

المدخلات: يعالج النموذج اللحظات المرئية، الاستعلامات النصية، وإشارات الصوت. يتم دمج الصوت في التسلسل المرئي عبر آلية انتباه أحادية الطبقة نظرًا لطبيعته الضوضائية.
المشفر-المفكك (Encoder-Decoder): تتكون البنية من مشفر ومفكك، كلاهما يستخدم طبقات انتباه DEMA، والتطبيع (normalization)، والتنشيط غير الخطي، والاتصالات المتبقية (residual connections).
التنبؤ: تمر مخرجات المفكك عبر طبقات خطية للتنبؤ بدرجات البروز، المراكز، الإزاحات، وعروض اللحظات.

المساهمات الرئيسية

بنية DemaFormer: متغير جديد للمحول يدمج المتوسط المتحرك الأسي مع معاملات تخميد قابلة للتعلم في آلية الانتباه لالتقاط أنماط التبعية بفعالية في مدخلات الفيديو واللغة.
إطار تعلم قائم على الطاقة: نهج جديد لـ TLG يقوم بنمذجة توزيعات اللحظة والاستعلام باستخدام EBM. تمت صياغة الهدف كتباين تباعدي للمساعدة في خسائر التوطين الكلاسيكية، باستخدام ديناميكيات لانجفان لأخذ العينات السلبية.
التفوق التجريبي: تثبت التجارب المكثفة أن الطريقة المقترحة تتفوق على أفضل النماذج المرجعية (baselines) عبر أربع مجموعات بيانات عامة.

النتائج التجريبية

قيم المؤلفون DemaFormer على أربع مجموعات بيانات مرجعية: QVHighlights، و Charades-STA، و YouTube Highlights، و TVSum.

QVHighlights: حقق DemaFormer تحسينات كبيرة مقارنة بأفضل نموذج مرجعي سابق (UMT)، بزيادات مطلقة قدرها 4.54% في Rank 1@0.5 و 2.01% في Rank 1@0.7. ومع التدريب المسبق على نصوص التعرف الآلي على الكلام (ASR)، تحسن mAP بنسبة 2.59% و Hit@1 بمقدار 2.64 نقطة.
Charades-STA: حسن النموذج Rank 1@0.5 بنسبة 3.28% و Rank 5@0.5 بنسبة 2.53% مقارنة بـ UMT. وتحت عتبات أكثر صرامة ( $\mu=0.7$ )، وصلت التحسينات إلى 5.99% لـ Rank 1.
YouTube Highlights & TVSum: حقق DemaFormer أعلى درجات mAP في جميع الفئات وبشكل عام، متفوقًا على ثاني أفضل النماذج (مثل UMT) بما يصل إلى 19.34% في فئات محددة من TVSum.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة عامل التخميد أو حساب DEMA بالكامل إلى انخفاض في الأداء، مما يؤكد ضرورة نمذجة التبعيات المحلية.
- أدت إزالة هدف EBM إلى انخفاضات كبيرة (على سبيل المثال، انخفاض بنسبة ~3.16% في Rank 1@0.5 في QVHighlights)، مما يؤكد أهمية نمذجة توزيع التمثيلات بشكل صريح.
- ثبت أن استخدام درجة البروز كدالة للطاقة يتفوق على دوال الطاقة القائمة على تشابه جيب التمام (cosine similarity).
- استقر الأداء عندما تجاوز عدد خطوات أخذ عينات لانجفان ( $K$ ) الـ 100 خطوة.

الأهمية والادعاءات

يدعي البحث أن DemaFormer يعالج القصور الجوهري في الطرق السابقة القائمة على الانتباه: وهي عدم القدرة على فصل لحظات الفيديو المستهدفة عن بقية الفيديو بفعالية في فضاء التمثيل. ومن خلال الجمع بين DEMA لالتقاط التبعيات الزمنية المحلية و EBM لنمذجة توزيع أزواج اللحظة والاستعلام بشكل صريح، يحقق الإطار توطيناً أكثر دقة.

يشير المؤلفون إلى أن نهجهم فعال بشكل خاص في السياقات المتنوعة (فلوجات يومية، أخبار، ملخصات رياضية)، وتؤكد تصورات t-SNE أن نموذجهم يحافظ على تميز التوطينات المستهدفة عن غير المستهدفة، على عكس النماذج المرجعية السابقة حيث تختلط معًا.

القيود: يقر المؤلفون بأن الإطار يتضمن تكاليف حسابية إضافية بسبب عمليات أخذ عينات ديناميكيات لانجفين المطلوبة للمدخلات السلبية. علاوة على ذلك، لم يدرسوا بعد أداء النموذج في سيناريوهات عبر المجالات (على سبيل المثال، التدريب على فيديوهات التزلج على الجليد واختبارها على فيديوهات التزلج على العشب)، معتبرين ذلك فجوة للعمل المستقبلي.