💬 NLP

READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling

تقدم هذه الورقة إطار عمل READ، وهو إطار عمل لتعلم النقل كفء في المعلمات يجمع بين مُكيِّف متكرر مبتكر للنمذجة الزمنية وهدف محاذاة جزئي بين الفيديو واللغة ليتفوق بشكل كبير على استراتيجيات الضبط الدقيق الحالية في مهام الفيديو واللغة ذات الموارد المنخفضة.

المؤلفون الأصليون: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج ذكاء اصطناعي مدرب مسبقاً) تعرف كل شيء تقريباً عن العالم. ومع ذلك، فإن هذه المكتبة ضخمة لدرجة أنها تشغل مستودعاً كاملاً، وفي كل مرة تريد فيها تعليمها مهارة محددة جديدة — مثل تلخيص فيديو طبخ أو العثور على اللحظة الدقيقة التي يحدث فيها عرض زواج في مقطع فيديو — فإنك عادةً ما تضطر إلى إعادة كتابة المكتبة بأكملها. هذا الأمر مكلف، بطيء، ويتطلب مساحة تخزين هائلة.

تقدم الورقة البحثية حلاً ذكياً وخفيف الوزن يسمى READ (المحول المتكرر - Recurrent Adapter) مقترناً بطريقة جديدة للتحقق من العمل تسمى PVLA. وإليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: المكتبة "الثقيلة"

تحاول الطرق الحالية تعليم الذكاء الاصطناعي مهارات جديدة من خلال إعادة تدريب المكتبة الضخمة بأكملها.

المشكلة: إذا كان لديك كمية صغيرة من البيانات (سيناريو "الموارد المنخفضة")، فإن محاولة إعادة كتابة المكتبة بأكملها غالباً ما تجعل الذكاء الاصطناعي مشوشاً أو غير مستقر. بالإضافة إلى ذلك، سينتهي بك الأمر بامتلاك مستودع ضخم منفصل لكل مهارة جديدة تعلمها له.

2. الحل: نظام "القصاصات اللاصقة" (المحولات - Adapters)

بدلاً من إعادة كتابة المكتبة بأكملها، يقترح المؤلفون إضافة "قصاصات لاصقة" صغيرة (تسمى Adapeters) إلى الكتب الموجودة.

كيف يعمل: تقوم بتجميد المكتبة الأصلية (لكي تظل مثالية) وتدرب فقط هذه القصاصات اللاصقة الصغيرة. هذا يوفر مساحة هائلة من المساحة والمال.
الخلل في "القصاصات اللاصقة" القديمة: كانت "القصاصات اللاصقة" السابقة بسيطة للغاية. فقد كانت تنظر إلى إطارات الفيديو والكلمات كعناصر معزولة، مثل النظر إلى صورة واحدة لفتاة وكلمة واحدة "عرض زواج" دون فهم القصة التي تربطهما. لقد افتقدت فهم الجدول الزمني.

3. الابتكار: القصاصة اللاصقة "المسافرة عبر الزمن" (READ)

ابتكر المؤلفون نوعاً جديداً من القصاصات اللاصقة يسمى READ (المحول المتكرر).

التشبيه: تخيل أن القصاصة اللاصقة العادية هي مجرد لقطة ثابتة. أما قصاصة READ فهي تشبه كتاب الصور المتحركة (flipbook animation).
ماذا تفعل: هي لا تنظر فقط إلى إطار واحد أو كلمة واحدة؛ بل تنظر إلى التسلسل. إنها تفهم أن تعبير وجه الفتاة بعد عرض الزواج يختلف عن تعبير وجهها قبل ذلك. إنها تلتقط تدفق الوقت، مما يسمح للذكاء الاصطناعي بفهم الجدول الزمني للقصة دون الحاجة إلى إعادة تدريب المكتبة بأكملها.

4. فحص الجودة: لعبة "التطابق الجزئي" (PVLA)

عند تعليم الذكاء الاصطناعي باستخدام بيانات محدودة، هناك خطر من أن تصبح "القصاصات اللاصقة" مشوشة بسبب الضجيج أو المعلومات غير ذات الصلة.

المشكلة: قد يعرض الفيديو مشهداً كاملاً (مطبخ، دراجة، شخص)، ولكن النص قد يتحدث فقط عن جزء واحد محدد (شد برغي). حاولت الطرق القديمة فرض تطابق تام (واحد لواحد) بين كل كلمة وكل إطار فيديو، وهو أمر مستحيل ومربك.
الحل (PVLA): قدم المؤلفون المحاذاة الجزئية بين الفيديو واللغة (PVLA).
التشبيه: فكر في الأمر كأنه تطبيق مواعدة للبيانات. بدلاً من إجبار كل شخص في الحشد على إيجاد تطابق مثالي، تقول الخوارزمية: "دعونا نجد فقط أفضل التطابقات للأشخاص الذين يهتمون فعلياً ببعضهم البعض".
كيف يعمل: يستخدم خدعة رياضية تسمى "النقل الأمثل الجزئي" (Partial Optimal Transport) لمحاذاة الأجزاء المهمة فقط من الفيديو مع الأجزاء ذات الصلة من النص. إنه يتجاهل الضجيج ويركز على الروابط الحرجة، مما يضمن أن "القصاصات اللاصقة" تتعلم الأشياء الصحيحة حتى عندما لا توجد الكثير من البيانات للتعلم منها.

5. النتائج: حجم صغير، مكاسب كبيرة

اختبر المؤلفون هذا النظام في مهمتين رئيسيتين:

إيجاد اللحظة (التأصيل اللغوي الزمني): مثل العثور على الثانية الدقيقة في الفيديو حيث "الفتاة تبتسم بعد عرض الزواج".
تلخيص القصة (تلخيص الفيديو واللغة): مثل مشاهدة فيديو وكتابة ملخص قصير لما حدث.

النتيجة:

الكفاءة: احتاجت طريقتهم فقط إلى تدريب حوالي 1.2% من المعلمات (القصاصات اللاصقة) مقارنة بالمكتبة بأكملها.
الأداء: على الرغم من تدريب هذا القدر الضئيل، إلا أن طريقتهم كانت في الواقع أفضل من المكتبات الضخمة التي أُعيد تدريبها بالكامل ومن الطرق "خفيفة الوزن" الأخرى الموجودة.
تعدد الاستخدامات: عملت بشكل جيد على أنواع مختلفة من نماذج الفيديو وأنواع مختلفة من مجموعات البيانات.

الملخص

تقترح الورقة البحثية طريقة لتعليم نماذج الذكاء الاصطناዊ العملاقة مهارات فيديو جديدة دون تكبد تكاليف باهظة أو استهلاك مساحات تخزين ضخمة. يقومون بذلك عن طريق إضافة "قصاصات لاصقة" صغيرة وواعية بالزمن (READ) تفهم تدفق القصة، واستخدام "لعبة مطابقة" ذكية (PVLA) تركز فقط على الروابط المهمة بين ما يُرى وما يُقال. النتيجة هي نظام سهل التشغيل، سهل التخزين، ودقيق بشكل مذهل.

ملخص تقني: READ-PVLA لنمذجة الفيديو واللغة بكفاءة المعلمات

بيان المشكلة

يمثل الضبط الدقيق الكامل لنماذج المحولات (Transformer) ضخمة الحجم والمُدربة مسبقاً لمهام الفيديو واللغة (مثل تحديد المواقع اللغوية الزمنية وتلخيص الفيديو واللغة) تحديات كبيرة، لا سيما في البيئات ذات الموارد المحدودة. يتسبب هذا النهج في تكاليف تخزين عالية نظراً للحاجة إلى تخزين نموذج منفصل لكل مهمة، وغالباً ما يؤدي إلى عدم استقرار التدريب وأداء دون المستوى الأمثل عند محدودية بيانات التدريب.

بينما تقدم الأساليب الحالية الموفرة للمعلمات، مثل المهايئات (Adapters) القياسية، وحدات خفيفة الوزن من خلال تجميد العمود الفقي المُدرب مسبقاً وتدريب المهايئات فقط، إلا أنها تظهر قصورين حرجين:

الافتقار إلى النمذجة الزمنية: تعامل المهايئات القياسية إطارات الفيديو والكلمات النصية كرموز (Tokens) مستقلة، مما يفشل في التقاط التبعيات الزمنية الجوهرية بين الإطارات أو الكلمات المتتالية. وهذا يعيق قدرة النموذج على الاستدلال بشأن السياق الزمني (على سبيل المثال، التمييز بين الأحداث قبل أو بعد فعل معين).
فقدان المعلومات: غالباً ما تتجاهل المهايئات الحالية الحفاظ على المعلومات الحرجة المتعلقة بالمهمة أثناء تدفقها من المدخلات الخام إلى الفضاء منخفض الأبعاد للمهايئ. يمكن أن يؤدي ذلك إلى فقدان المعلومات الدلالية الأساسية وإدخال الضجيج أثناء عملية الضبط الدقيق.

المنهجية

يقترح المؤلفون إطار عمل READ-PVLA، الذي يعالج هذه المشكلات من خلال مكونين مبتكرين مدمجين في استراتيجية ضبط دقيق موفرة للمعلمات.

1. المهايئ المتكرر (READ)

لالتقاط التبعيات الزمنية، قدم المؤلفون المهايئ المتكرر (READ). بخلاف المهايئات القياسية التي تعتمد فقط على عمليات الإسقاط غير الخطية، يدمج READ طبقة عنق زجاجة متكررة (Recurrent Bottleneck Layer) داخل بنية المحول (Transformer).

البنية: تتكون الوحدة من طبقة إسقاط لأسفل (Down-projection)، وطبقة شبكة عصبية متكررة (RNN)، وطبقة إسقاط لأعلى (Up-projection).
العملية: بالنظر إلى المخرج $O$ من كتلة التغذية الأمامية (FeedForward)، يحسب نموذج READ تحديثاً متبقياً (Residual Update): $\tilde{O} = O + \text{GELU}(\text{RNN}(O \cdot W_{down})) \cdot W_{up}$ .
الكفاءة: من خلال إجراء حسابات متكررة في فضاء منخفض الأبعاد (حيث البعد عنق الزجاجة $k \ll d$ )، يحافظ READ على تصميم خفيف الوزن، مما يتطلب ما يصل إلى 1.20% فقط من المعلمات القابلة للتدريب.
المرونة: تم تصميم الإطار ليكون متوافقاً مع مختلف الأعمدة الفقريّة المُدربة مسبقاً، بما في ذلك المحولات متعددة الوسائط الموحدة (UMT)، وMoment-DETR، والنماذج التوليدية الموجهة بالرؤية مثل VG-BART وVG-T5.

2. المحاذاة الجزئية بين الفيديو واللغة (PVLA)

لضمان الحفاظ على المعلومات الحرجة أثناء عملية التكيف، يقترح المؤلفون هدف المحاذاة الجزئية بين الفيديو واللغة (PVLA).

المفهوم: يعمل PVLA صراحةً على تشجيع المحاذاة بين تمثيلات إطارات الفيديو وتمثيلات الكلمات النصية من خلال تقليل مسافة النقل الأمثل الجزئي (POT) بين توزيعاتهما.
المنطق: لا تظهر الفيديوهات واللغات توافقاً كاملاً (واحد لواحد)؛ فاللغة غالباً ما تصف جوانب محددة فقط من الفيديو. النقل الأمثل القياسي سيجبر النموذج على مطابقة جميع الكتل، مما قد يؤدي إلى محاذاة معلومات غير ذات صلة.
الآلية: يسمح PVLA للخوارزمية بنقل مجموعة فرعية فقط من العينات ( $s$ ) من توزيع واحد إلى الآخر، مع التركيز على "الكتل الأساسية" المرتبطة بقوة. يتم صياغة ذلك كتقليل للتكلفة $T_{i,j} \cdot c(h_{v,i}, h_{l,j})$ مع مراعاة قيود النقل الجزئي.
التدريب: أثناء الضبط الدقيق، يتم تجميد العمود الفقي المُدرب مسبقاً. ويتم تحسين طبقات READ بشكل مشترك باستخدام خسارة المهمة وخسارة PVLA.

المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

بنية READ: تصميم مهايئ جديد يدمج الحساب المتكرر لنمذجة المعلومات الزمنية بفعالية في مهام الفيديو واللغة، متجاوزاً قيود الإسقاطات المستقلة للرموز.
هدف PVLA: هدف محاذاة جديد يستخدم النقل الأمثل الجزئي للحفاظ على تدفق المعلومات الحرجة وذات الصلة بالمهمة بين الوسائط أثناء عملية التكيف في عنق الزجاجة.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن إطار READ يتفوق على كل من الضبط الدقيق الكامل والاستراتيجيات الأخرى الموفرة للمعلمات (مثل LoRA، وPrompt، والمهايئات القياسية) في اختبارات معايير الموارد المنخفضة، باستخدام عدد أقل بكثير من المعلمات القابلة للتدريب (من 0.05% إلى 1.20%).

النتائج التجريبية

تم تقييم إطار العمل على مهام تحديد المواقع اللغوية الزمنية (TLG) وتلخيص الفيديو واللغة (VLS) عبر مجموعات بيانات متعددة: YouTube Highlights، وTVSum، وQVHighlights، وHow2.

تحديد المواقع اللغوية الزمنية (TLG):
- في YouTube Highlights، حقق READ متوسط دقة (mAP) بنسبة 76.12%، متفوقاً على الضبط الدقيق الكامل (74.76%) والمهايئ القياسي (68.98%)، مع استخدام 0.16 مليون معلمة قابلة للتدريب فقط (0.06% من الإجمالي).
- في TVSum، حقق READ نسبة 83.39% mAP، متجاوزاً الضبط الدقيق الكامل (79.65%) وأفضل خط أساس موفر للمعلمات (المهايئ بنسبة 74.25%) مع 0.14 مليون معلمة فقط.
- في QVHighlights، حسن READ نسبة mAP إلى 36.74% مقارنة بالضبط الدقيق الكامل (36.14%) باستخدام 0.19 مليون معلمة.
تلخيص الفيديو واللغة (VLS):
- باستخدام العمود الفقري VG-BART على مجموعة بيانات How2، حقق READ درجات ROUGE-1 وROUGE-2 وROUGE-L بلغت 44.01، 21.91، و37.91 على التوالي. وقد تجاوز هذا بشكل كبير الضبط الدقيق الكامل (35.72، 11.88، 30.00) والطرق الفعلة الأخرى، باستخدام 1.17 مليون معلمة فقط (0.47% من النموذج).
- لوحظت مكاسب مماثلة مع العمود الفقري VG-T5، حيث حقق READ درجة 40.12 في ROUGE-1، متفوقاً على الضبط الدقيق الكامل (32.37) باستخدام 1.91 مليون معلمة.
الدراسات الاستئصالية (Ablation Studies):
- أدى حذف هدف PVLA إلى انخفاض حاد في الأداء، مما أكد دوره في منع فقدان المعلومات وإدخال الضجيج.
- كان لاختيار البنية المتكررة (RNN مقابل GRU مقابل LSTM) تأثير ضئيل على الأداء، مما يؤكد صحة استخدام أبسط تنفيذ لـ RNN.
- تفوق النقل الأمثل الجزئي (POT) على مقاييس المسافة القياسية (Cosine, L2) وعلى النقل الأمثل الكامل، مما يسلط الضوء على أهمية المحاذاة الجزئية.

الأهمية والادعاءات

يزعم البحث أن إطار READ-PVLA يقدم حلاً قوًياً لنقل المعلمات بكفاءة في نمذجة الفيديو واللغة. ومن خلال الجمع بين النمذجة الزمنية المتكررة وهدف المحاذاة الجزئية، يعالج الأسلوب بنجاح عدم الاستقرار وفقدان المعلومات المرتبط بالضبط الدقيق في ظل الموارد المحدودة.

يؤكد المؤلفون أن نهجهم:

يتفوق على الضبط الدقيق الكامل: يحقق دقة أعلى من تدريب جميع المعلمات، رغم تجميد الغالبية العظمى من النموذج المُدرب مسبقاً.
كفاءة فائقة: يتطلب عدداً أقل بكثير من المعلمات القابلة للتدريب (حتى 1.20%) مقارنة بالطرق الفعلة الأخرى مثل LoRA أو المهايئات القياسية.
قابلية التعميم: إطار العمل قابل للتطبيق على بنيات متنوعة مُدربة مسبقاً، بما في ذلك النماذج التمييزية (UMT, Moment-DETR) والتوليدية (VG-BART, VG-T5).

يشير العمل إلى أن دمج الديناميكيات الزمنية وإدارة تدفق المعلومات بعناية عبر المحاذاة الجزئية هي أمور حاسمة لتعزيز فهم الفيديو واللغة في البيئات محدودة الموارد.