💻 computer science

Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

تقترح الورقة البحثية Manta، وهو إطار عمل يعزز Mamba للتعرف على الأفعال في عينات قليلة من التسلسلات الفرعية الطويلة عبر دمج بنية Matryoshka Mamba لنمذجة الميزات المحلية والزمنية الهرمية مع نموذج تعلم تبايني هجين للتخفيف من التباين داخل الفئة الواحدة، محققاً أداءً هو الأفضل في فئته عبر عدة معايير قياسية.

المؤلفون الأصليون: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

نُشر 2026-03-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث Manta، مترجم إلى لغة بسيطة، يومية، مع استخدام بعض التشبيهات الإبداعية.

🎬 المشكلة الكبيرة: مشاهدة فيلم على عجل

تخيل أنك تحاول تعليم روبوت التعرف على حركات البشر، مثل "القفز من فوق منحدر".

الطريقة القديمة (Transformers): معظم نماذج الذكاء الاصطناعي اليوم تشبه الطلاب الذين لا يستطيعون قراءة سوى صفحة واحدة من الكتاب في كل مرة. إذا عرضت عليهم مشهداً سينمائياً كاملاً (فيديو طويل)، فإن عقولهم تصاب بالارتباك وتتوقف عن العمل. هم مجبرون على النظر إلى مقاطع صغيرة مدتها 8 ثوانٍ فقط.
- العيب: إذا عرضت على الروبوت ثانيتين فقط حيث يسقط الشخص، فقد يعتقد أن الحركة هي مجرد "سقوط". هو يفتقد السياق، مثل مرحلة الجري قبل القفز أو لحظة الارتطام بالماء. وأيضاً، إذا رأى الروبوت شخصين مختلفين يقفزان، فسيصاب بالارتباك لأن أحدهما بدأ القفز في الثانية 2 والآخر في الثانية 5. هو لا يعرف كيف يربط بينهما زمنياً.
البطل الجديد (Mamba): مؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يسمى Mamba. إنه يشبه قارئاً فائق السرعة يمكنه قراءة كتاب كامل دون أن يتعب. هو بارع جداً في التعامل مع الفيديوهات الطويلة.
- العيب: لكن Mamba "كسول" قليلاً فيما يتعلق بالتفاصيل. هو ينظر إلى الفيديو بأكمله ويقول: "أوه، هذا فيديو قفز"، لكنه يتجاهل اللحظات الصغيرة والحاسمة (مثل وضعية اليد المحددة) التي تحدد ماهية الحركة فعلياً. كما أنه لا يعرف كيفية مزامنة فيديوهين مختلفين يحدثان بسرعات مختلفة.

🐙 الحل: تعرف على "Manta"

ابتكر المؤلفون إطار عمل جديداً يسمى Manta (اختصار لـ Matryoshka MAmba and CoNtrasTive LeArning). فكر في Manta كدمج بين الدمية الروسية المتداخلة (Matryoshka) والمحقق.

إليك كيف يعمل، مقسماً إلى حيلتين رئيسيتين:

1. حيلة "الدمية المتداخلة" (Matryoshka Mamba)

بدلاً من النظر إلى الفيديو بأكمله دفعة واحدة (مما يجعله ضبابياً) أو النظر إلى إطار واحد فقط (مما يجعله صغيراً جداً)، ينظر Manta إلى الفيديو في طبقات من التفاصيل، تماماً مثل مجموعة من الدمى الروسية المتداخلة.

الدمى الداخلية (الميزات المحلية): تخيل أنك تشاهد فيديو "قفز". الجزء الأهم هو "السقوط". لدى Manta "وحدات داخلية" صغيرة تقوم بعمل زووم (تكبير) على أجزاء صغيرة من الفيديو (مثل السقوط فقط، أو القفزة فقط). تعمل هذه الوحدات مثل المجاهر، حيث تجد التفاصيل الدقيقة والحاسمة التي قد تغفل عنها الصورة الكبيرة.
الدمية الخارجية (المحاذاة العالمية): بمجرد أن تجد المجاهر الأجز المهمة، تعمل "الوحدة الخارجية" مثل قائد الأوركسترا. تأخذ كل تلك التفاصيل الصغيرة وتصطف بها بشكل مثالي في الوقت. حتى لو قفز الشخص (أ) في الثانية 2 والشخص (ب) في الثانية 5، فإن القائد يقول: "حسناً، لنقم بإزاحة سقوط الشخص (ب) ليتطابق مع سقوط الشخص (أ)".
لماذا هذا رائع؟ هو لا ينظر فقط إلى الفيديو بأكمله؛ بل ينظر إلى الأجزاء ثم يجمعها معاً بشكل مثالي.

2. حيلة "المحقق" (التعلم التبايني الهجين)

إليك المشكلة الثانية: التباين داخل الفئة الواحدة (Intra-class variance).
تخيل أن لديك 100 فيديو لأشخاص يقومون بـ "القفز".

الفيديو 1: غواص محترف في مسبح (مياه زرقاء، شمس مشرقة).
الفيديو 2: طفل يقفز من رصيف (مياه عكرة، جو غائم).
الفيديو 3: شخص يقفز في مسبح ليلاً.

بالنسبة للكمبيوتر، تبدو هذه الفيديوهات مختلفة تماماً. قد يعتقد أنها ثلاث حركات مختلفة. وهذا ما يسمى "الضجيج" أو "التباين".

يستخدم Manta نهج المحقق لحل هذه المشكلة:

المحقق الخاضع للإشراف: ينظر إلى الفيديوهات المصنفة (مجموعة "الدعم") ويقول: "حسناً، هذه الفيديوهات الخمسة كلها تندرج تحت 'القفز'. على الرغم من اختلاف شكلها، إلا أنها تنتمي لنفس المجموعة".
المحقق غير الخاضع للإشراف: ينظر إلى الفيديوهات الجديدة غير المصنفة (مجموعة "الاستعلام") ويقول: "هذا الفيديو الجديد يشبه مجموعة 'القفز' قليلاً، حتى لو كانت الإضاءة غريبة. لنضعه ضمن هذه المجموعة".
النتيجة: هو يجبر الذكاء الاصطناعي على تجاهل "الضجيج" (الإضاءة السيئة، الزوايا المختلفة) والتركيز فقط على جوهر الحركة. إنه يعلم الذكاء الاصطناعي أن القفز تحت المطر لا يزال يعتبر قفزاً.

🏆 لماذا يعد هذا أمراً مهماً؟

اختبرت الورقة البحثية Manta على مجموعات بيانات فيديو شهيرة (مثل Kinetics و UCF101) باستخدام أمثلة قليلة جداً (فيديو واحد أو 5 فيديوهات فقط للتعلم منها).

يتعامل مع الفيديوهات الطويلة: بينما تتعثر نماذج الذكاء الاصطناعي الأخرى أو ترتبك عندما يصبح الفيديو أطول من 8 ثوانٍ، يظل Manta هادئاً ودقيقاً حتى مع فيديوهات مدتها 128 ثانية.
إنه قوي ومتماسك: إذا أضفت "ضجيجاً" إلى الفيديو (مثل جعله يبدو ممطراً، أو مظلماً، أو إضافة إطارات عشوائية)، يظل Manta دقيقاً في تحديد الحركة. بينما تفشل النماذج الأخرى فشلاً ذريعاً.
إنه سريع: لأنه يستخدم بنية Mamba الفعالة، فهو يعمل بشكل أسرع بكثير من نماذج "Transformer" القديمة، التي تشبه الشاحنات الثقيلة مقارنة بسيارة Manta الرياضية السريعة.

🧠 الخلا الخلاصة

Manta يشبه المعلم الذكي الذي لا يكتفي بحفظ الكتاب بالكامل، بل يقوم بـ:

التكبير (Zoom in) على الجمل المفتاحية (الميزات المحلية).
ترتيب الفصول لكي يصبح للقصة معنى (المحاذاة الزمنية).
تجاهل الأخطاء المطبعية وخط اليد السيئ لفهم المعنى الحقيقي (التعامل مع التباين).

هذا يسمح للذكاء الاصطناعي بتعلم حركات جديدة من خلال أمثلة قليلة فقط، حتى لو كانت الفيديوهات طويلة، أو غير منظمة، أو تم تصويرها في ظروف مختلفة. إنها خطوة كبيرة نحو جعل الذكاء الاصطناعي يفهم العالم الحقيقي، وليس فقط المقاطع القصيرة والمثالية.

1. تعريف المشكلة

تتناول الورقة البحثية مهمة التعرف على الأفعال من خلال أمثلة قليلة (Few-Shot Action Recognition - FSAR)، وهي مهمة يجب على النموذج فيها تصنيف فئات أفعال غير مرئية باستخدام عدد قليل فقط من عينات الفيديو المصنفة (مجموعة الدعم - support set). وبينما توفر التحت-متواليات الفيديو الطويلة (long video sub-sequences) بطبيعتها معلومات سياقية أغنى لوصف الأفعال الكاملة (مثل "القفز من المنحدر" - Diving cliff) مقارنة بالمقاطع القصيرة، إلا أنها تفرض تحديين محددين عند تطبيقها على الـ FSAR:

عدم كفاءة المحولات (Transformers): تعاني الطرق السائدة القائمة على المحولات من تعقيد حسابي عالٍ ( $O(N^2)$ )، مما يحد من قدرتها على معالجة التحت-متواليات الطويلة جداً (عادةً حوالي 8 إطارات). وهي لا تستطيع التعامل بفعالية مع المتواليات الطويلة المطلوبة للفهم الشامل للفعل.
قيود التطبيق المباشر لنموذج Mamba: على الرغم من أن Mamba (القائم على نماذج فضاء الحالة - State Space Models) يوفر نمذجة فعالة للمتواليات الطويلة ( $O(N)$ $O (N)$ )، إلا أن تطبيقه المباشر على الـ FSAR يفشل بسبب:
- الافتقار إلى نمذجة الميزات المحلية: يميل Mamba إلى التركيز على الميزات العالمية (global features)، وغالباً ما يتجاهل الميزات المحلية الصغيرة ولكن الحاسمة (مثل مرحلة "السقوط" في القفزة) والتي تعد ضرورية للتعرف الدقيق.
- عدم المحاذاة الزمنية (Temporal Misalignment): تظهر الميزات المحلية الحرجة في خطوات زمنية مختلفة عبر عينات مختلفة من نفس الفئة. ويفتقر Mamba إلى آلية صريحة لمحاذاة هذه التبعيات الزمنية.
- تراكم التباين داخل الفئة الواحدة (Intra-class Variance Accumulation): مع زيادة طول المتوالية، تتراكم الاختلافات البصرية (بسبب زوايا الكاميرا، الإضاءة، إلخ) داخل الفئة نفسها، مما يجعل من الصعب تجميع العينات بفعالية ويؤدي إلى خطأ في التصنيف.

2. المنهجية: إطار عمل Manta

يقترح المؤلفون Manta (Matryoshka MAmba and CoNtrasTive LeArning)، وهو إطار عمل مصمم لتعزيز Mamba خصيصاً لـ FSAR الخاص بالتحت-متواليات الطويلة. ويتكون من فرعين متوازيين:

أ. فرع Matryoshka Mamba (نمذجة الميزات والمحاذاة)

يستبدل هذا الفرع النمذجة العالمية القياسية بهيكل متداخل للتعامل مع الميزات المحلية والمحاذاة الزمنية في آن واحد.

الوحدات الداخلية (تعزيز الميزات المحلية): يتم تقسيم التحت-متوالية الطويلة إلى أجزاء غير متداخلة. تقوم عدة وحدات داخلية (قائمة على Mamba-2) بمعالجة هذه الأجزاء بشكل مستقل لتعزيز الميزات المحلية. وهي تستخدم المسح ثنائي الاتجاه (للأمام وللخلف) لالتقاط السياق المحلي دون مشاركة المعلمات بين الاتجاهين، مما يسمح بالمرونة في نمذجة الميزات المحلية المتغيرة.
الوحدة الخارجية (المحاذاة الزمنية الضمنية): يتم تغذية مخرجات الوحدات الداخلية في وحدة خارجية. تستخدم هذه الوحدة هيكل Mamba ثنائي الاتجاه مع معلمات مشتركة لمسح المتوالية بأكملها. ومن خلال دمج الميزات المحلية المعززة، تلتقط هذه الوحدة التبعيات الخطية الزمنية، مما يؤدي فعلياً إلى إجراء محاذاة زمنية ضمنية عبر المتوالية.
الدمج متعدد المقاييس (Multi-Scale Fusion): يعمل الإطار عبر مقاييس متعددة (يتم تحديدها بواسطة المعلم الفائق $O$ ). يتم توليد أوزان قابلة للتعلم ( $w_o$ ) عبر كتلة Conv2D لوزن أهمية الميزات في المقاييس المختلفة ديناميكياً قبل دمجها لإنتاج التمثيل النهائي.
حساب المسافة المتقاطعة (Cross-Distance Calculation): لمزيد من تحسين المحاذاة، يحسب النموذج المسافات بين النماذج الأولية للاستعلام (query) والدعم (support) في كل من الفضاءات الميزية الأصلية والمعكوسة (المقلوبة)، ويقوم بمتوسط هذه المسافات لتحديد تنبؤ الفئة النهائي.

ب. فرع التعلم التبايني الهجين (تخفيف التباين)

لمكافحة تراكم التباين داخل الفئة الواحدة في المتواليات الطويلة، يستخدم Manta نموذج تعلم تبايني هجين:

التعلم التبايني الخاضع للإشراف ( $L_{con}^S$ ): يُطبق على مجموعة الدعم (Support Set) الموسومة. حيث يقوم بجذب العينات من نفس الفئة نحو بعضها البعض ودفع الفئات المختلفة بعيداً.
التعلم التبايني غير الخاضع للإشراف ( $L_{con}^Q$ و $L_{con}^{SQ}$ ): يُطبق على مجموعة الاستعلام (Query Set) ومجموعة مشتركة من (الدعم + الاستعلام). بما أن الاستعلامات غير موسومة، يتم بناء الأزواج الموجبة بناءً على الافتراض بأن العينات ضمن نفس المهمة تنتمي إلى نفس التوزيع الأساسي، مما يساعد في تجميع العينات دون تسميات صريحة.
إجمالي الخسارة (Total Loss): يجمع هدف التدريب بين خسارة الإنتروبيا المتقاطعة ( $L_{ce}$ ) من فرع Mamba وخسارة التعلم التبايني الهجين ( $L_{hc}$ ):
$L_{total} = \lambda L_{ce} + L_{hc}$

3. المساهمات الرئيسية

بنية Matryoshka Mamba: أول تطبيق لهيكل "Matryoshka" المتداخل (وحدات داخلية للميزات المحلية + وحدة خارجية للمحاذاة العالمية) باستخدام Mamba لـ FSAR. يوازن هذا التصميم بفعالية بين استخراج التفاصيل المحلية والمحاذاة الزمنية العالمية.
نموذج التعلم التبايني الهجين: دالة خسارة مبتكرة تجمع بين التعلم التبايني الخاضع للإشراف وغير الخاضع للإشراف، مصممة خصيصاً للتخفيف من الآثار السلبية لتراكم التباين داخل الفئة في فيديوهات المتواليات الطويلة.
أداء رائد (SOTA): يحقق Manta نتائج جديدة رائدة (SOTA) في أربعة معايير رئيسية (SSv2, Kinetics, UCF101, HMDB51)، متفوقاً بشكل كبير على طرق المحولات ومتغيرات Mamba الأخرى، خاصة في إعدادات التحت-متواليات الطويلة (تصل إلى 128 إطاراً).

4. النتائج التجريبية

المعايير (Benchmarks): تم اختبار النموذج على SSv2 و Kinetics و UCF101 و HMDB51 تحت إعدادات 5-way 1-shot و 5-shot.
الأداء:
- في SSv2 (1-shot)، حقق Manta مع ResNet-50 نسبة 63.4%، متفوقاً على السجل السابق (AMFAR) بنسبة 1.7%.
- في Kinetics (1-shot)، وصل إلى 82.4% (ResNet-50) و 84.4% (VMamba-B)، متفوقاً على الطرق متعددة الوسائط مثل AMFAR.
- القدرة على التعامل مع المتواليات الطويلة: على عكس طرق المحولات التي تفشل (بسبب نفاذ الذاكرة Out of Memory) أو تتدهور بشكل كبير عندما يتجاوز طول المتوالية ( $F$ ) الرقم 16، يحافظ Manta على أداء مستقر ومتزايد حتى $F=128$ .
دراسات الاستئصال (Ablation Studies):
- أدى حذف أي من الوحدة الداخلية، أو الوحدة الخارجية، أو خسارة التباين إلى انخفاض كبير في الأداء، مما يؤكد ضرورة جميع المكونات.
- التصميم متعدد المقاييس: استخدام المقاييس $\{1, 2, 4\}$ أعطى أفضل النتائج؛ حيث أدت إضافة مقاييس أكثر إلى حدوث تكرار غير مفيد.
- المتانة: أظهر Manta متانة فائقة ضد ضوضاء مستوى الإطار، وضوضاء مستوى العينة، وضوضاء الخلفية (Gaussian, rain, lighting) مقارنة بـ TRX و HyRSM و MoLo.
الكفاءة: يعد Manta أسرع بكثير من طرق المحولات (على سبيل المثال، ~4.25 ساعة لـ 10 آلاف مهمة مقابل ~8.67 ساعة لـ TRX) بسبب التعقيد الخطي لـ Mamba.

5. الأهمية

تجسّر هذه الورقة البحثية الفجوة بين نمذجة المتواليات الطويلة الفعالة (Mamba) والمتطلبات المحددة للتعرف على الأفعال من خلال أمثلة قليلة. ومن خلال حل المشكلات الحرجة المتمثلة في إهمال الميزات المحلية و عدم المحاذاة الزمنية المتأصلة في تطبيقات Mamba القياسية، وتقديم آلية للتعامل مع تراكم التباين في الفيديوهات الطويلة، يتيح Manta استخدام تحت-متواليات فيديو طويلة وغنية بالسياق في ظروف ندرة البيانات. وهذا يفتح آفاقاً جديدة للتعرف القوي على الأفعال في سيناريوهات العالم الحقيقي حيث تكون الأفعال طويلة المدة شائعة والبيانات شحيحة.