🤖 AI

Deep Multimodal Learning with Missing Modality: A Survey

تقدم هذه الدراسة المراجعة الشاملة الأولى لطرق التعلم العميق للتعلم متعدد الوسائط مع فقدان أحد الأنماط (MLMM)، حيث تفصل دوافعه، واختلافاته عن الإعدادات القياسية، والتقنيات الحالية، والتطبيقات، ومجموعات البيانات، والتحديات المستقبلية.

المؤلفون الأصليون: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

نُشر 2026-02-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: مشكلة "الحواس الخمس"

تخيل أنك تحاول فهم فيلم. عادةً، لديك مدخلان رئيسيان: الرؤية (الفيديو) والصوت (الحوار والموسيقى). هذا يشبه النظام "متعدد الوسائط" (multimodal)—فهو يستخدم حواسًا متعددة للحصول على القصة الكاملة.

ومع ذلك، في العالم الحقيقي، تسوء الأمور. رب'ما تتعطل مكبرات الصوت لديك (لا يوجد صوت)، أو تصبح الشاشة سوداء (لا يوجد فيديو). ربما تكون في غابة ضبابية حيث لا يمكنك الرؤية، لكن يمكنك سماع حفيف الأشجار. هذه هي مشكلة "الوسيط المفقود" (Missing Modality).

معظم نماذج الذكاء الاصطناعي تشبه الطلاب الذين لا يعرفون كيف يذاكرون إلا إذا كان لديهم الكتاب المدرسي ومعهم ملاحظات صوتية. إذا سحبت أحدهما، يصابون بالذعر ويفشلون. هذا البحث هو بمثابة دليل ضخم للباحثين حول كيفية تعليم الذكاء الاصطناعي البقاء هادئًا والأداء بشكل جيد حتى عندما يفقد أحد "حواسه".

عن ماذا يتحدث هذا البحث؟

هذا البحث هو دراسة مسحية (Survey). فكر فيه كأنه أمين مكتبة قرأ كل كتاب (354 ورقة بحثية!) كُتبت بين عامي 2012 و2025 حول هذا الموضوع تحديدًا. قام المؤلفون، رينجي وو وفريقه، بتنظيم كل هذه الحلول المختلفة في خريطة واضحة ليعرف الباحثون ما الذي ينجح، وما الذي لا ينجح، وإلى أين يتجهون بعد ذلك.

يطلقون على هذا المجال اسم MLMM (التعلم متعدد الوسائط مع الوسيط المفقود).

الاستراتيجيتان الرئيسيتان: "إصلاح البيانات" مقابل "إصلاح الدماغ"

يقسم المؤلفون جميع الحلول إلى معسكرين كبيرين، مثل إصلاح سيارة مكسورة إما عن طريق إصلاح القطع أو تغيير طريقة قيادة السائق.

1. معالجة البيانات: "إصلاح القطع"

يحاول هذا النهج ملء المعلومات المفقودة قبل أن يبدأ الذكاء الاصطناعي في التفكير.

طريقة "الصفحة الفارغة" (تركيب الوسائط): تخيل أنك تقرأ كتابًا، لكن هناك صفحة ممزقة. يمكنك ببساطة ترك مساحة بيضاء فارغة (أصفار) أو كتابة كلام عشوائي غير مفهوم (قيم عشوائية) في تلك الصفحة. يتعلم الذكاء الاصطناعي تجاهل المساحة الفارغة والتركيز على الباقي. إنها طريقة بسيطة، لكنها ليست ذكية جدًا.
طريقة "النسخ واللصق" (الاسترجاع): إذا كانت هناك صفحة مفقودة، فابحث عن نسخ أخرى من نفس الكتاب في المكتبة، وجد الصفحة المطابقة، ثم الصقها. هذا يعمل جيدًا إذا كانت الكتب متطابقة، ولكن إذا كانت القصص مختلفة قليلاً، فقد تلصق مشهدًا خاطئًا.
طريقة "الخيال" (توليد الوسائط): هذه هي الطريقة الأكثر تقدمًا. يعمل الذكاء الاصطناعي ككاتب مبدع. إذا كان الصوت مفقودًا، ينظر الذكاء الاصطناعي إلى الفيديو ويتخيل كيف يجب أن يكون الصوت، ثم يقوم بإنشائه. الأمر يشبه ساحرًا يخرج أرنبًا من قبعة. يشير البحث إلى أنه رغم روعة هذه الطريقة، إلا أنها قد تؤدي أحيانًا إلى "الهلوسة" (اختلاق أشياء غير حقيقية).

2. تصميم الاستراتيجية: "إصلاح الدماغ"

بدلاً من محاولة إصلاح البيانات المفقودة، يغير هذا النهج بنية الذكاء الاصطناعي بحيث يمكنه التعامل مع البيانات المفقودة بشكل طبيعي.

طريقة "تسليط الضوء" (الانتباه): تخيل معلمًا في فصل دراسي. إذا غاب طالب، لا يتوقف المعلم عن الدرس؛ بل يسلط ضوء كشافه فقط على الطلاب الموجودين. تسمح آليات "الانتباه" للذكاء الاصطناعي بالتركيز ديناميكيًا فقط على البيانات المتاحة وتجاهل الأجزاء المفقودة.
طريقة "المعلم الخصوصي" (التقطير): تخيل طالبًا ذكيًا (المعلم) لديه كل الكتب. وطالبًا أقل ذكاءً (الطالب) لديه نصف الكتب فقط. يشرح المعلم الفصول المفقودة للطالب. يتعلم الطالب فهم القصة كاملة حتى بدون وجود الكتاب الفعلي.
طريقة "العمل الجماعي" (دمج النماذج): بدلاً من وجود ذكاء اصطناعي واحد عملاق، لديك فريق من المتخصصين. إذا كان الفيديو مفقودًا، تسأل "خبير الصوت". إذا كان الصوت مفقودًا، تسأل "خبير الفيديو". ويقومون بالتصويت على الإجابة معًا.
"الدماغ الخارق" (النماذج اللغوية الكبيرة): مؤخرًا، أصبحت نماذج الذكاء الاصطناعي الضخمة (مثل تلك التي تشغل برامج الدردشة) ذكية جدًا لدرجة أنها تستطيع فهم النصوص والصور والأصوات في آن واحد. إنها مرنة للغاية لدرجة أنه إذا سحبت منها مدخلًا واحدًا، فإنها تتكيف وتستمر في العمل، تمامًا مثل الإنسان الذي لا يزال قادرًا على سرد قصة حتى لو لم يستطع رؤية الصورة.

أين يُستخدم هذا؟ (أمثلة من الواقع)

يسرد البحث العديد من الأماكن التي يعد فيها هذا الأمر بالغ الأهمية:

الفحوصات الطبية: قد يكون لدى الطبيب صورة رنين مغناطيسي (MRI) ولكن ليس لديه فحص مقطعي (CT) للمريض. يحتاج الذكاء الاصطناعي لتشخيص المرض باستخدام الرنين المغناط مغناطيسي فقط دون التخمين العشوائي.
السيارات ذاتية القيادة: قد تتعرض كاميرا السيارة للعمى بسبب الثلوج، أو قد يتعطل الرادار الخاص بها. يجب على ذكاء السيارة الاصطناعي الاستمرار في القيادة بأمان باستخدام المستشعرات التي لا تزال تعمل فقط.
كشف المشاعر: قد تكون مكالمة الفيديو ذات صوت سيء ولكن صورة واضحة. يجب أن يظل الذكاء الاصطناعي قادرًا على معرفة ما إذا كنت سعيدًا أو حزينًا من خلال النظر إلى وجهك.
الروبوتات: قد يفقد الروبوت الذي يستكشف كهفًا إشارة نظام تحديد المواقع (GPS). يحتاج إلى التنقل باستخدام كاميراتاته ومستشعرات اللمس فقط.

المشكلات التي لم نتمكن من حلها بعد

على الرغم من امتلاكنا لهذه الحيل الرائعة، يشير البحث إلى بعض الصعوبات الكبيرة:

فخ "البيانات المزيفة": عندما "يتخيل" الذكاء الاصطناعي البيانات المفقودة، فإنه أحيانًا يختلق تفاصيل خاطئة. إذا تخيلت سيارة ذاتية القيادة طريقًا حيث توجد منحدر خطير، فسيكون ذلك خطرًا.
الذكاء الاصطناعي "الكسول": أحيانًا، حتى لو حاول الذكاء الاصطناعي ملء الجزء المفقود، فإنه ينتهي به الأمر بتجاهل المعلومات الجديدة والاعتماد فقط على المستشعر الوحيد الذي يمتلكه، والذي قد لا يكون كافيًا.
"المكتبة الفوضوية": لا يوجد اختبار معياري واحد. قد يختبر باحث ما الذكاء الاصطناعي الخاص به مع 10% من البيانات المفقودة، بينما يختبر آخره مع 90%. من الصعب المقارنة لمعرفة من هو الأفضل حقًا.
الثقل الزائد: تتطلب العديد من هذه الحلول قوة حاسوبية هائلة (مثل سوبر كمبيوتر). لكن الأجهزة الواقعية (مثل الساعة الذكية أو الطائرة بدون طيار) صغيرة ولديها بطاريات ضعيفة. نحن بحاجة إلى حلول "خفيفة الوزن" تعمل على شرائح صغيرة.

الخلاصة

هذا البحث هو بمثابة خارطة طريق. يخبرنا أنه بينما حققنا تقدمًا كبيرًا في تعليم الذكاء الاصطناعي كيفية التعامل مع المستشعرات المعطلة والبيانات المفقودة، إلا أننا لا نزال بحاجة إلى طرق أفضل للقيام بذلك دون اختلاق أشياء، ودون الحاجة إلى أجهزة سوبر كمبيوتر، ودون الارتباك من المواقف الواقعية الفوضوية. الهدف هو بناء ذكاء اصطناعي قوي مثل البشر: قادر على فهم العالم حتى عندما تكون الرؤية ضبابية أو الميكروفون معطلاً.

ملخص تقني: التعلم متعدد الوسائط العميق مع فقدان الوسائط: مسح شامل

1. تعريف المشكلة

تتناول الورقة مشكلة فقدان الوسائط (Missing Modality Problem) في التعلم العميق متعدد الوسائط. في السيناريوهات الواقعية، تواجه الأنظمة متعددة الوسائط غالباً بيانات غير مكتملة بسبب أعطال المستشعرات، أو القيود العتادية، أو قيود الخصوصية، أو فقدان البيانات، أو التداخل البيئي. وخلافاً للتعلم متعدد الوسائط التقليدي، الذي يفترض توفر جميع الوسائط $N$ باستمرار أثناء التدريب والاختبار، يهدف التعلم متعدد الوسائط مع فقدان الوسائط (MLMM) إلى تطوير نماذج تظل قوية وفعالة عندما تغيب وسيط واحد أو أكثر. ويتمثل التحدي الجوهه في استغلال الوسائط المتاحة بفعالية مع الحفاظ على أداء يقارب الأنظمة المدربة بمعلومات كاملة، دون تدهور ناتج عن غياب المدخلات الحرجة.

2. تصنيف المنهجية

يقترح المؤلفون تصنيفاً جديداً ودقيقاً يصنف طرق MLMM العميقة الموجودة إلى جانبين رئيسيين: معالجة البيانات وتصميم الاستراتيجية. وينقسم هذان الجانبان إلى أربعة أنواع واثني عشر فئة فرعية (ملخصة في الجدول 1 من الورقة).

أ. جانب معالجة البيانات

يركز هذا الجانب على كيفية تعامل النموذج مع المعلومات المفقودة على مستوى البيانات أو التمثيل.

إكمال الوسائط (Modality Imputation): يعمل على مستوى البيانات الخام لملء المعلومات المفقودة.
- تركيب الوسائط (Modality Composition): يستبدل البيانات المفقودة بقيم صفرية أو عشوائية، أو يسترجع/ينسخ بيانات من حالات مشابهة (مثل K-الأقرب للجيران). ورغم بساطة هذه الطرق، إلا أنها غالباً ما تفشل في المهام على مستوى البكسل وقد تؤدي إلى الإفراط في التخصيص (overfitting) أو تكرار العينات.
- توليد الوسائط (Modality Generation): يستخدم النماذج التوليدية (المشفرات التلقائية، شبكات GAN، نماذج الانتشار) لتخليق الوسائط المفقودة من الوسائط المتاحة. يتم تدريب مولدات فردية لكل وسيط، بينما تحاول المولدات الموحدة إنتاج جميع الوسائط المفقودة في آن واحد. تعمل هذه الطرق على تحسين تنوع البيانات ولكنها تزيد من التكاليف الحسابية والتخزينية.
النماذج المرتكزة على التمثيل (Representation-Focused Models): تعمل على مستوى تمثيل الميزات.
- التمثيل المنسق (Coordinated-Representation): يفرض قيوداً (مثل تنظيم رتبة التنسور، أو تحليل الارتباط الكنسي العميق) لمحاذاة الوسائط المتاحة في مساحة دلالية مشتركة، مما يضمن الاتساق الدلالي حتى مع المدخلات المفقودة.
- تركيب التمثيل (Representation Composition): يدمج التمثيلات المتاحة باستخدام العمليات الحسابية (التجميع، الجمع) أو الطرق القائمة على الاسترجاع لتشكيل تمثيل كامل دون معاملات قابلة للتعلم.
- توليد التمثيل (Representation Generation): يستخدم النماذج التوليدية لإنشاء تمثيلات الميزات المفقودة مباشرة.
  - من غير مباشر إلى المهمة (Indirect-to-Task): يعامل إعادة بناء الوسيط كمهمة مساعدة أثناء التدريب (غالباً باستخدام بنيات Encoder-Decoder) ولكنه يتخلص من المولد أثناء الاستنتاج.
  - من مباشر إلى المهمة (Direct-to-Task): يقوم برسم خرائط مباشرة من التمثيلات المتاحة إلى المفقودة باستخدام شبكات توليدية صغيرة (مثل شبكات الهلوسة، والتعلم البايزي) دون خطوة إعادة بناء صريحة.

ب. جانب تصميم الاستراتيجية

يركز هذا الجانب على التعديلات المعمارية وتركيبات النماذج للتكيف مع ظروف المدخلات المتغيرة.

النماذج المرتكزة على البنية (Architecture-Focused Models): تصمم بنيات مرنة تتكيف مع عدد الوسائط المتاحة.
- المعتمدة على الانتباه (Attention-Based): تستخدم آليات الانتباه الذاتي (بين الوسائط وداخل الوسيط الواحد) واستراتيجيات القناع (masking) لدمج الوسائط المتاحة ديناميكياً. وتشمل تعلم التمثيل المشترك (JRL) القائم على المحولات (Transformers)، والتعلم كفء المعلمات (PEL) مثل ضبط المحفز (Prompt) والمهايئ (Adapter).
- المعتمدة على التقطير (Distillation-Based): تنقل المعرفة من نموذج "معلم" (مدرب على الوسائط الكاملة) إلى نموذج "طالب" (يتعامل مع الوسائط المفقودة). وتشمل تقطير الاستجابة (اللوجيتس)، وتقطير الميزات المتوسطة، والطرق القائمة على العملية مثل "المعلم المتوسط" (Mean Teacher) والتقطير الذاتي.
- المعتمدة على تعلم الرسم البياني (Graph Learning-Based): تنمذج العلاقات بين الوسائط والعينات باستخدام الشبكات العصبية الرسومية (GNNs) لدمج الميزات المتاحة ديناميكياً وتعويض المفقود منها عبر إكمال الرسم البياني أو تمرير الرسائل.
- النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs): تستفيد من النماذج التأسيسية (مثل LLaVA، AnyGPT) حيث يعمل النموذج اللغوي الكبير (LLM) كمعالج للميزات قادر على قبول أعداد متغيرة من رموز الوسائط (modality tokens)، مما يعالج المدخلات المفقودة بشكل طبيعي من خلال بنيتها المرنة.
تركيبات النماذج (Model Combinations): توظف استراتيجيات تستفيد من نماذج متخصصة متعددة.
- طرق التجميع (Ensemble Methods): تجمع التنبؤات من نماذج متعددة (متعددة الوسائط أو أحادية الوسيط) عبر التصويت أو المتوسط الموزون.
- التدريب المخصص (Dedicated Training): تدريب نماذج محددة لمجموعات معينة من الوسائط المفقودة (على سبيل المثال، نموذج للوسيط 1+3 فقط) واختيار النموذج المناسب أثناء الاستنتاج.
- المجدول المنفصل (Discrete Scheduler): يستخدم نموذج لغوي كبير (LLM) كتحكم لتنظيم واختيار الوحدات النهائية بناءً على الوسائط المتاحة وتعليمات المهمة.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية:

مسح شامل: تقدم أول مراجعة واسعة النطاق لطرق MLMM العميقة عبر مجالات متنوعة (الحوسبة الوجدانية، الطب، الاستشعار عن بعد، الروبوتات، إلخ)، مرفقة بمجموعة من البيانات ذات الصلة.
تصنيف مبتكر: تقدم إطار تصنيف دقيق بناءً على معالجة البيانات (الإكمال مقابل التمثيل) وتصميم الاستراتيجية (البنية مقابل التركيبات)، مما يوفر طريقة مهيكلة لتحليل الأدبيات الموجودة.
تحليل نقدي: تقدم تحليلاً متعمقاً للمناهج الحالية، مع تسليط الضوء على مقايضاتها (مثل الطرق التوليدية مقابل الكفاءة، والاستعادة مقابل عدم الاستعادة)، وتحديد التحديات المفتوحة واتجاهات البحث المستقبلية.

4. النتائج والإحصائيات

يحلل المسح 354 ورقة بحثية هامة نُشرت بين عام 2012 وأغسطس 2025. تشمل النتائج الإحصائية الرئيسية ما يلي:

توزيع المنهجيات: يركز حوالي 75.5% من الأعمال على استعادة معلومات الوسائط المفقودة (استعادة في مراحل مبكرة، متوسطة، أو متأخرة)، بينما يركز 24.5% على الاستنتاج بدون استعادة (عدم الاستعادة).
مراحل الاستعادة: استعادة المرحلة المتوسطة (على مستوى الميزات) هي الأكثر انتشاراً (45.8%)، تليها المرحلة المبكرة (20.3%) والمتأخرة (4.7%).
قيود بيانات التدريب: توجد فجوة كبيرة في التعامل مع مجموعات التدريب غير المكتملة. فقد تم تدريب 36.4% فقط من الأعمال المراجعة على مجموعات بيانات لم تتوفر فيها بيانات الوسائط المفقودة أثناء التدريب؛ بينما افترضت الأغلبية (63.6%) إمكانية الوصول إلى البيانات الكاملة أثناء التدريب ومحاكاة الفقدان أثناء الاختبار فقط.
التطور التقني: تطور المجال من الإصلاحات المبكرة القائمة على القواعد (heuristics) على مستوى البيانات وطرق التجميع إلى تعلم التمثيل، وتصميم البنيات المرنة (الانتباه، التقطير)، وصولاً إلى المناهج القائمة على النماذج التأسيسية مؤخراً.

5. الأهمية والادعاءات

يزعم المؤلفون أن هذا المسح هو المراجعة الشاملة الأولى التي تركز تحديداً على التعلم متعدد الوسائط العميق مع الوسائط المفقودة. وتكمن أهميته في:

توحيد المجال: توفير تصنيف مهيكل يربط بين المناهج المتباينة من الرؤية الحاسوبية، ومعالجة اللغات الطبيعية، ومعالجة الإشارات.
تسليط الضوء على الأهمية الواقعية: التأكيد على أن فقدان الوسائط ليس مجرد تحديات اصطناعية بل هي أمور متأصلة في عمليات النشر الواقعية (مثل فشل المستشعرات في استكشاف الفضاء، أو الخصوصية في الذكاء الاصط์ الطبي).
تحديد الفجوات الحرجة: تشير الورقة بتواضع ولكن بحزم إلى أن المعايير المرجعية الحالية غالباً ما تفشل في نمذجة أنماط الفقدان الواقعية (مثل فشل المستشعرات غير المتزامن) وأن معظم الطرق تعاني مع مجموعات التدريب غير المكتملة.
الاتجاهات المستقبلية: تدعو الورقة إلى تطوير معايير مرجعية موحدة (على غرار MultiBench)، ونماذج أكثر كفاءة وخفة للحوسبة الطرفية، وطرق قوية للبيانات المتدفقة والتطبيقات العلمية حيث تكون البيانات بطبيعتها غير مكتملة.

تخلص الورقة إلى أنه رغم إحراز تقدم، إلا أن المجال يتطلب بروتوكولات تقييم أكثر صرامة، ومعايير مرجعية موحدة، وبنيات مصممة خصيصاً للتعامل مع الفقدان الهيكلي والمستمر الموجود في البيئات الواقعية.