ملخص تقني: النماذج اللغوية الكبيرة متعددة الوسائط تحت ظروف الوسائط الزوجية

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات مذهلة في الفهم والتوليد عبر الوسائط المختلفة. ومع ذلك، يعتمد تدريبها عادةً على مجموعات بيانات متعددة الوسائط منسقة بشكل مشترك حيث تكون جميع الوسائط (مثل النص، والصورة، والصوت، والثلاثي الأبعاد) متوافقة تماماً لكل حالة. إن بناء مثل هذه البيانات المتوافقة متعددة الاتجاهات هو أمر مكلف، ويتطلب جهداً بشرياً كبيراً، وغالباً ما يكون غير ممكن في المجالات الناشئة مثل الروبوتات، والاستشعار اللمسي، والتصوير الطبي.

هذا الاعتماد الشديد على المجموعات المنسقة بالكامل يحد من قدرة النماذج اللغوية الكبيرة متعددة الوسائط على التوسع لتشمل وسائط جديدة. في المقابل، فإن البيانات المنسقة زوجياً (مثل نص-صورة، صورة-لمس، نص-ثلاثي أبعاد) هي أكثر وفرة ومتاحة بشكل طبيعي من مصادر متنوعة. السؤال المركزي الذي تعالجه هذه الورقة هو: كيف يمكننا تدريب نموذج متعدد الوسائط باستخدام الوسائط الززاء فقط، دون مراقبة التوزيع المشترك الكامل أبداً؟

المنهجية: إطار عمل MPM

يقترح المؤلفون نموذج الوسائط الزوجية متعدد الوسائط (MPM)، وهو إطار عمل يتكون من مرحلتين مصمم لتعلم تمثيلات كامنة منسقة وتمكين التوليد عبر الوسائط باستخدام الإشراف الزوجي فقط.

1. الأساس النظري: القابلية للتمييز (Identifiability)

قبل اقتراح البنية، تقدم الورقة تحليلاً نظرياً لـ قابلية تمييز الفضاء الجزئي تحت ظروف الوسائط الزوجية.

• النموذج التوليدي: يعرّف المؤلفون عملية توليدية تنشأ فيها الملاحظات من عوامل كامنة مشتركة ($z_c$) وعوامل خاصة بكل وسيط ($z_s$).
• شروط القابلية للتمييز: أثبتوا أنه إذا كان الرسم البياني للوسائط المكون من مجموعات البيانات الزوجية متصلاً بشكل كافٍ، فيمكن استعادة الفضاء الكامن المشترك من الملاحظات الزوجية المتداخلة.
• الرؤية الجوهرية: تحت افتراضات معتدلة (النعومة، والقابلية للعكس، والاستقلال الخطي الجماعي للجيران)، تكون الكتلة الكامنة المشتركة $z_c$ قابلة للتمييز حتى مع وجود تحويل قابل للعكس، حتى بدون التوافق المشترك الكامل. يوفر هذا ضماناً مبدئياً على إمكانية استعادة الدلالات المشتركة من سلسلة من الاتصالات الزوجية.

2. المرحلة الأولى: محاذاة التمثيل الكامن

تتعلم المرحلة الأولى فضاءً كامناً مشتركاً موحداً باستخدام البيانات الزوجية فقط.

• البنية: يتم استخدام إطار عمل "المشفر التلقائي" (Autoencoder) لكل وسيط، يتكون من مشفر ($Enc_m$) وفك تشفير ($Dec_m$). يقوم المشفر برسم المدخلات في كتلة كامنة مشتركة ($\hat{z}_c$) وكتلة خاصة ($\hat{z}_s$).
• الأهداف:
  • إعادة بناء الوسيط ذاتياً: يضمن أن التمثيل الكامن يحافظ على جميع المعلومات المتعلقة بالوسيط الأصلي، مما يمنع انهيار المعلومات.
  • المحاذاة التباينية عبر الوسائط: يستخدم هدفاً على طراز CLIP لمحاذاة التمثيلات المشتركة ($\hat{z}_c$) للوسائط المزدوجة.
  • المحاذاة الجزئية وغير المتماثلة: إدراكاً بأن ليس كل العوامل الكامنة في وسيط جديد تقابل الوسيط المستهدف (على سبيل المثال، قد لا يتم وصف خشونة الملمس صراحة في النص)، قدم المؤلفون آلية القناع الثنائي (Binary Mask). تسمح هذه الآلية بالمحاذاة الجزئية، حيث تختار فقط المكونات المشتركة ذات الصلة من الوسيط الجديد لتتواءم مع الوسيط المستهدف، مما يتجنب القيود الزائفة.

3. المرحلة الثانية: إعادة التكوين عبر الوسائط

تدمج المرحلة الثانية الوسائط المتعلمة حديثاً في نموذج لغوي كبير (MLLM) مدرب مسبقاً دون تعديل الهيكل الأساسي (Backbone).

• الآلية: يتم محاذاة مشفر الوسيط الجديد (مثل السحب النقطية ثلاثية الأبعاد) مع الفضاء الكامن للوسيط المستهدف (مثل النص) الذي تم تعلمه في المرحلة الأولى.
• إعادة التكوين: يتم تمرير التمثيل المشترك المحاذى عبر قناع غير متماثل وتغذيته في فك التشفير الخاص بالوسيط المستهدف. يعمل هذا التمثيل المعاد بناؤه كمدخل بديل لـ النموذج اللغوي الكبير (LLM) المجمد.
• الميزة: يسمح هذا التصميم للوسيط الجديد بالاستفيد من القدرات التوليدية والاستدلالية للنموذج اللغوي الكبير المدرب مسبقاً دون الحاجة إلى إعادة تدريب كاملة، مما يتجنب "النسيان الكارثي".

المساهمات الرئيسية

1. التحليل النظري: تقدم الورقة برهاناً رسمياً على أن التمثيلات الكامنة المشتركة قابلة للتمييز من بيانات الوسائط الزوجية المتداخلة تحت شروط اتصال ورتب محددة، مما يوفر أساساً نظرياً للتدريب الزوجي فقط.
2. إطار عمل موحد: يقترح إطار عمل من مرحلتين (محاذاة الكامن + إعادة التكوين عبر الوسائط) يتيح توسيع الوسائط بشكل قابل للتوسع باستخدام الإشراف الزوجي فقط، مما يلغي الحاجة إلى مجموعات بيانات متعددة الوسائط متوافقة بالكامل.
3. التحقق التجريبي: تم التحقق من المنهجية من خلال دمج السحب النقطية ثلاثية الأبعاد والاستشعار اللمسي في نموذج لغوي كبير مدرب مسبقاً (Qwen3-Omni)، مما أظهر أداءً قوياً في نقل المعرفة عبر الوسائط.

النتائج التجريبية

قيم المؤلفون منهجية MPM عبر إضافة الوسائط ثلاثية الأبعاد واللمسية إلى Qwen3-Omni-30B-A3B، وهو نموذج لغوي كبير متعدد الوسائط مدرب مسبقاً.

• اختبارات الـ 3D: في اختبار ModelNet40 (تصنيف الأشياء) و 3D MM-VET (الأسئلة والأجوبة ثلاثية الأبعاد)، تفوق MPM بشكل كبير على النماذج المرجعية، بما في ذلك طرق الضبط الدقيق الكامل (مثل PointLLM و ShapeLLM) والطرق القائمة على المهايئات (Adapters). والجدير بالذكر أن MPM حقق دقة بنسبة 70.5% في ModelNet40 مقارنة بـ 53.1% لأفضل نموذج مرجعي تم ضبطه بالكامل.
• اختبارات اللمس: في مجموعة بيانات TVL، حقق MPM أفضل أداء بين النماذج القادرة على الاستشعار اللمسي (5.22/10 في مقياس TVL)، متفوقاً على كل من الهيكل الأساسي المجمد والنماذج المرجعية القائمة على المهايئات.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة المرحلة الأولى (الاكتفاء بإعادة التكوين فقط) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة تعلم فضاء كامن مشترك مهيكل.
  • كما أدت إزالة المرحلة الثانية (المرحلة الأولى فقط) إلى تراجع الأداء أيضاً، مما يسلط الضل على دور فك التشفير في النموذج اللغوي الكبير المجمد في توليد لغة سلسة.
  • وُجد أن كلاً من خسائر إعادة البناء والمحاذاة التباينية في المرحلة الأولى كانت حاسمة، حيث كانت إعادة البناء ضرورية لمنع انهيار الكامن.

الأهمية والادعاءات

تدعي الورقة أن الإشراف بالوسائط الزوجية هو بديل قابل للتوسع وفعال للتدريب التقليدي متعدد الوسائط المتوافق بالكامل. ومن خلال الاستفيد من الرؤية النظرية التي مفادها أن العوامل الكامنة المشتركة يمكن استعادتها من الرسوم البيانية الزوجية المتصلة، أثبت المؤلفون ما يلي:

• من الممكن توسيع النماذج اللغوية الكبيرة متعددة الوسائط المدربة مسبقاً لتشمل وسائط جديدة (مثل الثلاثي الأبعاد واللمسي) دون التكلفة الباهظة لجمع مجموعات بيانات متعددة الوسائط متوافقة بالكامل.
• يحافظ إطار العمل المقترح على القدرات الأصلية للنموذج المدرب مسبقاً (تجنب النسيان الكارثي) مع تمكين مهام التوليد الجديدة عبر الوسائط.
• يقدم النهج آلية مبدئية لتوسيع الوسائط لا تعتمد على وسيط مرجعي عالمي أو ضبط تعليمات واسع النطاق.

تخلص الورقة إلى أنه بينما يظهر إطار العمل نتائج واعدة، إلا أن هناك حاجة لمزيد من العمل لتوسيع نطاقه ليشمل مجموعات أوسع من الوسائط والتحقق من فعاليته في مهام لاحقة أكثر تنوعاً وتعقيداً.