تقدم هذه الورقة خارطة طريق رسمية للانتقال من نهج الاندماج المتأخر إلى النمذجة متعددة الوسائط الأصلية (NMM) عبر تعريف الأصالة المعمارية، وتصنيف النماذج الحالية بناءً على ثنائية المدخلات والمخرجات، وتقديم دليل بمستوى صناعي لبناء أطر عمل "ترانسفورمر" موحدة تدمج بسلاسة بين الفهم والتوليد.
تخيل أنك تحاول تعليم روبوت كيف يفهم ويتفاعل مع العالم الحقيقي. لفترة طويلة، كنا نعلم الروبوتات عبر إعطائها نظارة (للرؤية)، وميكروفونًا (للسمع)، ودماغًا منفصلاً (للتفكير)، ثم نحاول لصق هذه الأجزاء معًا. هذه الورقة البحثية، بعنوان "NMM Roadmap"، تجادل بأن طريقة "اللصق" هذه أصبحت قديمة. بدلاً من ذلك، نحن بحاجة لبناء روبوتات تكون "وليدة بالفطرة" (Born Native) — مما يعني أن دماغها مصمم منذ البداية لمعالجة الرؤية، والصوت، واللغة معًا، كتدفق واحد موحد للمعلومات.
إليك تفصيل لرحلة هذه الورقة البحثية، باستخدام تشبيهات بسيطة:
1. التطور: من "اللصق" إلى "الولادة بالفطرة"
تصف الورقة ثلاث مراحل لكيفية بناء هذه النماذج الذكية:
الدمج المتأخر (طريقة "اللصق"): تخيل روبوتًا به كاميرا وميكروفون متصلين بجهاز كمبيوتر قياسي. الكمبيوتر لا "يرى" أو "يسمع" فعليًا؛ بل يتلقى فقط ملاحظات معالجة مسبقًا من الكاميرا والميكروفون. تطلق الورقة على هذا وصف "منفصل". إنه يشبه مترجمًا لا يتلقى سوى ملاحظات مكتوبة من شخص أصم ويحاول تخمين ما يقوله. هذا الأسلوب يعمل، لكن الروبوت يظل "أعمى" عن التفاصيل الحسية الخام.
الدمج المتوسط (طريقة "العمل الجماعي"): الآن، تتحدث الكاميرا والميكروفون مباشرة إلى الطبقات الوسطى للدماغ. يتبادلان الرؤى، لكنهما لا يزالان يحتفظان بهوياتهما المنفصلة. إنه يشبه فريقًا من الخبراء (مصور فوتوغرافي، مهندس صوت، وكاتب) يجلسون في غرفة واحدة. هم يتعاونون، لكنهم لا يزالون يرتدون زيًا رسميًا خاصًا بكل منهم.
الدمج المبكر (طريقة "الولادة بالف فطرة"): هذا هو الهدف الأسمى للورقة. تخيل دماغًا لا توجد فيه كاميرات أو ميكروفونات منفصلة. بدلاً من ذلك، يرى الدماغ فيديو، ويسمع صوتًا، ويقرأ نصًا، جميعها كنوع واحد من "الرموز" (Tokens) (مثل الحروف في كتاب). إنه يعامل صورة كلب وكلمة "كلب" كجيران متساوين في نفس الجملة. هذا هو النمذجة متعددة الوسائط الأصلية (NMM). الروبوت لا يكتفي بالترجمة؛ بل يختبر العالم بطريقة موحدة.
2. الأنواع الثلاثة للروبوتات "الأصلية"
تنظم المؤلفون هذه النماذج الجديدة "المولودة بالفطرة" إلى ثلاث فئات بناءً على ما تفعله بالمعلومات:
من متعدد إلى نص (المترجم): يأخذ الروبوت مزيجًا من المدخلات (فيديو، مقطع صوتي، صورة) وينتج نصًا فقط. إنه يشبه صحفيًا يشاهد مشهدًا فوضويًا ويكتب تقريرًا إخباريًا مثاليًا.
من متعدد إلى هدف (المبدع): يأخذ الروبوت مزيجًا من المدخلات وينتج شيئًا محددًا واحدًا، مثل فيديو، أو أغنية، أو صورة. إنه يشبه المخرج الذي يأخذ سيناريو ولوحة إلهام وينتج فيلمًا.
من متعدد إلى متعدد (الوكيل الشامل): هذا هو "الكأس المقدسة". يمكن للروبوت استقبال أي شيء (فيديو، صوت، نص) وإخراج أي شيء آخر (نص، فيديو، صوت) بسلاسة. إنه يشبه الإنسان الذي يمكنه مشاهدة فيلم، وسماع أغنية، وقراءة كتاب، ثم رسم لوحة فورًا، أو كتابة قصة، أو غناء أغنية بناءً على ما اختبره للتو. لا يوجد حاجز بين "الفهم" و"الابتكار".
3. وصفة النجاح
لا تتعلق الورقة بالدماغ فحسب؛ بل تتعلق بالوصفة الكاملة لبناء هذه النماذج. وهي تقسمها إلى أربعة مكونات رئيسية:
البيانات (النظام الغذائي): لا يمكنك تغذية الروبوت بالنصوص فقط. أنت بحاجة إلى نظام غذائي من الوسائط المختلطة: فيديوهات مع أصوات، صور مع تعليقات، وحتى بيانات حول كيفية تفاعل البشر مع المواقع الإلكترونية أو الروبوتات. تشير الورقة إلى أن مزيج هذا الطعام مهم؛ فإذا أطعمته الكثير من النصوص وقليلًا من الفيديو، فسينسى كيف يرى.
التدريب (المدرسة):
ما قبل التدريب (Pre-training): يشبه المدرسة الابتدائية حيث يتعلم الروبوت أساسيات جميع اللغات والحواس في وقت واحد.
الضبط الدقيق (Fine-tuning): يشبه الكلية المتخصصة. إذا كان الروبوت يتعلم توليد الصور، فإن التدريب يركز على ذلك، لكن الورقة تحذر من ضرورة الحذر حتى لا ينسى كيفية فهم النصوص.
التعلم المعزز (RL): يشبه المدرب الذي يقدم ملاحظات. "عمل جيد، هذا الفيديو بدا واقعيًا!" أو "عمل سيء، هذا الصوت لم يتطابق مع حركة الشفاه". تسلط الورقة الضوء على تقنية جديدة تسمى التقطير داخل السياسة (On-Policy Distillation)، وهي تشبه وجود فريق من المدربين المتخصصين (واحد للرياضيات، وآخر للفن، وآخر للسلامة) يعلمون الروبوت في آن واحد حتى لا يصاب بالارتباك.
النشر (الأداء): عندما يعمل الروبوت فعليًا، فإنه يواجه مشكلة: انفجار التسلسل (Sequence Explosion). فيديو مدته 10 دقائق يتحول إلى ملايين النقاط البيانية الصغيرة. تقترح الورقة طرقًا ذكية لضغط هذا، مثل الانتباه فقط للأجزاء المهمة من الفيديو (الحركة) وتجاهل الأجزاء المملة (الخلفية الثابتة)، حتى لا تنفد ذاكرة الروبوت.
التقييم (الاختبار): كيف نعرف أن ذلك يعمل؟ تجادل الورقة بأننا بحاجة إلى اختبارات جديدة. لا يمكننا فقط سؤال: "هل أجاب على السؤال؟" بل نحتاج أيضًا للسؤال: "هل أجاب في الوقت المناسب؟" (للبث في الوقت الفعلي) و"هل هلوس؟" (هل اخترع حقائق؟).
4. المستقبل: "نموذج العالم"
تختتم الورقة بالنظر إلى المستقبل. الهدف النهائي هو الانتقال من النماذج التي تعالج البيانات إلى نماذج العالم الأصلية (Native World Models).
فكر في الذكاء الاصطناعي الحالي كأمين مكتبة يمكنه قراءة أي كتاب ولكنه لم يغادر المكتبة أبدًا. أما نموذج العالم الأصلي فهو مستكشف. هو يدرك العالم مباشرة من خلال مستشعراته، ويفهم فيزياء كيفية تحرك الأشياء، ويتذكر الأحداث طويلة المدى، ويمكنه التصرف في الوقت الفعلي. هو لا يكتفي بـ "معالجة" فيديو لسقوط كرة؛ بل يفهم الجاذبية، والزمن، والسبب والنتيجة لأنه تدرب على رؤية العالم كتجربة أصلية واحدة ومستمرة.
باختختصار: هذه الورقة هي مخطط للانتقال بالذكاء الاصطناي من كونه "لحافًا مرقعًا" من أدوات منفصلة إلى "نسيج سلس" حيث الرؤية، والسمع، والتفكير تحدث كعملية واحدة طبيعية وموحدة.
ملخص تقني: نحو خارطة طريق للنمذجة متعددة الوسائط الأصلية (NMM)
بيان المشكلة
تطورت النمذجة متعددة الوسائط من معالجات نصوص محايدة للوسائط نحو نماذج عالمية شاملة، ومع ذلك، يفتقر المجال إلى تعريف رسمي وخارطة طريق مهيكلة لـ النمذجة متعددة الوسائط الأصلية (NMM). اعتمدت النهج المبكرة على نماذج الدمج المتأخر (مثل LLaVA وDeepSeek-VL)، والتي تقوم بتجميع مشفرات مدربة مسبقاً مع هياكل لغوية مجمدة عبر أدوات إسقاط ضحلة. تعاني هذه التكوينات غير الأصلية من عمى جوهري تجاه الإشارات الحسية الخام، مما يحد من عمق التفاعل بين الوسائط ويمنع التآزر الحقيقي. وبينما تحولت الجهود الأخيرة نحو بنى أصلية تدمج الوسائط بشكل جوهري، لا يزال مجال التصميم مجزأً؛ حيث يوجد نقص في تعريف "الأصالة المعمارية"، مما يعيق قدرة المجتمع على تقييم درجة التكامل في النماذج الناشئة واختيار البنى المثلى لمهام محددة.
المنهجية والإطار العملي
تقترح الورقة تصنيفاً رسمياً واستقصاءً شاملاً للانتقال من التجميع النمطي إلى التقارب الأصلي. وتتوزع المنهجية حول بُعدين رئيسيين: الأصالة المعمارية (عمق التكامل) وثنائية المدخلات والمخرجات (التدفق الوظيفي).
1. صياغة الأصالة المعمارية
يعرف المؤلفون النمذجة متعددة الوسائط الأصلية (NMM) كنموذج يكون فيه التآزر متعدد الوسائط خاصية معمارية جوهرية، مما يميزها عن الدمج المتأخر من خلال نظامين:
الدمج المتوسط (Mid-Fusion): نظام تفاعل طبيعي حيث يتم حقن الميزات من مشفرات متميزة في عمود فقري مشترك متعدد الوسائط (على سبيل المثال، عبر الانتباه المتقاطع أو المحولات/Adapters). ورغم كونه ثاقباً عبر الوسائط، إلا أنه يحافظ على حدود واضحة مدركة للوسائط وعدم تماثل هيكلي بين المشفرات العلوية والعمود الفقري المركزي.
الدمج المبكر (Early-Fusion): نظام "أصيل المنشأ" (born-native) حيث يتم رسم جميع الوسائط بواسطة عامل موحد في مساحة تضمين مشتركة واحدة منذ البداية، متجاوزاً المشفرات المستقلة المجمدة. يحقق هذا النهج تآزراً عميقاً عبر التعامل مع جميع الوسائط كرموز (tokens) متكافئة داخل محول (transformer) موحد.
2. التصنيف حسب ثنائية المدخلات والمخرجات
يتم تنظيم منظومة NMM الحالية في ثلاث فئات وظيفية بناءً على تدفق الوسائط:
من متعدد إلى نص (M2T) - توليد أحادي الوسيط: فهم غير متماثل حيث يتم دمج المدخلات متعددة الوسائط في مساحة لغوية واحدة من أجل الاستدلال (مثل Qwen3-VL، MiniCPM-V).
من متعدد إلى هدف (M2G) - توليد قائم على السيناريو: توليد غير متماثل حيث يقوم النموذج بتخليق أهداف غير نصية محددة (صور، صوت، فيديو) مباشرة من التمثيلات المخفية الأصلية، متجاوزاً أجهزة فك الترميز اللاحقة (مثل Wan2.2، Kling-Omni).
من متعدد إلى متعدد (M2M) - نمذجة متماثلة: المرحلة القصوى حيث يتعايش الفهم والتوليد بشكل متماثل داخل شبكة واحدة، مما يتيح ذكاءً من أي نوع إلى أي نوع (مثل Emu3.5، Moshi، Chameleon).
3. الاستقصاء على المستوى الصناعي
تفكك الورقة بشكل منهجي خط الإنتاج النهائي لـ NMM، وتحلل:
البنية المعمارية: التحديات التقنية في توحيد الوسائط، والتعامل مع الانفجارات الحسابية (خاصة في الفيديو)، وجسر الفجوة بين النماذج المنفصلة والمستمرة.
تنسيق البيانات: التحول من أزواج الصور والنصوص البسيطة إلى مجموعات هجينة تشمل التسلسلات المتداخلة، والبيانات الموجهة للتفاعل (ويب/واجهة مستخدم/روبوتات)، وإشارات التفضيل والمواءمة.
استراتيجيات التدريب: تطور بصمات التدريب عبر أنظمة الدمج المختلفة، بما في ذلك معدلات التعلم التفاضلية في الدمج المتوسط، والتنبؤ بالرمز التالي الموحد (NTP) في الدمج المبكر، والأدوار المحددة للضبط الدقيق تحت الإشراف (SFT)، والتعلم المعزز (RL)، وتقطير السياسة (On-Policy Distillation).
الاستدلال والنشر: استراتيجيات لتخفيف انفجار التسلسل، وإدارة التباين/الحجم عبر تقنيات Mixture of Experts (MoE) والترميز المنفصل (discrete tokenization)، وتمكين البث ثنائي الاتجاه في الوقت الفعلي.
التقييم: الحاجة إلى معايير تقيس الفهم والتوليد معاً عبر الوسائط، متجاوزة المقاييس الثابتة إلى البروتوكولات المدركة زمنياً والمدركة للكفاءة.
المساهمات الرئيسية
صياغة المشكلة: تقدم الورقة أول تعريف منهجي لـ NMM، حيث تضع تصنيفاً هيكلياً مبدئياً يعتمد على عمق التكامل (الدمج المتوسط/المبكر) وثنائية المدخلات والمخرجات (M2T/M2G/M2M) لتوضيح مجال التصميم المجزأ.
خارطة الطريق التكنولوجية: تقدم تحليلاً شاملاً لدورة حياة NML كاملة، واستخراج الاختناقات الجوهرية والحلول التقنية عبر البنية، والبيانات، والتدريب، والاستدلال، والتقييم. كما تفصل الوصفات الهندسية المحددة، مثل ضرورة معدلات التعلم التفاضلية في الدمج المتوسط والدور الحاسم لجدولة مزيج الوسائط في الدمج المبكر.
النظرة المستقبلية: يقدم المؤلفون رؤى تجريبية من التطبيقات الأكثر تقدماً لاستشراف المسارات المستقبلية، وتحديد الاتجاهات الاستراتيجية الحاسمة للتطور نحو NMM متقدم، بما في ذلك التقارب نحو نماذج M2M المتماثلة والتحول إلى تدفقات متعددة الوسائط ذاتية التوليد.
النتائج والمكتشفات
لا تقدم الورقة نتائج تجريبية جديدة، بل تلخص النتائج من مجموعة واسعة من النماذج الحالية (مثل Qwen2.5-VL، Kimi K2.5، Emu3.5، Chameleon، Moshi) لتوضيح حالة الفن الحالية. وتشمل النتائج الرئيسية ما يلي:
التحول المعماري: ينتقل المجال بسرعة من الدمج المتأخر إلى الدمج المتوسط، وبشكل متزايد نحو محولات الدمج المبكر "أصلية المنشأ".
بصمات التدريب: تفرض أنظمة الدمج المختلفة متطلبات تدريب متباينة. تتطلب نماذج الدمج المبكر تقنيات تثبيت إلزامية (مثل QK-Norm، وZ-loss) وجدولة دقيقة لمزيج الوسائط لمنع التحيزات المتدهورة، بينما يعتمد الدمج المتوسط على معدلات تعلم تفاضلية وإلغاء تجميد تدريجي.
تعقيد البيانات: تتطلب NMM فعالة مناهج بيانات معقدة توازن بين البيانات الموجهة للفهم، والموجهة للتوليد، والموجهة للتفاعل، مع تركيز متزايد على البيانات المتداخلة والموائمة مع التفضيلات.
فجوات التقييم: غالباً ما تقيم المعايير الحالية الوسائط بشكل منعزل. هناك حاجة ماسة لمعايير M2M متماثلة تقيم الاتساق بين الفهم والتوليد، بالإضافة إلى مقاييس مدركة زمنياً للتفاعلات المتدفقة.
الأهمية والادعاءات
تدعي الورقة أنها توفر خارطة طريق رسمية للمجتمع للانتقال من التجميع النمطي إلى التقارب الأصلي. وتكمن أهميتها في:
توضيح مجال التصميم: من خلال التعريف الرسمي لـ "الأصالة"، تمكن الورقة من تقييم درجة التكامل في النماذج الناشئة، مما يعالج غياب الصياغة الذي كان يعقد اختيار البنية سابقاً.
الصلة الصناعية: تقدم استقصاءً "على المستوى الصناعي"، موفرةً رؤى عملية في خط الإنتاج الكامل من تنسيق البيانات إلى النشر، وهو أمر ضروري لبناء نماذج عالمية أصلية حقاً.
الاتجاه الاستراتيجي: تلخص المشكلات المفتوحة وترسم اتجاهات البحث الضرورية للتطور نحو نماذج العالم الأصلية (Native World Models) — وهي نماذح ذات عمود فقري موحد تدرك التدفقات الحسية الخام، وتحافظ على حالة مستمرة، وتعمل في زمن مستمر.
يضع المؤلفون هذا العمل ليس كحل نهائي، بل كنقطة انطلاق مهيكلة للمرحلة التالية من الذكاء متعدد الوسائط، مع التأكيد على الرحلة نحو ذكاء متعدد الوسائط، متماثل، متدفق، ومتجسد.