Beyond Language Modeling: An Exploration of Multimodal Pretraining
تقدم هذه الورقة تجارب تدريب مسبق مضبوطة من الصفر باستخدام إطار عمل Transfusion لإثبات أن بنية "خليط من الخبراء" (Mixture-of-Experts) توفق بفعالية بين عدم التماثل في توسيع نطاق البيانات بين الرؤية واللغة، مما يتيح نماذج متعددة الوسائط موحدة ذات نمذجة عالمية فائقة وقدرات متكاملة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قضيت حياتك كلها تدرس خريطة لمدينة، تقرأ كل لافتة شارع وكل وصف للمباني. أنت تعرف أسماء الأشياء بدقة، لكنك لم ترَ المدينة حقاً، ولم تشعر بالرياح، ولم تراقب سيارة تمر من أمامك. هذا هو حال أكثر نماذج الذكاء الاصطناعي تطوراً اليوم (نماذج اللغة الكبيرة): إنها بارعة في إتقان "الخريطة" (اللغة)، لكنها لم تختبر أبداً "التضاريس" (العالم المادي).
هذه الورقة البحثية، بعنوان "ما وراء نمذجة اللغة" (Beyond Language Modeling)، هي مخطط لبناء ذكاء اصطناعي يخرج من كهف النصوص ويبدأ في العيش في العالم المرئي والحقيقي. لقد قام الباحثون في "ميتا" وجامعة نيويورك ببناء نوع جديد من "الأدمغة" التي تتعلم من الكلمات والصور/الفيديوهات في آن واحد، ومن الصفر.
إليك قصة اكتشافهم، مقسمة إلى مفاهيم وتشبيهات بسيطة.
1. المشكلة: "الظل" مقابل "الجسم"
يستخدم المؤلفون تشبيهاً شهيراً من "أسطورة الكهف" لأفلاطون. تخيل سجناءً مقيدين في كهف، يشاهدون ظلالاً على الجدار، ويعتقدون أن هذه الظلال هي الحياة الحقيقية.
- الذكاء الاصطناعي الحالي: هؤلاء هم السجناء. هم لا يرون سوى "الظلال" (الأوصاف النصية للعالم). هم يعرفون كيف يبدو صوت "الكرة الحمراء"، لكنهم لا يفهمون حقاً فيزياء تدحرج كرة حمراء.
- الهدف: يريد الباحثون بناء ذكاء اصطناعي يمكنه الالتفات، والخروج من الكهف، ورؤية الأجسام الفعلية. إنهم يريدون ذكاءً اصطناعياً يفهم "الفيزياء" و"السببية" في العالم، وليس فقط الكلمات التي تصفه.
2. الخطأ الكبير: خلط القديم بالجديد
كانت معظم المحاولات السابقة لجعل الذكاء الاصطناعي "يرى" تشبه محاولة تعليم شخص كفيف الرؤية عبر إعطائه نظارة طبية بينما هو يقرأ كتاباً بالفعل. كانوا يأخذون خبيراً لغوياً، ويجمدون دماغه، ثم يحاولون لصق كاميرا به.
- العيب: هذا يخلق ارتباكاً. لا يمكنك معرفة ما إذا كان الذكاء الاصطناعي ذكياً بسبب الكاميرا الجديدة أم لأنه كان عبقرياً في القراءة مسبقاً.
- الحل: بدأ الباحثون بـ "لوحة بيضاء". لقد دربوا نموذجاً واحداً من الصفر باستخدام مزيج من النصوص، الفيديوهات، والصور. لم يقوموا بـ "ضبط دقيق" (fine-tuning) لنموذج قديم؛ بل بنوا نموذجاً جديداً مصمماً للتعامل مع الحواس المختلفة بالتساوي.
3. الاكتشافات الأربعة الكبرى
أ. عقل واحد لعينين (المترجم العالمي)
في السابق، اعتقد العلماء أنك بحاجة إلى "عينين" مختلفتين للذكاء الاصطناعي: واحدة للفهم (قراءة صورة) وأخرى للإبداع (رسم صورة). كان الأمر يشبه امتلاك عين واحدة للقراءة وعين مختلفة تماماً للرسم.
- الاكتشاف: وجدوا أن "تمثيلاً بصرياً" واحداً عالي الجودة (يسمى RAE) يعمل بشكل مثالي لكلتا الوظيفتين.
- التشبيه: فكر في الأمر كطاهٍ ماهر. أنت لا تحتاج إلى طاهٍ لتذوق الحساء وطاهٍ آخر لطهيه. يمكن لطاهٍ واحد أن يقوم بالاثنين معاً. هذا يبسط الذكاء الاصطناعي، مما يجعله أسرع وأذكى.
ب. الوصفة المثالية (التآزر في البيانات)
تساءلوا: "إذا أطعمنا الذكاء الاصطناعي فيديوهات وصوراً، هل سيصاب بالارتباك وينسى كيف يتحدث؟"
- الاكتشاف: لا! بل على العكس، يصبح أفضل. اللغة والرؤية مثل زبدة الفول السوداني والهلام (Jelly)؛ عندما يمتزجان، ينتجان شيئاً أفضل من مجموع أجزائهما.
- التشبيه: تخيل تعلم القيادة. إذا قرأت الدليل فقط (النص)، فقد تجتاز الاختبار لكنك قد تصطدم في الحياة الواقعية. وإذا كنت تقود فقط دون قراءة (الفيديو)، فقد تكون متهوراً. ولكن إذا قرأت الدليل أثناء القيادة، فستصبح سائقاً مثالياً. يتعلم الذكاء الاصطناعي أن الكلمات والمرئيات تساعد بعضها البعض.
ج. "محاكي العالم" (السحر الناشئ)
هذا هو الجزء الأكثر إثارة. لم يعلموا الذكاء الاصطناعي صراحةً كيفية التنقل في متاهة أو التنبؤ بما سيحدث لاحقاً في فيديو. كل ما فعلوه هو تركه يشاهد ملايين الفيديوهات ويقرأ ملايين الكتب.
- الاكتشاف: طور الذكاء الاصطناعي تلقائياً القدرة على أن يكون "نموذج عالم" (World Model). استطاع التنبؤ بما سيحدث إذا انعطفت يساراً أو يميناً، حتى لو لم يتم تدريبه صراحة على تلك المهمة المحددة.
- التشبيه: الأمر يشبه طفلاً يشاهد الكثير من الرسوم المتحركة ويلعب الكثير من ألعاب الفيديو، لدرجة أنه يفهم فجأة قواعد الجاذبية والفيزياء دون أن يأخذ درساً في الفيزياء أبداً. لقد تعلم الذكاء الاصطناعي كيف "يحلم" بالمستقبل.
د. الفريق الذكي (بنية MoE)
هذا هو السر التقني وراء النجاح. وجد الباحثون أن "الرؤية" و"اللغة" لديهما شهيات مختلفة.
- اللغة تشبه متذوقاً رفيع المستوى يحتاج إلى قائمة طعام معقدة وضخمة (الكثير من معاملات النموذج/Parameters) لكنه لا يحتاج إلى أكل كميات كبيرة من الطعام (البيانات).
- الرؤية تشبه عامل البناء الذي يحتاج إلى قائمة طعام بسيطة، لكن عليه أن يأكل كميات هائلة من الطعام (كميات ضخمة من بيانات الفيديو).
- المشكلة: إذا قدمت لهما نفس الطاولة، فسيجوع عامل البناء، أو سيشعر المتذوق بالملل.
- الحل: استخدموا نظام "خليط من الخبراء" (Mixture-of-Experts - MoE). تخيل مطعماً به 1000 طاهٍ، لكن 16 منهم فقط يعملون في أي وقت معطى.
- عندما يقرأ الذكاء الاصطناعي كتاباً، فإنه يستدعي "طهاة التذوق الرفيع".
- عندما يشاهد الذكاء الاصطناعي فيديو، فإنه يستدعي "طهاة البناء".
- هذا يسمح للذكاء الاصطناعي بأن يكون ضخماً وقوياً دون الحاجة إلى حاسوب بحجم مدينة. إنه يوزع قدراته الذهنية ديناميكياً حيثما دعت الحاجة.
4. النتيجة: نوع جديد من الذكاء
من خلال الجمع بين هذه الرؤى الأربع، بنى الباحثون نموذجاً:
- يرى ويتحدث بنفس العقل.
- يتعلم من العالم الحقيقي (الفيديوهات) دون أن يفقد مهاراته اللغوية.
- يتنبأ بالمستقبل (نمذجة العالم) بمجرد مشاهدة كيفية تحرك الأشياء.
- يتوسع بكفاءة باستخدام فريق ذكي من "الخبراء" داخل عقله.
الخلاصة
هذه الورقة البحثية هي خارطة طريق للجيل القادم من الذكاء الاصطناعي. إنها تخبرنا أنه لبناء آلة ذكية حقاً، لا يمكننا فقط جعلها تقرأ المزيد من الكتب؛ بل يجب أن نتركها تشاهد العالم، وتلعب معه، وتتعلم قواعد الواقع مباشرة. لم يعد الذكاء الاصطناعي مجرد أمين مكتبة؛ بل أصبح مستكشفاً.
باختصار: لقد بنوا روبوتاً لا يعرف فقط "اسم" التفاحة التي تسقط، بل يفهم حقاً "لماذا" تسقط، لأنه تعلم كيف يرى العالم، لا أن يقرأ عنه فحسب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.