MultiModal Code-Switching: Interleaving Visual Objects into Language for Explicit Object-Level Alignment
تقدم الورقة البحثية نموذج التبديل اللغوي متعدد الوسائط (MMCS)، وهو نموذج تدريب مسبق مبتكر يدمج الكائنات المرئية ضمن النصوص لتوفير إشراف صريح على مستوى الكائن، مما يحسن بشكل كبير من كفاءة البيانات وقدرات الربط البصري مقارنة بطرق محاذاة الصور والنصوص التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم العالم. تعرض عليه صورة لمكتب فوضوي وتقول له: "هناك كوب قهوة، وحاسوب محمول، وقطة". في عالم الذكاء الاصطناعي، تُسمى هذه الروبوتات "نماذج اللغات الكبيرة متعددة الوسائط" (MLLMs). إنها تشبه الطلاب الأذكياء جداً الذين يمكنهم قراءة النصوص والنظر إلى الصور في نفس الوقت. لكي تتعلم، عادة ما تدرس في أزواج: يظهر أحد الجوانب صورة، ويظهر الجانب الآخر فقرة طويلة تصفها. يحاول الروبوت تخمين الكلمات بناءً على الصورة بأكملها.
لكن هذا هو الجزء الصعب: الصورة الواحدة هي مزيج من أشياء كثيرة. إذا رأى الروبوت صورة فيها قطة وكلب وكرة، وكان النص يقول "القطة تطارد الكلب"، فعلى الروبوت أن يكتشف أي جزء من الصورة الضبابية والمختلطة ينتمي إلى "القطة" وأي جزء ينتمي إلى "الكلب". الأمر يشبه محاولة حل لغز حيث القطع كلها ملتصقة ببعضها لتشكل كتلة واحدة كبيرة. على الروبوت تخمين الروابط، وهو أمر بطيء وغير فعال وغالباً ما يؤدي إلى الارتباك. إنه كمن يحاول تعلم أسماء أصدقائه من خلال النظر إلى صورة جماعية حيث يقف الجميع في كومة واحدة؛ قد تخمن من هو من، لكنك على الأرجح ستخطئ كثيراً.
هذه هي المشكلة التي عالجها الباحثون في جامعة نانجينغ في ورقتهم البحثية الجديدة. لقد أدركوا أن الطريقة القديمة لتعليم هذه الروبوتات —أي لصق الصورة كاملة بالجملة كاملة— كانت فوضوية للغاية. لذا، ابتكروا خدعة ذكية وجديدة تسمى "التبديل اللغوي متعدد الوسائط" (MMCS).
فكر في (MMCS) كأنها لعبة "أكمل الفراغ"، حيث لا يكون الفراغ كلمة، بل صورة صغيرة مكبرة. بدلاً من كتابة "القطة على الحصيرة"، يُعرض للروبوت جملة تبدو هكذا: "الـ [صورة قطة] هي على الـ [صورة حصيرة]".
في العالم الحقيقي، "التبديل اللغوي" (Code-switching) هو عندما يخلط شخص يتحدث لغتين (مثل الإنجليزية والإسبانية) بينهما في نفس الجملة، مثل قول: "ذهبت إلى الـ tienda لشراء الحليب". لقد استعار الباحثون هذه الفكرة؛ فهم يعاملون الكائن المرئي (صورة القطة) كلغة أو "كود" مختلف عن النص. من خلال استبدال كلمة "قطة" بصورة فعلية للقطة، فإنهم يجبرون الروبوت على النظر إلى تلك الصورة الصغيرة المحددة وفهم أن هذا هو معنى الكلمة. لا يوجد تخمين بعد الآن؛ فالارتباط صريح ومباشر.
بنى الفريق آلة ضخمة لإنشاء هذه الأمثلة التدريبية الخاصة. أخذوا آلاف الصور، وكتبوا أوصافاً تفصيلية لها، ووجدوا الأشياء المحددة في الصور (مثل القطة، أو الكتاب، أو المصباح)، ثم استبدلوا الكلمات في الوصف بقطع صور صغيرة من تلك الصور. لقد أنشأوا مجموعة بيانات مكونة من 773,000 عينة من هذه العينات "المختلطة لغوياً".
كانت النتائج فعالة بشكل مدهش. عادةً، لكي تعلم روبوتاً بشكل جيد، تحتاج إلى مئات الآلاف من أزواج الصور والنصوص القياسية. ولكن مع طريقة "التبديل اللغوي" الجديدة هذه، تعلم الروبوت بنفس الكفاءة باستخدام 50,000 عينة فقط. في الواقع، أظهر نموذج تم تدريبه على 50,000 عينة خاصة من هذه العينات أداءً يضاهي، أو حتى يتفوق على، النماذج التي تدربت على 600,000 عينة قياسية. إنه كأن الروبوت انتقل من الحاجة إلى مكتبة كاملة من الكتب المدرسية إلى تعلم نفس القدر من المعلومات من مجرد عدد قليل من البطاقات التعليمية لأن تلك البطاقات كانت أكثر وضوحاً بكثير.
كما أظهرت الورقة البحثية أن هذه الطريقة لم تساعد الروبوت فقط على التعرف على الأشياء، بل جعلته أفضل في فهم مكان الأشياء بالضبط في الصورة ووصفها بدقة. عندما نظر الباحثون إلى كيفية عمل "دماغ" الروبوت، رأوا أن انتباهه أصبح أكثر حدة. فبدلاً من التحديق بشكل غامض في الصورة بأكملها، كان يركز بدقة على المكان الصحيح عندما يقرأ كلمة "قطة".
باختاً، وجد الباحثون أنه من خلال خلط الصور والكلمات معاً في جملة واحدة —أي استبدال الكلمات بنظائرها المرئية— يمكنهم تعليم نماذج الذكاء الاصطناعي فهم العالم بشكل أسرع وأكثر دقة. لقد أثبتوا أنك لست بحاجة لإغراق الروبوت بالبيانات إذا كنت تمنحه بيانات واضحة تماماً. لا يتعين على الروبوت أن يخمن أي جزء من الصورة هو القطة؛ فالقطة موجودة هناك في الجملة، تحدق فيه مباشرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.