Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs
تقترح هذه الورقة البحثية "انتباه الوسائط المتبادل" (Modality-Mutual Attention - MMA)، وهو تعديل هيكلي خالٍ من المعلمات يستبدل الانتباه السببي في النماذج اللغوية الكبيرة متعددة الوسائط لتمكين رموز الصور من الانتباه إلى رموز النصوص، مما يؤدي إلى حل مشكلة عدم الاتساق بين الرؤية واللغة وتحقيق أداء هو الأفضل حالياً عبر 12 معياراً مرجعياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الرؤية هي الفهم: فتح آفاق الانتباه السببي إلى الانتباه المتبادل بين الوسائط للنماذج اللغوية متعددة الوسائط"، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
المشكلة: "الشارع ذو الاتجاه الواحد" في عقول الذكاء الاصطناعي
تخديل نموذج لغوي كبير متعدد الوسائط (MLLM) كمساعد ذكي جداً يمكنه رؤية الصور وقراءة النصوص. حالياً، معظم هؤلاء المساعدين مبنيون مثل شارع ذو اتجاه واحد.
عندما تسأل المساعد سؤالاً حول صورة، فإن العملية القياسية هي:
- الصورة تُعرض أولاً.
- السؤال يُقرأ ثانياً.
- الإجابة يتم إنشاؤها أخيراً.
تشير الورقة البحثية إلى خلل رئيسي في هذا الإعداد: بسبب الطريقة التي صُمم بها "عقل" الذكاء الاصطناست (وتحديداً آلية الانتباه الخاصة به)، لا يمكن لـ الصورة إلا أن تنظر إلى ما جاء قبلها. وبما أن الصورة تأتي أولاً، فهي لا تستطيع النظر إلى الوراء لرؤية السؤال. الأمر يشبه حارس أمن مسموح له فقط برؤية الأشخاص الداخلين إلى مبنى، لكن يُمنع من النظر إلى اللوحة الموجودة على الحائط والتي تقول "ممنوع الدخول".
ولأن جزء "الصورة" في الذكاء الاصطناعي لا يستطيع قراءة جزء "السؤال"، فإنه غالباً ما يخطئ في التقدير. قد يرى سيارة في صورة ويقول: "هذه سيارة فيراري حمراء"، حتى لو كان المستخدم قد سأل: "هل هذه سيارة فيراري حمراء؟" وكانت السيارة في الواقع زرقاء. يهلوِس الذكاء الاصطناعي (يختلق معلومات) لأن جزء الصورة في العقل "أعمى" عن التعليمات المحددة الموجودة في النص.
الحل القديم: القيادة في الاتجاه المعاكس
قبل هذه الورقة، حاول الباحثون إصلاح ذلك عبر تدريب الذكاء الاصطناعي بطريقتين مختلفتين:
- الطريقة القياسية: عرض الصورة، ثم السؤال.
- الطريقة العكسية: عرض السؤال، ثم الصورة.
هذا يشبه تعليم السائق أن يقود للأمام، ثم تعليمه كيف يقود للخلف للتأكد من فهمه للطريق. وبينما يساعد هذا قليلاً، إلا أنه مكلف جداً وبطيء. فهو ببساطة يضاعف الوقت والمال اللازمين لتدريب الذكاء الاصطناعي.
الحل الجديد: "الشارع ذو الاتجاهين" (MMA)
يقترح المؤلفون حلاً ذكياً وبسيطاً يسمى الانتباه المتبادل بين الوسائط (MMA).
بدلاً من جعل الذكاء الاصطناعي يقود للخلف، هم ببساطة يفتحون إشارات المرور في عقل الذكاء الاصطناعي.
- الطريقة القديمة (الانتباه السببي): "رمز الصورة" هو طالب يجلس في الصف الأمامي. يمكنه فقط رؤية سبورة المعلم (الرموز السابقة). لا يمكنه الالتفات ليرى ما يكتبه الطالب في الصف الخلفي (رمز "النص").
- الطريقة الجديدة (MMA): يغير المؤلفون القواعد بحيث يُسمح لطالب الصف الأمامي بالالتفات وقراءة ما يكتبه طالب الصف الخلفي.
من خلال فتح هذا المسار، يمكن لجزء "الصورة" في الذكاء الاصطناعي الآن قراءة جزء "السؤال". يمكنه معرفة بالضبط ما تسأل عنه قبل أن يحاول وصف الصورة.
لماذا يعد هذا أمراً هاماً؟
- لا تكلفة إضافية: لم يضيفوا أجزاء جديدة للذكاء الاصطناعي أو يجعلونه أكبر. لقد قاموا فقط بتغيير إعداد صغير (الـ "قناع" أو mask الذي يحجب المعلومات). الأمر يشبه إعادة ترتيب الأثاث في غرفة بدلاً من بناء منزل جديد.
- دقة أفضل: لأن الصورة يمكنها الآن "رؤية" السؤال، يتوقف الذكاء الاصطناعي عن التخمين. في اختباراتهم، أصبح الذكاء الاصطناعي أفضل بكثير في الإجابة على الأسئلة المتعلقة بأشياء محددة، وعدّ الأشياء، وفهم العلاقات المكانية (مثل "هل القطة على اليسار أم اليمين؟").
- هلوسة أقل: يرتكب الذكاء الاصطناعي أخطاءً أقل في اختلاق تفاصيل غير موجودة.
النتائج
اختبر الباحثون هذا التصميم الجديد "الشارع ذو الاتجاهين" في 12 اختباراً مختلفاً تتضمن صوراً ونصوصاً. واستخدموا ثلاثة أنواع مختلفة من "أدمغة" الذكاء الاصطناعي (backbones) لإثبات أن الأمر يعمل بشكل عام.
- النتيجة: تفوقت الطريقة الجديدة على الطرق القياسية القديمة، بل وتفوقت حتى على الطرق المعقدة والمتطورة الأخرى.
- التحسن: في المتوسط، تحسن الذكاء الاصطناعي بنسبة 6.2% في فهم الصور والنصوص عبر جميع الاختبارات.
- الكفاءة: حقق ذلك دون إضافة أي "قوة عقلية" (معاملات/parameters) إضافية أو الحاجة لضعف وقت التدريب.
تشبيه ملخص
فكر في الذكاء الاصطناعي القديم كـ فنان معصوب العينين يُعطى صورة ثم يُطلب منه رسمها. الفنان لا يستطيع رؤية الصورة أثناء الرسم؛ عليه أن يحفظها أولاً. إذا همست له بعد ذلك بتعليمات محددة ("ارسم السيارة الحمراء، وليس الزرقاء")، فلن يسمعها الفنان لأنه بدأ الرسم بالفعل.
الذكاء الاصطناعي الجديد (MMA) يشبه فناناً ينزع عصابة العينين ويمكنه النظر إلى الصورة أثناء الاستماع إلى تعليماتك. يمكنه تعديل رسمه في الوقت الفعلي ليتناسب تماماً مع ما طلبته، مما ينتج صورة أكثر دقة.
تخلص الورقة البحثية إلى أنه بمجرد السماح لجزء الصورة في الذكاء الاصطناعي بـ "رؤية" جزء النص، يمكننا تحسين مدى فهم هذه النماذج للعالم بشكل كبير، وكل ذلك دون جعلها أكثر تعقيداً أو تكلفة في التدريب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.