Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning
تقترح هذه الورقة البحثية "تعلم المرساة البصرية المكاني-الطيفي" (SSVAL)، وهي طريقة تستخدم حقن مرساة بصرية مساعدة وخسائر محاذاة مكانية-ترددية إضافية للتخفيف من انحراف التمثيل والتدهور البصري في النماذج اللغوية الكبيرة متعددة الوسائط أثناء الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب أن "ترى" و"تتحدث" في آن واحد. هذا هو مجال النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، وهي نوع من الذكاء الاصطناعي الذي يجمع بين القدرة على فهم الصور والقدرة على التحدث بلغة البشر. فكر في الأمر كأنك تعلم روبوتاً كيف ينظر إلى صورة لغرفة فوضوية ثم يصف بدقة ما يحدث، أو يجيب على أسئلة مثل: "كم عدد القطط المختبئة تحت الأريكة؟". للقيام بذلك، يستخدم الكمبيوتر "مشفر رؤية" (عينيه) للنظر إلى الصورة، و"نموذج لغة كبير" (عقله) لمعالجة المعلومات والتحدث. التحدي يكمن في أن هذين الجزأين لا يتحدثان اللغة نفسها بشكل طبيعي، لذا يستخدم العلماء مترجماً خاصاً لسد هذه الفجوة. وبينما أصبحت أنظمة الذكاء الاصطناعي هذه ذكية للغاية، إلا أنها لا تزال تعاني من مشكلة واحدة شائكة: فكلما فكر الكمبيوتر بعمق أكبر في صورة ما، يبدو أنه ينسى التفاصيل، تماماً كما قد تفقد خيط قصة إذا حاولت تذكرها لفترة طويلة جداً دون دفتر ملاحظات.
تعالج هذه الورقة البحثية تلك المشكلة المحددة المتمثلة في "النسيان" في رؤية الذكاء الاصطناعي. فقد اكتشف الباحثون أنه على الرغم من أن هذه النماذج تبدأ بصورة واضحة في "عيونها"، إلا أن المعلومات تصبح ضبابية ومشوهة أثناء انتقالها عبر الطبقات العديدة لعقل الذكاء الاصطناعي. لقد اختبروا فكرة شائعة: ماذا لو أجبرنا الذكاء الاصطناعي على الاستمرار في النظر إلى صورة مرجعية مثالية (من نموذج رؤية خارجي قوي) أثناء تفكيره؟ ومن المثير للدهشة، وجدوا أن هذا لم ينجح؛ إذ ظل الذكاء الاصطناعي يشعر بالارتباك ويفقد التفاصيل، حتى مع وجود الصورة المرجعية أمامه مباشرة. بدلاً من ذلك، اقترحوا طريقة جديدة تسمى "تعلم المرساة البصرية المكانية-الترددية" (SSVAL). فكر في هذا كأنك تعطي الذكاء الاصطناعي مجموعة من الملاحظات السحرية اللاصقة (تسمى "مطالبات المرساة البصرية") التي يتعلم الكتابة عليها أثناء التدريب. تمتص هذه الملاحظات التفاصيل المثالية من الصور المرجعية وتعمل بعد ذلك كدليل مستقر، أو "مرساة"، تثبت انتباه الذكاء الاصطناعي أثناء معالجته للصورة، مما يمنع المعلومات من التلاشي.
وجد الباحثون، بقيادة تشيانلونغ يانغ وفريقه، أن نهج "الملاحظات اللاصقة" هذا يعمل بشكل أفضل بكثير من الطرق السابقة. لقد اختبروا نظامهم في عدة اختبارات معيارية صعبة، وهي بمثابة اختبارات معيارية لرؤية الذكاء الاصطناعي. على سبيل المثال، عند استخدام إعداد محدد مع نموذج لغة يحتوي على 7 مليارات معلمة، حسّن منهجهم الدرجة في اختبار بصري دقيق (CV-Bench2D) من 58.97% إلى 65.44%. وفي اختبار آخر مصمم للتحقق من الاستدلال المكاني (MMVP)، قفزت الدرجة من 33.47% إلى 41.33%. تشير الورقة البحثية إلى أنه من خلال استخدام هذه المطالبات المتعلمة كمرساة، جنباً إلى جنب مع بعض فحوصات التدريب الإضافية التي تنظر إلى الصورة من "زوايا" مختلفة (مكانية) و"ترددات" مختلفة (مثل الفرق بين لوحة ناعمة ورسم تخطيطي متعرج)، يحافظ الذكاء الاصطناعي على حدة ذاكرته البصرية طوال العملية.
الاكتشاف الرئيسي هنا هو أن مجرد عرض صورة أفضل للذكاء الاصطناعي ليس كافياً؛ بل يحتاج إلى نقطة مرجعية داخلية مستقرة يحملها معه خلال كل خطوة من خطوات تفكيره. أظهر الفريق أن منهجهم، SSVAL، لا يساعد الذكاء الاصطناعي على تذكر التفاصيل بشكل أفضل فحسب، بل يفعل ذلك أيضاً دون جعل الكمبيوتر أبطأ أو أثقل. في الواقع، فإن "الوزن" الإضافي الذي يضاف إلى النظام أثناء مرحلة التفكير ضئيل جداً، حيث يبلغ حوالي 1.55% فقط من المعلمات الإضافية وزيادة لا تُذكر في قدرة الحوسبة. وهذا يعني أن الذكاء الاصطناعي يمكن أن يكون أكثر ذكاءً فيما يراه دون الحاجة إلى عقل أكبر أو معالج أسرع. وتشير النتائج إلى أن هذا النهج يوقف بفعالية تدهور المعلومات البصرية، مما يسمح للذكاء الاصطناعي بالإجابة على الأسئلة الصعبة حول مواقع الأشياء وأعدادها بدقة أعلى بكثير مما كانت عليه من قبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.