DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models
تقترح هذه الورقة البحثية طريقة DICA، وهي منهجية مبتكرة تخفف من حدة الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط عبر مراقبة اعتلال إنتروبيا الانتباه البصري وارتباط الصورة المخرجة لتفعيل المحاذاة التباينية المستهدفة عندما ينحرف الربط البصري عن عملية الاستدلال المثالية من الخشن إلى الناعم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز من خلال النظر إلى صورة واحدة مزدحمة. المحقق البشري لا يحدق ببلاهة في الصورة بأكملها إلى الأبد؛ بل يبدأ بمسح واسع لأخذ "انطباع عام" عن المشهد، ثم تركز عيناه على أدلة محددة — حذاء أحمر، نافذة مكسورة، ظل مريب — لتركيب الإجابة. هكذا تعمل أدمغتنا بشكل طبيعي: رحلة من نظرة شاملة إلى تفاصيل دقيقة ومركزة.
الآن، تخيل تعليم روبوت فائق الذكاء للقيام بنفس الشيء. لقد صنعنا هذه "النماذج اللغوية الكبيرة متعددة الوسائط" (MLLMs) التي يمكنها رؤية الصور والتحدث عنها، مثل الإجابة على أسئلة حول صورة ما. لكن هنا تكمن المشكلة، فأحياناً يصاب هؤلاء الروبوتات ببعض الدوار؛ قد يبدأون في التحديق في الجزء الخطأ من الصورة، أو قد يتوقفون عن النظر إلى الصورة تماماً ويعتمدون فقط على ما سمعوه من قبل. عندما يحدث هذا، يبدأون في "الهلوسة" — أي اختلاق حقائق ليست موجودة، مثل الادعاء بوجود كلب في صورة لقطة لمجرد أنهم يحبون الكلاب. يحاول العلماء اكتشاف كيفية منع هذه الروبوتات من أحلام اليقظة حتى تصبح مساعدين موثوقين في العالم الحقيقي.
تقدم هذه الورقة البحثية نظاماً ذكياً جديداً يسمى DICA (المحاذاة التباينية الموجهة بمؤشرين مزدوجين) ليعمل بمثابة "مشرف فحص سريع" لهؤلاء المحققين من الذكاء الاصطناعي. لاحظ الباحثون أنه عندما تبدأ هذه النماذج في الهلوسة، فإنها عادة ما ترتكب خطأين محددين. أولاً، قد "ينحرف" انتباهها، مما يعني أن تركيزها يتشتت فجأة في جميع أنحاء الصورة مثل سنجاب عصبي، فتفقد الأدلة المهمة. ثانياً، قد "تسيء استخدام" الأدلة البصرية، مما يعني أنها تتوقف عن النظر إلى الصورة وتبدأ في الاعتماد أكثر من اللازم على ذاكرتها الداخلية أو تخميناتها.
ولإمساك هذه الأخطاء، يستخدم DICA "مقياسين" داخليين (مؤشرات) يراقبان عقل الروبوت أثناء التفكير. المقياس الأول، المسمى اعتلال الانتباه البصري (Visual Attention Entropy)، يقيس مدى تشتت تركيز الروبوت. إذا ارتفع الرقم فجأة، فهذا يعني أن الروبوت يشعر بالذعر وينظر في كل مكان في آن واحد. أما المقياس الثاني، الارتباط بين المخرجات والصورة (Output-Image Correlation)، فيتحقق من مدى اعتماد إجابة الروبوت فعلياً على الصورة مقابل تنبؤاته النصية الخاصة. إذا انخفض هذا الرقم، فهذا يعني أن الروبوت يتجاهل الصورة ويقوم بتأليف أشياء من خياله.
عندما يرى DICA هذه المقاييس تدخل "المنطقة الحمراء"، فإنه لا يكتفي بترك الروبوت يستمر في التخمين. بدلاً من ذلك، يقوم بتفعيل "وضع التصحيح". إذا كان تركيز الروبوت ينحرف، يقوم DICA بمقارنة أفكاره المرتبكة الحالية بنسخة "هادئة" من نفس السؤال لتوجيهه مرة أخرى إلى المكان الصحيح. وإذا كان الروبوت يتجاهل الصورة، يجبره DICA على النظر مجدداً إلى الأدلة البصرية التي وجدها سابقاً، قائلاً له بأسلوب ما: "مهلاً، تذكر ما رأيته في الصورة؟ استخدم ذلك!".
اختبر المؤلفون هذه الطريقة على عدة اختبارات معيارية حيث يتعين على الروبوتات الإجابة على أسئلة حول الصور أو وصفها. ووجدوا أن DICA ساعد النماذج باستمرار على تقديم إجابات أكثر صحة وارتكاب ادعاءات مختلقة أقل. على سبيل المثال، في اختبار يسمى POPE، حسنت الطريقة دقة النموذج بشكل كبير، مما ساعده على تحديد الأشياء الموجودة فعلياً بشكل صحيح وتجاهل الأشياء غير الموجودة. وفي اختبار آخر يسمى CHAIR، والذي يقيس عدد المرات التي يخترع فيها الروبوت أشياءً في الوصف، قلل DICA من عدد الأشياء الوهمية المذكورة.
تشير الورقة البحثية إلى أن هذا النهج فعال بشكل خاص لأنه لا يطبق قاعدة عامة "توقف عن التخمين" فحسب، بل يشخص بالضبط لماذا يفشل الروبوت في تلك اللحظة المحددة — هل هو مشتت، أم أنه يتجاهل الأدلة؟ — ثم يطبق الإصلاح الدقيق المطلوب. وبينما تضيف هذه الطريقة وقتاً إضافياً ضئيلاً جداً إلى عملية التفكير (حوالي 0.04 إلى 0.08 ثانية لكل كلمة)، يرى الباحثون أن هذه التكلفة الصغيرة تستحق العناء لمنع الروبوت من التصريح بثقة بأشياء كاذبة. في النهاية، تظهر الدراسة أنه من خلال مراقبة هذين المؤشرين البسيطين والتدخل فقط عند الضرورة، يمكننا جعل أدوات الذكاء الاصطناعي القوية هذه أكثر موثوقية وارتباطاً بالواقع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.