PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment
تقدم هذه الورقة البحثية "تحسين التفضيل المباشر للمحاذاة المعزز بالإدراك" (PEA-DPO)، وهو إطار عمل مبتكر يعالج عدم الحساسية البصرية للنماذج اللغوية الكبيرة متعددة الوسائط من خلال الاستف banyak صراحةً من إشارات التفضيل البصري، مما يقلل بشكل كبير من الهلوسة ويحسن المحاذاة متعددة الوسائط مع الحفاظ على القدرات اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من الأنظمة التي يمكنها الرؤية والتحدث في آن واحد. هذه النماذج اللغوية الكبيرة متعددة الوسائط مدربة على النظر إلى صورة ووصف ما تراه، أو الإجابة على أسئلة حول صورة فوتوغرافية. ولكي تكون هذه الآلات مفيدة وآمنة حقًا، يجب أن تتوافق مع القيم البشرية، مما يعني أن إجاباتها يجب أن تكون دقيقة، ومفيدة، ومستندة إلى الواقع البصري المعروض أمامها. لقد كان التحدي الأكبر في تعليم هذه الأنظمة هو ميلها إلى "الهلوسة"، أو وصف الأشياء أو الأفعال بثقة وهي ببساطة ليست موجودة. ولإصلاح ذلك، لجأ الباحثون إلى تقنية تسمى "تحسين التفضيل المباشر"، وهي طريقة تُعلم النموذج من خلال عرض أزواج من الإجابات — واحدة جيدة وأخرى سيئة — والطلب منه تعلم سبب تفوق الأولى. لقد حقق هذا النهج نتائج مذهلة مع النماذج المقتصرة على النصوص فقط، ولكن عند تطبيقه على الأنظمة التي تعالج الصور أيضًا، تم اكتشاف خلل خفي يمنعها من "رؤية" الفرق بين صورة واضحة وأخرى تم حجب أهم تفاصيلها.
لقد حدد فريق من الباحثين في جامعة العلوم والتكنولوجيا في الصين والجامعة الوطنية في سنغافورة هذا الضعف المحدد وطوروا إطار عمل جديدًا لعلاجه. وجدوا أن طرق التدريب القياسية غالبًا ما تعامل الصورة كمجرد خلفية، أي كإطار ثابت للمحادثة، بدلاً من كونها المصدر الأساسي للحقيقة الذي يجب على النموذج الاعتماد عليه. وبسبب ذلك، أصبحت النماذج غير حساسة بصريًا. وفي تجاربهم، أظهر الباحثون أن هذه النماذج لم تستطع التمييز بين صورة لأشخاص يتنزهون في نزهة وبين صورة لأشخاص يقرأون، حتى عندما تم إزالة الأدلة البصرية للطرف الأول تمامًا. كانت النماذج تولد استجابات متطابقة تقريبًا لكلتا الصورتين، فاشلة في ملاحظة أن القرائن البصرية الرئيسية كانت مفقودة. كما واجهت صعوبة في التمييز بين أشياء محددة داخل صورة واحدة، مثل الخلط بين فرشاة المرحاض وأداة عامة، لأنها لم تكن تنتبه بما يكفي للقرائن البصرية الحاسمة التي تحدد ماهية الشيء.
ولحل هذه المشكلة، ابتكر الباحثون طريقة أطلقوا عليها اسم "المحاذاة المعززة بالإدراك". فبدلاً من مجرد تعليم النموذج كيفية اختيار الإجابة النصية الأفضل، أعادوا تصميم عملية التدريب لإجبار النموذج على الانتباه إلى السياق البصري نفسه. بدأوا بأخذ صورة واضحة وإنشاء سلسلة من النسخ المعدلة حيث يتم حجب أجزاء عشوائية منها. وباستخدام نظام بصري منفصل وعالي الحساسية، حددوا النسخة المعدلة التي فقدت أكبر قدر من المعلومات الحاسمة، مما خلق فعليًا صورة "مرفوضة" تفتقر إلى التفاصيل الرئيسية اللازمة للإجابة على سؤال ما بشكل صحيح. ثم قاموا بربط هذه الصورة المفتقرة للمعلومات بالصورة الأصلية الكاملة. وخلال التدريب، قُدم للنموذج نفس السؤال ونفس الإجابة النصية، ولكن مع عرض الصورة الكاملة أولاً ثم الصورة غير المكتملة. تم تعليم النموذج أنه يجب أن يفضل الإجابة بقوة عندما يمتلك الدليل البصري الكامل، وأنه يجب أن يدرك أن الإجابة أقل موثوقية عندما يغيب السياق البصري الرئيسي.
علم هذا النهج المزدوج النموذج شيئين في وقت واحد. أولاً، تعلم التمييز بين استجابة نصية جيدة وأخرى سيئة، تمامًا كما في السابق. ثانيًا، والأهم من ذلك، تعلم التعرف على الحالات التي يكون فيها الدليل البصري غير كافٍ لدعم ادعاء ما. اختبر الباحثون هذه الطالة الجديدة على حجمين مختلفين من نماذج (الصورة-النص)، أحدهما بسبعة مليارات معلمة والآخر بـ ثلاثة عشر مليار معلمة. وكانت النتائج مذهلة؛ ففي الاختبارات القياسية المصممة لقياس عدد المرات التي تخترع فيها هذه النماذج تفاصيل، قللت الطريقة الجديدة من الهلوسة بهوامش كبيرة. بالنسبة للنموذج الأصغر، انخفض معدل التفاصيل المختلقة بنسبة تقرب من الثلث في أحد المعايير الرئيسية، وبنسبة تزيد عن تسعين بالمائة في معيار آخر. وأظهر النموذج الأكبر تحسينات مماثلة، متفوقًا في كثير من الأحيان حتى على بعض الأنظمة التجارية الأكثر تقدمًا المتاحة. أصبحت النماذج أفضل بكثير في وصف ما هو موجود في الصورة بالضبط، مثل تحديد عنوان كتاب أو أداة معينة، بدلاً من التخمين بناءً على المعرفة العامة.
تحقق الباحثون أيضًا للتأكد من أن هذا التركيز الجديد على الدقة البصرية لا يجعل النماذج أسوأ في المهام الأخرى. ووجدوا أن النماذج احتفظت بقدرتها على اتباع التعليمات والإجابة على الأسئلة العامة، وفي بعض الحالات، تحسن أداؤها في هذه المهام العامة قليلاً. كان المقابل الوحيد الملحوظ هو أن النماذج أصبحت أكثر تحفظًا؛ فقد أصبحت أقل عرضة للتخمين عندما لا تكون متأكدة، مما يعني أنها قدمت أحيانًا تفاصيل أقل بشكل عام، لكن التفاصيل التي قدمتها كانت أكثر احتمالية لكونها حقيقية. ومن خلال تعليم النموذج صراحةً تقدير الدليل البصري بقدر تقديره للنص، أثبت الباحثون أنه من الممكن بناء ذكاء اصطناعي لا ينظر إلى الصورة فحسب، بل يراها حقًا. ويشير هذا العمل إلى أنه لكي تكون الآلات شركاء موثوقين في فهم العالم المرئي، يجب تدريبها على الشعور بثقل المعلومات المفقودة، مما يضمن أن ثقتها دائمًا ما تتماشى مع وضوح ما هو موجود أمام أعينها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.