ملخص تقني: التحسين التبايني البصري في السياق (IC-VCO)

بيان المشكلة

لا تزال الهلوسة متعددة الوسائط تحديًا مستمرًا لنماذج الرؤية واللغة (VLMs)، وتتميز بـ "الإهمال البصري" حيث تعتمد النماذج على الأولويات اللغوية بدلاً من ربط الاستجابات بالمدخلات البصرية. وبينما يعد تحسين التفضيل المباشر (DPO) نموذجًا قياسيًا للتدريب اللاحق لمواءمة النماذج مع القصد البشري، فإن DPO النصي القياسي يفشل في الحد من الهلوسة متعددة الوسائط لأنه يعامل الصورة مجرد شرط ثابت، ويفتقر إلى الإشراف البصري الصريح.

تحدد المحاولات الحالية لإدخال التفضيل البصري في DPO (تفضيل DPO البصري) أزواجًا من خلال مقارنة صورة أصلية ($m$) بصورة سلبية ($m'$) مع تثبيت المطالبة النصية. ومع ذلك، يحدد البحث مشكلتين حرجتين في هذه النهجات:

1. هدف غير متسق نظريًا: من خلال تغيير السياق البصري بين أزواج التفضيل، لا تلغي دالات التقسيم ($Z(m, x)$ و $Z(m', x)$) الخاصة بالسياسة المرجعية بعضها البعض. وهذا يترك حدًا متحيزًا متبقيًا وغير قابل للحل في دالة الهدف، مما يجعل عملية التحسين غير متسقة نظريًا مع صيغة DPO الأصلية.
2. سلبيات خشنة الحبيبات: تولد الطرق الحالية عادةً صورًا سلبية عبر الاسترجاع أو التوليد من النص إلى الصورة. وغالبًا ما تظهر هذه الصور اختلافات أسلوبية متميزة أو فجوات دلالية كبيرة مقارنة بالمدخل الأصلي. تسمح هذه الاختلافات الخشنة للنماذج بتعلم "طرق مختصرة" (مثل رفض صورة بناءً على الأسلوب العام بدلاً من الحقائق البصرية دقيقة التفاصيل) بدلاً من تطوير ربط بصري دقيق.

المنهجية

يقترح المؤلفون التحسين التبايني البصري في السياق (IC-VCO)، وهو إطار عمل مصمم لحل عدم الاتساق النظري وفرض الربط البصري دقيق التفاصيل من خلال ثلاثة مكونات أساسية:

1. التحسين التبايني البصري في السياق

لمعالجة عدم تطابق دالة التقسيم، يعيد IC-VCO هيكلة إعداد التدريب من خلال وضع كل من الصورة الأصلية ($m$) والصورة التباينية ($m'$) ضمن سياق مشترك متعدد الصور $M = [m, m']$.

• توسيع مطالبة المرساة: نظرًا لأن السياق يحتوي على صور متعددة، يتم توسيع المطالبة النصية بمطالبة مرساة (مثل "استجب بناءً على الصورة الأولى") لتحديد أي صورة يجب أن يربط النموذج استجابته بها بشكل صريح.
• الاتساق النظري: من خلال مقارنة الاستجابات تحت نفس السياق المشترك $M$ ومطالبة المرساة، تظل دالة التقسيم $Z(M, \hat{x})$ متطابقة لكل من الاستجابات المختارة والمرفوضة. وهذا يسمح لدالة التقسيم بأن تُلغي بعضها البعض بصرامة، مما يستعيد الصلاحية الرياضية لهدف DPO.

2. تقطير التباين البصري (VCDist)

هناك فجوة بين إعداد التدريب (سياق متعدد الصور) والاستدلال القياسي (مدخل صورة واحدة). لسد هذه الفجوة، يقدم المؤلفون VCDist، وهو منظم مساعد.

• الآلية: يستخدم VCDist توزيع التفضيل المتعلم في السياق متعدد الصور كـ "معلم" لتوجيه سياسة الصورة الواحدة ("الطالب").
• البوابة المزدوجة: لضمان الموثوقية، تقوم آلية البوابة المزدوجة بتصفية إشارات التقطير:
  • بوابة الصحة: تضمن أن إشارة المعلم موثوقة (الاحتمالية > 0.5).
  • بوابة الثقة: تنشط التقطير فقط عندما تكون ثقة الطالب أقل من ثقة المعلم، مما يمنع العقوبات العكسية.
• الهدف: يشجع هذا سياسة الصورة الواحدة على البقاء متوافقة مع إشارات التدريب التباينية، مما يقلل من فجوة توزيع التدريب والاستدلال.

3. تحرير العينات التباينية

لمنع تعلم الطرق المختصرة الناتج عن السلبيات خشنة الحبيبات، يقدم البحث استراتيجية تحرير العينات التباينية.

• التدخل الجراحي: بدلاً من التوليد العالمي أو الاسترجاع، تنفذ الطريقة تعديلات دقيقة وموضعية على الصور الأصلية.
• العملية: يقوم نموذج VLM خبير بتوليد تعليمات تحرير إما لتحقيق تفصيل مهلوس (جعل الادعاء الخاطئ صحيحًا) أو حقن تناقض (جعل الادعاء الصحيح خاطئًا) فيما يتعلق بسمات أو وجود أو علاقات محددة.
• الحفاظ: تضمن خط أنابيب التحرير (باستخدام Qwen-Image-Edit) الحفاظ على نسبة العرض إلى الارتفاع الأصلية، والإضاءة، وسياق الخلفية، مما يضمن أن الفرق الوحيد بين الصور الأصلية والمعدلة هو المفهوم الدلالي المستهدف. وهذا يجبر النموذج على تعلم الاختلافات البصرية دقيقة التفاصيل بدلاً من التحولات الأسلوبية العالمية.

المساهمات الرئيسية

1. هدف صارم نظريًا: يعد IC-VCO أول إطار عمل يصيغ تحسين التفضيل البصري ضمن سياق مشترك، مما يضمن إلغاء دالات التقسيم وإزالة التحيز المتأصل في طرق DPO البصرية السابقة.
2. منظم VCDist: يعمل تقديم تقطير التباين البصري على معايرة سياسة الاستدلال للصورة الواحدة باستخدام إشارات التباين متعددة الصور، مما يعالج انزياح توزيع التدريب والاستدلال.
3. سلبيات صعبة دقيقة التفاصيل: تولد خط أنابيب تحرير العينات التباينية سلبيات صعبة عالية الجودة تحافظ على اتساق أسلوبي صارم مع البيانات الأصلية، مما يجبر النماذج على تعلم الربط البصري دقيق التفاصيل بدلاً من استغلال الطرق المختصرة الخشنة.
4. التحقق التجريبي: يحقق الأسلوب أداءً رائدًا عبر خمسة اختبارات متنوعة (HallusionBench، AMBER، CRPE، R-Bench، BLINK) على نموذجين مختلفين من النماذج الأساسية (LLaVA-NeXT-Interleave و LLaVA-OneVision).

النتائج

تظهر التجارب أن IC-VCO يتفوق على الخطوط المرجعية الحالية (بما في ذلك mDPO و V-DPO و S-VCO و SymMPO) في كل من إعدادات العينات الاصطناعية والمعدلة.

• مكاسب الأداء: في LLaVA-NeXT-Interleave، يحسن IC-VCO الدرجة الإجمالية بمقدار 1.19 نقطة (اصطناعي) و 1.24 نقطة (معدل) عن أقوى خط مرجعي. وفي LLaVA-OneVision، التحسينات هي 0.26 و 0.48 نقطة على التوالي.
• التعميم: استبدال العينات الاصطناعية بالعينات المعدلة المقترحة يحسن الأداء عبر جميع الخطوط المرجعية، مما يؤكد فائدة السلبيات الصعبة دقيقة التفاصيل.
• دراسات الاستئصال: يؤدي إزالة فرع الصورة الواحدة، أو VCDist، أو قناع الرموز (token mask) إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة كل مكون. كما تتحقق الدراسة من أن فرع تعدد الصور يوفر إشارة تفضيل أقوى من فرع الصورة الواحدة، مما يبرر نهج التقطير.

الأهمية والادعاءات

يدعي البحث أن IC-VCO يوفر أساسًا صارمًا رياضيًا للمواءمة التفضيلية البصرية، مما يحل عدم الاتساق النظري الذي عانت منه نهجات DPO متعددة الوسائط السابقة. ومن خلال الجمع بين هدف متسق نظريًا واستراتيجية لتوليد سلبيات صعبة دقيقة التفاصيل، يقلل الأسلوب بفعالية من الهلوسة متعددة الوسائط دون الاعتماد على طرق مختصرة خشنة.

يضع المؤلفون هذا العمل كحل محدد لـ المواءمة التفضيلية في مرحلة ما بعد التدريب لنماذج VLMs. ويذكرون صراحة أن هذه الطريقة مكملة، وليست بديلة، لآليات السلامة الأخرى (مثل تدخلات وقت فك التشفير أو التغذية الراجعة البشرية) وهي ليست حلاً كاملاً لجميع حالات الهلوسة متعددة الوسائط، خاصة في السيناريوهات مفتوحة العالم عالية المخاطر. المساهمة الأساسية هي إنشاء إطار عمل أكثر موثوقية للتحسين يفرض على النماذج التمييز بين الأدلة البصرية دقيقة التفاصيل.