Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs
تعيد هذه الورقة إنتاج وتوسيع أبحاث سابقة لتثبت أن فك التشفير التبايني يفشل في الحد حقيقةً من هلاوس الكائنات في النماذج اللغوية الكبيرة متعددة الوسائط، حيث إن مكاسبه الظاهرية في الأداء على معايير مثل POPE غالباً ما تكون زائفة ولا تعكس تحسناً في التجذر البصري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف ينظر إلى صورة ويصف ما يراه. تريد من الروبوت أن يكون صادقاً، وأن يذكر فقط ما هو موجود بالفعل. ولكن في بعض الأحيان، قد يصبح هؤلاء الروبوتات فائقة الذكاء مبدعين أكثر مما ينبغي. فقد ينظرون إلى صورة لشاطئ هادئ ويخبرونك بثقة: "أرى كلباً يلعب بالكرة!" رغم عدم وجود كلب في الصورة. في عالم الذكاء الاصطناائي، يُسمى هذا "الهلوسة". ليس الأمر أن الروبوت يكذب عن قصد؛ بل لأنه قرأ الكثير من القصص عن الكلاب على الشواطئ، فافترض وجوب وجود واحد هناك، حتى لو غابت الأدلة البصرية.
ولإصلاح ذلك، حاول العلماء تعليم الروبوتات كيفية "التحقق المزدوج" من أفكارها الخاصة. إحدى الأفكار الشائعة، والتي تُسمى "فك التشفير التبايني" (Contrastive Decoding)، تعمل مثل لعبة "أوجد الفروق". يُطلب من الروبوت تخيل الصورة بطريقتين: واحدة واضحة وحادة (رؤية "الخبير")، وأخرى ضبابية أو مشوشة (رؤية "الهاوي"). والنظرية هي أنه إذا كان الروبوت أكثر عرضة لقول كلمة "كلب" في الرؤية الضبابية منها في الرؤية الواضحة، فمن المحتمل أنه مجرد تخمين بناءً على خياله، وليس بناءً على الصورة. لذا، تحاول هذه الطريقة كبح تلك التخمينات الناتجة عن "الرؤية الضبابية" لإجبار الروبوت على الالتزام بالحقيقة. الأمر يشبه معلماً يقول لطالبه: "إذا لم تستطع رؤية الشيء بوضوح، فلا تكتبه".
لكن إليك المفاجأة: تشير دراسة جديدة إلى أن هذه الحيلة الذكية لـ "التحقق المزدوج" قد تخدعنا. فقد وجد الباحثون أنه بدلاً من مساعدة الروبوت على الرؤية بشكل أفضل، فإن هذه الطريقة تخدعه لقول "نعم" بشكل متكرر، بغض النظر عما إذا كان الشيء موجوداً بالفعل أم لا. الأمر يشبه طالباً، بدلاً من المذاكرة بجد، بدأ يخمن "نعم" لكل سؤال لأنه يعلم أن المعلم يحب الإجابات الإيجابية. وتتعمق الدراسة في إثبات أن هذا الإصلاح الشهير لا يصلح رؤية الروبوت حقاً، بل يغير مزاجه فحسب.
وهم الـ "نعم" العظيم
الورقة البحثية التي ستطالعها الآن هي قصة بوليسية كتبها فريق من الباحثين من المعهد الهندي للتكنولوجيا في رورك (IIT Roorkee). لقد قرروا وضع طريقة "فك التشفير التتباين" تحت المجهر ليروا ما إذا كانت تعمل حقاً كما هو مُعلن عنها. كان هدفهم الرئيسي هو الإجابة على سؤال ملح: هل هذه الطريقة تمنع الروبوتات حقاً من الهلوسة، أم أنها تزييف للنتائج فقط؟
بدأ الباحثون بتكرار تجارب دراسة سابقة (بواسطة Yin et al., 2026) ولكن باستخدام عقول روبوتية أحدث وأقوى (تحديداً نماذج تُسمى LLaVA و Qwen). أرادوا معرفة ما إذا كان "سحر" فك التشفير التبايني سيصمد عند اختباره على بيانات جديدة. وما وجدوه كان مخيباً للآمال قلياً لمشجعي هذه الطريقة، ولكنه مثير جداً للاهتمام لكل من يريد روبوتات صادقة.
انحياز الـ "نعم"
الاكتشاف الكبير الأول هو أن "فك التشفير التبايني" لا يجعل الروبوت ينظر إلى الصورة بعناية أكبر في الواقع. بدلاً من ذلك، فإنه يدفع الروبوت لقول "نعم" بشكل أكبر بكتمت. تخيل اختباراً يتعين على الروبوت فيه الإجابة بـ "نعم" أو "لا" على أسئلة مثل: "هل يوجد قط في هذه الصورة؟". إذا كان الروبوت يقول "لا" كثيراً في العادة (حتى عندما يكون هناك قط بالفعل)، فإن هذه الطريقة تدفعه لقول "نعم" أكثر.
وجد الباحثون أن هذا التحول يجعل الروبوت يبدو أذكى على الورق لأنه يجيب بشكل صحيح على المزيد من الأسئلة عن طريق الصدفة. لكن هنا تكمن الخدعة: الروبوت يقول "نعم" أيضاً لصور لا يوجد فيها قط، مما يخلق أخطاءً جديدة. إنه مثل طالب، بدلاً من تعلم المادة، قرر الإجابة بـ "نعم" على كل سؤال. قد يحالفه الحظ ويصيب في بعض الإجابات، لكنه أيضاً يبتدع إجابات غير حقيقية. أظهرت الدراسة أنه يمكنك الحصول على نفس الدرجات "المحسنة" بمجرد إخبار الروبوت: "مهلاً، حاول أن تقول 'نعم' أكثر"، دون استخدام أي حيل فك تشفير معقدة على الإطلاق.
فخ "الجشع"
يتعلق الجزء الثاني من اللغز بصمام أمان يُسمى "قيد المعقولية التكيفي" (Adaptive Plausibility Constraint). هذه قاعدة تهدف لمنع الروبوت من قول أشياء غريبة أو مستحيلة. ومع ذلك، اكتشف الباحثون أن هذه القاعدة صارمة لدرجة أنها تحول الروبوت أساساً إلى مفكر "جشع".
فكر في عملية "أخذ العينات" (Sampling) على أنها رمي الروبوت لزهر النرد لاختيار كلمته التالية، مما يمنحه فرصة ليكون مبدعاً ويستكشف خيارات مختلفة. أما النهج "الجشع" فهو يشبه اختيار الروبوت للكلمة الأكثر وضوحاً دائماً، متجاهلاً جميع الاحتمالات الأخرى. وجدت الدراسة أن قاعدة السلامة تجبر الروبوت على التوقف عن رمي النرد والاكتفاء باختيار الكلمة الأكثر وضوحاً في كل مرة. لذا، عندما تبدو الطريقة وكأنها تعمل، فذلك في الواقع لأن الروبوت توقف عن كونِهِ مبدعاً وأصبح مملاً ومتوقعاً. "التحسن" ليس لأن الروبوت يرى بشكل أفضل؛ بل لأنه أصبح يخشى المخاطرة.
تجربة "الضجيج"
لإثبات أن الجزء "الهاوي" من الطريقة (الرؤية الضبابية) لم يكن يقوم بأي عمل حقيقي، جرب الباحثون شيئاً جامحاً. لقد استبدلوا الروبوت "الهاوي" بضجيج عشوائي بحت—مثل إشارة راديو مليئة بالتشويش. توقعوا أن تفشل الطريقة تماماً بدون الروبوت الهاوي. وبدلاً من ذلك، عملت الطريقة بنفس الطريقة تقريباً!
هذا يشبه طباخاً يحاول جعل الحساء مذاقه أفضل بإضافة مكون سري. إذا أخذت المكون السري واستبدلته بالماء العادي، وظل الحساء بنفس المذاق، فستدرك أن المكون السري لم يكن يفعل أي شيء. استنتج الباحثون أن الرؤية "الهاوية" لا تساعد الروبوت على رؤية الحقيقة؛ بل تضيف فقط ضجيجاً عشوائياً لا يهم. السبب الحقيقي وراء ارتفاع الدرجات هو مجرد انحياز الـ "نعم" وقاعدة "الجشع".
الغوص العميق: ماذا يحدث داخل الدماغ؟
لم يتوقف الباحثون عند السطح. لقد نظروا داخل "دماغ" الروبوت (طبقات الشبكة العصبية الخاصة به) ليروا أين يحدث السحر. وجدوا أن الروبوت يعرف في الواقع ما إذا كان الشيء موجوداً أم لا في أعماق طبقاته. لديه المعلومات! ولكن عندما يبدأ "فك التشفير التبايني" بالعمل، فإنه لا يستخدم تلك المعلومات لتصحيح الخطأ. بدلاً من ذلك، فإنه يضغط على زر الـ "نعم" بقوة أكبر لكل شيء، حتى للإجابات الخاطئة.
الأمر يشبه وجود طالب يعرف أن الإجابة هي "لا"، لكن المعلم (طريقة فك التشفير) يستمر في النقر على كتفه والهمس: "قل نعم!". ينتهي الأمر بالطالب بقول "نعم" رغم أنه كان يعرف الحقيقة. الطريقة لا تصلح معرفة الطالب؛ بل تقوم فقط بالتغطية عليها بضغط موحد نحو الـ "نعم".
الحكم النهائي
إذاً، ما هي الخلاصة النهائية لهذه الدراسة؟ الباحثون واثقون جداً من نتائجهم. لقد أثبتوا أن طريقة "فك التشفير التبايني" الشهيرة هي في الغالب مجرد وهم. فهي لا تساعد الروبوت حقاً على رؤية العالم بوضوح أكبر أو تمنعه من اختلاق الأشياء. بدلاً من ذلك، فهي تغير سلوك الروبوت لجعله يقول "نعم" بشكل أكثر تكراراً ويتوقف عن اتخاذ مخاطرات إبداعية.
هذا أمر بالغ الأهمية لأن الكثير من الناس يستخدمون هذه الطريقة لبناء ذكاء اصطناعي أكثر أماناً وموثوقية. تحذرنا الدراسة من أننا قد نكون نحتفل بنصر زائف. إذا أردنا روبوتات لا تهلوس، فلا يمكننا الاكتفاء بتعديل كيفية اختيارهم للكلمات؛ بل نحتاج إلى إيجاد طريقة لمساعدتهم فعلياً على فهم الصور التي ينظرون إليها. وحتى ذلك الحين، تظل حيلة "فك التشفير التبايني" مجرد طريقة ذكية لجعل الروبوت يبدو وكأنه ينتبه، بينما هو في الواقع، مجرد لاعب في لعبة "نعم، أنا أرى ذلك!" مع العالم أجمع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.