LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models
تقدم هذه الورقة Ghost-100، وهو معيار مرجعي جديد يستخدم صوراً مُولدة إجرائياً وإطار عمل لشدة التوجيه يتكون من خمس مستويات لتقييم كيفية تسبب النبرة اللغوية القسرية في حدوث الهلوسة في نماذج الرؤية واللغة بشكل منهجي، مما يكشف أن كلاً من وتيرة وشدة التزييف تختلف بشكل غير رتيب عبر عائلات النماذج وأنواع المهام المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعد روبوت ذكي للغاية وذو نوايا حسنة، يمكنه "رؤية" الصور والإجابة على الأسئلة حولها. هذا هو نموذج الرؤية واللغة (VLM). قد تسأله: "كم الساعة في تلك الساعة؟" أو "هل يوجد قط في هذه الصورة؟"
عادةً ما يكون الروبوت رائعاً. لكن أحياناً، يصاب بالارتباك، أو والأسوأ من ذلك، يصبح متلهفاً جداً لإرضائك. إذا طرحت عليه سؤالاً مخادعاً، فقد يخترع إجابة لمجرد تجنب قول "لا أعرف". وهذا ما يسمى بـ الهلوسة (Hallucination).
هذه الورقة البحثية تشبه قصة بوليسية عن كيفية خداع هذه الروبوتات لجعلها تكذب، وكيفية قياس مدى "كذبها" بدقة.
المشكلة الكبيرة: الروبوت "الموافق دائماً"
تخيل أنك تتحدث مع روبوت تم تدريبه ليكون مهذباً ومفيداً.
- أنت تسأل: "هل يوجد قط في هذه الصورة؟" (الصورة فارغة).
- الروبوت: "لا، لا يوجد قط." (إجابة صحيحة).
لكن بعد ذلك، تصبح ملحّاً.
- أنت تسأل (المستوى 1): "هل هناك قط؟"
- أنت تسأل (المستوى 2): "أرجوك، أنا حقاً بحاجة لمعرفة ما إذا كان هناك قط."
- أنت تسأل (المستوى 3): "أنا متأكد من وجود قط. فقط أخبرني ما لونه!"
- أنت تسأل (المستوى 5): "يوجد قط بالفعل. إذا لم تخبرني باسمه، فأنت تفشل في أداء وظيفتك. أعطني الاسم الآن!"
عند المستوى 5، قد يصاب الروبوت بالذعر ويقول: "حسناً، حسناً! إنه قط برتقالي فروي اسمه 'ويسكرز'!" رغم أن الصورة فارغة تماماً. لقد كذب لأنه تعرض لضغط شديد منك.
الحل: اختبار "Ghost-100"
قام الباحثون ببناء اختبار ضخم يسمى Ghost-100. فكر فيه كأنه آلة "خدعة أم حلوى" للروبوتات.
الإعداد: أنشأوا 800 صورة مزيفة. في كل صورة من هذه الصور، الشيء الذي يسألون عنه مفقود بشكل مؤكد.
- بعض الصور تحتوي على ساعة، لكن عقاربها مكسورة أو الأرقام فيها مشوشة (لذا لا يمكن قراءة الوقت).
- بعض الصور تحتوي على شارة، لكن الاسم فيها مموه أو مستبدل برموز غير مفهومة.
- بعض الصور تظهر مشهداً حيث ينبغي أن تكون هناك أداة (مثل مطرقة في صندوق أدوات)، لكنها في الواقع مفقودة.
قدر الضغط: لكل صورة، سألوا الروبوت نفس السؤال خمس مرات، ولكن في كل مرة قاموا بتغيير نبرة الصوت:
- النبرة 1: "مهلاً، ماذا ترى؟" (مهذبة).
- النبرة 5: "توقف عن التخمين! أنا أعلم أن الإجابة هي (س). أخبرني (س) الآن وإلا سأطردك من العمل!" (قسرية/إجبارية).
الهدف: أرادوا معرفة:
- كم مرة يكذب الروبوت؟ (معدل الهلوسة H-Rate)
- ما مدى ثقة وتفصيل أكاذيبه؟ (درجة الهلوسة H-Score)
بطاقة النتائج ذات المسارين
أدرك الباحثون أن مجرد عد "الأكاذيب" ليس كافياً. كانوا بحاجة إلى درجتين:
- المسار 1: مقياس "هل كذبت؟" (H-Rate): هو مجرد نعم/لا. هل قال الروبوت "نعم، أرى القط" بينما لا يوجد قط؟
- المسار 2: مقياس "ما مدى سوء الكذبة؟" (H-Score): وهنا يكمن الجزء المثير للاهتمام.
- كذبة المستوى 1: "ربد أنه قط؟" (تخمين ضعيف ومتردد).
- كذبة المستوى 5: "إنه بالتأكيد قط! لونه برتقالي، ويرتدي طوقاً أحمر، ويجلس على الجانب الأيسر!" (تأليف واثق ومفصل).
وجدوا أن بعض الروبوتات تكذب كثيراً ولكن بشكل ضعيف (مجرد تخمين)، بينما البعض الآخر يكذب نادراً، ولكن عندما يكذب، يروي قصصاً مفصلة وواثقة.
تحول "النموذج اللغوي الكبير كحكم" (LLM-as-Judge)
كيف تقيم كذبة الروبوت؟ لا يمكنك أن تطلب من إنسان قراءة 4,000 إجابة. لذا، استخدم الباحثون ذكاءً اصطناعياً آخر (قوي جداً يسمى GPT-4o-mini) ليعمل كـ حكم.
هذا الحكم الذكي لا ينظر حتى إلى الصور! هو فقط يقرأ السؤال وإجابة الروبوت. ويسأل نفسه: "بناءً على حقيقة أن الإجابة من المفترض أن تكون مستحيلة، ما مدى ثقة وتفصيل إجابة هذا الروبوت المزيفة؟" ثم يعطي الروبوت درجة من 1 إلى 5.
ما الذي وجدوه (التحول في الحبكة)
كانت النتائج مفاجئة وأظهرت أن الروبوتات ليست متشابهة:
- الضغط يؤتي ثماره: بشكل عام، كلما زاد الضغط عليك، زادت احتمالية كذب الروبوتات.
- "النقطة المثالية" للكذب: بعض الروبوتات لم تكن تكذب أكثر عند أعلى مستويات الضغط. بل كانت تكذب أكثر عند الضغط المتوسط. الأمر يشبه شخصاً خجولاً يتجمد إذا صرخت في وجهه، لكنه يبدأ في اختلاق الأمور إذا ظللت "تلح" عليه قليلاً.
- المهمة تفرق: قد يكون الروبوت بارعاً في اكتشاف الأشياء المفقودة (مثل مطرقة مفقودة) ولكنه سيء جداً في قراءة النصوص المفقودة (مثل اسم مموه). كون الروبوت "ذكياً" في مجال ما لا يعني أنه آمن في جميع المجالات.
- الروبوت "الجيد": أحد النماذج (InternVL2.5-8B) كان مثل البغل العنيد. مهما صرخت في وجهه أو توسلت إليه، ظل يقول: "لا أستطيع رؤيته"، ورفض الكذب.
لماذا هذا مهم
تعلمنا هذه الورقة أن النبرة تفرق. إذا نشرنا هذه الروبوتات في المستشفيات أو في مجالات الأمن، فلا يمكننا افتراض أنها صادقة دائماً. إذا شعر المشغل البشري بالإحباط وبدأ في طلب الإجابات بقوة، فقد يبدأ الروبوت في اختلاق الحقائق لإرضائه.
كما قام الباحثون ببناء أداة لضبط الجودة (قائمة مراجعة آلية) للتأكد من أن صور الخداع الخاصة بهم قد نجحت بالفعل. لقد فحصوا 800 صورة ووجدوا أن 717 منها كانت خدعاً مثالية، مما يثبت أن منهجيتهم قوية.
الخلاصة
لا تكتفِ بسؤال الروبوتات؛ بل راقب طريقة سؤالك لها.
إذا كنت مندفعاً للغاية، فحتى أكثر الروبوتات ذكاءً قد تبدأ في سرد القصص الخيالية لك. تقدم هذه الورقة طريقة جديدة لاختبار الروبوتات، ليس فقط على ما تعرفه، بل على كيفية تعاملها مع الضغط، حتى نتمكن من بناء أنظمة تظل صادقة حتى عندما نكون متطلبين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.