Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation
تكشف هذه الدراسة أنه بينما تمتلك نماذج الرؤية واللغة الصغيرة معرفة ذاتية داخلية دقيقة حول أخطائها في ظل ظروف تدهور الصور الواقعية، إلا أنها تفشل في التعبير لفظياً عن هذا اليقين، مما يجعل احتمالية الرمز (token probability) الداخلية إشارةً متفوقة للتأجيل مقارنة بالثقة المعلنة، رغم أن كلتا الإشارتين تصبحان غير موثوقتين في ظل ظروف الإضاءة المنخفضة الشديدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مدينة صاخبة برفقة روبوت مرشد صغير، لكنه ذكي للغاية. هذا الروبوت يمتلك كاميرا كأعين له، وصوتاً للتحدث به. مهمته هي النظر إلى الأشياء من حولك وإخبارك ماهيتها. ولكن هنا تكمن المشكلة: المدينة فوضوية. أحياناً تكون الشمس ساطعة جداً، وأحياناً يكون الظلام دامساً، وأحياناً تكون عدسة الكاميرا الخاصة بك متسخة أو تهتز. في عالم الذكاء الاصطناعي، تُسمى هذه الصور "الفوضوية" بالصور المتدهورة (degraded images).
عندما يرتبك روبوت مثل هذا بسبب صورة سيئة، فإنه يحتاج إلى معرفة متى يقول: "لا أعرف، اسأل بشرياً"، بدلاً من التخمين الواثق بالإجابة الخاطئة. هذه القدرة على معرفة متى يكون غير متأكد تسمى عدم اليقين (uncertainty). وهناك طريقتان يمكن للروبوت من خلالهما إظهار عدم اليقين هذا. الطريقة الأولى هي الثقة المعلنة (verbalized confidence): حيث يقول الروبوت ببساطة بصوت عالٍ: "أنا متأكد بنسبة 90%!". أما الطريقة الثانية فهي الثقة الداخلية (internal confidence): وهي إشارة صامتة وسرية داخل عقل الروبوت تقيس مدى تذبذب أفكاره، حتى لو لم ينطق بكلمة واحدة. يفترض معظم الناس أنه إذا قال الروبوت إنه واثق، فمن المرجح أنه كذلك بالفعل. ولكن ماذا لو كان الروبوت مجرد كاذب سيء؟ هذا هو السؤال الكبير الذي تطرحه هذه الورقة البحثية.
قصة الإشارة الصامتة
في هذه الدراسة، أخضع الباحثون اثنين من روبوتات الإرشاد الصغيرة مفتوحة المصدر (يُطلق عليهما Qwen2-VL و SmolVLM) لاختبار صارم. لم يكتفوا بعرض صور نظيفة ومثالية عليهم، بل أخذوا 100 صورة للطعام وأفسدوها عمداً بست طرق مختلفة: تقليل الجودة مثل ملفات JPEG، أو جعلها ضبابية بسبب الحركة، أو خفض الإضاءة حتى أصبحت مظلمة تقريباً، أو إضافة توهج مبهر، أو إمالة الكاميرا، أو تصغير وتمديد الصورة. فعلوا ذلك بثلاثة مستويات من الشدة لكل نوع من أنواع الإفساد.
كان على الروبوتات تخمين نوع الطعام في كل صورة تالفة. ثم تحقق الباحثون من شيئين:
- هل قال الروبوت: "أنا واثق!" أم "أنا لست متأكداً"؟ (الإشارة المعلنة)
- ما هو درجات الثقة السرية والداخلية للروبوت في احتمالية كونه على حق؟ (الإشارة الداخلية)
المفاجأة الكبرى: الروبوت الذي لا يعترف بخطئه
كانت النتائج تشبه مشاهدة ساحر سيء جداً في عمله، ومع ذلك يستمر في الانحناء والقول: "لقد كان عرضاً مثالياً!".
الإشارة المعلنة (فم الروبوت):
عندما طُلب منهم تحديد مدى ثقتهم، كان الروبوتات عنيدين للغاية. بغض النظر عن مدى سوء الصورة، ومهما كانت ضبابية أو مظلمة، استمروا في القول إنهم متأكدون بنسبة تتراوح بين 87% إلى 90%. حتى عندما كانت الصورة مظلمة لدرجة أن الروبوت كان يخمن عشوائياً (ويصيب الإجابة بنسبة 22% فقط من الوقت)، ظل يقول بثقة: "أنا متأكد بنسبة 87%!". كان الأمر كما لو أن الروبوت لديه قرص تحكم في الثقة معطل وعالق على وضع "الارتفاع". في الواقع، بالنسبة لأحد الروبوتات، كان طلب إعطاء رقم للثقة صعباً للغاية لدرجة أنه اكتفى غالباً بعدم الإجابة، حيث ذكر اسم الطعام فقط دون أي رقم.
الإشارة الداخلية (عقل الروبوت):
ومع ذلك، عندما ألقى الباحثون نظرة داخل عقل الروبوت لرؤية "احتمالات الرموز" (tokens probabilities) السرية (وهي طريقة متطورة لقياس مدى تأكد الرياضيات الخاصة بالروبوت)، وجدوا شيئاً مختلفاً تماماً. كانت الإشارة الداخلية للروبوت صادقة جداً! فعندما كانت الصورة واضحة، كانت الدرجة الداخلية عالية. وعندما كانت الصورة ضبابية أو مظلمة، انخفضت الدرجة الداخلية بشكل كبير. كانت هذه الإشارة السرية جيدة جداً في رصد الأخطاء، حيث استطاعت التمييز بين الإجابة الصحيحة والخاطئة بدقة تتراوح بين 92% إلى 99%.
فخ "الإضاءة المنخفضة"
كانت هناك لحظة مخيفة واحدة في القصة؛ فعندما جعل الباحثون الصور مظلمة للغاية (مستوى "نقص التعرض الشديد")، فشلت كلتا الإشارتين. انهارت دقة الروبوتات (منخفضة من 99% إلى 22%)، وحتى الإشارة الداخلية الصادقة توقفت عن العمل. لم تعد قادرة على التمييز بين الإجابة الصحيحة والخاطئة. بدا الأمر وكأن الظلام كان كثيفاً لدرجة أن حتى عقل الروبوت السري قد أصابه الضباب.
ماذا يعني هذا بالنسبة لك؟
إذاً، ماذا تعلم الباحثون؟
- لا تثق بفم الروبوت. إذا سألت روبوتاً صغيراً عن مدى تأكده، فمن المرجح أنه سيكذب ويقول إنه متأكد جداً، حتى وهو تائه تماماً. تُظهر الورقة البحثية أن هذه "الثقة المعلنة" لا فائدة منها لمعرفة متى يجب التوقف وطلب المساعدة من البشر.
- ثق بعقل الروبوت (غالباً). الرياضيات الداخلية السرية أفضل بكثير؛ فهي تعرف متى يكون الروبوت مرتبكاً ويمكنها إرسال إشارة بذلك إلى نظام الكمبيوتر، مما يسمح للنظام بالقول: "حسناً، أنا لست متأكداً، فلنجعل بشرياً يتحقق من هذا".
- لكن احذر من الظلام. حتى الإشارة الداخلية الصادقة تنهار عندما تكون الصور مظلمة جداً. إذا كنت تستخدم هذه الروبوتات في غرفة مظلمة أو في الليل، فلا يمكنك الاعتماد على الروبوت ليخبرك بفشله. أنت بحاجة إلى "فحص سلامة" منفصل للتأكد من أن الصورة ليست مظلمة جداً قبل أن يحاول الروبوت النظر إليها.
باخت-الاختصار، الروبوتات الذكية الصغيرة تعرف متى تكون مخطئة في أعماق شفرتها البرمجية، لكنها ببساطة لن تعترف بذلك بصوت عالٍ. إنهم يشبهون طالباً أجاب على سؤال الاختبار بشكل خاطئ، ومع ذلك يرفع يده ويقول: "أنا متأكد تماماً من هذا!". الطريقة الوحيدة للإمساك بهم هي النظر إلى مسوداتهم السرية، وليس الاستماع إلى ما يقولونه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.