Grounding Agentic VLMs with Dedicated Segmentation for Fine-Grained Vehicle Damage Assessment

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف ينظر إلى صورة ويحكي قصة عنها. هذا المجال من العلوم يسمى "الرؤية واللغة" (Vision-Language)، حيث تتعلم الحواسيب رؤية الصور والتحدث عنها. لفترة طويلة، كانت هذه الروبوتات بارعة في وصف الصورة الكبيرة — مثل قول "تلك سيارة حمراء". لكنها غالبًا ما كانت تعاني مع التفاصيل الصغيرة، مثل الإشارة بدقة إلى مكان وجود خدش على المصد. الأمر يشبه امتلاك صديق يمكنه إخبارك بقصة عن فيلم، لكنه لا يستطيع الإشارة إلى أي شخصية ترتدي قبعة زرقاء. هذا الأمر مهم لأننا في العالم الحقيقي، إذا كان من المفترض أن يفحص روبوت سيارة بحثًا عن أضرار للمساعدة في التأمين، فلا يمكنه مجرد التخمين؛ بل يجب أن يعرف بالضبط أين تكمن المشكلة، وإلا فقد يبتدع أضرارًا ليست موجودة بالفعل.

لقد عالج الباحثون في هذه الورقة البحثية هذه المشكلة من خلال بناء نظام جديد يسمى TinyDamage لمساعدة روبوت يدعى Qwen-VL ليصبح محققًا أفضل. وجدوا أنه بينما كان الروبوت جيدًا جدًا في معرفة ماهية الخدش أو الشق (بنسبة دقة 87.3% في تسميتها)، إلا أنه كان سيئًا للغاية في الإشارة إليها في الصورة. فعندما يُطلب منه العثور على الضرر، كان الروبوت غالبًا ما "يهلوس"، مما يعني أنه كان يرى خدوشًا في الانعكاسات اللامعة أو يغفل تمامًا عن الشقوق الطويلة والنحيفة. كان الأمر يشبه محققًا يعرف شكل بصمة الإصبع، لكنه يستمر في الإشارة إلى الشخص الخطأ في طابور المتهمين.

ولإصلاح ذلك، لم يحاول الفريق إجبار الروبوت على أن يصبح أفضل في الإشارة، بل منحوه شريكًا. لقد بنوا "راصدًا" متخصصًا (نموذج TinyDamage) مهمته الوحيدة هي العثور على الضرر الصغير والمراوغ ورسم قناع (mask) حوله. ثم تركوا الروبوت الرئيسي يستخدم هذا القناع كدليل لكتابة تقريره. فكر في الأمر كدليل سياحي يعرف كل التاريخ ولكنه يضل طريقه بسهولة، مقترنًا بدليل محلي يعرف بالضبط كل شارع. الدليل المحلي يشير إلى الطريق، والدليل السياحي يحكي القصة.

كانت النتائج مفاجئة ومحددة للغاية. اكتشف الفريق أن الطريقة التي علموا بها "الراصد" للتعلم كانت أكثر أهمية من تصميم الراصد نفسه. وجدوا أن استخدام طريقة تعليم شائعة تسمى "فقد التركيز" (focal loss) جعلت الراصد أعمى تمامًا عن الخدوش الصغيرة، مما تسبب في تفويته لها بنسبة 100% من الوقت. ومع ذلك، من خلال الانتقال إلى طريقة مختلفة تسمى "التعلم التبايني الخاضع للإشراف" (supervised contrastive learning)، أصبح الراصد أفضل بكثير في الفصل بين الضرر والخلفية.

وعندما اختبروا الفريق بأكمله معًا، كان الفرق هائلًا. إذا طلبوا من الروبوت كتابة تقرير بناءً على الصورة فقط، فإنه يبتدع أضرارًا وهمية بنسبة 78% من الوقت. وإذا طلبوا منه ذلك بناءً على وصف نصي فقط، فإنه يبتدع أضرارًا بنسبة 92% من الوقت. ولكن عندما سمحوا للروبوت باستخدام خريطة "الراصد" لتوجيه كتابته، انخفض معدل الأضرار الوهمية إلى 31% فقط. تشير الورقة البحثية إلى أنه لكي تكون الروبوتات موثوقة في العالم الحقيقي، لا ينبغي لنا فقط أن نطلب منها "بذل جهد أكبر" لرؤية الأشياء الصغيرة؛ بل يجب أن نعطيها أداة مخصصة للعثور على الأشياء الصغيرة، ثم نترك الروبوت يستخدم تلك الأداة لقول الحقيقة.