Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

تخيل أنك تحاول تعليم روبوت وصف صورة لم يره من قبل. لا يمكنك عرض الصورة والوصف الصحيح معًا أثناء سنوات دراسته؛ لأن ذلك سيعتبر "انتهاكًا لبروتوكول التعلم الصفري الصارم" في عالم التعلم الصفري الصارم. بدلاً من ذلك، تعطي الروبوت مكتبة ضخمة من الأوصاف النصية ونظارات خاصة يمكنها تخمين ما تبدو عليه الصورة تقريبًا بناءً على الكلمات. مهمة الروبوت هي النظر إلى صورة جديدة، وإيجاد أوصاف مشابهة لها في مكتبته، ثم استخدام تلك الأوصاف لكتابة تعليق جديد.

لفترة طويلة، اصطدمت هذه العملية بحائط مسدود ومحبط. كان الروبوت يجد بعض الأوصاف المشابهة، ويختار أفضلها، ثم يترك "دماغه اللغوي" الداخلي يكمل الجملة. المشكلة كانت أنه بمجرد أن يبدأ الروبوت في الكتابة، يتوقف عن التحقق مما إذا كان ما يقوله يطابق الصورة بالفعل. لقد أصبح تركيزه منصباً بشكل مفرط على أن يكون بليغاً وصحيحاً لغوياً، وغالباً ما يتجاهل التفاصيل البصرية. كان الأمر يشبه مرشداً سياحياً حفظ نصاً عن جبل مشهور، ولكن بمجرد بدء الجولة، استمر في التحدث عن مدى جمال الجبال بشكل عام، ناسياً أن ذكر أن هذا الجبل تحديداً هو بركان.

تتناول هذه الورقة البحثية هذه المشكلة تحديداً. يقترح الباحثون، الذين يعملون في مجال الذكاء الاصطناعي والرؤية الحاسوبية، طريقة جديدة لإبقاء الروبوت صادقاً. أطلقوا على طريقتهم اسم "التعليق المترتب على التحكيم" (Adjudicated Captioning). فبدلاً من ترك الروبوت يكتب القصة بأكملها ثم يأمل في الحصول على نتيجة جيدة، قاموا بتثبيت فريق من "القضاة" الصارمين الذين يفحصون العمل في مراحل متعددة. هم لا يعيدون تدريب دماغ الروبوت (الذي يتطلب رؤية الصور والإجابات معاً)؛ بل يضيفون طبقة ذكية ذاتية التصحيح تعمل بعد أن ينتهي الروبوت من مسودته الأولية.

إليك كيف يعمل نظامهم الجديد، باستخدام قصة بسيطة:

الطريقة القديمة: الفحص لمرة واحدة
في النظام القديم، نظر الروبوت إلى صورة لمتزلج على لوح التزلج وسأل مكتبته: "ما هي الكلمات القريبة من هذا؟". وجد تسعة أوصاف مشابهة. اختار أفضل خمسة منها، ثم بدأ دماغه اللغوي في الكتابة. كتب: "متزلج ومتزلج يقفان". توقف النظام عند هذا الحد. لم يسأل أبداً: "مهلاً، هل تظهر الصورة شخصين حقاً؟". لقد وثق فقط في أن دماغه اللغوي سيكون صحيحاً. أدى هذا إلى درجة 108.0 في اختبار قياسي يسمى CIDEr (وهي طريقة لقياس مدى جودة التعليق).

الطريقة الجديدة: قاعة المحكمة متعددة المراحل
أدرك المؤلفون أن الروبوت يحتاج إلى أكثر من مجرد فحص واحد. لقد بنوا مسار عمل يتكون من ثلاثة "قضاة" جدد يعملون معاً دون رؤية الإجابات "الصحيحة" (الحقيقة الأرضية).

1. الأمين على المكتبة الأقوى (المرحلة 1): أولاً، استبدلوا نظارات الروبوت بنظارات أكثر حدة. بدلاً من العدسة القياسية، استخدموا نموذجاً ضخماً وقوياً (OpenCLIP ViT-bigG/14) لإيجاد الأوصاف الأولية. هذا وحده جعل الروبوت أكثر ذكاءً، حيث رفع الدرجة إلى 111.6.
2. المستجوب (المرحلة 2): بعد ذلك، أضافوا قاضياً ثانياً. هذا القاضي لا ينظر إلى الكلمات فحسب؛ بل يستخدم أداة "انتباه متقاطع" خاصة (BLIP-ITM Verifier) لدراسة العلاقة بين الصورة والنص بعمق. يأخذ أفضل تسعة أوصاف وجدها الأمين على المكتبة ويعيد ترتيبها، مختاراً أفضل خمسة منها. هذا القاضي مختلف عن الأمين على المكتبة؛ فهو يلتقط الأشياء التي يغفل عنها الأمين. إذا اعتقد الأمين أن الصورة تتعلق بـ "رجل"، فقد يدرك هذا القاضي أنها في الواقع "رجلان". هذه الخطوة حاسمة لأن القاضيين غالباً ما يختلفان، وهذا الاختلاف يساعد النظام في العثور على الحقيقة.
3. المحكم النهائي (المرحلة 4): أخيراً، يقوم الروبوت بتوليد قائمة من 20 جملة محتملة (شعاع/beam). عادةً، سيختار الروبوت الجملة الأكثر سلاسة لغوياً. لكن الآن، يتدخل رأسان جديدان صغيران تعلمهما ذاتياً (اسمهما TriFuse و MemAttend). ينظر هذان الرأسان إلى الـ 20 جملة ويسألان ثلاثة أسئلة لكل منها:
   • هل يعجب الدماغ اللغوي هذه الجملة؟
   • هل يعتقد الأمين على المكتبة الأقوى أنها تطابق الصورة؟
   • هل يعتقد المستجوب أنها تطابق الصورة؟

تم تدريب هذين الرأسين بطريقة ذكية. فهما لا يحتاجان إلى معلم يمتلك الإجابات الصحيحة. بدلاً من ذلك، ينظران إلى القضاة الثلاثة أعلاه. إذا اتفق جميع القضاة الثلاثة على أن جملة معينة هي الأفضل، فإن الرأسين الجديدين يتعلمان اختيار تلك الجملة. إنه يشبه طالباً يتعلم من خلال مراقبة لجنة من الخبراء وهم يتفقون على الإجابة الصحيحة، بدلاً من أن تُقال له الإجابة مباشرة.

النتيجة
من خلال إضافة هذه الفحوصات، لم يصبح النظام يبدو أفضل فحسب، بل أصبح أكثر دقة. في اختبار COCO Karpathy، وصل النظام الجديد إلى درجة CIDEr تبلغ 117.6، وهي قفزة هائلة من أفضل نتيجة سابقة بلغت 108.0. والأكثر إثارة للإعجاب، أنه تفوق على طريقة استخدمت صوراً "زائفة" تم إنشاؤها بواسطة ذكاء اصطناعي آخر لتدريب نفسها (والتي سجلت 109.9)، وكل ذلك دون أن يرى الروبوت صورة واحدة مقترنة بوصف خلال تدريبه.

اختبر الباحثون هذا أيضاً على أنواع مختلفة من الصور، مثل تلك من Flickr30k و NoCaps. وحسّن النظام درجاته هناك أيضاً، حيث حقق زيادة قدرها +8.1 و +5.7 نقطة على التوالي، مما يثبت أن نهج "القضاة المتعددين" هذا يعمل حتى على الصور التي لم يتم تدريب الروبوت عليها خصيصاً.

ما الذي استبعدوه
كان الباحثون حذرين في إثبات أن هذا لم يكن سحراً. فقد أثبتوا أن مجرد جعل الدماغ اللغوي أقوى لم يكن هو الحل؛ بل جاء التحسن من أين و كيف يتم فحص المطابقة بين الصورة والنص. كما أظهروا أن مجرد إضافة قاضٍ ثانٍ لم يكن كافياً؛ بل يجب أن يكون القضاة من أنواع مختلفة من النماذج (أحدهما "مشفر مزدوج" والآخر "مطابق انتباه متقاطع") حتى يتمكنوا من التقاط أنواع مختلفة من الأخطاء. كما اختبروا فكرة "سلبية": محاولة استخدام أسوأ الأوصاف لتعليم الروبوت ما لا يجب قوله. أدى ذلك في الواقع إلى جعل الأمور أسوأ، مما أثبت أن التركيز على أفضل المطابقات هو المسار الصحيح.

مدى تأكدهم؟
الورقة البحثية واثقة جداً من هذه الأرقام. لقد أجروا الاختبارات عدة مرات ووجدوا أن النتائج مستقرة، مع وجود تقلبات عشوائية طفيفة فقط (حوالي 0.1 نقطة) ناتجة عن خصائص الأجهزة الحاسوبية. كما أظهروا أن التحسن لم يكن لمجرد أنهم استخدموا نسخة معينة من قاضٍ تم تدريبه على نفس مجموعة الاختبار؛ فعندما استبدلوا القاضي بآخر تم تدريبه على مجموعة صور مختلفة، ظل النظام يتحسن بشكل ملحوظ.

باخت-صار، تشير هذه الورقة إلى أن السبب في توقف تقدم تعليق الذكاء الاصطناعي لم يكن لأن الروبوتات كانت غبية جداً، بل لأنها كانت تثق في كلماتها أكثر من اللازم. من خلال إضافة فريق من القضاة المستقلين ذاتي التوجيه للتحقق من العمل في كل خطوة، تعلم النظام وصف العالم بدقة أكبر، وكل ذلك دون كسر قواعد التعلم الصفري الصارم.