A Multi-Caption Fusion Approach for Enhanced Image Captioning

في عالم الرؤية الحاسوبية، يوجد تحدٍ قائم منذ فترة طويلة يُعرف باسم "وصف الصور" (image captioning). وتتمثل هذه المهمة في تعليم الآلة كيفية النظر إلى صورة وكتابة جملة تصف ما تراه بلغة طبيعية. إنها جسر يربط بين مجالين رئيسيين من مجالات الذكاء الاصطناعي: القدرة على التعرف على الأنماط البصرية والقدرة على بناء جمل ذات معنى. وبينما تمتلك هذه التكنولوجيا استخدامات عملية، مثل مساعدة المكفوفين على فهم محيطهم، إلا أنها تمثل أيضاً اختباراً جوهرياً لمدى قدرة الحاسوب على "فهم" الصورة حقاً. وتكمن الصعوبة في أن الصورة الواحدة غالباً ما تحتوي على شبكة معقدة من التفاصيل والعلاقات والسياقات. ولسنوات، كان النهج المعياري هو إجبار الحاسوب على تكثيف كل تلك المعلومات البصرية في جملة واحدة فقط؛ ومع ذلك، غالباً ما يبدو هذا الأمر وكأنك تحاول وصف شارع مزدحم في مدينة باستخدام ثلاث كلمات فقط؛ والنتيجة غالباً ما تكون دقيقة ولكنها تفتقر إلى الثراء والدقة التي تميز المشهد الكامل.

لقد أدرك الباحثون منذ زمن طويل أن المراقبين البشر غالباً ما يصفون نفس الصورة بطرق مختلفة. فقد يركز شخص ما على الموضوع الرئيسي، بينما يركز آخر على الخلفية، وثالث على الفعل أو الحدث الذي يجري. وتقترح دراسة جديدة طريقة لتسخير هذا التنوع الطبيعي لإنشاء أوصاف آلية أفضل. فبدلاً من مطالبة الحاسوب بإنتاج جملة واحدة فقط بشكل فوري، طور الباحثون عملية مكونة من خطوتين. أولاً، يوجهون الحاسوب لإنتاج خمسة أوصاف مختلفة لنفس الصورة، بحيث يركز كل منها على جانب مختلف قليلاً. ثم، في الخطوة الثانية، يقرأ النظام هذه الجمل الخمس المولدة، ويجمع معلوماتها، ويستخدم هذا الفهم المدمج لكتابة وصف نهائي شديد التفصيل. هذا النهج يعامل مجموعة الأوصاف الأولية ليس كأخطاء أو بدائل، بل كمصدر غني للمعلومات يمكن دمجها معاً لإنتاج نتيجة متفوقة.

تبدأ الطريقة بنظام قياسي للتعرف على الصور يقوم بتفكيك الصورة إلى مكوناتها البصرية، وتحديد الأشياء وسماتها. وفي المرحلة الأولى من هذا الإطار الجديد، يتم تزويد النظام بإشارة عددية خاصة جنباً إلى جنب مع بيانات الصورة. تعمل هذه الإشارة مثل "مقبض ضبط"، حيث توجه الحاسوب لإنتاج نسخة محددة من الوصف. وبما أن مجموعة البيانات المستخدمة للتدريب تحتوي على خمسة أوصاف مختلفة كتبها البشر لكل صورة، فإن النظام يتعلم إنتاج خمس متغيرات متميزة من الوصف لنفس الصورة. قد يصف أحد المتغيرات الأشياء الرئيسية، والآخر يصف البيئة المحيطة، والآخر يصف التفاعلات بينها. ومن خلال القيام بذلك، ينشئ النموذج مجموعة متنوعة من الجمل التي تغطي مجتمعة المحتوى البصري الكامل للصورة، مما يضمن عدم ترك أي تفصيل بمفرده بسبب قيود الجملة الواحدة.

بمجرد توليد هذه الأوصاف الخمسة المتنوعة، ينتقل النظام إلى مرحلته الثانية. هنا، يعمل مكون جديد كـ "قارئ"، حيث يعالج كل جملة من الجمل الخمس لاستخراج معناها الجوهري وتحويلها إلى شكل مدمج من المعلومات. فكر في هذه الخطوة كأمين مكتبة يقرأ خمس ملخصات مختلفة لنفس الحدث، ثم يكتب ملخصاً واحداً مثالياً يلتقط أفضل النقاط من جميع تلك الملخصات. يأخذ النظام هذه الملخصات المعالجة ويدمجها مع السمات البصرية الأصلية للصورة. ثم يستخدم هذا المعرفة المدمجة لتوليد جملة واحدة نهائية. هذه الجملة النهائية ليست مجرد تكرار للمحاولات السابقة؛ بل هي وصف تركيبي يستفيد من الحكمة الجماعية للمسودات الخمس الأولية، مما يؤدي إلى نص أكثر شمولاً ودقة مما يمكن للنظام إنتاجه في تمريرة واحدة.

اختبر الباحثون هذا النهج باستخدام مجموعة كبيرة من الصور الفوتوغرافية المعروفة باسم MS-COCO، والتي تحتوي على أكثر من 120,000 صورة، لكل منها خمسة أوصاف مرجعية كتبها البشر. وقارنوا نظامهم الجديد ذو المرحلتين بعدة نماذج موجودة تولد الأوصاف في خطوة واحدة. وأظهرت النتائج أن طريقتهم أنتجت أوصافاً أكثر تفصيلاً وتوافقت بشكل أفضل مع الكتابة البشرية. وفي اختبارات محددة، تفوق النظام الجديد على النماذج الرائدة السابقة في قياس مدى مطابقة النص المولد للكتابة البشرية. فعلى سبيل المثال، عند وصف إشارة مرور، قد تقول النماذج القديمة ببساطة "إشارة مرور على جانب الطريق"، مفتقدةً لون الإشارة. أما النظام الجديد، وبفضل دمج وجهات النظر المتعددة، فقد تمكن من إنتاج "إشارة مرور عليها ضوء أخضر"، ملتقطاً تفصيلاً حاسماً فات النماذج أحادية الخطوة. وبالمثل، في صور الحيوانات، كان النظام أفضل في عدّ الموضوعات ووصف أفعالها المحددة، مثل "خيول تجر عربة"، بدلاً من مجرد ملاحظة وجودها.

كما استكشفت الدراسة طرقاً مختلفة لدمج المعلومات من الأوصاف الخمسة الأولية. واختبروا ما إذا كان من الأفضل مجرد حساب متوسط المعلومات أو استخدام طريقة أكثر تعقيداً لوزن أهمية كل جملة. ووجدوا أن طريقة محددة لمتوسط المعلومات من المسودات الخمس، مع التركيز على الأجزاء البصرية الأكثر أهمية في الصورة، حققت أفضل النتائج. وقد أكد ذلك أن مفتاح النجاح لم يكن مجرد توليد جمل متعددة، بل في دمجها بفعالية. وأشار الباحثون إلى أنه بينما يعد نظامهم أكثر تعقيداً من النموذج القياسي، فإن التحسن في جودة الأوصاف كان جوهرياً. فالناتج النهائي كان جملة واحدة نجحت في أن تكون موجزة وغنية بالتفاصيل في آن واحد، محققة التوازن بين الحاجة إلى الوضوية وثراء المشهد البصري.

يشير هذا العمل إلى أن الطريق نحو فهم أفضل للصور قد يكمن في احتضان التنوع بدلاً من فرض التوحيد الفوري. فمن خلال السماح للحاسوب باستكشاف طرق متعددة لوصف صورة ما قبل الاستقرار على إجابة نهائية، يكتسب النظام فهماً أعمق للمحتوى البصري. وقد أثبت الباحثون أن عملية الدمج متعددة الخطوات هذه تسمح للنموذج بالتقاط الفروق الدقيقة التي غالباً ما تضيع عند محاولة وصف صورة معقدة دفعة واحدة. وبينما تركز الدراسة الحالية على مجموعات بيانات الصور القياسية، فإن المبدأ الأساسي المتمثل في استخدام منظورات متعددة مولدة لصقل المخرجات النهائية يقدم اتجاهاً واعداً للتطورات المستقبلية في الذكاء الاصطناعي. وتشير النتائج إلى أنه من خلال محاكاة الطريقة التي قد يناقش بها البشر صورة ما من زوايا مختلفة قبل الاتفاق على وصف لها، يمكن للآلات أن تتعلم سرد قصص أكثر اكتمالاً ودقة عن العالم البصري.