Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval

بيان المشكلة
لا تزال أنظمة وصف الصور الحالية، رغم التقدم في الفهم متعدد الوسائط، مقيدة باعتمادها على المعلومات المرئية البحتة. وبينما تستطيع النماذج المتطورة وصف الأشياء المرئية بدقة، فإنها تفشل في التقاط التفاصيل السياقية الحاسمة مثل خلفيات الأحداث، والديناميكيات الزمنية، والكيانات المسماة، والأهمية الواقعية التي لا يمكن تمييزها بصرياً. هذا القصور يعد ضاراً بشكل خاص في مجالات مثل الصحافة والأرشيفات الرقمية، حيث تعمل الصور كتوثيق مرئي يتطلب أوصافاً غنية بطول الفقرة بدلاً من الملخصات الموجزة على مستوى الجملة. كما أن النهج الحالية المعززة بالمعرفة غالباً ما تنتج أوصافاً قصيرة تركز على المحاذاة البصرية-النصية المباشرة، وتفشل في تقديم السرديات الشاملة اللازمة لتوثيق الأحداث بشكل هادف.

المنهجية
يقترح المؤلفون مسار عمل متعدد الوسائط مصمماً لتعزيز المدخلات المرئية بمعرفة نصية خارجية لتوليد أوصاف غنية بالأحداث وواعية بالسياق. يعمل النظام من خلال أربع مراحل أساسية:

1. الاسترجاع وإعادة الترتيب متعدد الوسائط:

   • البحث الدلالي: يقوم النظام باسترجاع صور ومقالات متشابهة دلالياً باستخدام تضمينات (embeddings) من BEIT-3 (باستخدام Flickr30k-384 و COCO-384) و SigLIP So-384.
   • تسجيل النقاط التجميعي (Ensemble Scoring): لتحسين المتانة، يجمع النظام درجات التشابه من هذه النماذج. يتم إنشاء مجمع مرشح موحد من أفضل النتائج لكل نموذج، مع التوزين حسب الموقع (المركز الأول مقابل المركز الثاني) ومساهمة النموذج. كما يتم تطبيق مكافأة إجماع (consensus bonus) على المرشحين الذين يظهرون في نتائج النماذج المتعددة.
   • التحقق الهندسي: تخضع المرشحات المسترجعة لعملية مطابقة الميزات باستخدام كواشف ORB و SIFT. يطبق النظام اختبار نسبة لو (Lowe's Ratio Test) وخوارزمية RANSAC لتصفية المطابقات، مع حساب نسبة العناصر المتوافقة (inlier ratio)، والاتساق المكاني (عبر شبكة 4×4)، والاتساق القياسي. وتؤدي درجة الثقة النهائية، التي تجمع هذه العوامل، إلى تفعيل إعادة الترتيب إذا تجاوزت الثقة 0.4 واستوفت الحد الأدنى من العناصر المتوافقة.

2. توليد الوصف الأساسي:

   • يستخدم المسار نموذج InstructBLIP (Vicuna-7B) لتوليد أوصاف أساسية أولية.
   • بدلاً من التعليمات العامة، يتم استخدام تعليمات خاصة بالمهمة لاستحضار التفاصيل المتعلقة بالأشخاص، والأشياء، والإعدادات، والأنشطة، والإضاءة، والأجواء بشكل صريح. يهدف هذا إلى إنشاء سرد مرئي هيكلي وواقعي ليكون بمثابة جسر للنماذج اللغوية اللاحقة، مما يخفف من حدة "الاختناق البصري".

3. استخراج السياق وتقطيعه:

   • يتم تقسيم المقالات الإخبارية المرتبطة إلى قطع نصية متداخلة (ثلاث جمل مع خطوة انتقال قدرها جملة واحدة).
   • يقوم نموذج all-MiniLM-l12-v2 بتشفير هذه القطع والوصف الأساسي لإجراء بحث عن التشابه الدلالي. يتم اختيار أفضل خمس قطع ذات صلة، بالإضافة إلى أول ثلاث جمل وآخر جملتين من المقال للحفاظ على بنية الخطاب.
   • يتم استخراج الكيانات المسماة عبر التعبيرات النمطية (regular expressions) لتعزيز التجذر الواقعي.

4. توليد الوصف المعزز بالسياق:

   • يتم ضبط نموذج DeepSeek-R1-0528-Qwen3-8B باستخدام تقنية QLoRA (التكيف منخفض الرتبة المكمم) برتبة 256 ودقة 8-بت.
   • يتم تدريب النموذج باستخدام هدف نمذجة اللغة السببية (CLM). تتكون المدخلات من قطع النص المختارة المدمجة مع أمر (prompt) محدد يوجه النموذج لإعطاء الأولوية لسياق الأخبار (70%) على التفاصيل المرئية (30%)، والتركيز على "الأسئلة الخمسة" (من، ماذا، لماذا، متى، أين)، وإنتاج وصف يتراوح بين 300 إلى 350 كلمة.
   • يشير المؤلفون إلى أن نهج التصفية الدلالية هذا (اختيار القطع ذات الصلة) يؤدي إلى تقارب أسرع وأداء أفضل مقارنة بتغذية المقالات الكاملة كـ سياق.

المساهمات والنتائج الرئيسية
تم تقييم النظام على مجموعة بيانات OpenEvents v1 (المستمدة من CNN و The Guardian) وتحدي EVENTA Grand Challenge CondaBench.

• أداء الاسترجاع: في مجموعة الاختبار الخاصة، حقق النظام متوسط دقة (AP) قدره 0.955، مع استدعاء (Recall@1) قدره 0.945 و (Recall@10) قدره 0.973.
• أداء الوصف:
  • في مجموعة الاختبار العامة، حقق النظام درجة CLIPScore بلغت 0.748، متفوقاً على أفضل خط أساس سابق (Gemma + Article) بنسبة 12.8%.
  • وصلت درجة CIDEr إلى 0.195، وهي أعلى بأكثر من 10 مرات من معظم الطرق السابقة (مثل Qwen التي سجلت 0.0282).
  • تفوق النظام على جميع نماذج الرؤية-اللغة التي تم تقييمها (بما في ذلك SmolVLM و Qwen و Gemma) عبر جميع المقاييس الرئيسية (CLIPScore، CIDera، BLEU-4، METEOR).

الأهمية والادعاءات
يزعم البحث أن هذا النهج ينجح في تحويل وصف الصور من مجرد تعداد للأشياء إلى سرد قصصي غني بالسياق وتفصيلي، يربط الإدراك البصري بالفهم الشامل للأحداث. ومن خلال دمج المعرفة الخارجية عبر مسار مدعوم بالاسترجاع، يولد النظام أوصافاً يمكنها التقاط الكيانات المسماة، والسياق الزمني، والسرديات المتماسكة التي تربط المحتوى المرئي بالأهمية الواقعية.

يقر المؤلفون بوجود قيود، مشيرين إلى الاعتماد على نموذج DeepSeek-Qwen3 الذي يحمل خطر الهلوسة، وأن درجة CIDer، رغم تحسنها، لا تزال تشير إلى وجود مجال للتحسين في التوافق مع الصياغة البشرية. وتشمل الأعمال المستقبلية تجربة مولدات وصف أساسية بديلة (مثل Qwen-VL 2.5 لتحسين التعرف على النصوص والكيانات OCR) واستكشاف تقنيات المعالجة اللاحقة لتعزيز الطلاقة والملاءمة. ويتم وضع النظام ليكون ذا إمكانات كبيرة للتطبيقات في وسائل الإعلام الإخبارية، والأرشيفات الرقمية، والمنصات التعليمية حيث تعد القابلية للتفسير والعمق الدلالي أمراً ضرورياً.