FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

تخيل أنك تجلس في قاعة امتحان عالية المخاطر، ولكن بدلاً من مجرد قراءة كلمات على صفحة، فإن الاختبار عبارة عن كولاج فوضوي من الكتب المدرسية الكثيفة، والرسوم البيانية المعقدة، والمعادلات المكتوبة بخط اليد، والمخططات بلغات ست مختلفة. مهمتك هي النظر إلى هذه الفوضى البصرية والإجابة على أسئلة صعبة حولها. هذا هو عالم "الاستدلال متعدد الوسائط" (Multimodal Reasoning)، وهو مجال يحاول فيه الكمبيوتر أن يتصرف كطلاب بشر يمكنهم "رؤية" صورة و"قراءة" النص الموجود داخلها في آن واحد. لفترة طويلة، كان السؤال الكبير هو: "ما مدى ذكاء عقل الكمبيوتر الذي يحتاجه للنجاح؟" ولكن هناك عقبة. فحتى لو كان لدى الكمبيوتر الخارق فهم تام للرياضيات والعلوم، فقد يفشل في الاختبار إذا أطال الكلام، أو استخدم اللغة الخاطئة، أو كتب إجابته بتنسيق فوضوي لا يستطيع جهاز التصحيح الخاص بالمعلم قراءته. الأمر يشبه وجود طالب عبقري كتب مقالاً رائعاً ولكنه نسي كتابة اسمه في الخانة المخصصة، فحصل على صفر.

يخبرك هذا البحث قصة فريق من ألمانيا (FAU) دخلوا مسابقة تسمى ImageCLEF 2026 لحل هذه المشكلة بالضبط. لم يقوموا ببناء عقل أذكى فحسب؛ بل بنوا معلماً أكثر صرامة. اكتشافهم الرئيسي هو أن كيفية طلب الإجابة من الكمبيوتر لا تقل أهمية عن الكمبيوتر نفسه. لقد وجدوا أنه بالنسبة لأسئلة الاختيار من متعدد، من الأفضل منع الكمبيوتر من "كتابة" إجابة، وبدلاً من ذلك جعله "يقيّم" الخيارات مثل القاضي. وبالنسبة للأسئلة مفتوحة النهاية، تعلموا أن الكمبيوتر يحتاج إلى إجباره على أن يكون موجزاً ونظيفاً، عبر تجريد إجابته من كل "تفكير بصوت عالٍ" قبل تقديم النتيجة النهائية. كما جربوا بعض الحيل الشائعة، مثل إعطاء الكمبيوتر ورقة مرجعية للنصوص (OCR) أو تعليمه أشياء جديدة (Fine-tuning)، ولكن من المثير للدهشة أن تلك الحيل جعلت أداء الكمبيوتر يزداد سوءاً. ومن خلال التركيز على القواعد الصارمة وتنظيف الإجابات، ارتقى نظامهم إلى قمة لوحة المتصدرين، مما أثبت أن القليل من الانضباط الهندسي يمكن أن يحول ذكاءً اصطناعياً قوياً ولكنه فوضوي إلى مختبر اختبار موثوق.

التحدي: الامتحان البصري

كان للمسابقة نوعان رئيسيان من الأسئلة. الأول كان الاختيار من متعدد البصري (Visual MCQ). تخيل سؤالاً في علم الأحياء باللغة البلغارية مع جدول بيانات وخمسة خيارات مصنفة من A إلى E. يجب على الكمبيوتر اختيار الحرف الصحيح. النوع الثاني كان الإجابة على الأسئلة المفتوحة البصرية (Visual OpenQA). هنا، لا توجد خيارات. يجب على الكمبيوتر النظر إلى رسم بياني (ربما مخطط اقتصادي) وكتابة إجابة قصيرة ومباشرة بنفس لغة السؤال.

الجزء الصعب هو أن هذه الصور مليئة بالمعلومات "الكثيفة". فهي ليست مجرد صور لقطط؛ بل هي صفحات من أوراق علمية تحتوي على معادلات، ووحدات، ونصوص صغيرة جداً. إذا ارتبك الكمبيوتر بسبب التنسيق أو كتب شرحاً طويلاً بينما المطلوب هو رقم فقط، فإنه يخسر النقاط.

الاستراتيجية: حيلة "قيّم، ولا تكتب"

بالنسباً لجزء الاختيار من متعدد، أدرك الفريق أن ترك الكمبيوتر يكتب جملة مثل "الإجابة هي A لأن..." كان أمراً خطيراً. قد يحصل الكمبيوتر على الحرف الصحيح ولكنه يحيطه بالكثير من النصوص الإضافية، مما يربك نظام التصحيح.

بدلاً من ذلك، غيروا قواعد اللعبة. طلبوا من الكمبيوتر النظر إلى الخيارات A وB وC وD وE ومن ثم إعطاء "درجة" لكل منها بناءً على مدى احتمالية كونها صحيحة. فكر في الأمر كحكم رياضي يعطي درجة 9.5 لروتين لاعب جمباز بدلاً من كتابة فقرة عنه. لم يكن على الكمبيوتر توليد نص؛ بل كان عليه فقط حساب أي حرف يحصل على أعلى درجة. هذا جعل الإجابات نظيفة للغاية وسهلة الدمج. إذا قاموا بتشغيل الاختبار باستخدام ثلاثة عقول كمبيوتر مختلفة، فيمكنهم أخذ الدرجات من الثلاثة جميعاً، ومتوسطها، واختيار الفائز. ساعدت عملية "دمج الدرجات" (Score Fusion) هذه في الحصول على دقة عالية جداً بلغت 0.7108، مما وضعهم في المركز الثالث إجمالاً.

طاقم التنظيف: ترويض الذكاء الاصطناعي الثرثار

بالنسبة للأسئلة مفتوحة النهاية، كانت المشكلة هي العكس تماماً. كانت الحواسيب ثرثارة للغاية. فقد أحبت شرح استنتاجاتها، أو قول "إليك الإجابة"، أو استخدام علامات XML مزخرفة مثل <answer>. ومع ذلك، كان نظام التصحيح يريد الإجابة الخام فقط.

تعامل الفريق مع هذا الأمر كأنه محرر صارم. استخدموا "مطالبة موجزة" (Concise Prompt) أخبرت الكمبيوتر: "توقف عن التفكير بصوت عالٍ. أعطني الإجابة فقط". ثم مرروا الإجابات عبر "طاقم تنظيف" (مجموعة من القواعد) التي حذفت أي كلمات زائدة، أو آثار الاستنتاج، أو أخطاء التنسيق. كما قاموا بدمج الإجابات من عدة نماذج كمبيوتر مختلفة. إذا قال أحد النماذج "50 كجم" وقال آخر "50 كيلوغرام"، فإن النظام يدرك أنهما نفس الشيء ويختار الأفضل بينهما. ساعدت عملية التنظيف والدمج الدقيقة هذه في فوزهم بالمركز الأول في فئة الأسئلة المفتوحة بنتيجة بلغت 0.6488 (مقاسة بمقياس يسمى COMET).

"الممنوعات" المفاجئة: ما الذي لم ينجح؟

جرب الفريق شيئين يعتقد الكثيرون أنهما سيساعدان، لكنهما في الواقع تسببا في انخفاض النتائج.

1. الورقة المرجعية (OCR): حاولوا تغذية الكمبيوتر بنسخة نصية من الصورة (باستخدام أداة OCR) لمساعدته على قراءة النص. لكن هذا أدى لنتائج عكسية. فالنسخة النصية غالباً ما كانت تحتوي على أخطاء مطبعية، أو معادلات مكسورة، أو ترتيب خاطئ للكلمات. كان الأمر أشبه بإعطاء طالب ورقة مرجعية مليئة بالأخطاء؛ فقد أربكت الكمبيوتر أكثر من الصورة نفسها.
2. الدورة المكثفة (Fine-Tuning): حاولوا "تعليم" الكمبيوتر خصيصاً على أسئلة الامتحان باستخدام طريقة تسمى "LoRA fine-tuning". ظنوا أن هذا سيجعل الكمبيوتر خبيراً. وبدلاً من ذلك، جعلته أسوأ. يشير البحث إلى أن الكمبيوتر كان ذكياً بما يكفي بالفعل لقراءة الصور، وأن محاولة إعادة تدريبه على مجموعة بيانات صغيرة وفوضوية قد أفسدت قدراته الطبيعية.

الخلاصة

الدرس الكبير من هذا البحث ليس عن اختراع عقل جديد فائق الذكاء. بل يتعلق بـ "هندسة الاستدلال" (Inference Engineering) — وهي طريقة منمقة للقول "كيف نطلب من الكمبيوتر القيام بعمله". وجد المؤلفون أن نموذج الكمبيوتر القوي، عندما يُمنح قواعد صارمة، ومدخلات نظيفة، وعملية تنظيف جيدة، يمكنه التفوق على نموذج أذكى قليلاً ولكنه يسمح بالفوضى.

لقد أظهروا أنك لست بحاجة دائماً لجعل الذكاء الاصطناعي أكبر أو تدريبه بشكل أقوى. أحياناً، تحتاج فقط إلى إخباره بأن يصمت، ويختار الحرف الصحيح، ويسلم ورقة إجابة نظيفة. ومن خلال التركيز على هذه التفاصيل العملية، حولوا نماذج الرؤية واللغة القوية إلى فائزين موثوقين في المسابقات، مما أثبت أنه في بعض الأحيان، أفضل طريقة لحل المشكلة هي إدارة المخرجات، وليس مجرد ترقية المحرك.