💻 computer science

Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

تحدد هذه الورقة البحثية وتعالج "الاختصارات البصرية" التي تعيب معايير الإجابة على الأسئلة البصرية القائمة على المعرفة متعددة الوسائط من خلال تقديم مجموعة بيانات RETINA، التي تجبر النماذج على التفكير في الكيانات ذات الصلة، واقتراح نموذج MIMIR الذي يستفيد من استرجاع الصور المتعددة للتغلب على هذه القيود.

المؤلفون الأصليون: Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "كسر الاختصارات البصرية في الإجابة على الأسئلة البصرية القائمة على المعرفة متعددة الوسائط"، باستخدام لغة بسيية وتشبيهات إبداعية.

المشكلة: "كود الغش" في الذكاء الاصطائي

تخيل أنك تخوض اختباراً في التاريخ. يعرض لك المعلم صورة لـ خنفساء ويسألك: "في أي جزء من العالم تعيش هذا الحيوان؟"

في الطريقة القديمة المتبعة (المعايب المرجعية الحالية)، كان مفتاح الإجابة يجلس دائماً بجانب الصورة مباشرة. صفحة الكتاب التي عُرضت على الذكاء الاصطناعي كانت تحتوي على صورة لنفس الخنفساء تماماً ونص يقول "أمريكا الشمالية".

تعلم الذكاء الاصطناعي اختصاراً بصرياً (أو "كود غش"). لم يقرأ النص فعلياً أو يفهم علم الأحياء، بل تعلم فقط: "إذا رأيت صورة خنفساء، سأبحث عن وثيقة بها صورة خنفساء، وسآخذ الإجابة من هناك". كان الأمر يشبه طالباً حفظ أن "السؤال الخامس دائماً ما تكون صورته كلباً، لذا فالإجابة دائماً هي 'منتزه الكلاب'".

وجد الباحثون أنه إذا أزلت النص وأعطيت الذكاء الاصطناعي الصورة فقط، فسيظل قادراً على الحصول على الإجابة الصحيحة! وهذا يثبت أن الذكاء الاصطناعي لم يكن "يفكر"؛ بل كان مجرد مطابقة للأنماط.

الحل: امتحان "RETINA"

لإصلاح ذلك، بنى المؤلفون امتحاناً جديداً وأكثر صعوبة يسمى RETINA.

التشبيه:
تخيل أن المعلم لا يزال يعرض لك صورة الخنفساء. لكن هذه المرة، الإجابة ليست في كتاب عن الخنافس. الإجابة مخبأة في كتاب عن البطاطس.

لماذا؟ لأن الخنفساء تأكل البطاطس. الكتاب الذي يتحدث عن البطاطس يذكر الخنفساء، لكن الكتاب الذي يتحدث عن الخنفساء لا يذكر البطاطس.

الطريقة القديمة: اعرض صورة خنفساء $\leftarrow$ ابحث عن كتاب به صورة خنفساء. (سهل/غش).
طريقة RETINA: اعرض صورة خنفساء $\leftarrow$ ابحث عن كتاب عن البطاطس. (صعب/حقيقي).

هذا يجبر الذكاء الاصطناعي على التوقف عن البحث عن تطابق بصري والبدء في الاستنتاج المنطقي. يجب عليه أن يفهم أن "خنفساء" $\leftarrow$ "تأكل" $\leftarrow$ "بطاطس" $\leftarrow$ "اقرأ عن البطاطس".

لقد استخدموا ذكاءً اصطناعياً ذكياً (نموذج لغوي كبير LLM) لإنشاء 120,000 سؤال من هذه النوعية الصعبة تلقائياً، مع ضمان أن الصورة الموجودة في السؤال لا تتطابق أبداً مع الصورة الرئيسية في كتاب الإجابة.

الأداة الجديدة: MIMIR (المحقق متعدد الصور)

أدرك الباحثون أن نماذج الذكاء الاصطناعي الحالية سيئة جداً في امتحان "RETINA" الجديد هذا، لأنها تدربت على النظر إلى صورة واحدة فقط لكل وثيقة (الموضوع الرئيسي).

إذا كان الذك_الاصطناعي يبحث عن كتاب عن البطاطس، بينما السؤال يظهر خنفساء، فإن الذكاء الاصطناعي القياسي سيقول: "لا يوجد تطابق! الصور مختلفة!" ويستسلم.

لذلك، بنوا نموذج ذكاء اصطناعي جديداً يسمى MIMIR (المسترجع متعدد الصور ومتعدد الوسائط).

التشبيه:
فكر في الذكاء الاصطناعي القياسي كأمين مكتبة ينظر فقط إلى صورة الغلاف للكتاب ليقرر ما إذا كان ذا صلة.

أمين المكتبة (الذكاء الاصطناعي القديم): يرى خنفساء. ينظر إلى غلاف كتاب "البطاطس". يرى حبة بطاطس. يقول: "كتاب خاطئ!".

أما MIMIR، ففكر فيه كأمين مكتبة يفتح الكتاب وينظر إلى كل صورة بداخله قبل اتخاذ القرار.

MIMIR (الذكاء الاصطناعي الجديد): يرى خنفساء. يفتح كتاب "البطاطس". يرى أن الغلاف يحتوي على حبة بطاطس، لكنه أيضاً يتصفح الصفحات ويرى صورة لخنفساء تأكل البطاطس في الداخل. فيقول: "آها! هذا الكتاب يحتوي على صورة للخنفساء أيضاً! هذا هو الكتاب الصحيح!".

من خلال إرفاق صور لـ أشياء ذات صلة (مثل الخنفساء، البطاطس، التربة، المزارع) بوثيقة "البطاطس"، يستطيع MIMIR إيجاد الرابط حتى عندما لا تتطابق الصورة الرئيسية في الغلاف.

لماذا يهم هذا؟

مهارات العالم الحقيقي: في العالم الحقيقي، المعلومات فوضوية. إذا سألت طبيباً عن طفح جلدي، فقد يحتاج إلى النظر في كتاب عن الفيروس المسبب له، وليس فقط في كتاب عن الجلد. الذكاء الاصطناعي القديم كان كسولاً جداً للقيام بذلك؛ أما الجديد فهو مجبر على أن يكون أكثر ذكاءً.
محركات بحث أفضل: يساعد هذا في بناء محركات بحث لا تكتفي بمطابقة الكلمات المفتاحية أو الصور فحسب، بل تفهم حقاً العلاقات بين الأشياء.
تقييم صادق: تثبت الورقة أن العديد من الاختبارات السابقة للذكاء الاصطناعي كانت "معطلة" لأنها سمحت للذكاء الاصطناعي بالغش. RETINA هو اختبار عادل يوضح من هو ذكي حقاً ومن هو مجرد مخمن.

الملخص

المشكلة: كانت نماذج الذكاء الاصطناعي القديمة تغش عبر مطابقة الصور بدلاً من القراءة.
الحل (RETINA): مجموعة بيانات جديدة حيث تكون الصورة في السؤال وصورة كتاب الإجابة مختلفتين، مما يجبر الذكاء الاصطناعي على التفكير.
البطل (MIMIR): نموذج ذكاء اصطناعي جديد ينظر إلى جميع الصور داخل الوثيقة (وليس فقط الغلاف) للعثور على الإجابة الصحيحة، حتى عندما تكون الأدلة البصرية مخادعة.

الورقة البحثية تقول باختاً: "توقفوا عن السماح للذكاء الاصطناعي بأخذ طرق مختصرة. لنعطه لغزاً حقيقياً، ولنبنِ محققاً أذكى لحله."

إليك ملخص تقني مفصل لورقة البحث بعنوان "كسر الاختصارات البصرية في الإجابة المرئية القائمة على المعرفة متعددة الوسائط".

1. بيان المشكلة

تحدد الورقة خللاً جوهرياً في معايك المرجعية الحالية لـ الإجابة المرئية القائمة على المعرفة متعددة الوسائط (MKB-VQA) (مثل InfoSeek و EVQA)، وهو: انتشار "الاختصارات البصرية" (Visual Shortcuts).

آلية الاختصار: في المعايك المرجعية الحالية، تصور الصورة المستعلم عنها دائماً تقريباً الكيان الموضوع الأساسي للوثيقة المستهدفة (الحقيقة الأرضية أو GT). على سبيل المثال، إذا كان السؤال عن خنفساء، فإن الصورة المستعلم عنها هي صورة لتلك الخنفساء تحديداً، وتوجد الإجابة في الوثيقة التي تحمل اسم هذه الخنفساء.
النتيجة: يمكن للنماذج استغلال هذا الارتباط لاسترجاع الوثيقة الصحيحة باستخدام الإشارات البصرية وحدها، دون الحاجة فعلياً لقراءة النص أو إجراء استدلال معقد متعدد الوسائط. أظهرت التجارب الأولية أن النماذج المدربة بدون مدخلات نصية يمكنها تحقيق أداء استرجاع مماثل للأداء باستخدام المدخلات الكاملة متعددة الوسائط، مما يثبت أن المعايك المرجعية الحالية لا تختبر حقاً تكامل المعرفة.
عدم التطابق مع الواقع: في سيناريوهات العالم الحقيقي، قد يستعلم المستخدم عن صورة لكيان مرتبط (مثل نبات) للعثور على معلومات حول كيان مختلف (مثل الخنفساء التي تأكل ذلك النبات). تفشل المعايك المرجعية الحالية في التقاط تحدي الاسترجاع الخاص بـ "الكيان غير الأساسي" هذا.

2. المنهجية

يقترح المؤلفون حلاً ذا شقين: معيار مرجعي جديد (RETINA) لكشف الخلل، وبنية نموذج جديدة (MIMIR) لحله.

أ. بناء المعيار المرجعي RETINA

RETINA (المعزز المعرفي النصي-الصوري للكيانات العلاقاتية) هو معيار مرجعي جديد مصمم للقضاء على الاختصارات البصرية.

خط الإنتاج (Pipeline): يستخدم خط إنتاج يقوده نموذج لغوي كبير (LLM) لتوليد 120 ألف عينة تدريب و2000 مجموعة اختبار منسقة بشرياً.
العملية:
1. بناء الرسم البياني للمعرفة: بالنسبة لوثيقة ويكيبيديا مستهدفة (الكيان الرئيسي)، يقوم النموذج اللغوي الكبير باستخراج رسم بياني لجوار مكون من خطوة واحدة للكيانات ذات الصلة (على سبيل المثال، بالنسبة لـ "Lema daturaphila"، يستخرج "البطاطس" و"أمريكا الشمالية").
2. اختيار الرسم البياني الفرعي: يقوم النظام باختيار كيان استعلام (كيان مرتبط، ليس الكيان الرئيسي) وكيان مؤهل (لضمان تفرد الإجابة).
3. توليد الأسئلة: يقوم النموذج اللغوي الكبير بتوليد سؤال تكون إجابته هي الكيان الرئيسي، ولكن صورة الاستعلام هي الكيان المستعلم عنه.
4. إعادة الصياغة: يتم إعادة صياغة الأسئلة لمنع الاسترجاع عبر مطابقة النصوص البسيطة (BM25).
النتيجة: تكون صورة الاستعلام (مثل البطاطس) والوثيقة المستهدفة (حول الخنفساء) متميزتين بصرياً، مما يجبر النموذج على الاعتماد على المعرفة النصية والاستدلال العلاقاتي بدلاً من التشابه البصري.

ب. نموذج MIMIR (المسترجع متعدد الصور ومتعدد الوسائط)

تقوم المسترجعات الحالية (مثل MuKA) بتعزيز الوثيقة بصورة واحدة فقط (الكيان الرئيسي). يوسع MIMIR ذلك من خلال إثراء تضمينات الوثائق بـ صور متعددة للكيانات المرتبطة.

تعزيز الوثيقة: بالنسبة لوثيقة معينة، يحدد MIMIR الكيانات المرتبطة المذكورة في النص ويسترجع صورها المقابلة من قاعدة المعرفة (KB).
البنية:
- ترميز الصور المتعددة: بدلاً من صورة واحدة، يقوم مشفر الوثيقة بمعالجة صورة الكيان الرئيسي بالإضافة إلى $R$ من صور الكيانات المرتبطة.
- استخراج الميزات متعددة الوسائط: يستخدم آلية انتباه متقاطع (Cross-attention) قائمة على المحولات (Transformer)، حيث تتفاعل الميزات البصرية على مستوى الرقعة (patch-level) مع الميزات النصية.
- تضمين رمز الكيان (ETE): يتم إضافة متجه قابل للتعلم ( $\theta_{ETE}$ ) إلى الرموز النصية المقابلة لكيانات محددة مسماة. يساعد هذا آلية الانتباه المتقاطع على التمييز بين أي الرموز النصية ذات الصلة دلالياً بأي صورة محددة، مما يحسن محاذاة الميزات متعددة الوسائط.
التسجيل (Scoring): يستخدم آلية تسجيل ذات تفاعل متأخر (مشابهة لـ ColBERT) حيث تتفاعل رموز الاستعلام مع جميع رموز الوثيقة (النص + الميزات البصرية من جميع الصور) لحساب الصلة.

3. المساهمات الرئيسية

تحديد الاختصارات البصرية: تثبت الورقة بصرامة أن المعايك المرجعية الحالية لـ MKB-VQA يمكن حلها عبر اختصارات بصرية، مما يجعلها غير كافية لتقييم الاستدلال الحقيقي متعدد الوسائط.
المعيار المرجعي RETINA: معيار مرجعي واسع النطاق تم توليده تلقائياً (120 ألف للتدريب / 2 ألف للاختبار) يستهدف تحديداً السيناريوهات التي يكون فيها صورة الاستعلام كياناً مرتبطاً وليس الموضوع الرئيسي.
بنية MIMIR: مسترجع مبتكر يعزز تمثيلات الوثائق بصور متعددة للكيانات المرتبة ويقدم "تضمين رمز الكيان" لتحسين محاذاة النص والسياقات البصرية المتنوعة.
التقييم الشامل: تظهر الدراسة أنه بينما تفشل النماذج الحديثة في RETINA، يتفوق MIMIR بشكل كبير، مما يثبت فعالية التعزيز متعدد الصور.

4. النتائج التجريبية

تم تقييم النماذج على InfoSeek و EVQA (المعاك المرجعية الحالية ذات الاختصارات) و RETINA (لا توجد اختصارات).

الأداء على المعايك المرجعية الحالية: في InfoSeek و EVQA، تؤدي النماذج متعددة الوسائط القياسية (MuKA, UniIR) بشكل جيد، وغالباً ما تتفوق على النماذج النصية فقط.
الأداء على RETINA:
- فشل النماذج المرجعية: تعاني النماذج الحالية (MuKA, PreFLMR) من انخفاض حاد في الأداء على RETINA (على سبيل المثال، ينخفض Recall@5 لـ MuKA من ~65% في EVQA إلى ~20% في RETINA). فهي غالباً ما تسترجع وثائق "مشتتة" يتطابق كيانها الرئيسي بصرياً مع صورة الاستعلام، مما يؤكد اعتمادها على الاختصارات.
- نجاح MIMIR: يحقق MIMIR ما يقرب من ضعف Recall@5 لأفضل نموذج مرجعي على RETINA (43.2% مقابل 20.8% لـ Seen؛ 36.9% مقابل 8.6% لـ Unseen).
دراسات الاستئصال (Ablation Studies):
- إضافة الصور المتعددة (MI) تعزز الأداء بشكل كبير على RETINA.
- إضافة الميزات متعددة الوسائط (MMF) (الانتباه المتقاطع بين النصوص ورقع الصور) يحسن النتائج بشكل أكبر.
- إضافة تضمين رمز الكيان (ETE) يوفر المكسب النهائي الكبير، مما يظهر أهمية ربط الرموز النصية بصور محددة بشكل صريح.
التحليل النوعي: ينجح MIMIR في استرجاع الوثائق حيث تطابق صورة الاستعلام (مثل شجرة معينة) صورة كيان مرتبط داخل الوثيقة المستهدفة، بينما تفشل النماذج المرجعية وتسترجع وثائق متشابهة بصرياً ولكنها غير صحيحة دلالياً.

5. الأهمية

نزاهة المعيار المرجعي: تسلط الورقة الضوء على فجوة كبيرة في التقييم الحالي للذكاء الاصطناعي، وتحث المجتمع على تجاوز مجموعات البيانات ذات "الاختصارات البصرية" لضمان أن النماذج تقوم بالاستدلال فعلياً وليس مجرد مطابقة الأنماط.
القابلية للتطبيق في العالم الحقيقي: من خلال محاكاة استعلامات العالم الحقيقي حيث يسأل المستخدمون عن كيانات مرتبطة (مثل "ماذا يأكل هذا النبات؟")، يوفر RETINA و MIMIR إطاراً أكثر واقعية لـ البحث عن المعلومات المرئية.
الابتكار الهيكلي: يقدم مفهوم تعزيز تمثيلات الوثائق بصور متعددة مرتبطة واستخدام تضمين رمز الكيان اتجاهاً جديداً لأنظمة الاسترجاع متعددة الوسائط، متجاوزاً نموذج "وثيقة واحدة، صورة واحدة".

في الختام، تنجح الورقة في كسر الاختصارات البصرية في MKB-VQA من خلال تقديم معيار مرجعي صارم (RETINA) وحل قوي (MIMIR)، مما يثبت أن الاستدلال الحقيقي متعدد الوسائط يتطلب من النماذج دمج سياقات بصرية ونصية متنوعة بدلاً من الاعتماد على الارتباطات السطحية بين الصورة والوثيقة.