🤖 AI

Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering

تقترح الورقة البحثية إطار عمل PMSR، وهو إطار بحث واستدلال متعدد الوسائط تدريجي يعزز الإجابة على الأسئلة البصرية كثيفة المعرفة من خلال توظيف استعلامات ثنائية النطاق وتحسين تكراري للتغلب على قيود التوليد المعزز بالاسترجاع أحادي الممر، مما يؤدي إلى تحسين كل من استرجاع المعرفة ودقة الإجابة بشكل كبير عبر مختلف المعايير المرجعية.

المؤلفون الأصليون: Changin Choi, Wonseok Lee, Jungmin Ko, Wonjong Rhee

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changin Choi, Wonseok Lee, Jungmin Ko, Wonjong Rhee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، لكن الإجابة ليست موجودة فقط في الصورة التي تنظر إليها؛ بل هي مخبأة في مكتبة ضخمة من الحقائق، والكتب التاريخية، والمقالات الإخبارية التي لا يمكنك رؤيتها مباشرة. هذا هو جوهر الإجابة على الأسئلة المرئية القائمة على المعرفة (Knowledge-Intensive VQA).

يقدم البحث نظامًا جديدًا يسمى PMSR (البحث والاستدلال متعدد الوسائط التدريجي). لفهم كيفية عمله، دعونا نقارن بين كيفية حل محقق بشري لقضية ما وكيف يحاول الكمبيوتر القيام بذلك عادةً.

الطريقة القديمة: المحقق "ذو المحاولة الواحدة"

تخيل محققًا ينظر إلى صورة لمسرح جريمة، ثم يطلب من أمين المكتبة كتابًا واحدًا، يقرأه، ثم يكتب تقريره النهائي فورًا.

المشكلة: إذا سلمها أمين المكتبة الكتاب الخاطئ (أو كتابًا يحتوي على قصة مشتتة)، فسوف يعلق المحقق. لا يمكنه العودة لطلب كتاب مختلف؛ عليه فقط أن يخمن بناءً على المعلومات الخاطئة.
بمصطلحات الذكاء الاصطناي: تحاول معظم نماذج الذكاء الاصطناعي الحالية إيجاد الإجابة في خطوة واحدة. إذا التقطوا معلومة خاطئة من الإنترنت أو من قاعدة بيانات، فسيصابون بالارتباك ويقدمون إجابة خاطئة. إنهم يتعرضون لـ "التشتت" بسبب التفاصيل غير ذات الصلة.

الطريقة الجديدة: PMSR (المحقق "التكراري")

إن PMSR يشبه محققًا بارعًا لا يستعجل. بدلًا من التخمين بعد نظرة واحدة، يتبع عملية تحقيق خطوة بخطوة.

إليك كيف يعمل PMSR، باستخدام تشبيه بسيط:

1. "الدفتر" (مسار الاستدلال المهيكل)

بدلًا من الاحتفاظ بتلة فوضوية من الملاحظات، يحتفظ PMSR بـ دفتر ملاحظات منظم ونظيف.

في كل مرة يجد فيها المحقق دليلًا جديدًا، فإنه لا يكتفي بإلقائه على المكتب؛ بل يكتب ملخصًا موجزًا في الدفتر.
يصبح هذا الدفتر هو "ذاكرة" التحقيق. إنه ينمو خطوة بخوة، لكنه يظل مرتبًا.

2. "البحث ثنائي المسار" (استعلامات النطاق المزدوج)

هذا هو السر وراء نجاحه. عندما يحتاج المحقق إلى دليل جديد، فإنه لا يطرح سؤالًا واحدًا فح، بل يطرح سؤالين مختلفين في نفس الوقت:

السؤال (أ) - "التركيز على اللحظة الراهنة": "بناءً على آخر شيء كتبته في دفتري، ما هي التفصيلة المحددة التي تنقصني الآن؟" (مثال: "أنا أعلم أن هذا طائر، ولكن ما هو نوع هذا الطائر؟")
السؤال (ب) - "التركيز على الصورة الكبيرة": "بالنظر إلى دفتر ملاحظاتي بالكامل حتى الآن، هل هناك نمط أكبر أو تعارض لم ألاحظه بعد؟" (مثال: "انتظر، كنت أظن أنه طائر، لكن الريش يبدو مثل نوع معين يوجد فقط في أمريكا الشمالية. دعني أتحقق من ذلك.")

من خلال طرح هذين السؤالين، يبحث PMSR في أجزاء مختلفة من المكتبة (الكتب النصية وقواعد بيانات الصور) للحصول على صورة كاملة.

#### 3. حلقة "التحسين"

بعد الحصول على إجابات جديدة من المكتبة، لا يقوم PMSR بمجرد إضافتها إلى المجموعة. بل يقوم بـ دمجها (Synthesizing). إنه يأخذ الحقائق الجديدة ويكتب ملخصًا جديدًا وأفضل في الدفتر، مستبدلًا الارتباك القديم بالوضوح.

التصحيح: إذا ارتكب المحقق خطأً في الخطوة الأولى (مثل: "ظننت أن هذا قط")، فقد يكشف البحث الجديد أن: "في الواقع، هذا حيوان راكون". يقوم PMSR بتحديث الدفتر ليقول: "تصحيح: إنه راكون".
منع الانحراف: نظرًا لأن الدفتر يتم تحديثه دائمًا بـ ملخصات جديدة، فإن المحقق لا يعلق في خطأ مبكر. يمكنه "تصحيح مساره" بسهما.

4. معرفة متى يتوقف (الإنهاء التكيفي)

أحيانًا، يستمر المحقق في البحث حتى بعد حصوله على الإجابة، مما يهدر الوقت. PMSR ذكي بما يكفي لمعرفة متى يتوقف.

يتحقق من: "هل أعطتني عملية البحث الأخيرة أي شيء جديد، أم أنني أجد فقط نفس الحقائق القديمة؟"
إذا كانت المعلومة الجديدة هي مجرد تكرار لما يعرفه بالفعل، فإنه يتوقف عن البحث ويكتب الإجابة النهائية. هذا يوفر الوقت والطاقة.

لماذا يعد هذا أمرًا هامًا؟

اختبر البحث نظام PMSR في ستة اختبارات صعبة مختلفة (مثل تحديد الحيوانات النادرة، أو قراءة الرسوم البيانية المعقدة، أو البحث عن حقائق حول أحداث إخبارية).

النتيجة: كان PMSR أفضل بكثير في إيجاد الحقائق الصحيحة (الاسترجاع/Retrieval) وتقديم الإجابة الصحيحة (الدقة/Accuracy) من الطرق السابقة.
السحر: إنه يعمل لأنه يعامل البحث عن المعلومات كأنه حوار مع نفسه. فهو لا يكتفي بـ "الاسترجاع والقراءة"؛ بل "يبحث، ويفكر، ويصحح، ويبحث مجددًا" حتى تتضح الصورة.

باخت-الخلاصة

إذا كانت نماذج الذكاء الاصطنا old (القديمة) تشبه طالبًا يقرأ صفحة واحدة من كتاب مدرسي ثم يؤدي الاختبار فورًا، فإن PMSR يشبه طالبًا يقرأ صفحة، ويدون ملاحظاته، ويدرك أنه فاته شيء ما، فيعود إلى المكتبة ليجد القطعة المفقودة، ويحدث ملاحظاته، ومن ثم يؤدي الاختبار.

إنه نظام يتعلم أثناء بحثه، ويصحح أخطاءه الخاصة، ويبني مسارًا منطقيًا متينًا للوصة، بدلاً من التخمين بناءً على انطباع أول واحد قد يكون خاطئًا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "البحث والاستدلال متعدد الوسائط التدريجي للمهام البصرية التي تتطلب معرفة مكثفة" (Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering).

1. بيان المشكلة

تتطلب الأسئلة البصرية ذات المعرفة المكثفة (VQA) من النماذج الإجابة على أسئلة لا يمكن حلها من خلال المحتوى البصري وحده، مما يستلزم استرجاع معرفة خارجية (مثل الحقائق الموسوعية، الأخبار، أو البيانات العلمية).

تواجه النهج الحالية مشكلتين رئيسيتين:

فشل الاسترجاع في المرة الواحدة: تعتمد أنظمة الاسترجاع المعزز بالتوليد (RAG) القياسية عادةً على استرجاع المعرفة في خطوة واحدة. وغالباً ما تفشل أدوات الاسترجاع غير المثالية في جمع كافة المعلومات الضرية أو تُدخل "مشتتات" (نصوص غير ذات صلة أو صور مضللة) تؤدي إلى تحيز استدلال النموذج.
انتشار الخطأ في الأطر الوكيلة (Agentic Frameworks): تحاول النهج الوكيل الناشئة محاولة الاسترجاع التكراري، لكنها تربط كل خطوة بكامل تاريخ التفاعل. يؤدي هذا إلى تراكم سياق غير منظم حيث تنتشر الأخطاء المبكرة في توليد الاستعلامات أو تلخيص الأدلة وتتفاقم، مما يتسبب في فشل خطوات الاستدلال اللاحقة.

2. المنهجية: إطار عمل PMSR

يقترح المؤلفون إطار عمل PMSR (البحث والاستدلال التدريجي متعدد الوسائط)، وهو مصمم لبناء مسار استدلال هيكلي وتكراري يقلل من انتشار الخطأ ويعزز تركيب المعرفة.

البنية الأساسية

يعمل PMSR من خلال حلقة تكرارية تتكون من ثلاث مراحل رئيسية:

توليد السجل الأولي: يقوم النموذج بتوليد وصف بصري مرتكب على الصورة واسترجاع مجموعة مرشحة أولية لتخليق أول "سجل استدلال" (Reasoning Record).
تحديثات المسار التكرارية:
- صياغة الاستعلام ثنائي النطاق: بدلاً من استخدام التاريخ الكامل، يقوم PMSR بتوليد استعلامين متميزين في كل تكرار $t$ $t$ :
  - استعلام مستوى السجل (Record-Level Query): يعتمد فقط على أحدث سجل استدلال ( $r_{t-1}$ ) لتنقيح التفاصيل المحلية ومعالجة حالات عدم اليقين الفورية.
  - استعلام مستوى المسار (Trajectory-Level Query): يعتمد على المسار المتراكم ( $\langle r_0, \dots, r_{t-1} \rangle$ ) لإجراء تأمل عالمي، وتحديد الفجوات غير المحلولة، وحل النزاعات.
- البحث المشترك: تُستخدم هذه الاستعلامات لاسترجاع الأدلة من قواعد المعرفة غير المتجانسة (KBs) في آن واحد:
  - قاعدة المعرفة النصية: يتم استرجاعها عبر التشابه الدلالي نص-نص.
  - قاعدة المعرفة متعددة الوسائط: يتم استرجاعها عبر درجة تشابه مفككة تجمع بين تشابه النص-النص وتشابه الصورة-الصورة (موزونة بـ $\lambda$ ).
- الاستدلال التركيبي: يتم تركيب الأدلة المسترجعة في سجل استدلال مدمج جديد ( $r_t$ ). ومن الأهمية بمكان أن هذا السجل يتم توليده حصرياً من الأدلة الجديدة، مما يمنع الاعتماد المباشر على المخرجات الوسيطة السابقة التي تسبب الانحراف (Drift).
- تحديث المسار: يتم إلحاق السجل الجديد بالمسار، مما يوجه التكرار التالي.
الإنهاء التكيفي: تتوقف العملية عندما تشير "درجة التشبع" (Saturation Score) إلى أن الاستعلامات الجديدة أصبحت مكررة (تشابه عالٍ مع الاستعلامات السابقة)، مما يضمن الكفاءة دون التضحية بالأداء.

الابتكارات الرئيسية

التحديثات المعزولة للسجل: من خلال تخليق سجل مدمج من الأدلة الجديدة بدلاً من إلحاق التاريخ الخام، يخلق PMSR "لوحة بيضاء" لكل خطوة، مما يقلل من تراكم الضوضاء والأخطاء.
آلية النطاق المزدوج: يسمح الفصل بين التنقيح المحلي (مستوى السجل) والتأمل العالمي (مستوى المسار) للنظام بالتعامل مع كل من ترسيخ الكيانات المحددة والاستدلال السياقي الواسع بفعالية.
الاسترجاع غير المتجانس: يضمن البحث المتزامن عبر النصوص وأزواج (صورة-نص) الحصول على معرفة متنوعة، مستفيداً من نقاط القوة في كلا الوسيطين.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم PMSR، الذي ينقل النموذج من "الاسترجاع ثم القراءة" الثابت أو الحلقات الوكيل غير المنظمة إلى مسار استدلال تدريجي وهيكلي.
الاستعلام ثنائي النطاق: آلية لموازنة التنقيح المحلي والتأمل العالمي، مما يمنع النموذج من العلوق في النهايات الصغرى المحلية أو الانحراف بسبب الضوضاء التاريخية.
إدارة الحالة الهيكلية: استخدام سجلات استدلال مدمجة كتمثيل للحالة، بدلاً من تاريخ التفاعل الخام، مما يقلل بشكل كبير من انتشار الخطأ.
تقييم شامل: اختبار واسع النطاق عبر ست مجموعات بيانات متنوعة (Encyclopedic-VQA, InfoSeek, MMSearch, LiveVQA, FVQA, OK-VQA) تغطي السيناريوهات الموسوعية، والواقعية، والأخبار في الوقت الفعلي.

4. النتائج التجريبية

تم تقييم PMSR مقابل نماذج أساسية قوية (مثل Wiki-LLaVA, OMGM, ReflectiVA, MMSearch-R1) باستخدام نماذج MLLM مختلفة (Qwen3-VL, Gemini-2.5-Flash).

أداء الاسترجاع:
- InfoSeek: حقق استدعاءً تراكمياً بنسبة 87.4% (نموذج 4B) و 87.7% (نموذج 8B)، متفوقاً على أفضل النتائج السابقة (ReflectiVA بنسبة 86.4%).
- E-VQA: حقق استدعاءً تراكمياً بنسبة 64.3%، متفوقاً على OMGM بمقدار 5.6 نقطة مئوية.
- OK-VQA: أظهر استقراراً عبر المجالات بنسبة استدعاء تراكمي بلغت 92.1% (4B) و 97.1% (8B)، متفوقاً بشكل كبير على النماذج الأساسية المتخصصة في المجال.
دقة الإجابة:
- E-VQA: حقق دقة بنسبة 59.9% باستخدام Gemini-2.5-Flash لتوليد المسار، وهو تحسن بنسبة 8.7% عن أفضل نتيجة سابقة.
- مقاييس البحث الموجه: تفوق على النماذج الوكيل (OmniSearch, DeepEyesV2) في FVQA (61.2%) و LiveVQA (54.2%).
دراسات الاستئصال (Ablation Studies):
- أكدت أن الاستعلام ثنائي النطاق، وقواعد المعرفة غير المتجانسة، والاستدلال التكراري جميعها تساهم بشكل تآزري.
- أظهرت أن الإنهاء التكيفي يقلل متوسط التكرارات من 5.0 إلى حوالي 3.3–3.5 مع خسارة ضئيلة في الدقة، مما يحسن الكفاءة.
تحليل المسار:
- يظهر PMSR معدلاً عالياً من التصحيح (التعافي من الأخطاء المبكرة) ومسارات "مستقرة-صحيحة"، بينما تظهر النماذج الوكيل الأساسية معدلات عالية من "الفشل المستمر" (انتشار الأخطاء عبر جميع الخطوات).

5. الأهمية

حل مشكلة "الانحراف" (Drift): يعالج PMSR خللاً حرجاً في أنظمة RAG الوكيل الحالية حيث تتراكم الأخطاء المبكرة بمرور الوقت. من خلال عزل سجلات الاستدلال، فإنه يمكّن النموذج من "إعادة ضبط" سياقه وتصحيح مساره.
القابلية للتوسع والتعميم: يظهر إطار العمل أداءً قوياً عبر أنواع معرفة متنوعة (موسوعية، أخبار فورية، علمية) دون الحاجة إلى ضبط خاص بكل مجموعة بيانات، مما يشير إلى قدرة قوية على التعميم.
الكفاءة: تضمن آلية الإنهاء التكيفي أن التكلفة الحسابية للبحث التكراري مبررة بالزيادة في الأدلة، مما يجعل النهج قابلاً للتطبيق العملي.
الاتجاه المستقبلي: تضع هذه الورقة نموذجاً جديداً للأسئلة البصرية كثيفة المعرفة، منتقلة من مجرد الاسترجاء البسيط إلى الاستدلال التدريجي المهيكل الذي يحاكي عمليات البحث والتحقق البشرية.

في الختنتا، يمثل PMSR تقدماً كبيراً في الاستدلال متعدد الوسائط، حيث يثبت أن البحث التدريجي المهيكل مع تحديثات حالة محكومة يؤدي إلى اكتساب معرفة ودقة إجابة متفوقة مقارنة بكل من RAG أحادي المسار والنهج الوكيل غير المنظم.