CMRAG: Co-modality-based visual document retrieval and question answering

إليك ملخص تقني مفصل لورقة البحث بعنوان "CMRAG: استرجاع الأسئلة والأجوبة للوثائق المرئية القائم على التوافق بين الوسائط (Co-modality)".

1. تعريف المشكلة

تعالج الورقة البحثية القيود التي تواجهها أنظمة الاسترجاع المعزز بالتوليد (RAG) الحالية عند تطبيقها على الإجابة على الأسئلة في الوثائق المرئية (VDQA). وبينما يعد نظام RAG فعالاً في مجال الأسئلة والأجوبة مفتوح النطاق، إلا أن التعامل مع الوثائق متعددة الوسائط (ملفات PDF، التقارير الممسوحة ضوئياً، الشرائح التي تحتوي على نصوص وجداول ورسوم بيانية وتخطيطات معقدة) يظل أمراً صعباً. تندرج النهج الحالية تحت فئتين غير مثاليتين:

• RAG القائم على النص: يعتمد على تحليل التخطيط والتعرف الضوئي على الحروف (OCR) لاستخراج النصوص. ورغم استقراره الدلالي، إلا أنه يفقد المعلومات المرئية الحيوية (الصور، الرسوم البيانية، سياق التخطيط) ويعاني مع المحتوى غير المنظم.
• RAG القائم على الصور: يعامل صفحات الوثائق كصور خام ويغذي بها نماذج اللغات المرئية (VLMs) مباشرة. ورغم أنه يلتقط السياق المرئي، إلا أنه غالباً ما يتجاهل المعلومات الدلالية الدقيقة التي يحملها النص، مما يؤدي إلى اختناقات في الاسترجاع وهلوسة في عملية التوليد.

التحدي الجوهمري يكمن في كيفية توحيد وسائط النص والصورة ضمن إطار استرجاع واحد للاستفيد من الدقة الدلالية للنص والتأسيس الإدراكي للصور في آن واحد.

2. المنهجية: إطار عمل CMRAG

يقترح المؤلفون إطار عمل CMRAG، الذي يوحد وسائط النص والصورة من خلال مكونين رئيسيين: نموذج ترميز موحد (UEM) وطريقة استرجاع موحدة قائمة على التوافق بين الوسائط (UCMR).

أ. نموذج الترميز الموحد (UEM)

يقوم نموذج UEM بإسقاط الاستعلامات، ونصوص الوثائق التي تم تحليلها، وصور الوثائق في فضاء تضمين كامن مشترك.

• البنية: مبني على هيكل SigLIP، حيث يدمج ثلاثة مشفرات:
  • $E_q$: مشفر الاستعلام (مجمد، مستمد من SigLIP).
  • $E_I$: مشفر الصور (مجمد، مستمد من SigLIP).
  • $E_T$: مشفر النصوص (يتم تهيئته كنسخة ممتدة الطول من $E_q$ للتعامل مع النصوص الطويلة التي تم تحليلها).
• هدف التدريب: يتم تدريب النموذج باستخدام خسارة المحاذاة الثنائية للسيجمويد (DSA). وهي هدف تبايني زوجي يستخدم دالة السيجمويد لمحاذاة الثلاثيات المكونة من (استعلام-نص) و (استعلام-صورة).
  • تجمع دالة الخسارة ($L$) بين خسارة النص-الاستعلام ($L_T$) وخسارة الصورة-الاستعلام ($L_I$) مع معامل وزن $\lambda$.
  • من الأهمية بمكان أن مشفر النصوص ($E_T$) هو الوحيد الذي يتم تحديثه أثناء التدريب؛ بينما تظل مشفرات الاستعلام والصور مجمدة للحفاظ على قدراتها المسبقة في المحاذاة متعددة الوسائط.

ب. الاسترجاع الموحد القائم على التوافق بين الوسائط (UCMR)

غالباً ما تفشل عملية الجمع الخطي التقليدية لدرجات التشابه لأن تضمينات النص والصور لها توزيعات ومقاييس مختلفة. يعالج UCMR ذلك عبر مسار معالجة إحصائي للنمذجة:

1. تطبيع السيجمويد (Sigmoid Normalization): يتم تمرير درجات الضرب الداخلي الخام ($z$) لكلا الوسيطين عبر دالة سيجمويد لخرطها في النطاق $[0, 1]$.
2. تطبيع الدرجة المعيارية (Z-score Normalization): يتم توحيد الدرجات المطبقة بالسيجمويد باستخدام تطبيع الدرجة المعيارية (طرح المتوسط $\mu$ والقسمة على الانحراف المعياري $\sigma$) المحسوب عبر المتن (Corpus). هذا ينقل كلا الوسيطين إلى توزيع قابل للمقارنة (متوسط صفر، وتباين وحدة واحدة).
3. الدمج: درجة الاسترجاع النهائية هي مجموع مرجح للدرجات النصية والصورية الموحدة:
   $$\tilde{s}_i = \beta \tilde{z}^T_i + (1-\beta) \tilde{z}^I_i$$
   حيث يتحكم $\beta$ في مساهمة وسيط النص.

ج. مسار التوليد

بمجرد استرجاع الصفحات ذات الصلة من الفئة أعلى $k$ (والتي تحتوي على كل من صورة الصفحة والنص المحلل)، يتم دمجها مع استعلام المستخدم في مطالبة (Prompt) مهيكلة وتغذيتها إلى مولد VLM (مثل Qwen2.2-VL) لإنتاج الإجابة النهائية.

3. المساهمات الرئيسية

1. إطار عمل CMRAG: بنية RAG مبتكرة توحد وسائط النص والصورة، وتثبت أن تكامل الوسائط المشتركة يتفوق بشكل كبير على النماذج أحادية الوسيط.
2. نموذج UEM (نموذج الترميز الموحد): نموذج فعال يستخدم مجموعة واحدة من المشفرات لجميع الوسائط، يتم تدريبه من البداية إلى النهاية باستخدام خسارة سيجمويد زوجية لإنشاء فضاء تضمين موحد دون أعباء حسابية ثقيلة.
3. طريقة UCMR (طريقة الاسترجاع الموحدة): استراتيجية استرجاع مبتكرة تستخدم التطبيع الإحصائي (السيجمويد + الدرجة المعيارية) لدمج درجات التشابه عبر الوسائط بفعالية، مما يحل مشكلة التفاوتات التوزيعية بين مشفرات النص والصور.
4. مجموعة بيانات واسعة النطاق: قام المؤلفون ببناء وإصدار مجموعة بيانات ثلاثية واسعة النطاق من أمثلة (استعلام، نص، صورة) مستمدة من متن وثائق مرئية مفتوح المص المصدر لتسهيل الأبحاث المستقبلية في تعلم الوسائط المشتركة.
5. تقييم شامل: تجارب مكثفة عبر ستة معايير لقياس أداء VDQA تظهر تحسينات مستمرة على النماذج المرجعية القوية.

** 4. النتائج التجريبية**

قيم المؤلفون CMRAG عبر ستة معايير متنوعة لـ VDQA وهي: MMLongBench, REAL-MM-RAG, LongDocURL, FinReport, FinSlides, TechReport, TechSlides.

• أداء الاسترجاع (MRR@10):
  • تفوق CMRAG باستمرار على النماذج المرجعية أحادية الوسيط (BGE للنصوص فقط، وCLIP/SigLIP للصور فقط).
  • حقق أفضل النتائج أو نتائج قريبة من الأفضل في معظم مجموعات البيانات. على سبيل المثال، في FinSlides، وصل إلى 78.10%، متفوقاً على SigLIP (71.88%) و BGE (65.01%).
  • في مجموعات البيانات الكثيفة نصياً مثل FinReport، قدم النموذج المرجعي للنصوص فقط (BGE) أداءً جيداً، لكن CMRAG حقق أيضاً نتائج تنافسية (41.85% مقابل 49.62% لـ BGE، رغم أن SigLIP كان أقل عند 39.29%)، مما أظهر متانة عبر الوسائط.
• أداء التوليد:
  • تفوق CMRAG باستمرار في دقة توليد الإجابات.
  • تجارب الأوراكل (Oracle Experiments): عندما تم تزويده بالأدلة الصحي way من كلا الوسيطين، حقق النظام أعلى دقة، مما يؤكد القيمة التكاملية للنصوص والصور.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف خطوة التطبيع ("w/o norm") إلى انخفاض كبير في الأداء، مما أكد ضرورة UCMR.
  • حقق نموذج تجميعي من SigLIP + BGE (باستخدام مشفرات منفصلة) أداءً أفضل قليلاً في بعض السيناريوهات الكثيفة نصياً، مما يشير إلى أن توسيع بيانات التدريب للمشفر الموحد يمكن أن يحقق مكاسب إضافية.
• الكفاءة: يقدم إطار العمل تأخيراً طفيفاً جداً أثناء الاسترجاع عبر الإنترنت لأن الصور والنصوص يتم ترميزها "أوفلاين". التكلفة عبر الإنترنت تهيمن عليها خطوة ترميز الاستعلام الواحدة.

5. الأهمية والتأثير

• جسر الفجوة بين الوسائط: يثبت CMRAG أن التعامل مع الوثائق كنصوص بحتة أو صور بحتة أمر غير كافٍ. إن النهج الموحد الذي يستفيد من الدقة الدلالية للنص والتأسيس السياقي للصور أمر ضروري لفهم الوثائق المعقدة.
• القابلية للتطبيق العملي: يمكن تطبيق إطار العمل في سيناريوهات العالم الحقيقي مثل البحث في المعرفة المؤسسية (الشرائح، التقارير، الأدلة)، واستكشاف الأخطاء التقنية (لقطات شاشة واجهة المستخدم، المخططات)، حيث تكون المعلومات بطبيعتها متعددة الوسائط.
• الرؤية المنهجية: تسلط الورقة الضوء على أن المحاذاة التوزيعية أمر بالغ الأهمية في الاسترجاع عبر الوسائط. يوفر التطبيع الإحصائي المقترح حلاً قوياً وقابلاً للتعميم لدمج الدرجات من مشفرات متباينة.
• الاتجاه المستقبلي: تشير النتائج إلى أنه بينما النماذج الموحدة الحالية فعالة، إلا أن هناك إمكانات كبيرة للتحسين من خلال توسيع نطاق بيانات التدريب، كما يتضح من الأداء القوي لمجموعة SigLIP+BGE التجميعية.

في الختام، يضع CMRAG معياراً جديداً لـ Visual Document QA من خلال توحيد الاسترجاع والتوليد بفعالية عبر وسائط النص والصورة، مما يوفر حلاً قابلاً للتوسع وفعالاً للجيل القادم من أنظمة ذكاء الوثائق متعددة الوسائط.