ملخص تقني: سلسلة الأدلة (CoE) لعمليات التوليد المعزز بالاسترجاع التكراري

1. بيان المشكلة

لقد برز التوليد المعزز بالاسترجاع التكراري (iRAG) كنموذج للإجابة على الأسئلة المعقدة متعددة الخطوات عبر الاسترجاع التدريجي والاستدلال على الوثائق الخارجية. ومع ذلك، تواجه أنظمة iRAG الحالية ثلاثة اختناقات حرجة عند العمل على وثائق غنية بصرياً (مثل ملفات PDF، أو الشرائح، أو التقارير الإلكترونية):

1. اختناق التحقق: توفر الأنظمة الحالية استشهادات خشنة على مستوى النص (على سبيل المثال، "[المصدر: مستند-1]"). في السيناريوهات متعددة الخطوات، يجبر هذا المستخدمين على مسح الوثائق الطويلة يدوياً لتحديد الجمل الداعمة بدقة، مما يخلق عبئاً معرفياً عالياً.
2. فقدان المعلومات في تحويل النص: يؤدي تحويل الوثائق الغنية بصرياً إلى نص خطي عبر التعرف الضوئي على الحروف (OCR) أو المعالجة إلى تدمير المنطق المكاني وإشارات التخطيط (مثل اتجاهات المخططات البيانية، أو تدفقات الرسوم التخطيطية، أو تسلسل الشرائح). بالنسبة للعديد من الوثائق، يوجد الدليل في العلاقة البصرية بين العناصر، وليس فقط في النص، مما يجعل الاستشهادات القائمة على النص غير كافية جوهرياً.
3. سلاسل الاستدلال الغامضة: يفتقر المستخدمون إلى رؤية مسار القرارات. لا توفر الطرق الحالية تصوراً لـ "سلسلة الأدلة" — كيف يوجه دليل وسيط اختيار المستند التالي في مسار متعدد الخطوات.

2. المنهجية: سلسلة الأدلة (CoE)

لمعالجة هذه القيود، يقترح المؤلفون سلسلة الأدلة (CoE)، وهو إطار عمل للنسب البصري مستقل عن المسترجع، يعمل مباشرة على لقطات شاشة الوثائق بدلاً من النص المعالج.

البنية الأساسية

• نموذج يعطي الأولوية للبصريات: يتجاوز CoE أنابيب معالجة النصوص الهشة. فهو يأخذ مجموعة من لقطات الشاشة المرشحة للوثائق (من مسترجع علوي) ويعالجها كصور ($d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$).
• تصميم مستقل عن المسترجع: يفترض إطار العمل وجود مسترجع علوي عام يعيد مجموعة من $k$ مرشحين. يركز CoE على اختيار وترتيب وتأصيل الأدلة ضمن هذه المرشحين دون إدخال معاملات خاصة بالمسترجع.
• تنسيق المخرجات: بدلاً من استشهادات النصوص، ينتج CoE سلسلة أدلة مهيكلة تتكون من:
  • معرفات المرشحين المختارة.
  • صناديق إحاطة دقيقة $[(x_1, y_1), (x_2, y_2)]$ تحدد مناطق الأدلة (فقرات النص، خلايا الجداول، الرسوم التخطيطية).
  • استعلامات فرعية باللغة الطبيعية أو أفكار استدلالية لكل خطوة.
• عملية التوليد: يقوم النموذج بمرور واحد ذاتي التراجع (autoregressive pass) لتوليد سلسلة الأدلة الكاملة، حيث يربط الاستعلام ولقطات الشاشة المرشحة بالإجابة وتسلسل من التوبلات (المستند، صناديق الإحاطة، الاستدلال).

استراتيجية التدريب

يستخدم المؤلفون استراتيجية تعلم منهجي مكونة من مرحلتين باستخدام نموذج Qwen3-VL-8B-Instruct:

1. المرحلة الأولى (خطوة واحدة): تركز على تأسيس قدرات التأصيل البصري من خلال تدريب النموذج على تحديد موقع الدليل في صورة واحدة.
2. المرحلة الثانية (متعدد الخطوات): تقدم توليد سلسلة أدلة متعددة الخطوات عبر أفضل 5 لقطات شاشة مرشحة، مع البدء من نقطة تفتيش المرحلة الأولى.

• تعزيز البيانات: لضمان المتانة، يتضمن التدريب تعزيزاً مكانياً (القص، الإزاحة)، وتنوعاً في الدقة (التعامل مع الكثافات البصرية المختلفة)، وتبديلاً للأدلة (لفصل ترتيب العرض عن ترتيب الاستدلال المنطقي).

3. مجموعات البيانات والتقييم

لتقييم CoE بصرامة عبر مستويات متفاوتة من التعقيد البصري، قدم المؤلفون استراتيجية اختبار ثنائية:

• Wiki-CoE: مجموعة بيانات واسعة النطاق مشتقة من 2WikiMultiHopQA، تحتوي على 70,418 سؤالاً متعدد الخطوات. وتتميز بلقطات شاشة عالية الدقة لصفحات ويكيبيديا مع تعليقات توضيحية لصناديق الإحاطة للتخطيطات المهيكلة (الجداول، صناديق المعلومات).
• SlideVQA: مجموعة بيانات صعبة من شرائح العروض التقديمية التي تتميز برسوم تخطيطية معقدة، وتخطيطات حرة، ومخططات حيث يكون الترتيب المكاني حاسماً من الناحية الدلالية.

مقاييس التقييم:

• دقة الإجابة (EM): المطابقة التامة للإجابة المولدة.
• دقة تحديد موقع الدليل (Loc-Acc): مقياس مشترك يتطلب الاختيار الصحيح لصورة المرشح وتداخلاً في صندوق الإحاطة (IoU $\ge$ 0.3) مع الحقيقة الأرضية.
• دقة سلسلة الاستدلال (Chain-Acc): تتحقق مما إذا كان التسلسل المرتب للمستندات المختارة يطابق مسار الاستدلال الذهبي.

4. النتائج الرئيسية

تظهر التجارب أن CoE يتفوق بشكل كبير على النماذج المرجعية القائمة على النص ونماذج اللغات البصرية (VLMs) صفرية المعرفة، خاصة في السيناريوهات التي تتطلب فهم التخطيط البصري.

• الأداء على Wiki-CoE: يحقق Co-8B نسبة 82.3% EM، و 94.4% Chain-Acc، و 80.4% Loc-Acc. وبينما تحقق النماذج البصرية العامة (مثل GPT-5) دقة إجابة تنافسية، فإن جودة التأصيل لديها أضعف بكثير (على سبيل المثال، يحقق GPT-5 نسبة 31.7% فقط في Loc-Acc).
• الأداء على SlideVQA: يظهر تفوق النهج القائم على البصريات بوضوح هنا. تفشل النماذج المرجعية القائمة على النص بسبب فقدان معلومات التخطيط. يحقق Co-8B نسبة 58.8% EM، و 87.5% Chain-Acc، و 61.0% Loc-Acc. في المقابل، ينخفض نموذج Qwen3-VL-235B صفري المعرفة إلى 6.8% Loc-Acc، وتواجه النماذج المرجعية القائمة على OCR صعوبات كبيرة.
• تأثير التعقيد البصري: في الشرائح التي تحتوي على مخططات تدفق ومخططات بيانات، يتفوق CoE على الطرق القائمة على OCR بهوامش تصل إلى 28.1% في الدقة، مما يثبت أن التأصيل البصري هو ضرورة، وليس مجرد تحسين، للهياكل المعلوماتية غير الخطية.
• دراسات الاستئصال (Ablation Studies):
  • التعلم المنهجي: يؤدي إزالة مرحلة التدريب المسبق للخطوة الواحدة إلى انخفاض كبير في Loc-Acc (على سبيل المثال، -7.3 نقطة في Wiki-CoE)، مما يؤكد أن التأصيل المنفصل هو شرط مسبق للاستدلال متعدد الخطوات.
  • الدقة (Resolution): المدخلات عالية الدقة (1536×1536) أمر بالغ الأهمية؛ حيث يؤدي خفض الدقة إلى 512×512 إلى انخفاض كارثي في الأداء، خاصة للنصوص الدقيقة في صناديق المعلومات.
  • النمط (Modality): يظهر النموذج المرجعي المعتمد على النص فقط (باستخدام OCR) فجوة أداء تبلغ حوالي 26 نقطة في Wiki-CoE وحوالي 22 نقطة في SlideVQA مقارنة بالنموذج البصري، مما يؤكد أن الهيكل البصري هو الحامل الأساسي للمعلومات المنطقية في هذه السياقات.

5. الأهمية والادعاءات

يزعم البحث أن سلسة الأدلة (CoE) تمثل تحولاً جذرياً في iRAG من خلال الانتقال من معالجة النصوص الهشة إلى الاستدلال البصري القوي.

• التأصيل البصري كضرورة للاستدلال: يجادل المؤلفون بأنه بالنسبة للوثائق المعقدة، فإن النمط البصري ليس مجرد ميزة للقابلية للتفسير، بل هو متطلب أساسي للاستدلال. غالباً ما يتفوق المنطق المكاني على النص الخطي، ويؤدي التخلي عنه إلى الهلوسة والإجابات غير القابلة للتحقق.
• حل مشكلة اختناق التحقق: من خلال توفير صناديق إحاطة على مستوى البكسل وتصور سلسلة الاستدلال الكاملة، يوفر CoE آلية تحقق بصرية فورية. وهذا يسمح للمستخدمين بمراجعة لماذا تم إنشاء إجابة معينة، مما يعالج غموض أنظمة iRAG الحالية.
• تفسير مستقل عن المسترجع: يضع CoE حلاً لـ iRAG قابل للتفسير على مستوى البكسل يتوافق مع أي مسترجع علوي (معجمي، كثيف، هجين، أو بصري)، مما يفصل قدرات الاستدلال والتأصيل عن آلية الاسترجاع.
• الذكاء الاصطناعي الموثوق: يوفر هذا العمل مخططاً للجيل القادم من أنظمة الذكاء الاصطناعي القابلة للتحقق، لا سيما في المجالات عالية المخاطر حيث يكون تأصيل المصدر وشفافية الاستدلال أمراً ضرورياً.

يخلص المؤلفون إلى أن عملهم يتحدى النظرة المتمحورة حول النص السائدة في استرجاع المعلومات، موضحين أن الحفاظ على الدلالات البصرية أمر بالغ الأهمية للاستدلال متعدد الخطوات الموثوق والقابل للتفسير.