Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

ملخص تقني: إسناد الأدلة في فهم المستندات المرئية دون استخدام الإحداثيات أو تسميات المناطق

بيان المشكلة
يتطلب الفهم الموثوق للمستندات المرئية (VDU) ألا تكتفي النماذج بالإجابة على الأسئلة فحسب، بل أن تقوم أيضاً بإسناد تلك الإجابات إلى مناطق أدلة محددة داخل المستند. تفرض المعايير والأنظمة الحالية، مثل CiteVQA، واجهة إحداثيات، حيث يجب على النماذج إنتاج إحداثيات المربعات المحيطة ($x_1, y_1, x_2, y_2$) لتحديد الدليل. لاحظ المؤلفون أنه تحت هذه الواجهة، تعاني النماذج اللغوية البصرية (VLMs) بشكل متكرر من هلوسة الإسناد (Attribution Hallucination)؛ فهي تولد إجابات صحيحة ولكنها تفشل في تحديد المناطق الداعمة، وغالباً ما تنتج إحداثيات لا تتداخل مع الحقيقة الأرضية (ground truth). يبحث البحث فيما إذا كان هذا الفشل ناتجاً عن نقص جوهري في قدرة التأسيس (grounding capability) في النماذج المفتوحة، أم أنه مجرد نتاج لنمط مخرجات الإحداثيات نفسه. علاوة على ذلك، يتناول البحث التحدي العملي المتمثل في أن تدريب النماذج على تحديد المواقع يتطلب عادةً تسميات دقيقة على مستوى المنطقة، وهي تسميات يصعب جمعها على نطاق واسع للمستندات الطويلة.

المنهجية
يقترح المؤلفون دراسة مقارنة ونموذج تدريب جديد يتجاوز واجهة الإحداثيات وإشراف مستوى المنطقة.

1. واجهة اللغة مقابل واجهة الإحداثيات:

   • شرط الإحداثيات (Coordinate Condition): تتبع النماذج بروتوكول CiteVQA القياسي، حيث تولد إحداثيات المربعات المحيطة بشكل تلقائي (autoregressively).
   • شرط اللغة (Language Condition): تُخرج النماذج اقتباسات نصية حرفية للأدلة بدلاً من الإحداثيات. ثم يقوم مسار منفصل بربط هذه الاقتباسات بمناطق المستند:
     • يقوم محلل تخطيط (MinerU) بتقسيم المستند إلى كتل دلالية (فقرات، جداول، أشكال، تسميات توضيحية).
     • يتم رندرة كل كتلة كقصاصة صورة (image crop) وتشفيرها باستخدام مشفر متعدد الوسائط.
     • يتم تشفير الاقتباسات التي ولدها النموذج ومطابقتها مع أفضل الكتل الدلالية الملائمة عبر تعيين واحد لواحد (يُحل عبر خوارزمية هنجاريان/Hungarian algorithm).
   • يسمح هذا الإعداد للمؤلفين بتقييم نفس النماذج الأساسية تحت كلتا الواجهتين مع الحفاظ على ثبات المدخلات ومنطق التقييم.

2. التعلم التعزيزي الخالي من تسميات المناطق (GRPO):

   • لتحسين الإسناد دون الحاجة إلى تسميات منطقة مكلفة، يستخدم المؤلفون واجهة اللغة كركيزة للتدريب.
   • بناء المكافأة: يقوم حكم لغوي بصري بتقييم مخرجات النموذج بناءً على السؤال، والإجابة الذهبية، والقصاصات الصورية المسترجعة للمناطق المستشهد بها (وليس الاقتباسات النصية الخام). يقيم الحكم ما يلي:
     • $a$: صحة الإجابة.
     • $erel$: صلة الدليل (هل تدعم القصاصة الإجابة؟).
     • $ecov$: تغطية الدليل (هل تغطي مجموعة القصاصات جميع المعلومات الضرورية؟).
   • تُعرف دالة المكافأة بـ $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$. يضمن هذا الهيكل الضربِي ألا تساهم درجات الأدلة إلا إذا كانت الإجابة صحيحة، مما يستهدف مباشرةً هلوسة الإسناد.
   • التحسين (Optimization): يتم تدريب النموذج باستخدام تحسين السياسة النسبية للمجموعات (GRPO) مع تقليم غير متماثل (DAPO) لتثبيت التدريب. تتعلم السياسة توليد اقتباسات أفضل لتعظيم مكافأة الحكم، مما يؤدي فعلياً إلى تعلم الإشارة إلى المناطق الصحيحة دون رؤية إحداثيات المنطقة أثناء التدريب.

المساهمات الرئيسية

1. تحليل الواجهة: دراسة مضبوطة تثبت أن الأداء الضعيف للنماذج اللغوية البصرية المفتوحة في إسناد الأدلة هو إلى حد كبير نتاج لواجهة المستخدم وليس فجوة في القدرة. إن الانتقال من الإحداثيات إلى واجهة لغوية تعتمد على "الاقتباس والاسترجاع" يستعيد قدرة الإسناد بشكل كبير.
2. واجهة الأدلة اللغوية: طريقة مبتكرة تكيف نظام الاستشهاد القائم على الاقتباس (الشائع في RAG النصي) مع المستندات المرئية. فهي تربط الاقتباسات اللغوية الطبيعية بمناطق البكسل عبر الاسترجاع، متجاوزة الحاجة إلى جعل النماذج تولد إحداثيات دقيقة.
3. التدريب الخالي من تسميات المناطق: وصفة للتعلم التعزيزي تحسن دقة الإسناد الصارمة باستخدام أزواج (سؤال-إجابة) فقط وحكم يقيم القصاصات المسترجعة. وهذا يلغي الحاجة إلى بيانات التسمية اليدوية المكلفة على مستوى المنطقة.

النتائج
تم التقييم على مجموعة فرعية موثقة من CiteVQA (719 سؤالاً ثنائي اللغة) عبر ستة نماذج لغوية بصرية مفتوحة (تتراوح من 8 إلى 31 مليار معلمة):

• استعادة الإسناد: تحت واجهة الإحداثيات، لم تتجاوز نسبة استدعاء الدليل (IoU $\ge$ 0.5) نسبة 8.1%، مع تراوح معدلات الهلوسة (إجابات صحيحة مع أدلة خاطئة) بين 82% و97%. أدى الانتقال إلى واجهة اللغة إلى رفع نسبة الاستدعاء إلى 25.9%–46.9% وخفض معدلات الهلوسة إلى 38.6%–65.4%.
• مكاسب التدريب: تطبيق وصفة تدريب GRPO على نموذج أساسي بقدر 8 مليارات معلمة زاد من دقة الإسناد الصارمة (SAA) من 22.4% إلى 33.8% وخفض معدل الهلوسة بشكل أكبر إلى 28.4%.
• جودة الإجابة: ظلت صحة الإجابة مستقرة إلى حد كبير عبر الواجهات، مما يشير إلى أن التحسن خاص بالإسناد وليس بالاستدلال العام.
• الدراسة الاستقصائية (Ablation): عُزي الاسترداد إلى المعلومات المشفرة في لغة النموذج (الاقتباسات) وليس إلى آلية الاسترجاع وحدها. سمحت واجهة اللغة للنماذج بالتعبير عن معلومات الموقع التي فشل تنسيق الإحداثيات في التقاطها.

الأهمية والادعاءات
يجادل البحث بأن "هلوسة الإسناد" الملحوظة في النماذج اللغوية البصرية المفتوحة ليست نقصاً مستعصياً في قدرة التأسيس، بل هي عدم توافق بين اللغة التي يمكن للنماذج التعبير بها وبين قيود واجهة الإحداثيات. من خلال اعتماد نهج "الاقتباس والاسترجاع"، يوضح المؤلفون مساراً عملياً للوصول إلى إسناد أدلة عالي الجودة في المستندات المرئية. والأهم من ذلك، أن هذا المسار لا يتطلب:

• واجهة مخرجات إحداثيات.
• بيانات إشراف مكلفة على مستوى المنطقة.

تشير النتائج إلى أن النماذج المفتوحة تمتلك بالفعل القدرة على تحديد مواقع الأدلة عندما يُسمح لها بالتعبير عنها بلغة طبيعية، وأن التعلم التعزيزي باستخدام مكافآت قائمة على الحكم للقصاصات المسترجعة يمكن أن يصقل هذه القدرة بفعالية. ويشير المؤلفون إلى وجود قيود، مثل الاعتماد على محلل التخطيط (الذي يضع حداً أقصى للأداء) وأن النطاق الحالي يقتصر على إسناد المستند الواحد.