When Does Layout Matter? A Comparative Study of Retrieval Strategies for Reliable Business Document Question Answering
تتقصى هذه الورقة مدى فعالية استراتيجيات الاسترجاع المختلفة للإجابة على الأسئلة المتعلقة بالوثائق التجارية، كاشفةً أن النهج الأمثل يعتمد على تعقيد الوثيقة: حيث تتفوق الأساليب المدركة للتخطيط في السياقات متعددة الصفحات، بينما تؤدي تضمينات الصفحات المرئية أداءً أفضل في الجداول ذات الصفحة الواحدة، مما يسلط الضوء في النهاية على فجوة حرجة بين استرجاع الأدلة وتوليد الإجابات.
تخيل أنك تحاول العثور على حقيقة محددة داخل مكتبة ضخمة. إذا كانت المكتبة تحتوي فقط على قصص بسيطة، يمكنك ببساطة مسح النص ضوئياً، وتقطيع الصفحات إلى شرائط صغيرة، ثم تقديم الشريط الصحيح لروبوت فائق الذكاء ليقرأه. هكذا تتعامل معظم أنظمة الكمبيوتر الحالية مع الأسئلة المتعلقة بالمستندات: فهي تقطع النصوص إلى قطع وتبحث عن أفضل تطابق. ولكن ماذا يحدث عندما تحتوي المكتبة على نماذج تجارية معقدة، أو تقارير مالية، أو أدلة صناعية متعددة الصفحات؟ هذه المستندات ليست مجرد أسطر من النصوص؛ بل هي مثل خرائط معقدة حيث يهم "شكل" الصفحة. فرقم موضوع في صندوق معين تحت عنوان محدد يعني شيئاً مختلفاً تماماً عن نفس الرقم الطافي في فقرة. إذا قمت بتسطيح هذه المستندات وتحويلها إلى شرائط نصية بسيطة، فقد تفقد الخريطة بالكامل، مما يترك الروبوت مرتبكاً بشأن مكان البحث أو ما تعنيه تلك الأرقام حقاً. هذه هي الأحجية التي يحاول الباحثون حلها: معرفة متى يكون التخطيط الفيزيائي للمستند هو المفتاح لفك شفرة الإجابة، ومتى يكون مجرد ضجيج إضافي.
في هذه الدراسة، وضع الباحث "جاجين جين شو" (Zhangjin Xu) هدفاً لاختبار طرق مختلفة للبحث عبر هذه المستندات الصعبة لمعرفة أي طريقة تساعد الكمبيوتر على الإجابة على الأسئلة بشكل أكثر موثوقية. قارن الفريق بين خمس استراتيجيات مختلفة، تتراوح من قطع نصية بسيطة إلى أساليب متقدمة "ترى" الصفحة بأكملها كما يفعل البشر. وقد اختبروا هذه الأساليب على نوعين مختلفين جداً من تحديات المستندات: MP-DocVQA، والتي تتضمن مستندات صناعية متعددة الصفحات حيث يتعين عليك العثور على الصفحة الصحيحة من بين صفحات عديدة، و TAT-DQA، التي تركز على التقارب المالية ذات الصفحة الواحدة المليئة بالجداول والأرقام.
كشفت النتة عن تحول مفاجئ، يشبه لعبة "تبديل الأدوار"، حيث تعتمد الأداة الأفضل كلياً على طبيعة المهمة. بالنسبة للمستندات الصناعية متعددة الصفحات (MP-DocVQA)، كان الأسلوب الذي أولى اهتماماً لـ التخطيط (تجميع النص حسب موقعه وشكله) هو الفائز بوضوح. فقد وجد الصفحة الصحيحة كأول نتيجة بنسبة 26.1% (Recall@1)، وهو ما يعادل ضعف معدل نجاح الطريقة التي نظرت فقط إلى الصورة المرئية للصفحة (13.4%). يبدو أنه عندما يكون لديك كومة من الصفحات، فإن معرفة "عنوان" النص على الصفحة أكثر أهمية من مجرد التعرف على الصورة.
ومع ذلك، انقلبت القصة تماماً بالنسبة للتقارير المالية ذات الصفحة الواحدة (TAT-DQA). هنا، كان الأسلوب البصري، الذي يعامل الصفحة كصورة، هو البطل، حيث وجد الصفحة الصحيحة بنسبة 92.3% من المرات. بينما جاء أسلوب التركيز على التخطيط في المرتبة الثانية بنسبة 84.9%. يشير هذا إلى أنه بالنسبة للجداول النظيفة ذات الصفحة الواحدة، فإن الهيكل البصري العام يكون متميزاً للغاية بحيث يمكن للكمبيوتر تحديد الصفحة الصحيحة فوراً بمجرد "رؤيتها".
حاول الباحثون أيضاً نهجاً "هجيناً" يسمى LaMM-RAG، والذي جمع بين نقاط القوة في كل من البحث القائم على التخطيط والبحث البصري. وفي المستندات متعددة الصفحات، ساعد هذا الدمج النظام على العثيد على صفحات صحيحة أكثر ضمن أفضل خمس نتائج (متحسناً من 62.7% إلى 67.2%)، لكنه لم يساعده حقاً في اختيار الصفحة رقم 1 الأفضل. كان الأمر أشبه بإضافة المزيد من الكشافات إلى غرفة مظلمة؛ فأنت ترى المزيد من الغرفة، لكنك لا تجد المفتاح المفقود بشكل أسرع بالضرورة.
وعلى الرغم من هذه التحسينات في العثور على الصفحة الصحيحة، وجدت الدراسة أن الكمبيوتر لا يزال يعاني في تقديم الإجابة الصحيحة بمجرد العثور على الدليل. ففي التقارير المالية، حتى عندما وجد النظام الصفحة الصحيحة، فإنه غالباً ما فشل في إجراء العمليات الحسابية أو اختيار الخلية الصحيحة في الجدول، مما أدى إلى درجات منخفضة في الأسئلة الرقمية. أما في المستندات متعددة الصفحات، فكانت المشكلة الرئيسية هي ببساض عدم العثور على الصفحة الصحيحة على الإطلاق. وتخلص الدراسة إلى أنه لا يوجد حل واحد "يناسب الجميع". بدلاً من ذلك، تعتمد الاستراتيجية الأفضل على المستند: إذا كنت تتعامل مع كومة من الصفحات، فركز على التخطيط؛ وإذا كنت تتعامل مع جدول واحد معقد، فركز على الصورة المرئية. الدرس المستفاد الرئيسي هو أننا بحاجة إلى أن نكون أذكياء بشأن كيفية تقسيم المستندات، ومطابقة أداة البحث الخاصة بنا مع شكل المشكلة.
ملخص تقني: متى يهم التخطيط؟ دراسة مقارنة لاستراتيجيات الاسترجاع لضمان موثوقية الإجابة على أسئلة وثائق الأعمال
بيان المشكلة تقوم مسارات "التوليد المعزز بالاسترجاع" (RAG) القياسية عادةً بتسطيح وثائق الأعمال إلى كتل نصية ذات طول ثابت، مما يؤدي إلى التخلص من المعلومات الهيكلية ثنائية الأبعاد المتأصلة في الوثائق، مثل صفوف الجداول، ومحاذاة المفتاح والقيمة، والتسلسل الهرمي للعناوين، والعلاقات عبر الصفحات. قد يؤدي هذا التسطيح إلى فقدان الأدلة الحاسمة المطلوبة للإجابة الدقيقة على الأسئلة (QA). تبحث هذه الورقة في متى تكون استراتيجيات الاسترجاع المدركة للتخطيط (Layout-aware) والاسترجاع البصري مفيدة مقارنة بالنهج القائم على النص فقط، وتحديداً عند معالجة الفجوة بين استرجاع الأدلة وإنتاج الإجابات في سياقات الأعمال.
المنهجية تجري الدراسة مقارنة منضبطة لخمس استراتيجيات استرجاع عبر مجموعتي بيانات متميزتين:
MP-DocVQA: مجموعة بيانات وثائق صناعية متعددة الصفحات (5,187 سؤالاً) تختبر اختيار الصفحات والأدلة عبر الصفحات.
TAT-DQA: مجموعة بيانات تقارير مالية لصفحة واحدة (1,644 سؤالاً) تركز على الأسئلة المتعلقة بالجداول والنصوص التي تتطلب استدلالاً عددياً.
تحليل الموثوقية: يتضمن معدلات الإجابات غير المدعومة، ودقة الامتناع، وتحليل تحديد موقع الأدلة (grounding) باستخدام متحقق من مطابقة النصوص.
النتائج الرئيسية تكشف الدراسة عن انعكاس عبر النطاقات في فعالية الاسترجاع:
السياق متعدد الصفحات (MP-DocVQA): يتفوق الاسترجاع المدرك للتخطيط (B3) بشكل كبير على الصفحات البصرية (B4). حقق B3 معدل Recall@1 بلغ 0.261 مقارنة بـ 0.134 لـ B4 (تحسن نسبي بنسبة 94.8%). يشير هذا إلى أنه بالنسبة للوثائق الصناعية متعددة الصفحات، فإن تنظيم النص حسب الهندسة وترتيب القراءة يكون أكثر تمييزاً من التضمينات البصرية للصفحات.
السياق أحادي الصفحة (TAT-DQA): يتفوق استرجاع الصفحات البصرية (B4) على الكتل المدركة للتخطيط (B3). حقق B4 معدل Recall@1 بلغ 0.923 مقابل 0.849 لـ B3. أثبت الهيكل البصري أنه أكثر فعالية في استرجاع أعلى رتبة في التقارير المالية أحادية الصفحة.
الأداء الهجين (LaMM-RAG):
في MP-DocVQA، يحسن الدمج من Recall@5 من 0.627 إلى 0.672 (زيادة مطلقة قدرها 4.5 نقطة) ولكنه يترك Recall@1 دون تغيير جوهري (0.261 مقابل 0.262). يشير هذا إلى أن الدمج يوسع مجموعة المرشحين بدلاً من تحسين النتيجة الأعلى ترتيباً.
في TAT-DQA، لا يتفوق النهج الهجين على الاسترجاع البصري فقط.
الإجابة على الأسئلة (QA) من البداية للنهاية: يظل الاستدلال العددي وتمييز خلايا الجداول عقبات كبيرة في TAT-DQA، مما يحد من جودة الإجابة حتى عند استرجاع الأدلة. بالنسبة لـ MP-DocVQA، يتمثل القصور الأساسي في تغطية الأدلة عبر الصفحات المتعددة.
تحديد الموقع (Grounding): بينما يمكن للنماذج التوليدية الامتناع عن الإجابة بشكل صحيح (دقة امتناع قدرها 1.000 بموجب بروتوكول مطابقة النصوص)، فإن معدلات الإجابات غير المدعومة العالية في MP-DocVQA (تصل إلى 82.0%) ترتبط بانخفاض تحديد موقع الأدلة، مما يؤكد أن الإخفاقات غالباً ما تنبع من تغطية الاسترجاع وليس من قدرات التوليد.
المساهمات الرئيسية
مقارنة منضبطة: تقييم منهجي لخمس مستويات من التفصيل في الاسترجاع (الكتل النصية، نص الصفحة، الكتل المدركة للتخطيط، الصفحات البصرية، والهجين) عبر نطاقات متعددة الصفحات وأحادية الصفحة.
LaMM-RAG: طريقة دمج خفيفة الوزن تجمع بين كتل النصوص المدركة للهندسة واسترجاع الصفحات المصورة باستخدام RRF.
تحليل الدقة والكفاءة: إثبات أن الدمج يحسن اتساع المرشحين (Recall@5) ولكنه لا يعزز بالضرورة دقة أعلى رتبة (Recall@1)، مع التكاليف المرتبطة بزمن الاستجابة (latency).
تحليل الموثوقية والفئات: الفصل بين إخفاقات تغطية الاسترجاع وإخفاقات العمليات اللاحقة في الاستدلال العددي واختيار خلايا الجداول.
الأهمية والادعاءات تجادل الورقة ضد وجود وحدة استرجاع عالمية لأنظمة ذكاء الوثائق. بدلاً من ذلك، تقترح أن طول الوثيقة وتنظيم الأدلة يجب أن يمليا تصميم الاسترجاع:
بالنسبة لـ الوثائق متعددة الصفحات، يعد الاسترجاع المدرك للتخطيط متفوقاً على الاسترجاع البري.
بالنسبة لـ الوثائق أحادية الصفحة ذات الهياكل البصرية المعقدة (مثل الجداول المالية)، يعد الاسترجاع البصري أكثر فعالية لتحقيق دقة أعلى رتبة.
النهج الهجين المقترح (LaMM-RAG) يكون أكثر فائدة عندما يمكن للأنظمة اللاحقة (مثل أنظمة إعادة التصنيف أو مولدات الأدلة المتعددة) الاستفادة من مجموعة مرشحين أكبر، بدلاً من عندما يكون الهدف هو الاسترجاع السريع لأعلى رتبة (top-1).
تخلص المؤلفة إلى أنه بينما تحسن الطرق المدركة للتخطيط تغطية الاسترجاء في السيناريوهات متعددة الصفحات، فإن العقبات الأساسية لضمان موثوقية الإجابة على الأسئلة تظل القدرة على إجراء الاستدلال العددي وتمييز خلايا الجداول، بالإضافة إلى الصعوبة المتأصلة في تغطية الأدلة عبر صفحات متعددة. توفر هذه النتائج إرشادات عملية لاختيار وحدات الاسترجاع بناءً على خصائص وثائق محددة وقدرات الأنظمة اللاحقة.