Real5-OmniDocBench: A Full-Scale Physical Reconstruction Benchmark for Robust Document Parsing in the Wild

1. بيان المشكلة

بينما حققت نماذج الرؤية واللغة (VLMs) درجات تقترب من المثالية في معايير المستندات الرقمية مثل OmniDocBench، إلا أن أداءها في البيئات الفيزيائية الواقعية لا يزال غير مؤكد إلى حد كبير. تعاني المعايير الحالية من "فجوة الواقع":

• التحيز للمحتوى الرقمي الأصلي (Born-Digital Bias): تعتمد مجموعات البيانات الحالية على صور رقمية مثالية خالية من التشوهات، مما يفشل في مراعاة الاضطرابات الفيزيائية التي تواجهها عند النشر (مثل صفحات الكتب المنحنية، وأنماط مواريه الناتجة عن الشاشات، والإضاءة غير المتساوية، والانحراف المنظوري).
• الافتقار إلى التقييم المنضبط: تفتقر مجموعات البيانات السابقة "في الواقع" (مثل WildDoc) إلى الارتباط بالحقائق الرقمية الأصلية، مما يجعل من المستحيل عزل أسباب الفشل المحددة. وعلى العكس من ذلك، فإن عمليات المحاكاة الفيزيائية الجزئية (مثل DocPTBench) تستخدم أخذ عينات تقريبي لا يمكنه التقاط الطيف الكامل للتشوهات الواقعية أو تمكين التحليل السببي الصارم.
• الفجوة: لا يوجد معيار يجمع بين واقعية الالتقاط الفيزيائي ودقة التعيين الرقمي (واحد لواحد) لتشخيص أي عامل فيزيائي تحديداً يتسبب في تدهور أداء النموذج.

2. المنهجية

يقدم المؤلفون Real5-OmniDocBench، وهو معيار يقوم بإعادة بناء فيزيائي كامل النطاق بنسبة (واحد لواحد) لمجموعة اختبار OmniDocBench v1.5 بأكملها (1,355 صورة).

أ. بناء البيانات والاستحواذ عليها

• إعادة بناء كامل النطاق: يتم إعادة إنتاج كل عينة رقمية فيزيائياً لإنشاء 5 متغيرات، مما ينتج عنه إجمالي 6,775 عينة اختبار.
• وراثة الحقيقة الأرضية (Ground Truth): يرث المعيار بصرامة التعليقات التوضيحية بتنسيق JSON الأصلية (التخطيط، الجداول، المعادلات، النصوص، ترتيب القراءة) من OmniDocBench دون تعديل، مما يضمن قابلية المقارنة الصارمة.
• سلسلة التوريد (Acquisition Pipeline):
  • الطباعة: طابعة Canon C5840 احترافية بدقة 1200 نقطة في البوصة لضمان دقة المصدر.
  • استراتيجية واعية بالمقياس: تُطبع المستندات بتنسيقات A3/A4 بناءً على الأبعاد الأصلية للحفاظ على نسب الخطوط وكثافة التخطيط.
  • أجهزة الالتقاط: تُستخدم مصفوفة متباينة من الأجهزة المحمولة (Apple، Xiaomi، OPPO) لالتقاط خصائص متنوعة لمعالجة الصور (ISP)، وضوضاء المستشعر، وتشوهات العدسة.

ب. خمسة سيناريوهات فيزيائية حرجة

يصنف المعيار خمسة عوامل فيزيائية متعامدة، لكل منها عدة ظروف فرعية:

1. المسح الضوئي (Scanning): يحاكي آثار الرقمنة (معيار، جودة منخفضة، مائل، دباسة، مجلد).
2. الالتواء (Warping): يحاكي التشوهات غير الصلبة (طي، أسطواني، تجعد، زاوية، كعب الكتاب).
3. تصوير الشاشة (Screen-Photography): يحاكي الالتقاط الثانوي من النهايات الرقمية (شاشة مكتب، شاشة عرض احترافية، كمبيوتر محمول، جهاز لوحي، هاتف محمول).
4. الإضاءة (Illumination): يحاكي تحديات الإضاءة (إضاءة منخفضة، ظل، انزياح لوني، كشاف ضوئي، انكسار).
5. الانحراف (Skew): يحاكي تشوهات المنظور ثلاثية الأبعاد الناتجة عن الالتقاط اليدوي (ميل أفقي، ميل رأسي، ميل جانبي، مركب، شديد).

ج. ضبط الجودة

تضمن سلسلة معالجة متعددة المراحل موثوقية البيانات:

• الكشف بمساعدة الآلة: تقوم نماذج الرؤية واللغة (VLMs) المتطورة برصد العينات ذات الهبوط الكارثي في الأداء (مثل الدرجات الصفرية) لتحديد أعطال الأجهزة.
• التحقق اليدوي من الخبراء: ثلاث جولات من التفتيش لضمان التطابق الدلالي، والسلامة الهيكلية، والتعامد الهندسي.
• الدقة مقابل التدهور: تقوم البروتوكولات بتصفية الأخطاء "غير القابلة للاستخدام" (مثل الضبابية الشديدة) ولكنها تحتفظ بالآثار الواقعية الحقيقية (مثل أنماط مواريه، الضوضاء الطفيفة) لاختبار المتانة الحقيقية.

د. مقاييس التقييم

يتبنى المعيار إطار تسجيل OmniDocBench متعدد الأبعاد:

• النص وترتيب القراءة: مسافة التحرير الطبيعية (NED).
• تحليل المعادلات: مطابقة كشف الحروف (CDM) باستخدام الرسوم البيانية الحسابية لتحقيق التكافؤ الهيكلي.
• هيكل الجداول: تشابه المسافة التحريرية للشجرة (TEDS).
• الدرجة الإجمالية: متوسط مرجح لمقاييس النص والجداول والمعادلات.

3. المساهمات الرئيسية

1. أول معيار فيزيائي كامل النطاق: أول مجموعة بيانات تقدم إعادة بناء فيزيائي كامل لـ 1,355 صورة مع ارتباط رقمي صارم (واحد لواحد)، مما يسمح بعزو تدهور الأداء إلى عوامل فيزيائية محددة.
2. نمذجة شاملة متعددة السيناريوهات: بناء منهجي لخمسة سيناريوهات فيزيائية متعامدة مع ظروف فرعية متنوعة، مما يسمح بالتشخيص الدقيق لمتانة النماذج (على سبيل المثال، التمييز بين آثار المسح الضوئي والالتواء اليدوي).
3. رؤى تجريبية مخالفة للبديهة: دراسة واسعة النطاق لـ 15 نموذجاً من أحدث النماذج كشفت أن نماذج الرؤية واللغة (VLMs) المدمجة والمتخصصة في المجال غالباً ما تتفوق على النماذج العامة الضخمة تحت الضغط الفيزيائي، مما يتحدى نموذج "قانون التوسع" السائد في تحليل المستندات.

4. النتائج التجريبية

قام المؤلفون بتقييم 15 نموذجاً، بما في ذلك نماذج الرؤية واللغة العامة (Qwen3-VL, Gemini-3 Pro)، والنماذج المتخصصة (PaddleOCR-VL, MinerU)، والأدوات البرمجية (Pipeline Tools).

• النماذج المتخصصة تتفوق على العامة:
  • حقق نموذج PaddleOCR-VL-1.5 (بـ 0.9 مليار معلمة) أعلى درجة إجمالية بلغت 92.05، متفوقاً بشكل ملحوظ على نموذج Qwen3-VL-235B (بـ 235 مليار معلمة) الذي سجل 88.90، ونموذج Gemini-3 Pro الذي سجل 89.24.
  • حافظ PaddleOCR-VL-1.5 على أداء عالٍ ومتسق عبر جميع السيناريوهات (91.25% في الالتواء إلى 93.43% في المسح الضوئي).
• محدودية التوسع: يزيد زيادة عدد المعلمات من قدرة التعرف على الحروف، لكنه لا يحل بطبيعته الغموض الهندسي (مثل تحولات المنظور ثلاثية الأبعاد). أظهرت النماذج الكبيرة تقلبات في سيناريوهات تصوير الشاشة والانحراف.
• فشل الأدوات البرمجية: عانت الأدوات التقليدية القائمة على القواعد (مثل PP-StructureV3, Marker) من هبوط كارثي في سيناريوهات الانحراف (Skew) (انخفضت إلى حوالي 38-41%) بسبب عدم قدرتها على التعامل مع تشوهات المنظور ذات الزوايا الكبيرة.
• رؤى خاصة بالسيناريوهات:
  • الالتواء (Warping): تؤثر التشوهات غير الصلبة بشدة على السلامة الهيكلية (TEDS) للنماذج العامة، بينما تقوم النماذج المتخصصة بتثبيت حدود الخلايا بشكل أفضل.
  • الانحراف (Skew): كان هذا هو السيناريو الأكثر تحدياً. حافظ PaddleOCR-VL-1.5 على خطأ ترتيب قراءة (ROE) قوي قدره 0.061، متفوقاً على النماذج الأكبر، مما يشير إلى أنه استوعب إشارات المنظور المرنة.

5. الأهمية

• أداة تشخيصية: ينقل Real5-OmniDocBench التركيز من مجرد ترتيب المتصدرين إلى التشخيص السببي، مما يسمح للباحثين بتحديد ما إذا كانت حالات الفشل ناتجة عن تشوهات هندسية، أو آثار بصرية، أو قيود في النموذج.
• إعادة تعريف المتانة: تشير النتائج إلى أن المتانة تجاه التشوهات الواقعية ليست مجرد دالة لعدد المعلمات، بل تتطلب انحيازات استقرائية خاصة بالمجال والتدريب على آثار فيزيائية متنوعة.
• معيار للمجتمع العلمي: من خلال إصدار مجموعة البيانات علناً، يقدم المؤلفون "اختبار جهد" يضع خط أساساً صارماً، مما يسد الفجوة بين الكمال الرقمي والموثوقية الواقعية. وهذا يشجع على تطوير أنظمة ذكاء مستندات مرنة حقاً قادرة على التعامل مع العالم الفيزيائي "المعقد".