🤖 AI

Doc-CoB: Enhancing Document Understanding with Visual Chain-of-Boxes Reasoning

يُعد Doc-CoB إطار عمل يعزز فهم المستندات في النماذج اللغوية الكبيرة متعددة الوسائط من خلال توظيف استراتيجية استدلال "سلسلة الصناديق" البصرية من الخشن إلى الناعم، والتي تركز تدريجياً على مناطق التخطيط ذات الصلة بالاستعلام مع الحفاظ على السياق العالمي، مدعوماً بمجموعة بيانات جديدة تضم 249 ألف عينة تدريبية.

المؤلفون الأصليون: Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ye Mo, Kai Ye, Xianwei Mao, Zirui Shao, Gang Huang, Bo Zhang, Hangdi Xing, Kehan Chen, Huan Zhou, Zixu Yan, Jiajun Bu, Sheng Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على معلومة محددة داخل مستودع ضخم وفوضوي مليء بالصناديق. هذا المستودع هو عبارة عن صورة مستند (مثل إيصال، أو نموذج، أو تقرير)، و"الفوضى" هي كل النصوص والشعارات والخطوط الإضافية التي ليست ذات صلة بسؤالك.

المشكلة: خطأ "المرة الواحدة"

النماذج الحالية التي تحاول قراءة هذه المستندات تشبه شخصاً يدخل إلى المستودع ويحاول قراءة كل الصناديق في وقت واحد، بافتراض أن كل شيء له نفس الأهمية.

النتيجة: تصاب هذه النماذج بالتشتت بسبب الضجيج. فإذا سألت: "أين يعيش مقدم الطلب؟"، قد يتشتت الذكاء الاصطناعي بسبب عنوان قريب يبدو مشابهاً ولكنه في الواقع يخص شخصاً آخر، مما يؤدي إلى إجابة خاطئة.
الطرف الآخر من النطاق: تحاول بعض الطرق الأخرى إصلاح ذلك عبر التركيز الشديد على بقعة صغيرة جداً. هذا يشبه أخذ صندوق واحد من المستودع والنظر إليه بمعزل عن غيره؛ هنا ستفقد السياق المتعلق بموقع هذا الصندوق بالنسبة لكل ما حوله، وهو أمر حاسم لفهم المستند.

الحل: Doc-CoB (سلسلة الصناديق)

يقدم البحث Doc-CoB، وهي طريقة جديدة لتعليم الذكاء الاصطناعي كيفية قراءة المستندات. فكر في Doc-CoB كـ محقق ذكي يستخدم عملية من خطوتين لحل اللغز، بدلاً من مجرد التخمين.

الخطوة 1: مرحلة "التحديد" (اختيار الصناديق الرئيسية)

بدلاً من قراءة الصفحة بأكملها دفعة واحدة، ينظر الذكاء الاصطناعي أولاً إلى المستند بأكمله ويضع ملصقاً مرقماً على كل قسم متميز (مثل فقرة، أو جدول، أو حقل نموذج).

حركة المحقق: يُطلب من الذكاء الاصطناعي: "أي من هذه الملصقات المرقمة ذات صلة بالسؤال؟"
التشبيه: الأمر يشبه معلماً يطلب من طالب أن يضع دائرة حول أهم ثلاث جمل في مقال طويل قبل الإجابة على اختبار. الذكاء الاصطناعي لا يقرأ المقال بالكامل بعمق بعد؛ إنه فقط يحدد المرشحين.

الخطوة 2: مرحلة "التكبير" (الإجابة المركزة)

بمجرد أن يختار الذكاء الاصطناعي الصناديق المرقمة ذات الصلة، يعود إلى الصورة الأصلية. هذه المرة، يرسم حدوداً حمراء حول تلك الصناديق المختارة فقط، لكنه يبقي بقية الصفحة مرئية في الخلفية.

حركة المحقق: يُطلب من الذكاء الاصطناعي الآن الإجابة على السؤال، ولكن يُقال له: "انتبه جيداً للصناديق الحمراء".
التشبيه: الأمر يشبه وضع عدسة مكبرة فوق الجمل المحاطة بدوائر بينما لا تزال ترى بقية الصفحة. هذا يسمح للذكاء الاصطناعي بقراءة تفاصيل الإجابة دون أن يفقد السياق المكاني (على سبيل المثال، معرفة أن الإجابة موجودة في الزاوية "العلوية اليمنى").

التدريب: تعليم المحقق

لجعل هذا يعمل، لم يستطع الباحثون الاعتماد فقط على الذكاءات الحالية للذكاء الاصطناعي، بل كان عليهم تدريبه خصيصاً على كيف يكون محققاً.

مهمة "التعرف على الصناديق": علموا الذكاء الاصطناعي مطابقة صندوق معين على الشاشة مع رقمه التعريفي (ID). إنه يشبه تعليم طفل الإشارة إلى "الصندوق رقم 5" عند سؤاله.
مهمة "الاستدلال بالصنواديق": علموه كيف يشرح لماذا يعتبر صندوق معين مهماً. على سبيل المثال: "الصندوق رقم 7 مهم لأنه يحتوي على العنوان الجديد، بينما الصندوق رقم 2 هو مجرد العنوان القديم".
البيانات: قاموا ببناء مكتبة ضخمة من 249,000 مسألة تدريبية باستخدام مزيج من المستندات الحقيقية ونظام مؤتمت يعمل كمعلم لتوليد هذه الأمثلة.

النتائج: أذكى وأسرع

اختبر البحث هذه الطريقة على سبعة معايير مختلفة (مثل اختبار معياري لقراءة المستندات) باستخدام أربعة نماذج مختلفة للذكاء الاصطناعي.

النتيجة: حققت النماذج التي تستخدم Doc-CoB درجات أفضل بشكل ملحوظ. في الواقع، تفوق نموذج أصغر وأرخص باستخدام هذه الطريقة على "نموذج خارق" أكبر وأغلى ثمناً (GPT-4o) في جميع الاختبارات السبعة.
لماذا ينجح الأمر: إنه يمنع الذكاء الاصطناعي من التشتت بالنصوص غير ذات الصلة ويجبره على تركيز "قدراته الذهنية" في الأماكن الصحيحة، مع الاحتفاظ بالصورة الكبيرة في ذهنه.

الخلاصة

Doc-CoB هي خدعة بسيطة ولكنها قوية: لا تحاول قراءة كل شيء في وقت واحد. أولاً، ابحث عن المواضع الصحيحة، حددها، ثم اقرأها بعناية مع إبقاء الصفحة كاملة في مجال رؤيتك. هذا النهج يجعل الذكاء الاصطناعي أفضل بكثير في فهم المستندات المعقدة دون الحاجة إلى تغيير البنية الأساسية لعقل الذكاء الاصطناعي.

ملخص تقني: Doc-CoB

بيان المشكلة

يتضمن فهم المستندات إجراء الإجابة على الأسئلة (QA) واستخراج المعلومات (IE) عبر صور المستندات، والتي تتميز بكثافة معلومات عالية وتخطيطات معقدة. تستخدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية عادةً استراتيجية "المرور الواحد" (one-pass)، حيث تعالج الصورة بأكملة بشكل موحد. يفترض هذا النهج ضمنيًا أن جميع المناطق متساوية في الأهمية، مما يؤدي غالبًا إلى تضليل النماذج بمعلومات بصرية زائدة عن الحاجة ودفعها لاستنتاج الإجابات من مناطق غير صحيحة. في المقابل، تلجأ استراتيجيات "من العام إلى الخاص" (coarse-to-fine) الموجودة في مهام السؤال والجواب البصرية العامة غالبًا إلى الاقتصاص المباشر أو التكبير لمنطقة محددة. وبينما يقلل هذا من الحشو البصري، إلا أنه يتخلص من معلومات التخطيط الحرجة الفريدة للمستندات، مثل العلاقات المكانية، والمواقع النسبية، والاعتمادات المتبادلة بين المناطق، مما يتسبب في الفشل في الاستعلامات الحساسة للتخطيط.

يتمثل التحدي الجوهري الذي يعالجه البحث في كيفية اتباع نموذج استدلال من العام إلى الخاص لفهم المستندات مع الحفاظ على سياق التخطيط العالمي الضروري للاستنتاج الدقيق.

المنهجية: Doc-CoB

يقترح المؤلفون Doc-CoB (سلسلة الصناديق - Chain-of-Boxes)، وهو إطار عمل يمكّن النماذج اللغوية الكبيرة متعددة الوسائط من أداء فهم المستندات من خلال استدلال بصري مدرك للتخطيط ومن "العام إلى الخاص" دون تعديل بنية النموذج الأساسي. يعمل الإطار عبر مرحلتين متميزتين، باستخدام التلقين البصري لتوجيه الانتباه:

المرحلة الأولى: اختيار الصندوق الرئيسي (Key Box Selection)
- يستخرج محلل التخطيط ( $\Lambda$ ) مجموعة من صناديق التخطيط المرشحة ( $B$ ) من صورة المستند ( $x_I$ ).
- يتم تخصيص معرف فريد لكل صندوق ووضعه فوق الصورة لإنشاء صورة مُلقنة بصريًا ( $X^S_1$ ).
- يتم توجيه النموذج اللغوي الكبير ( $f$ ) لاختيار المجموعة الفرعية من معرفات الصناديق ( $I_{key}$ ) الأكثر صلة بالاستعلام ( $Q$ ). يتم صياغة ذلك كعملية تنبؤ متعدد الخيارات فوق الصناديق المرشحة.
المرحلة الثانية: الإجابة المركزة (Focused Answering)
- يتم تمييز الصناديق الرئيسية المختارة ( $B_{key}$ ) بحدود حمراء على الصورة الأصلية لإنشاء صورة ثانية مُلقنة بصريًا ( $X^S_2$ ).
- من الأهمية بمكان أنه يتم الاحتفاظ بصورة المستند بأكملها بدلاً من اقتصاصها. هذا يحافظ على السياق العالمي والعلاقات المكانية مع التأكيد على المناطق ذات الصلة.
- يقوم النموذج اللغوي الكبير بتوليد الإجابة النهائية ( $A$ ) بناءً على هذه الصورة المميزة والاستعلام.

مهام الاستدلال وبناء البيانات

لدعم هذا النموذج، قدم المؤلفون مهمتين محددتين للاستدلال لتعزيز فهم النموذج للتخطيط والدلالات:

التعرف على الصنبوخ (Box Recognition): يتعلم النموذج ربط صندوق بصري محدد بمعرفه المقابل.
الاستدلال على الصندوق (Box Reasoning): يتعلم النموذج وصف الدور الدلالي لصندوق محدد في الإجابة على استعلام معين.

لتدريب هذه القدرات، تم بناء خط إنتاج تلقائي لتوليد البيانات باستخدام GPT-4o كمُلحق لغوي وMinerU كمحلل تخطيط بصري. عالج هذا الخط تسعة مجموعات بيانات مستندات موجودة (بما في ذلك DocVQA، DeepForm، SROIE، FUNSD، إلخ) لإنتاج:

249,601 عينة تدريب لإطار عمل Doc-CoB.
126,970 عينة للتعرف على الصندوق.
269,108 عينة للاستدلال على الصندوق.
تتضمن هذه العينات إشرافًا بصريًا وسيطًا، حيث يتم تصنيف الصناديق "المفيدة" (التي تحتوي على أدلة) والصناديق "المربكة" (التي تشبه الاستعلام ولكنها غير صحيحة) بشكل صريح.

المساهمات الرئيسية

إطار عمل Doc-CoB: نموذج جديد ذو مرحلتين يدمج الاستدلال البصري المدرك للتخطيط من "العام إلى الخاص" في النماذج اللغبية الكبيرة متعددة الوسائط عبر التلقين البصري، مما يوازن بين التركيز على المنطقة الرئيسية والحفاظ على السياق العالمي.
مهام الاستداء والبيانات: اقتراح مهام التعرف على الصندوق والاستدلال على الصندوق، مدعومة بمجموعة بيانات واسعة النطاق تضم أكثر من 249 ألف عينة مع إشراف بصري وسيط مصمم خصيصًا لاستدلال تخطيط المستندات.
الأداء والتعميم: تجارب مكثفة تثبت أن Doc-CoB يحسن الأداء بشكل كبير عبر سبعة معايك اختبار وأربعة هياكل مختلفة للنماذج اللغبية الكبيرة متعددة الوسائط (تتراوح من 2 مليار إلى 40 مليار معلمة)، بما في ذلك النماذج التي لم يتم تدريبها مسبقًا على المستندات.

النتائج التجريبية

يقيم البحث Doc-CoB على سبعة معايك (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) باستخدام أربعة نماذج لغبية كبيرة متعددة الوسائط: InternVL2 (2B/8B)، Qwen2.5-VL، و DocOwl 1.5.

مكاسب الأداء: يحسن Doc-CoB الأداء باستمرار عبر جميع النماذج ومجموعات البيانات. والجدير بالذكر أن نموذج InternVL2-8B-CoB يحقق نتائج رائدة (state-of-the-art) في ستة مجموعات بيانات ويتفوق على نموذج InternVL2-40B الأكبر حجمًا ونموذج GPT-4o مغلق المصدر في جميع المعايك السبعة. على سبيل المثال، في DeepForm، يحقق InternVL2-8B-CoB نسبة 80.06%، وهو تحسن كبير مقارنة بأساس التدريب (SFT) البالغ 36.33%.
دراسات الاستبعاد (Ablation Studies):
- إزالة نموذج المرحلتين (باستخدام مجموعة بيانات CoB فقط للاستدلال في مرور واحد) أدى إلى تحسينات، لكنه ظل أدنى من نهج المرحلتين الكامل، مما يؤكد قيمة نموذج الاستدلال نفسه.
- إزالة مهام الاستدلال المحددة يقلل من الأداء، مما يشير إلى أن النماذج اللغبية الكبيرة الحالية تفتقر إلى القدرة الجوهرية على استغلال الإطار بالكامل دون إشراف مستهدف.
- استبدال مدخل الصورة الكاملة في المرحلة الثانية بصور مقصوصة أدى إلى انخفاض كبير في الأداء (5-15 نقطة)، مما يؤكد ضرورة الحفاظ على سياق التخطيط العالمي.
الكفاءة: على الرغم من معالجة صورتين، يسمح Doc-CoB بإعدادات دقة فعالة أقل، مما يؤدي إلى استخدام إجمالي للرموز (tokens) مساوٍ أو أقل من الاستدلال التقليدي مع تحقيق دقة أعلى.
المتانة: تظل الطريقة فعالة عند استخدام محللات تخطيط مختلفة (مثل OCR+K-means، Marker) وتظهر قدرة قوية على التعميم من نوع "الصفر محاولة" (zero-shot) على مجالات غير مرئية مثل الرسوم البيانية (infographics) والمستندات متعددة الصفحات.

الأهمية والقيود

يزعم البحث أن Doc-CoB يثبت أن الاستدلال البصري الصريح والمدرك للتخطيط يمكن أن يعزز بشكل كبير قدرات فهم المستندات في النماذج اللغبية الكبيرة متعددة الوسائط دون تغييرات في البنية. ويسلط الضوء على أن الجمع بين نموذج استدلال من "العام إلى الخاص" والإشراف الوسيط المستهدف أمر بالغ الأهمية للتعامل مع التحديات الفريدة لتخطيط المستندات.

القيود التي أقر بها المؤلفون:

تراكم الضجيج: بينما تعمل استراتيجيات توليد البيانات على تقليل الضجيج الناتج عن تحليل التخطيط، لا يمكن القضاء تمامًا على ضجيج وقت الاستدلال، وقد يتراكم عبر المراحل.
الاختيار في جولة واحدة: يقوم خط الإنتاج الحالي بجولة واحدة فقط من اختيار الصناديق. يقترح المؤلفون أن آلية التحقق الذاتي للتحسين التكراري قد تعزز المتانة بشكل أكبر.
درجة التفصيل (Granularity): يعالج الإطار الاستدلال على مستوى التخطيط ولكنه لا يحل مشكلات الغموض داخل الصندوق (مثل أخطاء OCR أو النصوص الغامضة داخل صندوق مختار)، والتي تظل مصدرًا للفشل.