OCR or Not? Rethinking Document Information Extraction in the MLLMs Era with Real-World Large-Scale Datasets
تقدم هذه الورقة دراسة معيارية واسعة النطاق تثبت أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) القوية يمكنها تحقيق أداء في استخراج معلومات المستندات يضاهي مسارات العمل التقليدية المعززة بتقنية التعرف الضوئي على الحروف (OCR) باستخدام مدخلات الصور فقط، مع توفير إطار عمل آلي لتحليل الأخطاء وإرشادات عملية لتحسين المخطط والتعليمات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك كومة ضخمة من الفواتير الورقية، وعروض أسعار التأمين، وكشوف الحسابات البنكية من جميع أنحاء العالم. هدفك هو تحويل هذه الكومة الورقية الفوضوية إلى جدول بيانات رقمي منظم يمكن للكمبيوتر فهمه.
لسنوات، كانت الطريقة القياسية للقيام بذلك تشبه سباق تتابع بين شخصين:
- العداء (أ) (تقنية التعرف الضوئي على الحروف - OCR): روبوت متخصص يقوم بمسح الورقة ضوئياً، ويقرأ الكتابة اليدوية والنصوص، ثم يطبعها في مستند رقمي.
- العداء (ب) (المستخرج): روبوت ثانٍ يأخذ هذا النص المطبوع ويحدد أي رقم يمثل "إجمالي الفاتورة" وأيها يمثل "التاريخ".
المشكلة؟ إذا ارتكب العداء (أ) خطأً مطبعياً (مثل قراءة الرقم "1" على أنه حرف "I")، سيصاب العداء (ب) بالارتباك وتفشل السباق بأكمله. بالإضافة إلى ذلك، فإن بناء وتدريب روبوتين مختلفين هو أمر مكلف ومعقد.
السؤال الكبير: هل ما زلنا بحاجة إلى العداء (أ)؟
مع ظهور نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) — وهي ذكاء اصطناعي فائق الذكاء يمكنه "رؤية" الصور و"قراءة" النصوص في آن واحد — طرح الباحثون سؤالاً جريئاً: "هل يمكننا ببساادة تخطي العداء (أ) تماماً؟ هل يمكن لذكاء اصطناعي خارق واحد أن ينظر إلى صورة الفاتورة ويقوم بالمهمة كاملة بنفسه؟"
هذه الورقة البحثية، التي كتبها خبراء من SAP وستانفورد، تشبه "اختبار تذوق" ضخم لمعرفة ما إذا كان نهج "الروبوت الواحد" جاهزاً لعالم الواقع.
التجربة: "اختبار التذوق"
جمع الباحثون مجموعة بيانات ضخمة وصعبة من المستندات التجارية الحقيقية (آلاف الصفحات بلغات عديدة وتنسيقات فوضوية). واختبروا أفضل نماذج الذكاء الاصطناعي من شركات مثل Google وOpenAI وAmazon باستخدام ثلاث "وصفات" مختلفة:
- الطريقة القديمة (OCR فقط): تغذية الذكاء الاصطناعي بالنص المطبوع فقط من الماسح الضوئي.
- الطريقة الجديدة (صورة فقط): تغذية الذكاء الاصطناعي بالصورة الخام للمستند فقط.
- الخليط (صورة + نص): تغذية الذكاء الاصطناعي بكل من الصورة والنص المطبوع معاً.
النتائج المفاجئة
هنا تظهر حبكة القصة:
- النماذج "الخارقة" لا تحتاج إلى عكاز: بالنسبة لنماذج الذكاء الاصطناعي الأكثر قوة (مثل Gemini من Google وNova من Amazon)، كان إعطاؤها الصورة فقط يعمل بنفس كفاءة، أو أحياناً بشكل أفضل من، إعطائها النص المطبوع.
- التشبيه: تخيل طاهياً ماهراً يمكنه تذوق الطبق ومعرفة المكونات الموجودة فيه بدقة. أنت لا تحتاج لإعطائه وصفة مكتوبة أولاً؛ يمكنه ببساطة النظر إلى الطعام ومعرفة كل شيء. هذه النماذج القوية تمتلك "OCR داخلي" — فهي تستطيع قراءة النص داخل الصورة ببراعة تجعلها لا تحتاج لروبوت منفصل ليطبع لها النص.
- "الخليط" قد يسبب الفوضى: في بعض الأحيان، جعل إعطاء الذكاء الاصطناعي الصورة والنص المطبوع معاً يجعله أسوأ.
- التشبيه: الأمر يشبه محاولة الاستماع إلى أغنية بينما يصرخ شخص ما بالكلمات في أذنك. إذا كان هناك خطأ صغير في الصراخ (نص الـ OCR)، فإنه يشتت المستمع (الذكاء الاصطناعي) الذي كان يحاول بالفعل سماع الموسيقى (الصورة). المعلومات الإضافية خلقت ضجيجاً بدلاً من الوضوح.
- الأكبر ليس دائماً الأفضل (للجميع): بشكل عام، أدت النماذج الأكبر أداءً أفضل. ومع ذلك، بالنسبة لبعض النماذج مفتوحة المصدر، لم يساعدها جعلها أكبر في قراءة الصور بشكل أفضل. يبدو أنها تدربت على "أنظمة غذائية" مختلفة من البيانات، حيث أصبحت النماذج الأكبر أسوأ في قراءة النصوص مباشرة من الصور.
"تشريح" الأخطاء
لم يكتفِ الباحثون بالنظر إلى الدرجات فقط؛ بل بنوا "محققاً رقمياً" (إطار عمل آلي لتحليل الأخطاء) لمعرفة لماذا فشل الذكاء الاصطناعي. ووجدوا ثلاثة أنواع رئيسية من الأخطاء:
- سوء الفهم: رأى الذكاء الاصطناعي النص لكنه اعتقد أن "8.00" تعني "1" لأنه لم يفهم السياق.
- الخلل البصري: رأى الذكاء الاصطناعي حرف "I" وظن أنه الرقم "1" لأن شكلهما متشابه في الصورة.
- ارتباك التنسيق: فقد الذكاء الاصطناعي تركيزه لأن المستند كان فوضوياً، أو لأن النص المطبوع من الماسح الضوئي لم يكن متوافقاً مع مكانه (على سبيل المثال، كلمة "الإجمالي" كانت في سطر خاطئ).
الاكتشاف الكبير: عندما نظر الذكاء الاصطناعي إلى الصورة الخام، ارتكب أخطاء أقل في "ارتباك التنسيق". لماذا؟ لأن الذكاء الاصطناعي استطاع رؤية الصورة الكاملة — المربعات، الخطوط، والمسافات — تماماً كما يفعل البشر. عندما تعطيه فقط النص المطبوع، فأنت تجرده من كل تلك القرائن البصرية، مما يجعل من الصعب معرفة أي رقم ينتمي لأي فئة.
الخلاصة: مستقبل أكثر بساطة
تخلص الورقة البحثية إلى أنه بالنسبة للذكاء الاصطناعي الحديث والقوي، قد لا نعود بحاجة إلى خطوة "التعرف الضوئي على الحروف (OCR)" القديمة.
- الطريقة القديمة: مسح ضوئي -> طباعة -> استخراج (معقدة، عرضة للأخطاء، ومكلفة).
- الطريقة الجديدة: النظر إلى الصورة -> استخراج (بسيطة، أسرع، وغالباً أكثر دقة).
من خلال مجرد تعديل التعليمات (الـ prompt) وإعطاء الذكاء الاصطناعي بعض الأمثلة لما يجب البحث عنه، تمكنوا من جعل نهج "الصورة فقط" أفضل، بل والتفوق على الطرق التقليدية.
باختصار: مستقبل قراءة المستندات قد لا يتعلق بتعليم الحواسيب كيفية طباعة ما تراه أولاً، بل بتعليمها كيف تنظر إلى الصفحة وتفهمها بالكامل دفعة واحدة، تماماً كما يفعل البشر. وهذا يعني أنظمة أسرع، أرخص، وأبسط للشركات في كل مكان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.