ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction
تقدم هذه الورقة ExtractBench، وهو معيار شامل لتقييم استخراج المستندات في المؤسسات الموجه بالمخططات عبر 370 مستنداً و67 نوعاً، والذي يكشف أن LlamaExtract Agentic Plus يحقق دقة وتأصيلاً في أعلى مستوياتهما بتكلفة أقل بكثير مقارنة بوكلاء البرمجة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز ما، ولكن بدلاً من مسرح جريمة، فإن مسرح جريمتك هو كومة فوضوية من الأوراق. بعض الأوراق منسقة ومطبوعة، وبعضها الآخر عبارة عن إيصالات مجعدة عليها كتابات يدوية مشطوبة، وبعضها طويل جداً لدرجة أنه يمتد عبر رف كتب كامل. في عالم الذكاء الاصطناعي، هناك نوع خاص من الروبوتات يسمى "الوكيل" (agent) يتم تعليمه قراءة هذه المستندات. مهمته هي العثور على أدلة محددة — مثل تاريخ، أو مبلغ مالي، أو اسم — وكتابتها في قائمة مرتبة ومنظمة تسمى "المخطط" (schema). فكر في المخطط كأنه وصفة صارمة: يجب على الروبوت اتباعها بدقة، بغض النظر عن مدى فوضوية المكونات (المستندات) التي أمامه.
لكن الجزء الصعب هنا هو أنه ليس لمجرد أن الروبوت يكتب الأرقام الصحيحة يعني أنه قد "رآها" حقاً. قد يكون قد خمن، أو ربما فاتته صفحة كاملة من الأدلة. بالنسبة للشركات، هذا أمر بالغ الأهمية. إذا كان من المفترض أن يقرأ روبوت آلاف مطالبات التأمين أو كشوف الحسابات البنكية، فإنه يحتاج ألا يكون دقيقاً فحسب، بل يجب أن يكون قادراً أيضاً على الإشارة بإصبعه إلى المكان المحدد في الصفحة حيث وجد الإجابة. إذا أخطأ، فسيحتاج البشر إلى القدرة على مراجعة الأدلة بسرعة. هذا هو تحدي "الاستخراج الموجه بالمخطط" (schema-guided extraction): جعل الروبوت يتبع وصفة بدقة، حتى عندما تكون المكونات فوضوية، أو طويلة، أو مكتوبة بألوان الشمع.
هنا يأيد ExtractBench، وهو اختبار جديد وشديد الصعوبة صُمم لمعرفة أي روبوتات الذكاء الاصطناعي مستعدة حقاً للعالم الواقعي. لم يرد الباحثون وراء هذه الدراسة معرفة ما إذا كانت الروبوتات تستطيع القراءة فحسب؛ بل أرادوا معرفة ما إذا كان بإمكانها قراءة كل شيء بشكل صحيح، وإظهار خطوات عملها، والقيام بذلك دون تكبد ثروة طائلة. لقد بنوا "قاعة امتحانات" ضخمة تحتوي على 370 نوعاً مختلفاً من المستندات — تتراوح من الإيصالات القصيرة إلى التقارير الحكومية المكونة من 50 صفحة — تغطي 8 صناعات مختلفة مثل التمويل والطاقة والرعاية الصحية. حتى أنهم ضمنوا مستندات تم مسحها ضوئياً، أو مكتوبة بخط اليد، أو تحتوي على جداول غريبة تمتد عبر صفحات متعددة.
المفاجأة الكبرى؟ الروبوتات التي تبدو "الأذكى" لم تفز دائماً. وجدت الدراسة أنه بينما تبرع بعض نماذج الذكاء الاصطناعي القوية في قراءة المستندات القصيرة والنظيفة، إلا أنها غالباً ما "تتعب" وتتوقف عن القراءة في منتصف المستندات الطويلة، مما يؤدي إلى فقدان أجزاء ضخمة من البيانات. ومن ناحية أخرى، هناك روبوتات تكتب أكوادها الخاصة لحل المشكلة، وهي دقيقة جداً ولكنها تكلف الكثير من المال لتشغيلها. اكتشف الباحثون "نقطة مثالية" مع نظام يسمى LlamaExtract Agentic Plus. فقد تمكن من الحصول على الإجابات الصحيحة بنفس وتيرة الروبوتات المكلفة التي تكتب الأكواد تقريباً، لكنه فعل ذلك بجزء بسيط من التكلفة.
ومع ذلك، كشفت الدراسة عن نقطة ضعف رئيسية. حتى أفضل الروبوتات تعاني مع "التأصيل" (grounding) — أي القدرة على الإشارة إلى الكلمة المحددة في الصفحة التي أعطتهم الإجابة. فبينما استطاعت بعض الأنظمة إخبارك في أي صفحة توجد الإجابة، فإن أقل من نصفها استطاع الإشارة إلى الكلمة المحددة. تشير الورقة البحثية إلى أنه بينما نتحسن في الحصول على الأرقام الصحيحة، فإن تعليم الروبوتات كيفية إظهار خطوات عملها (واجباتها المدرسية) بشكل موثوق لا يزال عملاً قيد التطوير. باختصار، يثبت ExtractBench أنه بالنسبة لأعمال الشركات، أنت لا تحتاج فقط إلى روبوت ذكي؛ بل تحتاج إلى روبوت يتسم بالشمولية، والأمانة بشأن مكان العثور على أدلته، ولا يكسر الميزانية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.