From Pixels to Pairs: A Comprehensive Benchmark of LLM-Driven Key–Value Extraction in Noisy Document Settings
تقدم هذه الورقة إطار عمل شامل للتقييم المرجعي يقيم متانة النماذج اللغوية الكبيرة في استخراج أزواج (المفتاح-القيمة) من المستندات الناتجة عن التعرف الضوئي على الحروف (OCR) المشوبة بالضجيج، مما يكشف أن الأداء مع النصوص النظيفة هو مؤشر غير موثوق للقدرة على الموثوقية في العالم الحقيقي، ويتحدى الافتراضات حول ثبات ترتيب النماذج والفوائد الرتيبة لأسلوب التلقين بلقطات قليلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، تُحبس كميات هائلة من المعلومات داخل الوثائق الورقية: الفواتير، والسجلات الطبية، والنماذج الحكومية. ولجعل هذه البيانات مفيدة للحواسيب، يجب علينا أولاً تحويل صور هذه الصفحات إلى نص، وهي عملية تُسمى التعرف الضوئي على الحروف. وبمجرد أن يتحول الصورة إلى نص، يقوم طبقة ثانية من الذكاء، تُعرف باسم النموذج اللغوي الكبير، بقراءة ذلك النص للعثور على قطع محددة من المعلومات، مثل إجمالي المبلغ المستحق أو اسم العميل. هذه العملية المكونة من خطوتين هي العمود الفقري للعديد من الأنظمة الآلية، ومع ذلك فهي تعتمد على سلسلة هشة. فإذا أنتجت الخطوة الأولى نسخة مشوشة أو غير دقيقة من النص، فعلى الخطوة الثانية أن تتعامل مع هذا الضجيج، مما يؤدي غالباً إلى أخطاء يصعب تتبعها. لسنوات، اختبر الباحثون هذه النماذج الذكية باستخدام نصوص نظيفة ومثالية، بافتراض أنه إذا عمل النموذج بشكل جيد على صفحة مثالية، فسيعمل بشكل جيد على صفحة ممسوحة ضوئياً حقيقية. وقد ترك هذا الافتراض فجوة في فهمنا لكيفية تصرف هذه الأنظمة فعلياً عندما تواجه الواقع الضبابي أو الملطخ أو المشوه للعالم المادي.
تأتي دراسة جديدة أجرتها زهرة أنفاري من جامعة ويستكليف لتسد هذه الفجوة وتكتشف ما يحدث حقاً عندما تلتقي هذه الأدوات الرقمية بالواقع غير المثالي. قامت الباحثة بإعداد تجربة واسعة النطاق ومنضبطة لاختبار خمسة أنواع مختلفة من النماذج اللغوية الذكية. طُلب من هذه النماذج استخراج أزواج محددة من (المفتاح-القيمة) — مثل مطابقة التسمية "التاريخ" مع الرقم "12/05/2023" — من ثلاثة أنواع مختلفة من الوثائق: النماذج المعقدة، والإيصالات البسيطة، والفواتير الكثيفة. ولمحاكاة العالم الحقيقي، لم تكتفِ الدراسة بتغذية النماذج بنصوص مثالية، بل قامت بتمرير صور الوثائق الأصلية عبر ثلاثة محركات مختلفة للتعرف الضوئي على الحروف، وهي أدوات برمجية تحول الصور إلى نصوص. ومن المعروف أن هذه المحركات ترتكب أخطاء، مثل استبدال الصفر بحرف 'O'، أو كسر كلمة إلى نصفين، أو بعثرة ترتيب الأسطر. ثم قارنت الدراسة كيف كان أداء النماذج عند إعطائها النص الأصلي المثالي مقابل النص الفوضوي الناتج عن الآلة.
وكشفت النتياج أن الاعتقاد الشائع حول هذه النماذج كان غير صحيح إلى حد كبير. فقد وجدت الدراسة أن قدرة النموذج على الأداء الجيد على النص النظيف والمثالي ليست مؤشراً موثوقاً على كيفية تعامله مع النص المشوش والممسوح ضوئياً. في الواقع، تغير ترتيب أي من النماذج كان "الأفضل" تماماً اعتماداً على ما إذا كان النص نظيفاً أم مشوشاً. فالنموذج الذي كان المتصدر في الأداء على الوثائق المثالية غالباً ما يتراجع خلف منافسيه عندما يتعرض النص للفساد بسبب أخطاء التعرف الضوئي على الحروف. وهذا يشير إلى أن المهارات المطلوبة لقراءة صفحة مثالية تختلف عن المهارات المطلوبة لفك تشفير صفحة فوضوية. علاوة على على ذلك، أظهرت الدراسة أن هذه النماذج جيدة بشكل خاص في العثور على الفئة الصحيحة من المعلومات، مثل معرفة مكان حقل "الإجمالي"، لكنها تعاني بشكل كبير عندما تكون الأرقام أو الحروف الفعلية في ذلك الحقل خاطئة قليلاً. قد يحدد النموذج بشكل صحيح أن الوثيقة تحتوي على إجمالي، ولكن إذا أخطأ محرك التعرف الضوئي في قراءة رقم ما، فإن النموذج غالباً ما يفشل في استعادة القيمة الصحيحة، أو والأسوأ من ذلك، قد يخترع بثقة رقماً يبدو منطقياً ولكنه خاطئ لملء الفراغ.
اكتشاف آخر مفاجئ تعلق باستخدام الأمثلة لمساعدة النماذج على التعلم. من الممارسات الشائعة عرض بضعة أمثلة للمهمة على نموذج الحاسوب قبل مطالبته بأداء المهمة نفسها، وهي تقنية تُعرف باسم "التلقين بالقليل من الأمثلة" (few-shot prompting). اختبرت الدراسة ما إذا كان إعطاء النماذج مثالاً واحداً أو اثنين أو ثلاثة سيؤدي باستمرار إلى تحسين دقتها. وأظهرت النتائج أن هذا ليس حلاً مضموناً؛ إذ لم يؤدِ إضافة المزيد من الأمثلة دائماً إلى نتائج أفضل؛ بل في بعض الأحيان، أدى إعطاء النموذج المزيد من الأمثلة إلى جعل أدائه أسوأ. اعتمد نجاح هذه الطريقة بشكل كبير على النموذج المحدد المستخدم، ونوع الوثيقة، وحتى الأمثلة المحددة التي تم اختيارها لعرضها على النموذج. وفي بعض الحالات، كان أداء النموذج هو الأفضل بدون أي أمثلة على الإطلاق، بينما في حالات أخرى، كان مثال واحد كافياً، وأصبح المزيد منها عائقاً. هذا عدم الاستقرار يعني أن مجرد إضافة المزيد من أمثلة التدريب ليس حلاً سحرياً لجعل هذه الأنظمة أكثر قوة ضد أخطاء العالم الحقيقي.
كما سلطت الدراسة الضوء على أن هيكل الوثيقة نفسها يلعب دوراً حاسماً. فعندما اختبر الباحثون النماذج على نماذج تعتمد فيها العلاقة بين السؤال والإجابة على موقعهما الفيزيائي في الصفحة، انخفض الأداء بشكل حاد بمجرد تحويل النص إلى قائمة بسيطة. فبدون التخطيط البصري لتوجيهها، عانت النماذج لربط القطع الصحيحة من المعلومات. وكان هذا واضحاً بشكل خاص في الوثائق الكثيفة مثل الإيصالات التي تحتوي على العديد من بنود السطور، حيث أدى خطأ صغير في قراءة ترتيب النص إلى سلسلة من الأخطاء، مما أدى إلى عدم محاذاة الأسعار مع العناصر الخاطئة. أثبت البحث أنه بينما تعد هذه النماذ الذكية قوية، إلا أنها ليست محصنة ضد تدهور المدخلات التي تتلقاها؛ فهي لا تستطيع إعادة بناء المعلومات التي فُقدت أو فسدت سحرياً قبل أن تراها.
في النهاية، يعمل هذا العمل كفحص واقعي صارم لمجال أتمتة الوثائق. فهو يثبت أن اختبار هذه الأنظمة على بيانات مثالية فقط يعطي شعوراً زائفاً بالأمان. توفر الدراسة خريطة مفصلة لأماكن فشل هذه الأنظمة، مبينة أن المسار من صورة ممسوحة ضوئياً إلى سجل رقمي قابل للاستخدام مليء بالعثرات المحددة والمتوقعة. ومن خلال فصل الأخطاء التي يرتكبها برنامج قراءة النصوص عن الأخطاء التي يرتكبها النموذج الذكي، يقدم البحث طريقة أوضح لتقييم وتحسين هذه الأدوات. وتشير النتائج إلى أنه لبناء أنظمة موثوقة حقاً، لا يمكننا الاعتماد على النماذج وحدها لإصلاح الأخطاء التي تحدث في المراحل السابقة. بدلاً من ذلك، يجب أن نتعامل مع العملية بأكملها كسلسلة متصلة، حيث تعتمد جودة النتيجة النهائية على جودة كل حلقة، بدءاً من المسح الضوئي الأولي وصولاً إلى الاستخراج النهائي للبيانات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.