Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models
تقترح هذه الورقة إطار عمل لنماذج الرؤية واللغة الكبيرة الموجهة بالتصنيف، والذي يفصل بين تصنيف نوع المستند واستخراج المحتوى ويستفيد من التعلم في السياق لتحقيق استخراج معلومات مرئي قوي وعالي الدقة دون تدريب مسبق عبر تخطيطات مستندات متنوعة وبأقل قدر من الإشراف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قراءة كومة فوضوية من الأوراق من ألف مكتب مختلف. بعضها رخص تجارية واضحة، وبعضها نماذج تأمين باهتة، وبعضها مختوم بأختام حمراء ثقيلة تخفي النص. هذا هو عالم استخراج المعلومات المرئية (VIE). إنها القوة الخارقة التي تحتاجها الحواسيب لتحويل صورة مستند إلى قائمة بيانات منظمة ومرتبة (مثل "اسم الشركة" أو "التاريخ") يمكن للبرامج استخدامها بالفعل. لسنوات طويلة، عانت الحواسيب من هذا الأمر لأنها كان يجب تعليمها كيفية قراءة كل نوع من الأوراق بدقة، واحداً تلو الآخر. إذا قدمت لها نوعاً جديداً من النماذج لم تره من قبل، فغالباً ما كانت ترتبك أو تخترع أشياء من عندها. يغوص هذا البحث في زاوية من زوايا الذكاء الاصطعي تسمى نماذج الرؤية واللغة الكبيرة (LVLMs). فكر في هذه النماذج كأدمغة ذكاء اصطناعي فائقة الذكاء قرأت الإنترنت بأكمله ويمكنها "رؤية" الصور و"قراءة" النصوص في نفس الوقت. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا استخدام هذه الأدمغة العملاقة والذكية لقراءة أي مستند فوراً، دون الحاجة لتعليمهم كل نوع محدد من النماذج أولاً؟
يقول مؤلفو هذا البحث: "نعم، ولكن مع لمسة ذكية". فهم يقترحون نظاماً يعمل مثل أمين مكتبة منظم للغاية يقوم أولاً بفرز البريد قبل محاولة قراءته. فبدلاً من مطالبة الذكاء الاصطناعي بتخمين نوع المستند أثناء محاولة قراءته، يقوم منهجهم أولاً بتحديد نوع المستند بسرعة (مثل "رخصة تجارية" أو "شهادة الضمان الاجتماعي") ثم يقدم للذكاء الاصطناعي ورقة تعليمات مخصصة لهذا النوع تحديداً. وقد أطلقوا على هذا المنهج اسم النهج الموجه بالتصنيف (classification-guided). ومن خلال فصل خطوة "ما هذا؟" عن خطوة "قراءة التفاصيل"، وجدوا أن الذكاء الاصطناعي يصبح أكثر دقة وأقل عرضة لـ "الهلوسة" (اختلاق معلومات غير موجودة).
إليك كيف يعمل نظام "أمين المكتبة الذكي" هذا في العالم الحقيقي. تخيل أن لديك كومة من 16 نوعاً مختلفاً من الشهادات، بعضها يحتوي على علامات مائية، وبعضها بختوم باهتة، وبعضها بنصوص بخطوط غريبة. الطريقة القديمة للقيام بذلك كانت تتطلب بناء روبوت منفصل لكل نوع من أنواع الشهادات، أو تغذية الذكاء الاصطناعي بدليل تعليمات ضخم ومربك يحاول تغطية كل الاحتمالات الممكنة في آن واحد. لقد جرب المؤلفون نهج "الدليل الضخم"، وفشل؛ حيث ارتبك الذكاء الاصطناعي، تماماً مثل طالب يحاول الدراسة لـ 16 امتحاناً مختلفاً في وقت واحد.
بدلاً من ذلك، قاموا ببناء عملية مكونة من خطوتين. أولاً، ينظر مصنف سريع إلى الصورة ويقول: "آه، هذه رخصة تجارية!" أو "هذه شهادة ضمان اجتماعي!". وبمجرد معرفة النوع، يقوم النظام بإنشاء مطالبة ديناميكية (dynamic prompt). هذا يشبه تقديم ورقة غش محددة للذكاء الاصطناعي تقول: "حسناً، بالنسبة للرخصة التجارية، ابحث عن اسم الشركة في الأعلى والتاريخ في الأسفل. إليك مثالان لكيفية القيام بذلك". تساعد هذه التقنية، التي تسمى التعلم داخل السياق (In-Context Learning)، الذكاء الاصطناعي على التركيز فقط على الأدلة ذات الصلة.
كانت النتائج قوية بشكل مفاجئ. عندما اختبروا هذا على مجموعة بيانات حقيقية تضم ما يقرب من 30,000 صورة من منصة عطاءات (والتي تتضمن مستندات صعبة تحتوي على أختام وتباين منخفض)، حققت طريقتهم في "التعلم الصفري" (أي أنهم لم يحتاجوا حتى لتدريب الذكاء الاصطناعي على هذه المستندات المحددة أولاً) درجة F1 بلغت 86.43%. ولوضع ذلك في السياق، فإن طريقة تقليدية قوية جداً تتطلب الكثير من التدريب سجلت فقط 68.08%. هذا قفزة هائلة قدرها 18.35 نقطة مئوية. والأفضل من ذلك، عندما خصصوا وقتاً لضبط النموذج (fine-tuning) باستخدام بضعة أمثلة فقط، ارتفعت الدرجة إلى 93.65%.
يشرح البحث أيضاً لماذا يعمل هذا بشكل جيد باستخدام بعض الأفكار الرياضية الرائعة. فهم يقترحون أنه من خلال إعطاء الذكاء الاصطناعي مطالبة محددة بناءً على نوع المستند، فإنهم يقللون من "الضجيج" في التعليمات. الأمر يشبه خفض صوت محطة راديو لا تبث الأغنية التي تريدها لتتمكن من سماع أغنيتك بوضوح. عندما يحاول الذكاء الاصطناعي قراءة مستند باستخدام مطالبة عامة لجميع المستندات، فإن انتباهه يصبح "مخففاً" (diluted)؛ أي أنه يتشتت بالقواعد غير ذات الصلة. ومن خلال الانتقال إلى مطالبة محددة، يركز انتباه الذكاء الاصطناعي بحدة على التفاصيل الصحيحة.
أحد أكثر النتائج إثارة هو أن هذه الطريقة قوية للغاية. فقد تعاملت مع المستندات ذات الأختام الثقيلة، والعلامات المائية، والنصوص الباهتة بشكل أفضل بكثير من الطرق القديمة. كما لاحظ المؤلفون أن نظامهم سريع؛ حيث عالج النموذج الأصغر (Qwen2.5-VL-7B) الصور في حوالي 2.6 ثانية، وهو أسرع بكثير من النماذج الضخمة التي تحتوي على 72 مليار معلمة والتي استغرقت 6.5 ثانية لكل صورة، ومع ذلك كان أكثر دقة.
ومع ذلك، كان المؤلفون صادقين بشأن الحدود. فالنظام ليس مثالياً. إذا أخطأت الخطوة الأولى (تحديد نوع المستند)، فإن الخطوة الثانية (قراءة التفاصيل) ستتبع التعليمات الخاطئة وترتكب أخطاء. كما لاحظوا أن الذكاء الاصطناعي يعاني أحياناً مع النصوص الطويلة جداً أو عندما يكون المستند باهتاً لدرجة تجعل النص غير قابل للقراءة، مما يؤدي بالذكاء الاصطناعي إلى التخمين بناءً على ما يعتقد أنه يجب أن يكون موجوداً بدلاً مما هو موجود بالفعل. ولكن بشكل عام، هم يجادلون بأن استراتيجية "الفرز ثم القراءة" هذه توفر طريقة قوية وقابلة للتوسع لأتمتة الأعمال المكتبية، وتحويل كومة فوضوية من الصور إلى بيانات نظيفة وقابلة للاستخدام دون الحاجة لفريق من البشر لتسمية كل مستند على حدة أولاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.