💬 NLP

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

تُظهر هذه الدراسة أنه بالنسبة للنماذج اللغوية الكبيرة للأغراض العامة التي تستخرج المعلومات من فواتير الكهرباء الإسبانية دون ضبط دقيق، فإن جودة هندسة الأوامر هي العامل الحاسم في دفع الأداء، حيث تفوقت استراتيجيات التعلم بلقطات قليلة بشكل كبير على خطوط الأساس للتعلم من الصفر لتحقيق درجات F1 تتجاوز 96%.

المؤلفون الأصليون: Javier Gómez, Javier Sánchez

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Javier Gómez, Javier Sánchez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك كومة ضخمة من فواتير الكهرباء من شركات مختلفة. بعضها مرتب ونظيف، وبعضها الآخر فوضوي، وجميعها تبدو مختلفة قليلاً. هدفك هو استخراج أرقام وأسماء محددة (مثل "إجمالي التكلفة" أو "اسم العميل") من كل فاتورة على حدة وإدخالها في جدول منظم.

لسنوات، عانت الحواسيب مع هذه المهمة. كانت البرامج القديمة أشبه بروبوتات جامدة: إذا بدا شكل الفاتورة مختلفاً ولو بجزء بسيط عما تدربت عليه، فإنها تصاب بالارتباك وتفشل.

يتحدث هذا المقال عن تعليم نوع جديد من "الروبوتات فائقة الذكاء" (ما يسمى بنماذج اللغات الكبيرة، أو LLM) كيفية قراءة هذه الفواتير دون الحاجة إلى إعادة تدريبها لكل تصميم جديد. تساءل الباحثون: هل يمكننا ببساطة إعطاء هذه الروبوتات الذكية التعليمات الصحيحة، وهل ستفهم الأمر من تلقاء نفسها؟

إليك ملخص لنتائجهم، باستخدام بعض التشبيهات من الحياة اليومية:

1. "الوصفة" أهم من "قبعة الطاهي"

اختبر الباحثون نوعين مختلفين من "الطهاة" (نماذج الذكاء الاصطناعي): Gemini 1.5 Pro (طاهٍ ضخم ومعقد) و Mistral-small (طاهٍ أصغر، أسرع، وأكثر كفاءة).

كما جربوا تعديل "إعدادات الطبخ" (المعلمات التقنية مثل درجة الحرارة والعشوائية). توقعوا أنه ربداً ما قد يكون الطاهي الأكبر أو إعدادات الطبخ المثالية هي التي ستحدث الفرق الأكبر.

المفاجأة: لم يشكل الأمر فرقاً يُذكر أي طاهٍ استخدموا أو كيف عدلوا الإعدادات. كان الفرق في النتائج ضئيلاً جداً – مثل الفرق بين كعكة مثالية بنسبة 99% وأخرى مثالية بنسبة 99.5%.

الفائز الحقيقي: هو الـ Prompt (التعليمات المعطاة للذكاء الاصطناعي).
فكر في الـ Prompt كأنه الوصفة.

Zero-Shot (بدون وصفة): مجرد قول "اقرأ هذه الفاتورة وأعطني الأرقام" يشبه إخبار الطاهي بأن يطبخ بدون وصفة. كانت النتائج مقبولة (حوالي 78% دقة)، لكنها لم تكن رائعة.
Few-Shot (مع أمثلة): إعطاء الذكاء الاصطناعي بعض الأمثلة ("هذه فاتورة، وهذه هي نقاط البيانات التي أحتاجها") يشبه إعطاء الطاهي طبقاً مثالياً ليقلده. قفزت الدقة إلى أكثر من 96%.

الدرس المستفاد: الأمر لا يتعلق بامتلاك أغلى طاهٍ أو أكثر الأفران حداثة؛ بل يتعلق بكتابة وصفة جيدة حقاً.

2. استراتيجية "النسخ" هي الأفضل

جرب الباحثون طرقاً مختلفة لتقديم الأمثلة:

طريقة "المرة الواحدة" (One-Shot): عرض مثال واحد. كانت جيدة، لكنها ليست الأفضل.
طريقة "التحقق المتبادل" (Cross-Validation): وهي البطلة في هذه التجربة. لقد عرضوا على الذكاء الاصطناعي ثلاثة أنواع مختلفة من الفواتير (على سبيل المثال: واحدة بنظام الجداول، وواحدة بنظام القوائم، وواحدة معقدة) ثم طلبوا منه قراءة النوع الرابع الذي لم يره من قبل.
- النتيجة: أصبح الذكاء الاصطناعي "ناسخاً ماهراً". لقد تعلم مفهوم فاتورة الكهرباء، وليس فقط مظهر فاتورة محددة. حقق دقة بنسبة 97.6% مع Gemini و96.1% مع Mistral.

3. مشكلة "الترجمة"

قبل أن يتمكن الذكاء الاصطناعي من قراءة الفواتير، كان على الباحثين تحويل ملفات الـ PDF إلى نص (Markdown).

التشبيه: تخيل أنك تحاول قراءة ملاحظة مكتوبة بخط اليد تم نسخها عبر نافذة متسخة. إذا كانت الملاحظة في جدول نظيف، سيخرج النص واضحاً. أما إذا كانت الملاحظة مضغوطة في تصميم فوضوي متعدد الأعمدة، فسيصبح النص مختلطاً وغير مفهوم.
الاستنتاج: كان الذكاء الاصطناعي جيداً بقدر جودة النص الذي يتلقاه. إذا كانت الفاتورة ذات تصميم جدولي نظيف، كان الذكاء الاصطناعي شبه مثالي. أما إذا كانت الفاتورة ذات تصميم كثيف وفوضوي، فقد عانى الذكاء الاصطناعي لأن عملية "الترجمة" من PDF إلى نص قد فقدت الكثير من الأدلة الهامة.

4. فخ "الهلوسة"

حددوا اختلافاً في الشخصية بين الطاهيين:

Gemini (الطاهي الحذر): إذا لم يكن متأكداً من مكان الرقم، فإنه يقول: "لا أرى هذا الرقم". كان دقيقاً جداً ولكنه أحياناً يغفل عن بعض الأشياء.
Mistral (الطاهي الواثق): إذا لم يكن متأكداً، فإنه يخمن رقماً على أي حال. لقد وجد كل شيء تقريباً (معدل استدعاء/Recall مرتفع) ولكنه اخترع أيضاً بعض الأرقام التي لا وجود لها (معدل دقة/Precision منخفض).
الاستنتاج: إذا كنت بحاجة للتأكد بنسبة 100% أن الرقم حقيقي، فأنت تريد الطاهي الحذر. أما إذا كنت تريد العثور على كل شيء ويمكنك مراجعة الإجابات لاحقاً، فالطاهي الواثق مناسب لك.

5. الروبوتات القديمة تعجز عن المواجهة

يقارن المقال بين هؤلاء الطهاة الجدد من الذكاء الاصطناعي وبين "الروبوتات" القديمة (تعلم الآلة التقليدي).

الروبوت القديم: إذا تم تدريبه على "الفاتورة نوع أ"، فإنه يستطيع قراءة "الفاتورة نوع أ" بشكل مثالي (دقة 91%). ولكن إذا أعطيته "الفاتورة نوع ب"، فإنه ينهار ويفشل (تنخفض الدقة إلى 67%). لقد حفظ مظهر الورقة، وليس المعنى.
الذكاء الاصطناعي الجديد: لم يكن بحاجة للتدريب على "الفاتورة نوع ب". ولأنه فهم معنى فاتورة الكهرباء، فقد قرأ الأنواع الجديدة بدقة تزيد عن 95%. لقد عمّم القدرة بدلاً من حفظ النمط.

الملخص

يخلص المقال إلى أنه لكي تجعل الكمبيوتر يقرأ المستندات التجارية بشكل مثالي، لا تحتاج إلى بناء عقل فريد لكل نوع من أنواع المستندات. بدلاً من ذلك، تحتاج ببساطة إلى كتابة تعليمات أفضل وإظهار بعض الأمثلة الجيدة له.

"الوصفة السرية" ليست حجم نموذج الذكاء الاصطناعي أو الإعدادات الرياضية المعقدة؛ بل هي جودة الـ Prompt (التعليمات) ومدى جودة تحويل المستند إلى نص حتى يتمكن الذكاء الاصطناعي من قراءته.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استخراج المعلومات من فواتير الكهرباء باستخدام النماذج اللغوية الكبيرة للأغراض العامة".

1. بيان المشكلة

لا يزال الاستخراج الآلي للمعلومات المهيكلة من المستندات التجارية شبه المهيكلة (مثل فواتير الكهرباء) يمثل عائقاً حرجاً في إدارة المؤسسات. تواجه الأساليب التقليدية قيوداً كبيرة:

الأنظمة القائمة على القواعد/القوالب: تفشل عند ظهور تغييرات في التنسيق أو موردين مختلفين.
تعلم الآلة الكلاسيكي (ML): تتطلب طرق مثل (SVMs) أو (Random Forests) مجموعات بيانات موسعة وموسومة يدوياً لكل نوع جديد من المستندات، مما يؤدي إلى مشايات في التوسع ومشكلات شديدة في الإفراط في التخصيص (overfitting) لتنسيقات تدريبية محددة.
الفجوة الحالية: بينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات للاستخراج المرن دون الحاجة إلى الضبط الدقيق (fine-tuning)، إلا أن هناك نقصاً في الدراسات التجريبية الصارمة التي تقيس أداءها مقارنة بالنماذج المرجعية الكلاسيكية في مستندات أعمال محددة. وبشكل خاص، ليس من الواضح ما إذا كان هندسة الأوامر (Prompt Engineering) أم ضبط معلمات الاستدلال (مثل درجة الحرارة Temperature، وTop-p) هو المحرك الأساسي لجودة الاستخراج.

2. المنهجية

مجموعة البيانات: IDSEM

تستخدم الدراسة جزءاً من قاعدة بيانات الفواتير في سوق الكهرباء الإسباني (IDSEM).

النطاق: 75,000 فاتورة بصيغة PDF تم إنشاؤها اصطناعياً عبر 6 قوالب تدريب و9 قوالب اختبار.
التوسيم (Annotation): 107 تسمية دلالية (مثل اسم العميل، المبلغ الإجمالي، أسعار الطاقة)، منظمة في 12 فئة.
التحدي: تحتوي مجموعة البيانات على قوالب غير مرئية في مجموعة الاختبار لتقييم قدرة التعميم.
المعالجة المسبقة: تم تحويل ملفات PDF إلى صيغة Markdown للحفاظ على البنية الدلالية (الجداول، العناوين) كمدخلات للنموذج اللغوي الكبير. تضمنت عملية تنقية الحقيقة الأرضية (ground truth) ربط الـ 107 تسمية محتملة بالمجموعة الفرعية الموجودة في كل قالب لتجنب معاقبة النماذج بسبب الحقول المفقودة.

النماذج التي تم تقييمها

تم اختبار نموذجين متميزين معمارياً من النماذج اللغوية الكبيرة للأغراض العامة دون ضبط مخصص للمهمة:

Gemini 1.5 Pro: نموذج ضخم يعتمد على بنية خليط الخبراء (MoE) مع نافذة سياق هائلة.
Mistral-small: نموذج كثيف بـ 24 مليار معلمة، مُحسّن للكفاءة باستخدام تقنيات (Sliding Window) و(Grouped-Query Attention).

إطار العمل التجريبي

عزلت الدراسة متغيرين رئيسيين:

معلمات الاستدلال: تم إجراء بحث شبكي (grid search) بـ 19 تكويناً (درجة الحرارة، Top-K، Top-P) على نموذج Gemini 1.5 Pro لاختبار الحساسية.
استراتيجيات هندسة الأوامر: تمت مقارنة ست استراتيجيات مختلفة تحت إعدادات حتمية (درجة حرارة = 0) لكلا النموذجين:
- Zero-shot (بدون أمثلة): تعليمات المهمة والمخطط (schema) فقط.
- Few-shot_v1 (أمثلة قليلة - النسخة 1): مثال واحد موسوم بعلامات تسمية صريحة.
- Few-shot_v2 (أمثلة قليلة - النسخة 2): مثال واحد غير موسوم (نص مجرد).
- Cross-valid_v1 (التحقق المتقاطع - النسخة 1): ثلاثة أمثلة من قوالب متتالية (T1-T3)، تم اختبارها على (T4-T6).
- Cross-valid_v2 (التحقق المتقاطع - النسخة 2): ثلاثة أمثلة من قوالب متشابهة هيكلياً (T1, T2, T4)، تم اختبارها على قوالب مختلفة هيكلياً (T3, T5, T6).
- Iterative (تكراري): استخراج الحقول بشكل تسلسلي حقلاً تلو الآخر.

مقاييس التقييم

تم قياس الأداء على مستوى الحقل باستخدام الدقة (Precision)، والاستدعاء (Recall)، ودرجة F1 (F1-Score)، بمقارنة مخرجات JSON الخاصة بالنموذج مع الحقيقة الأرضية بعد المعايرة.

3. النتائج الرئيسية

أ. معلمات الاستدلال مقابل هندسة الأوامر

حساسية المعلمات: كان التباين في درجة F1 عبر جميع تكوينات المعلمات الـ 19 ضئيلاً (0.58 نقطة مئوية). وكان الفرق بين فك التشفيد الحتمي (Temp=0) وأخذ العينات العشوائي غير جوهري.
الاستنتاج: ضبط المعلمات (Hyperparameter tuning) له تأثير ضئيل على دقة الاستخراج. يمكن للممارسين استخدام الإعدادات الحتمية لضمان قابلية التكرار دون المساس بالأداء.

ب. تأثير هندسة الأوامر

خط الأساس Zero-shot: حقق درجة F1 تبلغ حوالي 78% (Gemini) وحوالي 83% (Mistral).
التحسن عبر Few-shot: أدى إدخال أمثلة السياق إلى مكاسب هائلة (أكثر من 11 نقطة مئوية).
أفضل أداء: حققت استراتيجية Cross-valid_v2 (التجميع حسب التشابه البصري) أعلى الدرجات:
- Gemini 1.5 Pro: سجل 97.61% في درجة F1.
- Mistral-small: سجل 96.11% في درجة F1.
رؤية رئيسية: جودة الأمر (Prompt quality) هي الرافعة المهيمنة للأداء، وهي تتفوق بكثير على الاختلافات في بنية النموذج أو ضبط المعلمات.

ج. مقارنة النماذج (Gemini مقابل Mistral)

Gemini 1.5 Pro: أظهر دقة (Precision) أعلى (95.24% في التحقق المتقاطع)، مما يعني أنه كان أفضل في التعرف على الحقول الغائبة (تجنب الهلوسة).
Mistral-small: أظهر استدعاء (Recall) أعلى (غالباً 100%) ولكن دقة أقل، مما يشير إلى الميل لـ "هلوسة" قيم للحقول غير الموجودة في المستند.
التعميم: على الرغم من أن Mistral أصغر حجماً، إلا أنه حقق نتائج لا تبعد سوى 1-2% عن Gemini، مما يثبت أن النماذج الصغيرة والفعالة يمكن أن تكون عالية الكفاءة مع استراتيجيات الأوامر المناسبة.

د. المقارنة مع تعلم الآلة الكلاسيكي

النموذج المرجعي الكلاسيكي (SVM): حقق 91.86% على القوالب المرئية، لكنه انخفض إلى 67.20% على القوالب غير المرئية (T7)، مما أظهر إفراطاً شديداً في التخصيص.
أداء النماذج اللغوية الكبيرة (LLM): حافظت على 95.24% (Gemini) و 91.50% (Mistral) في الدقة على القوالب المختلفة هيكلياً وغير المرئية.
الاستنتاج: تقوم النماذج اللغوية الكبيرة بتعميم مهمة الاستخراج من خلال الفهم الدلالي، بينما يقوم تعلم الآلة الكلاسيكي بحفظ أنماط التنسيق.

هـ. التأثير الهيكلي

تم تحديد هيكل قالب المستند كعامل أساسي في تحديد درجة الصعوبة. القوالب ذات التنسيقات الجدولية الواضحة (T1) حققت أداءً أفضل بكثير من التصميمات كثيفة الأعمدة (T5)، والتي فقدت جودتها أثناء عملية التحويل من PDF إلى Markdown.

4. المساهمات الرئيسية

التحقق التجريبي من هندسة الأوامر: ثبت أن تصميم الأمر هو العامل الحاسم لمعالجة المستندات القائمة على النماذج اللغوية الكبيرة، مما يجعل الضبط المكثف للمعلمات غير ضروري للاستخراج عالي الدقة.
قدرة التعميم: ثبت أن النماذج اللغوية الكبيرة العامة يمكنها تحقيق نتائج تضاهى أحدث التقنيات (state-of-the-art) على تنسيقات المستندات غير المرئية دون ضبط دقيق، متفوقة على طرق تعلم الآلة الكلاسيكية في سيناريوهات التعميم بنحو 24 نقطة مئوية.
كفاءة البنية: أظهرت الدراسة أن النماذج الكثيفة والفعالة (Mistral-small) يمكنها منافسة نماذج (MoE) الضخمة (Gemini) عند اقترانها باستراتيجيات الأوامر المثلى.
إطار عمل عملي: تم إنشاء مسار عمل قابل للتكرار (PDF $\to$ Markdown $\to$ LLM)، يحقق استخراجاً يقارب الكمال (97.61% F1) لأتمتة الأعمال.

5. الأهمية والآثار المترتبة

التحول التشغيلي: توفر هذه الدراسة للمؤسسات مساراً قابلاً للتطبيق لأتمتة معالجة الفواتير دون التكاليف العالية والمتطلبات البيانية لتدريب نماذج مخصصة.
التحول الاستراتيجي: ينتقل التركيز في أتمتة المستندات من "بناء النموذج" (التدريب/الضبط الدقيق) إلى "تنسيق النموذج" (هندسة الأوامر وتصميم المسارات).
القيود والعمل المستقبلي: اعتمدت الدراسة على بيانات اصطناعية ومعالجة نصية بحتة (Markdown). يجب أن تعالج الأعمال المستقبلية الضوضاء في العالم الحقيقي، وفقدان المعلومات البصرية أثناء التحويل، ودمج نماذج اللغة والرؤية (VLMs) لالتقاط ميزات التنسيق مباشرة من الصور.

باختصار، تخلص الورقة إلى أن هندسة الأوامر هي المحرك الرئيسي للنجاح في استخراج المستندات القائم على النماذج اللغوية الكبيرة، مما يتيح أتمتة قوية ومستقلة عن القوالب تتفوق بشكل كبير على أساليب تعلم الآلة التقليدية.