🤖 AI

A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction

تُظهر هذه الدراسة أن نهجاً هجيناً يجمع بين مسار استخراج بيانات Camelot PDF ونموذج لغة كبير من نوع Qwen 2.5:14b كخيار احتياطي يحقق دقة فائقة وكفاءة حوسبية أعلى لاستخراج بيانات تسجيل المساقات الأكاديمية من ملفات PDF على أجهزة حوسبة استهلاكية مقارنة باستخدام النماذج اللغوية الكبيرة وحدها.

المؤلفون الأصليون: Muhammad Anis Al Hilmi, Neelansh Khare, Noel Framil Iglesias

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammad Anis Al Hilmi, Neelansh Khare, Noel Framil Iglesias

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك إداري في جامعة تغرق في بحر من الأوراق (أو بالأحرى، ملفات PDF). في كل فصل دراسي، يقدم آلاف الطلاب "خططهم الدراسية" (التي تسمى KRS في إندونيسيا)، وهي عبधर قائمة بالمواد التي يدرسونها والأساتذة المعينين لهم.

تحتاج الجامعة إلى قراءة هذه القوائم لحساب الدرجات، وتتبع الحضور، وتخطيط الميزانيات. ولكن المشكلة هي أن النظام الحاسوبي للجامعة قديم، وفريق تكنولوجيا المعلومات صغير، ولا يمكنهم ببساطة طلب البيانات من قاعدة البيانات الرئيسية بسبب قواعد الخصوصية والبيروقراطية. إنهم بحاجة إلى طريقة لـ "قراءة" ملفات PDF هذه وتحويلها إلى بيانات رقمية تلقائيًا.

هذه الورقة البحثية تشبه كتاب وصفات لبناء روبوت قارئ يمكنه القيام بهذه المهمة على جهاز كمبيوتر محمول عادي (لا يُسمح باستخدام الحواسيب الفائقة).

إليك تفصيل تجربتهم، مشروحة بتشبيهات من الحياة اليومية:

1. "القارئات" الثلاثة التي اختبروها

جرب الباحثون ثلاث طرق مختلفة لجعل الروبوت يقرأ ملفات PDF:

القارئ "الذكاء الاصطناعي الصرف" (LLM-Only):
- التشبيه: تخيل توظيف متدرب عبقري وذكي للغاية قرأ الإنترنت بأكمله. تعطي له ملف PDF فوضوي وتقول له: "أخبرني ماذا يوجد هنا".
- النتيجة: هذا المتدرب ذكي جدًا ويفهم السياق، لكنه بطيء. يستغرق حوالي 1.5 إلى 2 دقيقة لقراءة صفحة واحدة فقط. إذا كان لديك 800 صفحة، فستنتظر أيامًا. كما أنه أحيانًا يرتبك بسبب التنسيقات الغريبة أو الأخطاء الإملائية.
القارئ "الهجين" (Regex + AI):
- التشبيه: هذا يشبه توظيف المتدرب الذكي نفسه، ولكن هذه المرة تعطيه قائمة مراجعة (مجموعة من القواعد الصارمة) للأشياء السهلة.
- كيف يعمل: تعمل الـ "regex" (قاعدة حاسوبية) مثل الماسح الضوئي الذي يلتقط فورًا المعلومات السهلة والثابتة (مثل اسم الطالب أو رقم الهوية) لأنها تظهر دائمًا في نفس المكان. عندها، يحتاج الذكاء الاصطناعي فقط لقراءة الجزء الأوسط الفوضوي (قائمة المواد).
- النتيجة: كان هذا أسرع وأكثر موثوقية للأشياء السهلة، لكن الذكاء الاصطناعي ظل يستغرق وقتًا طويلاً لقراءة قوائم المواد.
قارئ "خزانة الملفات الذكية" (Camelot + AI Fallback):
- التشبيه: هذا هو الفائز. تخيل خزانة ملفات متخصصة تعرف تمامًا كيفية استخراج الجداول من المستند. إنه يشبه أمين مكتبة متخصص يمكنه فورًا تمييز شبكة من البيانات واستخراجها.
- الاستراتيجية: يحاول النظام استخدام "أمين المكتبة المتخصص" (Camelot) أولاً. إذا نجح أمين المكتبة، ينتهي الأمر في أقل من ثانية واحدة. إذا تعثر أمين المكتبة (ربما لأن خطوط الجدول باهتة)، عندئذٍ يستدعي "المتدرب الذكي" (الذكاء الاصطناعي) للمساعدة في إنهاء المهمة.
- النتيجة: كان هذا هو البطل. لقد كان سريعًا للغاية (أقل من ثانية لكل ملف PDF) ودقيقًا بشكل مثالي تقريبًا.

2. النماذج (الـ "عقول")

اختبروا ثلاثة نماذج مختلفة من الذكاء الاصطناعي (Gemma، وPhi، وQwen) تعمل على كمبيوتر محمول عادي.

التشبيه: فكر في هذه النماذج كأنواع مختلفة من الطلاب.
- Gemma: طالب مجتهد يحتاج إلى الكثير من المساعدة (القواعد) للقيام بالأشياء بشكل صحيح. بدون قائمة المراجعة، يفشل.
- Phi: طالب جيد في بعض الأشياء ولكنه يرتبك عندما تتكرر الأسماء أو عندما يتغير التنسيق.
- Qwen: هو الطالب المتفوق. كان الأكثر اتساقًا، حيث ارتكب أقل عدد من الأخطاء عبر جميع الاختبارات، حتى عندما كانت ملفات PDF صعبة.

3. التحديات الكبرى

واجه الباحثون بعض العقبات المحددة، مثل محاولة قراءة مستند حيث:

فخ "الرابط" (Ligature): أحيانًا يجعل الخط حرفين يبدوان كرمز واحد (مثل "fi" التي تبدو كرمز واحد). كان على الروبوت تعلم كيفية فك تشفير هذه الرموز.
ارتباك "المستشار": يسرد ملف PDF مستشار الطالب في الأعلى، لكن تم إخبار الروبوت ألا يحتسبه كمعلم للمواد. أحد نماذج الذكاء الاصطناعي (Phi) استمر في حذف معلمين حقيقيين بالخطأ لأنه اعتقد أنهم المستشار!
مشكلة "الاسم الطويل": كانت بعض أسماء الطلاب طويلة جدًا لدرجة أنها انتقلت إلى السطر التالي. أحيانًا كان الذكاء الاصطناعي يقطع الاسم إلى نصفين.

4. الحكم النهائي

خلصت الورقة البحثية إلى أنه لا ينبغي الاعتماد على طريقة واحدة فقط.

لا تعتمد على الذكاء الاصطناعي فقط: فهو بطيء جدًا للمهام الكبيرة.
لا تعتمد على القواعد فقط: فهي جامدة للغاية وتتعطل عندما يتغير المستند قليلًا.
استخدم نظام "التراجع التدريجي" (Progressive Fallback):
1. جرب الأداة المتخصصة والسريعة (Camelot) أولاً.
2. إذا فشلت، جرب الذكاء الاصطناعي كنسخة احتياطية.
3. استخدم القواعد الصارمة للأشياء البسيطة (الأسماء/الأرقام التعريفية).

الخلاصة:
من خلال الجمع بين أداة متخصصة وسريعة مع نسخة احتياطية ذكية من الذكاء الاصطناعي، تمكن الباحثون من بناء نظام يمكنه معالجة مئات مستندات الطلاب في دقائق على كمبيوتر محمول عادي، مع الحفاظ على خصوصية البيانات وأمنها. إنه الفرق بين توظيف عبقري واحد بطيء وبين توظيف فريق يمتلك ماسحًا ضوئيًا سريعًا ومساعدًا ذكيًا يعملان معًا.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم موثوقية النهج الهجين القائم على القواعد الحتمية والنماذج اللغوية الكبيرة لاستخراج المعلومات من ملفات PDF الخاصة بتسجيل المساقات الأكاديمية."

1. بيان المشكلة

تتناول الدراسة تحدي استخراج البيانات المهيكلة من مستندات "خطة الدراسة" (KRS) الأكاديمية بصيغة PDF في إندونيسيا. وبينما تعد بيانات KRS حاسمة للأغراض الإدارية والتحليلية (مثل الحضور، والدرجات، وتقييم التدريس)، فإن الوصول إليها مباشرة من قواعد بيانات الحرم الجامعي غالباً ما يكون مقيداً بسبب قيود الأكواد القديمة، وعوائق الأذونات، ومخاوف خصوصية البيانات.

التحدي: ملفات KRS هي ملفات نصية (وليست صوراً ممسوحة ضوئياً) ولكنها تظهر تباينات هيكلية كبيرة عبر مختلف البرامج الدراسية (مثل اختلاف تخطيط الجداول، والروابط النصية لـ Unicode مثل "fi" مقابل "f"، والبيانات الوصفية غير المتسقة).
القيد: يجب أن يعمل نظام الاستخراج محلياً على أجهزة استهلاكية (يعتمد على المعالج CPU فقط، بدون وحدة معالجة رسومية GPU) لضمان خصوصية البيانات وتجنب تكاليف واجهات برمجة التطبيقات (API) الخارجية، مع الحفاظ على دقة وإنتاجية عالية.

2. المنهجية

قام الباحثون بتقييم ثلاث استراتيجيات استخراج متميزة باستخدام مجموعة بيانات مكونة من 140 ملف PDF (للمقارنة الأولية بين النماذج) و 860 ملف PDF (للتحقق من كفاءة خط الإنتاج/Pipeline).

أ. الإعداد التجريبي

الأجهزة: كمبيوتر محمول Advan Workplus (معالج Ryzen 5 6000H، ذاكرة 16 جيجابايت RAM، نظام Windows 11) يعمل بدون وحدة معالجة رسومية (GPU).
النماذج: ثلاثة نماذج ذات 12-14 مليار معلمة تعمل محلياً عبر Ollama:
- Gemma 3:12b
- Phi-4:14b
- Qwen 2.5:14b
البيانات المستهدفة: البيانات الوصفية (معلومات الطالب)، قوائم المساقات، وقوائم المحاضرين.
مقاييس التقييم:
- المطابقة التامة (Exact Match - EM): مقارنة نصية صارمة.
- تشابه ليفنشتاين (Levenshtein Similarity - LS): يتسامح مع الأخطاء الطفيفة (المسافات، علامات الترقيم) بحد أدنى قدره 0.7.

ب. النهج المقترحة

الاعتماد الكلي على النماذج اللغوية الكبيرة (LLM-Only): استخراج مباشر يعتمد على التلقين (Prompting) باستخدام أسلوب "التعلم من أمثلة قليلة" (Few-shot prompting).
الهجين الحتمي-النماذج اللغوية الكبيرة (Hybrid Deterministic–LLM):
- يستخدم التعابير النمطية (Regex) لاستخراج البيانات الوصفية المستقرة (سريع وحتمي).
- يستخدم النماذج اللغية الكبيرة (LLM) لتحليل الجداول المعقدة (المساقات/المحاضرين).
خط إنتاج قائم على مكتبة Camelot مع نظام تراجع للنماذج اللغية الكبيرة (LLM Fallback):
- التعابير النمطية (Regex) للبيانات الوصفية.
- مكتبة Camelot (المدركة للتخطيط) لاستخراج الجداول باستخدام نوعين:
  - Lattice: للجداول ذات الحدود الواضحة.
  - Stream: للجداول التي لا تحتوي على حدود.
- نظام التراجع للنماذج اللغية الكبيرة (LLM Fallback): إذا فشلت Camelot (على سبيل المثال، في حالات النصوص متعددة الأسطر)، يتم تفعيل الـ LLM كحل أخير.

3. المساهمات الرئيسية

التقييم الخاص بالسياق: يسد فجوة بحثية من خلال تقييم استخراج بيانات KRS خصيصاً ضمن السياق الأكاديمي الإندونيسي، ومعالجة التحديات الفريدة مثل روابط Unicode وهياكل البرامج الدراسية المتغيرة.
بنية تحافظ على الخصوصية: يثبت إمكانية تشغيل خط إنتاج لمعالجة بيانات الطلاب الحساسة بالكامل على أجهزة استهلاكية تعتمد على المعالج فقط، مما يلغي الحاجة إلى واجهات برمجة التطبيقات السحابية.
التحقق من استراتيجية الهجين: يثبت أن الجمع بين القواعد الحتمية (Regex/Camelot) والنماذج الاحتمالية (LLM) يتفوق بشكل كبير على نهج الـ LLM المنفرد من حيث الدقة والكفاءة.
قياس أداء النماذج: يقدم تحليلاً مقارناً لنماذج Gemma 3 و Phi 4 و Qwen 2.5 على أجهزة تعمل بالمعالج فقط، مع تحديد Qwen 2.5 كأكثر النماذج متانة لهذه المهمة المحددة.

4. النتائج

أ. أداء النماذج (140 ملف PDF)

أظهر Qwen 2.5:14b الأداء الأكثر اتساقاً عبر جميع الأنماط والبرامج الدراسية، محققاً درجات تقارب الكمال (EM/LS $\approx$ 1.00).
فشل Gemma 3:12b بشكل ملحوظ في نمط "LLM-only" (حقق درجات تتراوح بين 0.68 و 0.82)، لكنه حقق درجات كاملة (1.00) في النمط الهجين، مما يثبت اعتماده الشديد على المعالجة المسبقة الحتمية.
أظهر Phi 4:14b نتائج مختلطة؛ حيث واجه صعوبة في قوائم المحاضرين في نمط "LLM-only"، وغالباً ما قام بحذف أسماء المحاضرين المكررة بشكل خاطئ (مما ينتهك قاعدة التلقين التي تنص على أن عدد المساقات يجب أن يساوي عدد المحاضرين).

ب. الإنتاجية والكفاءة

نمط LLM-Only/Hybrid: تطلب ما بين 1.5 إلى 1.8 دقيقة لكل ملف PDF (حوالي 0.54-0.69 ملف في الدقيقة). وهذا مكلف حوسبياً للمعالجة واسعة النط scale.
خط إنتاج Camelot (860 ملف PDF):
- حقق أقل من ثانية واحدة لكل ملف PDF لغالبية المستندات.
- الدقة: حقق درجات EM/LS تتراوح بين 0.99 و 1.00.
- كفاءة التراجع (Fallback): تم تفعيل التراجع للـ LLM لحوالي 9 مستندات فقط من أصل 860 (عندما فشلت Camelot في التعامل مع التخطيطات المعقدة)، مما قلل متوسط وقت الاستدلال للـ LLM إلى حوالي 30 ثانية لتلك الحالات المحددة فقط.

ج. أنماط الفشل المحددة

الروابط النصية/Unicode: تسببت في عدم تطابق طفيف في الأسماء (مثل "fi" مقابل "f").
النصوص متعددة الأسطر: فشل نمط "Lattice" في مكتبة Camelot أحياناً في التقاط عناوين المساقات الطويلة التي تنتقل لسطر ثانٍ، مما استدعى التراجع للـ LLM.
خصوصيات Phi 4: مال النموذج إلى حذف أسماء المحاضرين المكررة، مما كسر العلاقة بنسبة 1:1 بين المساقات والمحاضرين.

5. الأهمية والخاتمة

تخلص الدراسة إلى أن استراتيجية التراجع التدريجي (Regex $\to$ Camelot Lattice/Stream $\to$ LLM) توفر التوازن الأمثل لاستخراج المستندات الأكاديمية:

الموثوقية: تتعامل الطرق الحتمية مع البيانات الوصفية المستقرة والجداول القياسية بدقة تقارب الكمال.
الكفاءة: يعالج خط الإنتاج المستندات في أقل من ثانية لـ 99% من الحالات، مما يجعله قابلاً للتوسع لمجموعات البيانات الكبيرة.
المتانة: يعمل الـ LLM كشبكة أمان للحالات الاستثائية (التخطيطات المعقدة، النصوص متعددة الأسطر) دون تحمل التكلفة الحوسبية العالية لتشغيله على كل مستند.

العمل المستقبلي المقترح يشمل:

استخدام تسريع وحدة معالجة الرسومات (GPU) لتقليل وقت الاستدلال بشكل أكبر.
الضبط الدقيق للنماذج (Fine-tuning) لتناسب المصطلحات الأكاديمية الإندونيسية.
توسيع خط الإنتاج للتعامل مع ملفات PDF الممسوحة ضوئياً أو المعتمدة على التعرف الضوئي على الحروف (OCR).

تؤكد هذه الدراسة أن النهج الهجين (الحتمي-العصبي) هو حل متفوق، يحافظ على الخصوصية، وفعال حوسبياً لاستخراج البيانات من المستندات الأكاديمية المهيكلة في البيئات محدودة الموارد.