ملخص تقني: بحث حول طرق تقييم سهولة القراءة للنصوص الإنجليزية بناءً على الذكاء الاصطناائي

1. بيان المشكلة

تتناول الورقة البحثية أوجه القصور في أنظمة تقييم سهولة القراءة الآلية الحالية، والتي تكافح لتحقيق التوازن بين الثراء الدلالي، والقابلية للتفسير، والكفاءة الحسابية. تعتمد الطرق التقليدية القائمة على الصيغ (مثل Flesch-Kincaid وGunning Fog) على سمات لغوية سطحية مثل طول الجملة وعدد المقاطع اللفظية، مما يؤدي إلى الفشل في استيعاب المعنى الدلالي، واستمرارية الخطاب، وبنى الجمل المعقدة. وفي المقابل، بينما تتفوق نماذج التعلم العميق والمحولات (مثل BERT وRoBERTa) في الفهم السياقي، إلا أنها غالبًا ما تتطلب موارد حوسبة كبيرة، وتفتقر إلى القابلية للتفسير، وقد تتجاهل الإشارات اللغوية الصريحة الضرورية لتقدير سهولة القراءة. كما تفشل النهج الهجينة الحالية في دمج التضمينات الدلالية العميقة مع السمات اللغوية المصممة يدويًا بشكل فعال ضمن إطار عمل انحدار موحد.

2. المنهجية

تقترح الدراسة إطار عمل هجين (RoBERTa–XGBoost) مصمم للتنبؤ بدرجات سهولة القراءة المستمرة للنصوص الإنجليزية. تتبع المنهجية مسارًا مهيكلًا:

• مجموعة البيانات: يستخدم البحث مجموعة بيانات CLEAR (CommonLit Ease of Readability)، وهي مجموعة بيانات مرجعية تحتوي على 4,724 عينة نصية إنجليزية مشروحة تتراوح مستوياتها من الصف الثالث إلى الصف الثاني عشر. تم تقسيم البيانات إلى مجموعة تدريب بنسبة 80% (3,779 عينة) ومجموعة اختبار بنسبة 20% (945 عينة).
• المعالجة المسبقة: خضعت النصوص الخام لعمليات التطبيع (تحويل الأحرف إلى صغيرة)، وإزالة الرموز الخاصة غير اللغوية، وتقسيم الجمل، والتقطيع باستخدام مُجزئ RoBERTa.
• استخراج السمات (ثنائي المسار):
  1. السمات الدلالية: تم استخدام نموذج RoBERTa-Base لتوليد تضمينات دلالية ذات 768 بُعدًا. تم ضبط النموذج بمعدل تعلم قدره 1.00E-05، وطول تسلسل أقصى قدره 512، وحجم دفعة 16، وتم تدريبه لمدة 10 حقب (epochs)؛ ومع ذلك، تنص الورقة صراحةً على أن النموذج استُخدم في حالة مجمدة دون ضبط دقيق إضافي لاستخراج التمثيلات السياقية المخفية. تم استخراج تمثيل رمز [CLS] لالتقاط المعنى السياقي العالمي لكل فقرة.
  2. السمات اللغوية: تم هندسة 39 سمة مصممة يدويًا لالتقاط الخصائص الهيكلية، بما في ذلك متوسط طول الكلمة، وطول الجملة، والكثافة المعجمية، ونسب علامات الترقيم، ونسب أدوات الربط، والتعقيد النحوي.
• دمج السمات: تم توحيد كلا مجموعتي السمات باستخدام القياس المعياري (Standard Scaling) لضمان التوزيع الموحد. تم دمج المتجهات الدلالية ذات 768 بُعدًا مع المتجهات اللغوية ذات 39 بُعدًا لتشكيل متجه سمات موحد مكون من 807 بُعدًا.
• تدريب النموذج: تم تغذية السمات المدمجة في منظم XGBoost (XGBoost Regressor). تم تحسين النموذج باستخدام البحث الشبكي عبر التحقق المتقاطع (5-fold) لضبط المعلمات الفائقة مثل معدل التعلم، وعمق الشجرة، وعدد المقدرات. قامت دالة الهدف بتقليل الخطأ التربيعي مع تطبيق التنظيم (L1 وL2) لمنع الإفراط في التخصيص (overfitting).

3. المساهمات الرئيسية

تحدد الورقة أربع مساهمات رئيسية:

1. تطوير إطار العمل: إنشاء إطار عمل هجين ذكي يعتمد على الذكاء الاصطناعي والانحدار للتنبؤ بدرجات سهولة القراءة المستمرة للنصوص الإنجليزية باستخدام مجموعة بيانات CLEAR.
2. توضيح سير العمل: توثيق شامل لسير العمل من البداية إلى النهاية، بما في ذلك جمع البيانات، والمعالجة المسبقة (التعامل مع القيم المفقودة، تنظيف النص، التقطيع)، والاستخراج المحدد للتمثيلات الدلالية لـ RoBERTa والسمات اللغوية المهندسة.
3. استراتيجية دمج السمات: تنفيذ تقنية دمج محددة تجمع بين التمثيلات الدلالية لـ RoBERTa والسمات اللغوية المصممة عبر القياس والدمج، يليه انحدار XGBoost مع البحث الشبكي عبر التحقق المتقاطع لضبط المعلمات الفائقة.
4. تقييم الأداء: إجراء تقييم صارم للحل المقترح مقابل النماذج المرجعية (الانحدار الخطي، انحدار متجه الدعم، الغابة العشوائية) ودراسات الاستئصال (ablation studies) باستخدام مقاييس الانحدار القياسية (RMSE, MAE, R²).

4. النتائج التجريبية

أظهر النموذج المقترح أداءً فائقًا مقارنة بجميع النماذج المرجعية ومتغيرات الاستئصال:

• المقاييس الأساسية: حقق النموذج الهجين الكامل جذر متوسط مربع الخطأ (RMSE) قدره 0.0980، ومتوسط الخطأ المطلق (MAE) قدره 0.0794، ومعامل التحديد (R²) قدره 0.9908.
• الأداء المقارن:
  • مقابل النماذج المرجعية: تفوق النموذج المقترح على الانحدار الخطي (R²: 0.944)، وانحدار متجه الدعم (R²: 0.762)، والغابة العشوائية (R²: 0.965).
  • مقابل دراسات الاستئصال: تفوق النموذج الكامل بشكل كبير على النماذج التي استخدمت فقط السمات الدلالية (RoBERTa + Precomputed: R² 0.882)، أو السمات اللغوية فقط (R² 0.685)، أو فقط RoBERTa الضبط الدقيق (R² 0.722) كما هو مدرج في دراسة الاستئصال (الجدول 3).
• تحليل الخطأ: أشار تحليل البواقي إلى أن الأخطاء كانت موزعة طبيعيًا حول الصفر مع حد أدنى من الانحياز، مما يؤكد موثوقية النموذج.
• أهمية السمات: كشف التحليل أن السمات النحوية، وتحديدًا نسبة أدوات الربط (0.1802) ونسبة حروف الجر (0.0946)، كانت من بين أكثر المتنبئات تأثيرًا، مما يؤكد أهمية دمج الإشارات الهيكلية مع التضمينات الدلالية.

5. الأهمية والادعاءات

تدعي الورقة أن دمج التضمينات الدلالية العميقة مع السمات اللغوية القابلة للتفسير يعزز بشكل كبير دقة التنبؤ وقدرة التعميم. وتؤكد الدراسة أن هذا النهج الهجين ينجح في سد الفجوة بين الفهم السياقي لنماذج المحولات والفهم الهيكلي للتحليل اللغوي التقليدي.

يضع المؤلف إطار العمل كحل قابل للتوسع من أجل:

• تكييف المحتوى التعليمي: تخصيص المواد التعليمية لتناسب مستويات الطلاب المحددة.
• تقييم المخطوطات: المساعدة في تقييم تعقيد النص لأغراض النشر.
• تطبيقات معالجة اللغات الطبيعية: توفير طريقة قوية لتصنيف النصوص آليًا وتوصية المحتوى.

تخلص الورقة إلى أن الطريقة المقترحة تقدم أساسًا علميًا للتحليل اللغوي الآلي، حيث تحقق دقة عالية (تستوعب >99% من التباين) مع الحفاظ على الموثوقية الحسابية من خلال استخدام التعلم التجميعي الأمثل. ويُقترح كعمل مستقبلي استكشاف المتانة عبر اللغات، ودمج وحدات الذكاء الاصطناعي القابل للتفسير (XAI) مثل SHAP، واستخدام نماذج خفيفة الوزن (مثل DistilRoBERTa) لرفع كفاءة خط الإنتاج.