Zero-shot Large Language Models for Automatic Readability Assessment

إليك ملخص تقني مفصل لورقة البحث "نماذج اللغات الكبيرة للتقييم الصفري (Zero-shot) للتقييم التلقائي لمستوى القراءة" من تأليف رايلي غروسمان ويي تشين.

1. بيان المشكلة

يعد التقييم التلقائي لمستوى القراءة (ARA) أمراً بالغ الأهمية لضمان وصول المواد التعليمية والطبية إلى الجمهور المستهدف. وبينما يسهل تنفيذ صيغ سهولة القراءة التقليدية (مثل Flesch-Kincaid)، إلا أنها تعتمد على سمات سطحية (طول الجملة، عدد المقاطع اللفظية) وغالباً ما تفشل في استيعاب الفروق السياقية الدقيقة. وفي المقابل، توفر طرق تعلم الآلة الخاضعة للإشراف دقة أعلى، لكنها تتطلب مجموعات بيانات ضخمة موسومة يدوياً، وهو أمر مكلف ويستغرق وقتاً طويلاً لإنتاجه.

استكشفت الأبحاث الحديثة الطرق غير الخاضعة للإشراف باستخدام نماذج اللغات الكبيرة (LLMs) عبر التلقين الصفري (zero-shot prompting). ومع ذلك، تعاني الدراسات الحالية (مثل Trott & Rivière, 2024) من عدة قيود:

• اعتمادها على تقييمات ضيقة (غالباً مجموعات بيانات إنجليزية واحدة).
• استخدام تقنيات تلقين بسيطة (مثل طلب رقم دون تحديد مقاييس).
• اختبار النماذج مغلقة المصدر (GPT-4) بشكل أساسي بدلاً من البدائل المتنوعة مفتوحة المصدر.
• غياب الفهم حول كيفية أداء هذه الطرق عبر اللغات المختلفة، وأطوال النصوص، والمجالات التقنية.

تعالج الورقة الفجوة في التقييم الشامل والصرامة المنهجية لاستخدام نماذج اللغات الكبيرة كأداة قوية وغير خاضعة للإشراف لتقييم مستوى القراءة.

2. المنهجية

يقترح المؤلفان تقدمين منهجيين رئيسيين: استراتيجية تلقين صفري محسنة لنماذج اللغات الكبيرة، وطريقة تجميع مبتكرة تسمى LAURAE.

أ. التلقين الصفري المحسن لنماذج اللغات الكبيرة

يقترح المؤلفان تحسينين محددين على تقنيات التلقين القياسية:

1. تعريفات المقياس: بدلاً من طلب درجة عشوائية، يتم تلقين النموذج باستخدام نفس المقياس والتعريفات التي يستخدمها المقيمون البشريون (مثل الإطار الأوروبي المرجعي الموحد للغات - CEFR). بالنسبة لمجموعات البيانات التي لا تملك مقاييس محددة، يتم استخدام مقياس من 1 إلى 9 مع تعريفات مفصلة لعوامل سهولة القراءة (القواعد، الوضوح).
2. تسجيل القيمة المتوقعة: بدلاً من قبول الرمز (token) الوحيد "التقليدي" الذي يولده النموذج (الرمز ذو الاحتمالية الأعلى)، يحسب المؤلفان درجة سهولة القراءة كـ قيمة متوقعة فوق احتمالات رموز المخرجات للنموذج.
   • رسمياً، إذا ولد النموذج رمزاً في الموضع $n$، يتم حساب الدرجة $s_{LLM}$ عن طريق جمع حاصل ضرب الاحتمالية وقيمة الرمز لجميع الرموز الرقمية في توزيع الاحتمالية الأعلى ترتيباً حتى يتم مواجهة رمز غير رقمي. هذا يقلل من حالات التعادل ويستوعب عدم اليقين في النموذج.

ب. LAURAE (مجموعة التقييم التلقائي غير الخاضع للإشراف لمستوى القراءة القائم على LLM)

لتحسين المتانة، يقدم المؤلفان طريقة تجميع تسمى LAURAE، وهي تجمع بين:

• السمات السياقية العميقة: الدرجات من نموذج اللغات الكبيرة الملقن صفرياً.
• السمات السطحية: الدرجات من صيغ سهولة القراءة التقليدية (مثل FKGL، وARI، وLix).

آلية الوزن:
بما أن الإعداد غير خاضع للإشراف (لا توجد حقيقة أرضية للضبط)، تستخدم LAURAE الثقة اللفظية المبلغ عنها ذاتياً من قبل النموذج كعامل وزن.

1. يتم تلقين النموذج لإخراج درجة ثقة (1-9) حول مدى توافق تقييمه مع المقيمين البشريين.
2. يتم تحويل درجة الثقة هذه إلى وزن $c$ (يتم تطبيعه إلى 0.1-0.9).
3. الدرجة النهائية هي مزيج مرجح من درجة النموذج المعيارية ودرجة الصيغة المعيارية:
   $$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$$
   حيث يمثل $c$ وزن الثقة، ويمثل $\mu$ و $\sigma$ المتوسطات والانحرافات المعيارية على مستوى مجموعة البيانات.

3. الإعداد التجريبي

• مجموعات البيانات: تم استخدام 14 مجموعة بيانات متنوعة تغطي:
  • اللغات: الإنجليزية، الفرنسية، الهندية، العربية، الروسية، واليونانية.
  • الأطوال: على مستوى الجملة (مثل Asset، OneStop) إلى مستوى الفقرة/المقال (مثل MedReadMe، الكتب المدرسية اليونانية).
  • المجالات: عام، طبي (MedReadMe)، تعليمي (كتب مدرسية)، وتقني.
  • الحقيقة الأرضية: 11 مجموعة بيانات ذات تقييمات صريحة؛ و3 مجموعات تعتمد على المقارنات الزوجية.
• النماذج: تم تقييم 10 نماذج لغات كبيرة متنوعة ومفتوحة المصدر ومصقولة للتعليمات، بما في ذلك Llama 3.1/3.2، وAya Expanse، وGemma 2، وMixtral، وPhi-4.
• النماذج المرجعية (Baselines): صيغ سهولة القراءة التقليدية (FKGL، ARI، إلخ)، وRSRS (طريقة غير خاضعة للإشراف تعتمد على PLM)، وطريقة LLM-v-ns الأساسية التي تحاكي الأعمال السابقة.

4. النتائج الرئيسية

أ. أداء نماذج اللغات الكبيرة (Zero-Shot)

• تحسينات التلقين: تفوقت طريقة التلقين المقترحة (تعريفات المقياس + القيمة المتوقعة) على الطريقة الأساسية (LLM-v-ns) في 13 من أصل 14 مجموعة بيانات.
• اختيار النماذج:
  • حقق نموذج Llama 3.1 70B أفضل أداء في مجموعات البيانات الإنجليزية.
  • تفوق نموذج Aya Expanse 32B (وهو نموذج متعدد اللغات) على Llama 70B في مجموعات البيانات غير الإنجليزية، مما يسلط الضوء على أهمية بيانات التدريب متعددة اللغات.
• التعميم: أظهرت الطريقة المقترحة مكاسب كبيرة في مجموعات البيانات غير الإنجليزية، مما يشير إلى أن تقديم تعريفات المقياس الصريحة يساعد النماذج على التغلب على نقص المعرفة الداخلية في اللغات ذات الموارد المنخفضة.

ب. أداء LAURAE

• التفوق: تفوقت LAURAE على جميع النماذج المرجعية (النماذج المستقلة، الصيغ، وRSRS) في 13 من أصل 14 مجموعة بيانات.
• المتانة:
  • نجحت في سد الفجوة حيث تعثرت النماذج المستقلة (مثل النصوص القصيرة جداً أو المجالات التقنية المحددة) من خلال الاستفادة من سمات الصيغ السطحية.
  • حافظت على أداء عالٍ حيث فشلت الصيغ (مثل النصوص السياقية المعقدة) من خلال الاستفادة من فهم النماذج اللغوية الكبيرة.
• دراسات الاستئصال (Ablation Studies):
  • ثبت أن استخدام درجات الثقة اللفظية كأوزان كان متفوقاً على استخدام أوزان الإنتروبيا أو التوزين المتساوي (التجميع الساذج).
  • أدى استبدال صيغ سهولة القراءة بـ RSRS في التجميع إلى أداء أقل قليلاً، مما يؤكد أن الصيغ البسيطة هي مكون "سطحي" أكثر فعالية لهذا المهمة المحددة.

5. المساهمات الرئيسية

1. التقدم المنهجي: تقديم إطار عمل قوي للتلقين الصفري يتضمن تعريفات المقياس وتسجيل القيمة المتوقعة، مما حسن أداء النماذج بشكل كبير مقارنة بالأعمال السابقة.
2. طريقة تجميع مبتكرة (LAURAE): اقتراح تجميع مرجح بالثقة يجمع بين القوة السياقية للنماذج اللغوية الكبيرة واستقرار صيغ سهولة القراءة، محققاً أداءً هو الأفضل (SOTA) في الإعدادات غير الخاضعة للإشراف.
3. تقييم شامل: تقديم أول تقييم واسع النطاق لـ 10 نماذج لغات كبيرة مفتوحة المصدر عبر 14 مجموعة بيانات متنوعة (لغات، أطوال، مجالات)، مما يتحدى الافتراض بأن GPT-4 هو الخيار الوحيد الممكن ويكشف ضرورة النماذج متعددة اللغات للمهام غير الإنجليزية.
4. الموارد المفتوحة: إصدار الأكواد البرمجية، ومجموعات البيانات (بما في ذلك مجموعات البيانات المنسقة للكتب المدرسية اليونانية)، والتعليمات (prompts) لتسهيل الأبحاث المستقبلية.

6. الأهمية

• التبني العملي: توفر LAURE بديلاً قابلاً للتطبيق وعالي الدقة للتدوين اليدوي لتقييم مستوى القراءة، وهو أمر مفيد بشكل خاص في قطاعات الرعاية الصحية والتعليم حيث يكون التوسيم اليدوي مكلفاً للغاية.
• تغيير النموذج: توضح الورقة أنه بينما تعد النماذج اللغوية الكبيرة النقية قوية، فإن النهج الهجين (الذي يجمع بين التعلم العميق والاستدلالات السطحية) يعطي النتائج الأكثر متانة في الإعدادات غير الخاضعة للإشراف.
• رؤية متعددة اللغات: تؤكد النتائج أنه بالنسبة للتطبيقات العالمية، فإن النماذج المتخصصة في تعدد اللغات (مثل Aya) ضرورية، وأن استراتيجيات التلقين الصريحة مطلوبة لسد فجوات الأداء في اللغات غير الإنجليزية.
• الاتجاهات المستقبلية: يشير العمل إلى أن الجمع بين تقييمات النماذج اللغوية الكبيرة (Zero-shot) وأدوات معالجة اللغات الطبيعية السطحية يمكن أن يعزز مهام أخرى غير خاضعة للإشراف مثل تحليل المشاعر أو اكتشاف السمية.

القيود المذكورة: تتطلب الطريقة معرفة بلغة بايثون وموارد حوسبة كبيرة (وحدات معالجة الرسومات - GPUs) مقارنة بحاسبات الصيغ البسيطة. بالإضافة إلى ذلك، لم يتم تقييم طبيعة "الصندوق الأسود" لتفسيرات النماذج اللغوية الكبيرة من حيث المعقولية في هذه الدراسة.