💬 NLP

Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods

تقدم هذه الورقة إطاراً للتقييم المعرفي قائماً على تتبع حركة العين، يكشف أن صيغ سهولة القراءة التقليدية، وأساليب معالجة اللغات الطبيعية، والأنظمة التجارية، والنماذج اللغوية الكبيرة الرائدة هي مؤشرات ضعيفة لسهولة القراءة في الوقت الفعلي مقارنة بالخصائص اللغوية النفسية للكلمات، مما يسلط الضوء على الحاجة إلى نهج تقييم جديد مدفوع معرفياً.

المؤلفون الأصليون: Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak

نُشر 2026-07-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة مدى سهولة قراءة كتاب ما. لأكثر من مئة عام، حاول العلماء والمعلمون بناء "صيغ سهولة القراءة" — وهي وصفات رياضية تنظر إلى النص وتخرج بمستوى دراسي، مثل "هذا نص للمستوى الخامس" أو "هذا نص للمستوى الثاني عشر". وعادة ما يفعلون ذلك عبر عدّ أشياء مثل طول الجمل أو عدد الكلمات الكبيرة فيها. ولكن هنا يكمن الجزء الصعب: مجرد كون النص يحتوي على جمل قصيرة لا يعني بالضرورة أن الإنسان سيشعر فعلياً بسهولة القراءة أثناء القراءة. لمعرفة ما إذا كان النص سهلاً حقاً، تحتاج إلى رؤية كيف يعمل دماغ الإنسان في الوقت الفعلي. وهنا يأتي دور "تتبع حركة العين"؛ الأمر يشبه وضع كاميرا صغيرة على عين الشخص لترى بالضبط أين ينظر، وكم من الوقت يحدق في كلمة ما، وما إذا كان عليه العودة للخلف (الارتداد) لأنه ارتبك. إنه الفرق بين تخمين سرعة السيارة من خلال النظر إلى حجم محركها وبين قيادتها فعلياً والشعور بالسرعة.

هذه الورقة البحثية، التي تحمل عنوان "التقييم المعرفي القائم على تتبع حركة العين لطرق التقييم التلقائي لسهولة القراءة"، تمثل وقفة واقعية لعالم تحليل النصوص. فقد قرر الباحثون، بقيادة كيرين غروتك كلاين وفريقها في معهد التخنيون في إسرائيل، اختبار أكثر الطرق شيوعاً التي نستخدمها حالياً للحكم على صعوبة النص. لقد جمعوا مجموعة ضخمة مكونة من 638 قارئاً بالغاً — بعضهم من المتحدثين الأصليين باللغة الإنجليزية والبعض الآخر ممن تعلموا الإنجليزية كلغة ثانية — وجعلواهم يقرؤون مقالات إخبارية على جهاز كمبيوتر بينما يتم تتبع حركة أعينهم بسرعة فائقة تصل إلى 1,000 مرة في الثانية. وقد استخدموا حيلة ذكية: حيث أخذوا نفس القصص الإخبارية وجعلوا معلمين بشريين يعيدون كتابتها لتكون أبسط. سمح هذا للباحثين بمقارنة النسخة "الصعبة" والنسخة "السهلة" لنفس المحتوى تماماً، مما عزل أسلوب الكتابة عن الموضوع.

ثم طرح الفريق سؤالاً بسيطاً: أي برنامج كمبيوتر هو الأفضل في التنبؤ بمدى السهولة التي شعرت بها النسخة "السهلة" فعلياً لدى القراء؟ لقد اختبروا كل شيء، بدءاً من الصيغ الرياضية القديمة (مثل درجة سهولة القراءة لـ "فليش") وصولاً إلى أنظمة الذكاء الاصطناعي الحديثة، والأدوات التجارية المستخدمة في المدارس، والنماذج اللغوية الكبيرة المتطورة. ومن الجدير بالذكر أن الدراسة قيمت نماذج مثل GPT-4o وأنظمة متطورة أخرى (بما في ذلك النسخ التي تحمل تواريخ مستقبلية مثل 2025 في الورقة) باستخدام أوامر محددة تطلب من الذكاء الاصطناعي تعيين مستوى دراسي أو درجة صعوبة من 1 إلى 100. وقارنوا هذه الأدوات عالية التقنية مقابل بعض القياسات البسيطة والقديمة من علم النفس، مثل مدى تكرار استخدام الكلمة في اللغة أو مدى "مفاجأة" رؤية كلمة ما في سياق معين.

كانت النتائج صادمة نوعاً ما. فبالرغم من كل هذه التكنولوجيا الفاخرة والقوة الهائلة للذكاء الاصطناعي الحديث، كانت أدوات سهولة القراءة الشائعة سيئة جداً في التنبؤ بمدى سهولة قراءة النص في الوقت الفعلي. فالصيغ القديمة، والأدوات المدرسية التجارية، وحتى نماذج الذكاء الاصطناعي المتطورة، فشلت جميعها في مطابقة حركات أعين القراء. وفي الواقع، تبين أن أفضل المتنبئات كانت أبسط الأشياء: طول الكلمة، ومدى شيوعها، ومقياس يُسمى "المفاجأة" (وهو وسيلة رياضية لقول "ما مدى عدم توقع هذه الكلمة؟"). تشير الدراسة إلى أنه بينما تبرع أدواتنا الحالية في تخمين المستوى الدراسي للنص، إلا أنها تخطئ الهدف فيما يتعلق بالتجربة البشرية للقراءة. ويخلص المؤلفون إلى أننا بحاجة للتوقف عن الاعتماد على هذه الأساليب القديمة في القرارات عالية الخطورة، والبدء في بناء أنظمة جديدة مدفوعة فعلياً بكيفية معالجة أدمغتنا للكلمات في اللحظة الراهنة.

ملخص تقني: التقييم المعرفي القائم على تتبع حركة العين لأساليب التقييم التلقائي لسهولة القراءة

بيان المشكلة

يعد التقييم التلقائي لسهولة القراءة (ARA) مجالاً بحثياً مستمراً منذ أكثر من قرن، ويُستخدم على نطاق واسع في مجالات التعليم والرعاية الصحية والإعلام. تاريخياً، اعتمد تطوير وتقييم أساليب الـ ARA على مصدرين أساسيين للبيانات السلوكية غير المتزامنة (offline): الأداء في اختبارات استيعاب القراءة، والتقييمات البشرية لمستويات سهولة قراءة النص. ومع ذلك، فإن هذه النهج تلتقط إشارات غير متزامنة لا تقيس بشكل مباشر جانباً جوهرياً من سهولة القراءة، وهو: سهولة القراءة في الوقت الفعلي. ورغم أن مفهوم "سهولة القراءة" قد طُرح في وقت مبكر كبناء أساسي (على سبيل المثال: Dale and Chall 1949؛ Kintsch and Vipond 1979)، إلا أنه ظل غير مدروس بشكل كافٍ في مجال الـ ARA بسبب ندرة البيانات السلوكية المستمدة من عملية القراءة. علاوة على ذلك، تعاني طرق التقييم الحالية غالباً من تداخل صعوبة النص الناجمة عن التباين الموضوعي مقابل التعقيد اللغوي.

المنهجية

يقدم المؤلفون إطار تقييم معرفي يستخدم بيانات تتبع حركة العين لقياس قدرة أساليب تسجيل سهولة القراءة على مراعاة سهولة القراءة، وتحديداً من خلال التحكم في تباين المحتوى.

جمع البيانات

تستخدم الدراسة مجموعة بيانات مجمعة، OneStopL1&L2، تضم أكثر من 3.7 مليون رمز لغوي (token) من 638 مشاركاً بالغاً (360 من المتحدثين باللغة الإنجليزية كلغة أم L1، و278 من المتحدثين باللغة الإنجليزية كلغة ثانية L2 من خلفيات لغوية متنوعة).

المواد النصية: تستخدم مجموعة البيانات مدونة متوازية من مجموعة بيانات OneStopQA، تتكون من 30 مقالاً إخبارياً من صحيفة "ذا غارديان". يوجد لكل مقال نسخة "متقدمة" أصلية ونسخة "ابتدائية" مبسطة بشرياً، تم إنشاؤها بواسطة معلمي لغة ذوي خبرة باستخدام طريقة تبسيط حدسية.
التصميم التجريبي: يقرأ المشاركون فقرات في نظامين: نظام البحث عن المعلومات ونظام الاستيعاب. يضمن هذا التصميم أن يقرأ كل مشارك النسختين الأصلية والمبسطة لنفس المحتوى، مما يسمح بعزل تأثيرات التبسيط.
تتبع حركة العين: جُمعت البيانات باستخدام جهاز EyeLink 1000 Plus بتردد 1000 هرتز.

إطار التقييم

المقياس الجوهري هو تسهيل القراءة (reading facilitation)، والذي يُعرف بالتغير في مقاييس سهولة القراءة بين النسخة الأصلية والنسخة المبسطة للنص.

المتغيرات المستهدفة (سهولة القراءة): تقيس الدراسة ثلاثة مقايسات لحركة العين عبر الإنترنت (online) تُعرف بقدرتها على مؤشر صعوبة المعالجة:
1. إجمالي مدة التثبيت (TF): مجموع مدد التثبيت على الكلمة.
2. معدل التخطي (SR): نسبة الكلمات التي تم تخطيها.
3. معدل الارتداد (RR): عدد حركات العين الخلفية (backward saccades) لكل كلمة.
مقياس التقييم: يتم تقييم جودة طريقة تسجيل سهولة القراءة ( $M$ ) من خلال معامل ارتباط بيرسون ( $r$ ) بين فرق الدرجات ( $\Delta Score_M$ ) الذي تتنبأ به الطريقة للنص الأصلي مقابل المبسط، وفرق سهولة القراءة ( $\Delta ReadingEase$ ) الملاحظ في بيانات تتبع حركة العين لنفس أزواج النصوص.
$Eval_M = \text{Pearson\_corr}(\Delta Score_{M,T}, \Delta ReadingEase_{E,T})$

الأنظمة التي تم تقييمها

يقارن إطار العمل 20 طريقة بارزة لتسجيل سهولة القراءة مقابل مقاييس نفس لغوية مدفوعة نظرياً:

الصيغ التقليدية: Flesch Reading Ease، Dale-Chall، Gunning Fog، ARI، Coleman-Liau، Flesch-Kincaid.
أساليب معالجة اللغات الطبيعية (NLP) الحديثة: النماذج الخاضعة للإشراف (CML2RI، CAREC، CARES، Sentence-BERT) والمقايسات غير الخاضعة للإشراف (Perplexity، Syntactic Log-Odds Ratio).
الأنظمة التجارية: Lexile Text Analyzer وTextEvaluator (ETS).
النماذج اللغوية الكبيرة (LLMs): ستة نماذج رائدة (Llama 3.3، GPT-4o، GPT-5، Gemini 2.0/2.5، Claude Sonnet 4) تم توجيهها لتقديم توصيفات بناءً على المستوى الدراسي أو الدرجة.
الأسس النفسية اللغوية: مقايسات متعلقة بالذاكرة (Idea Density، Integration Cost، Embedding Depth) ومقايسات نظرية المعلومات (Surprisal، Entropy، Uniform Information Density، Pseudo Log Likelihood)، جنباً إلى جنب مع خصائص الكلمات القياسية (طول الكلمة، وتكرار الكلمة).

النتائج الرئيسية

يكشف التقييم عن فجوة كبيرة بين أساليب الـ ARA الحالية والواقع المعرفي لسهولة القراءة.

الأداء الضعيف لأساليب الـ ARA: أظهرت الصيغ التقليدية، وأنظمة معالجة اللغات الطبيعية الحديثة، والأدوات التجارية، والنماذج اللغوية الكبيرة الرائدة، ارتباطات منخفضة إلى غير معنوية مع مقايسات سهولة القراءة في الوقت الفعلي. ومن الملاحظ عدم وجود نمط من تحسن الأداء بمرور الوقت، رغم التطور المتزايد للنماذج اللغوية الكبيرة. وأظهرت الأنظمة التجارية (Lexile، TextEvaluator) قدرة تنبؤية منخفضة بشكل خاص.
تفوق الخصائص النفسية اللغوية للكلمات: تفوقت خصائص الكلمات القياسية المعروفة بقدرتها على التنبؤ بأوقات القراءة في علم النفس اللغوي على جميع أساليب الـ ARA. وقد حققت "الثلاثة الكبار" من المتنبئات — طول الكلمة، وتكرار الكلمة، والدهشة (Surprisal) — ارتباطات قوية باستمرار.
الدهشة (Surprisal) كأفضل متنبئ: برزت الدهشة (اللوغاريتم السالب لاحتمالية الكلمة في السياق) كأكثر مؤشر تنبؤي لسهولة القراءة بشكل عام، حيث تفوقت على المتنبئات المتعلقة بالذاكرة (Idea Density، Integration Cost) والمقايسات الأخرى لنظرية المعلومات.
المتانة (Robustness): ثبتت هذه النتائج عبر:
- مجموعات القراء (المتحدثون باللغة الأم L1 والمتحدثون باللغة الثانية L2).
- أنظمة القراءة (الاستيعاب مقابل البحث عن المعلومات).
- الوحدات النصية (الجمل والفقرات).
- مقايسات تتبع حركة العين المختلفة (بما في ذلك التثبيت الأول، ومدة التحديق، وسرعة القراءة).
التحكم في المحتوى: تثبت الدراسة أن عدم التحكم في المحتوى في التقييمات التقليدية (التنبؤ المباشر بأوقات القراءة) يؤدي إلى تضخيم الأداء الظاهري للعديد من أساليب الـ ARA، حيث تلتقط غالباً الصعوبة الموضوعية بدلاً من التعقيد اللغوي. ويكشف النهج المتحكم في المحتوى أن أساليب مثل Surprisal وEntropy وطول الكلمة تظل مستقرة، بينما تتدهور الأساليب الأخرى بشكل كبير عند التحكم في الموضوع.

الأهمية والادعاءات

يدعي البحث تقديم أول صورة شاملة للقدرة المحدودة لقرابة قرن من الزمان من أساليب الـ ARA في تفسير كيفية تجربة البشر للنصوص في الوقت الفعلي.

محدودية الأساليب الحالية: تسلط النتائج الضوء على قصور حرج في أساليب تسجيل سهولة القراءة المستخدمة على نطاق واسع، مما يشير إلى أنها تنبؤات ضعيفة لسهولة القراءة لدى البالغين مقارنة بالخصائص النفسية اللغوية البسيطة للكلمات.
الحذر في التطبيق: يدعو المؤلفون إلى مزيد من الحذر عند استخدام أساليب الـ ARA الحالية والنماذج اللغوية الكبيرة لتسجيل سهولة القراءة، خاصة في السيناريوهات عالية المخاطر، حيث قد لا تعكس بدقة العبء المعرفي للقراءة.
الحاجة إلى مناهج جديدة: تدعو النتائج إلى تطوير أساليب جديدة لتسجيل سهولة القراءة مدفوعة معرفياً، تأخذ في الاعتبار تجارب القراءة في الوقت الفعلي بشكل أفضل.
جدوى تتبع حركة العين: تؤكد الدراسة على فائدة المعايير السلوكية في الوقت الفعلي (تتبع حركة العين)، مما يوفر بديلاً مستمراً وقابلاً للتفسير لاختبارات الاستيعاب غير المتزامنة والتقييمات البشرية المنفصلة.
دور الدهشة (Surprisal): يشير البحث إلى أن "الدهشة" (Surprisable)، والتي يمكن حسابها عبر النماذج اللغوية المتاحة بسهولة، تعد مقيساً قوياً وبسيطاً وعاماً لسهولة القراءة، وينبغي اعتمادها على نطاق أوسع.

يتحلى المؤلفون بالتواضع فيما يتعلق بإمكانية تعميم نتائجهم، مشيرين إلى أن الدراسة تقتصر على اللغة الإنجليزية، والمشاركين البالغين، ومنهج التبسيط البشري "الحدسي". كما حددوا الحاجة إلى عمل مستقبلي لتوسيع هذه التقييمات لتشمل الأطفال، وكبار السن، واللغات الأخرى، وسياقات التبسيط الآلي.