📄 public and global health

Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics

تكشف هذه الدراسة أنه في حين تنتج النماذج اللغوية الكبيرة سهولة قراءة متجانسة عند خط الأساس، فإن تعقيد مخرجاتها يصبح متغيراً بشكل كبير عندما يتم ربطها بمصادر خارجية مثل ويكيبيديا، وأن مقاييس سهولة القراءة ليست قابلة للتبادل، مما يستلزم بروتوكولات تقييم شفافة ومحددة للمقاييس وواعية باللغة من أجل تواصل صحي ميسر.

المؤلفون الأصليون: Corrale de Matos, H. G., Wasmann, J.-W. A., Catalani Morata, T., de Freitas Alvarenga, K., Bornia Jacob, L. C.

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Corrale de Matos, H. G., Wasmann, J.-W. A., Catalani Morata, T., de Freitas Alvarenga, K., Bornia Jacob, L. C.

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح تشخيص طبي معقد لصديق ليس لديه أي تدريب طبي. تريد أن تكون المعلومات صحيحة (حتى لا يمرض) وسهلة الفهم (حتى يستمع إليك بالفعل).

هذه الورقة البحثية تشبه "تقرير درجات" لسبعة من "روبوتات الدردشة بالذكاء الاصطناعي" المختلفة (مثل النسخ المتقدمة من Siri أو ChatGPT) التي تحاول القيام بذلك بالضبط: شرح قضايا صحة السمع للمرضى باللغتين الإنجليزية والبرتغالية.

إليك قصة ما وجدوه، باستخدام بعض التشبيهات البسيطة:

١. الإعداد: "درس الطبخ"

أعطى الباحثون سبعة طهاة مختلفين من الذكاء الاصطناعي نفس بطاقة الوصفة (المبنية على إرشادات منظمة الصحة العالمية حول المعينات السمعية). وطلبوا منهم "طهي" شرح للمرضى.

اختبروا الطهاة بطريقتين:

الجولة الأولى (الأساس): "استخدم فقط ما تعرفه بالفعل". (قام الطهاة بالطبخ من ذاكرتهم الخاصة).
الجولة الثانية (الاعتماد على ويكيبيديا): "اذهب وابحث عن الحقائق في ويكيبيديا أولاً، ثم اطبخ". (أُجبر الطهاة على استخدام مصدر محدد وموثق).

ثم استأجروا خمسة "نقاد طعام" مختلفين (مقاييس سهولة القراءة) لتقييم الأطباق. لم يتذوق هؤلاء النقاد الطعام؛ بل قاموا فقط بقياس المكونات (طول الجملة، صعوبة الكلمات، عدد المقاطع اللفظية) لمعرفة مدى صعوبة مضغ الطبق.

٢. المفاجأة الكبرى: "تحول ويكيبيديا"

ماذا حدث في الجولة الأولى؟
عندما طبخ الطهاة من ذاكرتهم، كانت النتائج متشابهة بشكل مثير للدهشة. لقد أنتجوا جميعاً أطباقاً لها نفس "مستوى الصعوبة" تقريباً. كان الأمر يشبه مجموعة من الطلاب يخوضون اختباراً بدون كتاب مدرسي؛ فقد قدموا جميعاً إجابات كانت متساوية في درجة الصعوبة في القراءة.

ماذا حدث في الجولة الثانية؟
عندما قيل للطهاة باستخدام ويكيبيديا، حلّت الفوضى.
فجأة، أنتجت نفس الوصفة نتائج مختلفة تماماً اعتماداً على أي طاهٍ تسأل.

الطاهي (أ) (مثل ChatGPT): أخذ حقائق ويكيبيديا وصنع سلطة بسيطة وسهلة الأكل.
الطاهي (ب) (مثل Copilot): أخذ نفس حقائق ويكيبيديا بالضبط وقدم شريحة لحم معقدة وثقيلة يصعب مضغها.

الدرس المستفاد: حتى عندما تعطي الذكاء الاصطناعي نفس الحقائق الموثقة، فإن نماذج الذكاء الاصطناعي المختلفة تعالجها بشكل مختلف. فبعضها يلخص ببساطة؛ بينما يقوم البعض الآخر بنسخ اللغة المعقدة للمصدر. هذا يعني أنه إذا قمت بتغيير نموذج الذكاء الاصطناعي، فإن "صعوبة" نصيحتك الصحية قد تتغير بين عشية وضحاها، حتى لو ظلت الحقائق كما هي.

٣. المفاجأة الثانية: "النقاد المرتبكون"

نظر الباحثون أيضاً إلى "نقاد الطعام" الخمسة (مقاييس سهولة القراءة). توقعوا أن يتفق النقاد على مدى صعوبة الطعام.

لكنهم لم يتفقوا.

الناقد رقم ١ (الذي يعد المقاطع اللفظية) قال: "هذه وجبة فاخرة وصعبة!"
الناقد رقم ٢ (الذي يعد الحروف) قال: "لا، هذه وجبة خفيفة بسيطة!"

الدرس المستفاد: لا يوجد "درجة واحدة لسهولة القراءة". اعتماداً على الأداة التي تستخدمها لقياس النص، قد تحصل على درجة مختلفة تماماً. إذا اعتمدت على أداة واحدة فقط، فقد تعتقد أن النص سهل بينما هو في الواقع معقد، أو العكس.

٤. فخ "الحل التقني"

تحذر الورقة من فخ شائع يسمى "النزعة التقنية الحلولية" (Techno-solutionism). وهو الاعتقاد بأنه "إذا أعطينا الذكاء الاصطناعي حقائق أفضل (مثل ويكيبيديا)، فسيكون كل شيء مثالياً".

تظهر الدراسة أن هذا ليس صحيحاً.

المقايضة: جعل الذكاء الاصطناعي يستخدم حقائق موثقة (ويكيبيديا) يجعل المعلومات أكثر دقة، ولكنه غالباً ما يجعلها أصعب في الفهم لأن الذكاذ الاصطناعي يعلق في محاولة نسخ اللغة المعقدة للمصدر.
المخاطرة: قد ينتهي بك الأمر بدليل صحي صحيح بنسبة ١٠٠٪ ولكن مكتوب بلغة معقدة للغاية لدرجة تجعل المريض يستسلم ولا يقرأه.

٥. الخلاصة: ماذا يجب أن نفعل؟

يقترح المؤلفون ثلاث قواعد لأي شخص يستخدم الذكاء الاصطناعي للنصائح الصحية:

١. لا تثق في ذكاء اصطناعي واحد فقط: النماذج المختلفة تعمل بشكل مختلف. لا يمكنك افتراض أنها قابلة للتبادل.
٢. لا تثق في درجة واحدة فقط: لا تعتمد على "رقم واحد لسهولة القراءة". استخدم مجموعة من الاختبارات المختلفة للحصول على الصورة الكاملة.
٣. أبقِ الإنسان في الحلقة: مجرد قول الذكاء الاصطناعي إن شيئاً ما "صحيح" لا يعني أنه "متاح للفهم". نحن بحاجة للتأكد مما إذا كان المريض يستطيع فهمه بالفعل.

باختصار:
تخيل أنك تبني جسراً ليعبر الناس فوق نهر (للحصول على المعلومات الصحية).

الدقة هي التأكد من أن الجسر لن ينهار (استخدام حقائق ويكيبيديا).
سهولة القراءة هي التأكد من أن الجسر يحتوي على منحدر لكي يتمكن الجميع من المشي عبره، وليس فقط المتسلقين المحترفين.

وجدت هذه الورقة أنه بينما نصبح أفضل في بناء جسور قوية (الدقة)، فإننا عن طريق الخطأ نبني بعضها بمنحدرات حادة وخطيرة (التعقيد) اعتماداً على أي فريق بناء (نموذج ذكاء اصطناعي) نستأجره. نحن بحاجة إلى فحص المنحدرات بعناية، بغض النظر عن مدى قوة الجسر.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تصنيف مقروئية النماذج اللغوية الكبيرة: تحليل التباين في المصادر والمقاييس."

1. بيان المشكلة

بينما تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مجال الرعاية الصحية لنشر المعلومات، يركز البحث الحالي بشكل كبير على الدقة الواقعية (منع "الهلوسة") بينما يهمل سهولة الوصول اللغوي. فالمعلومات الطبية الدقيقة تظل غير فعالة إذا لم يتمكن المرضى من فهمها.

الفجوة: هناك نقص في الفهم المتعلق بكيفية تصنيف النماذج اللغوية الكبيرة بمختلف بنياتها، ومقاييس المقروئية المختلفة، لمدى تعقيد النصوص المتعلقة بالصحة.
المقايضة: تُستخدم تقنية "التوليد المعزز بالاسترجاع" (RAG)، التي تربط استجابات النماذج اللغوية الكبيرة بمصادر موثقة مثل ويكيبيديا، لتحسين الدقة الواقعية. ومع ذلك، فمن غير المعروف ما إذا كانت استراتيجية التأسيس هذه تزيد دون قصد من تعقيد النص أو تخلق نتائج متباينة في المقروئية عبر النماذج واللغات المختلفة.
المخاطر: إذا تباينت المقروئية بشكل كبير بين النماذج أو المقاييس، فقد يواجه المرضى في المناطق ذات الموارد المحدودة أو ذوو الثقافة الصحية المنخفضة عوائق أمام تلقي الرعاية، مما يؤدي إلى تفاقم عدم المساواة الصحية العالمية.

2. المنهجية

استخدمت الدراسة تصميماً عرضياً لتقييم مقروئية المعلومات المتعلقة بصحة السمع التي أنتجتها سبعة نماذج لغوية كبيرة بـ لغتين (الإنجليزية والبرتغالية) تحت شرطين.

النماذج التي تم تقييمها:
1. OpenAI-ChatGPT-4o (GPT)
2. DeepSeek-R1 (DpS)
3. Claude-3.7-Sonnet (Cd)
4. Google-Gemini-2.0-Flash (Gm)
5. Mistral-AI-LeChat-8x22B (leC)
6. Maritaca-10B-Sábia3 (Ma) – يتميز بكونه نموذجاً من دول الجنوب العالمي.
7. Microsoft-Copilot-April-2025 (Co)
توليد البيانات:
- الأوامر (Prompts): مستمدة من إرشادات منظمة الصحة العالمية بشأن تقديم خدمات المعينات السمعية، وتغطي 8 مجالات سريرية (مثل التشوهات الخلقية، والتهاب الأذن الوسطى المزمن).
- الشرطان:
  1. الأساس (Baseline): قامت النماذج بتوليد الاستجابات باستخدام المعرفة المسبقة فقط.
  2. المستند إلى ويكيبيديا: تم توجيه النماذج عبر الأوامر لتأسيس الاستجابات في مقالات ويكيبيديا (محاكاة لتقنية RAG).
- إجمالي البيانات: 1,120 نقطة بيانات (7 نماذج × 8 أوامر × لغتان × شرطان × 5 مقاييس).
مقاييس المقروئية: استُخدمت خمسة مقاييس قياسية لتقييم تعقيد النص:
1. سهولة القراءة من نوع فليش (FRE)
2. مستوى درجة فليش-كينكيد (FKG)
3. المقياس البسيط للتعقيد (SMOG)
4. مؤشر القابلية للقراءة الآلية (ARI)
5. مؤشر كولمان-لياو (CLI)
- ملاحظة: تم تحويل المقاييس إلى نظام ثنائي: "أعلى" (تعقيد أقل/مقروئية عالية) و"أدنى" (تعقيد عالٍ/مقروئية منخفضة) لتسهيل اختبار التجانس الإحصائي.
التحليل الإحصائي:
- اختبار G (اختبار نسبة الاحتمال): استُخدم لاختبار التجانس في نسب التصنيف.
- الفرضيات:
  - H1: تصنيفات المقروئية متجانسة عبر مختلف بنيات النماذج اللغوية الكبيرة.
  - H2: تصنيفات المقروئية متجانسة عبر مختلف مقاييس المقروئية.
- الأدوات: لغة Python (لحساب المقاييس)، لغة R (للتحليل الإحصائي)، وبرنامج LibreOffice Calc.

3. النتائج الرئيسية

أ. تباين بنية النموذج (H1)

الشرط الأساسي (Baseline): كانت تصنيفات المقروئية متجانسة إحصائياً عبر جميع النماذج السبعة في كل من الإنجليزية والبرتغالية. يشير هذا إلى أن التوليد الحواري القياسي ينتج تعقيداً سطحياً متشابهاً بغض النظر عن النموذج.
الشرط المستند إلى ويكيبيديا: أصبحت تصنيفات المقروئية متباينة بشكل ملحوظ ( $p < .05$ $p < .05$ ) عبر النماذج.
- تباين التكامل (Integration Variability): صاغت الدراسة هذا المصطلح لوصف كيفية معالجة النماذج المختلفة لنفس المصدر الخارجي (ويكيبيديا) بشكل مختلف.
- نتائج محددة:
  - في اللغة الإنجليزية، أنتج GPT نصاً أكثر سهولة في القراءة بشكل ملحوظ (50% "أعلى")، بينما أنتج Claude نصاً أكثر تعقيداً بشكل ملحوظ (92.5% "أدنى").
  - في اللغة البرتغالية، أنتج Copilot النص الأكثر تعقيداً (97.5% "أدنى")، بينما كان Gemini أكثر سهولة في القراءة (32.5% "أعلى").
- الاستنتاج: التأسيس على مصادر موثقة لا يضمن مقروئية ثابتة؛ بل يؤدي إلى تباين يعتمد على آليات التركيب الداخلية لكل نموذج.

ب. تباين المقاييس (H2)

جميع الشروط: لوحظ تباين غير متجانس كبير عبر المقاييس الخمسة في جميع المجموعات (الأساس والمستند إلى ويكيبيديا، بكلتا اللغتين).
الاختلاف بين المقاييس: المقاييس التي تعتمد على سمات لغوية مختلفة (مثل SMOG القائم على المقاطع الصوتية مقابل CLI القائم على الحروف) غالباً ما تصنف نفس النص بشكل مختلف.
الاستنتاج: مقاييس المقروئية ليست قابلة للتبادل. إن اختيار المقياس يعد مصدراً للتباين لا يقل أهمية عن اختيار النموذج اللغوي نفسه.

4. المساهمات الرئيسية

تحديد "تباين التكامل": تظهر الدراسة أن استراتيجيات التأسيس/RAG، رغم تحسين الدقة الواقعية، يمكن أن تزعزع استقرار اتساق المقروئية عبر بنيات النماذج المختلفة.
عدم قابلية تبادل المقاييس: تقدم الورقة دليلاً تجريبياً على أن استخدام مقياس مقروئية واحد لتقييم مخرجات النماذج اللغوية الكبيرة هو أمر غير سليم منهجياً بسبب الاختلاف المنهجي بين المقاييس.
التحقق عبر اللغات: تسري هذه النتائج على كل من الإنجليزية والبرتغالية، مما يسلط الضوء على أن هذه المشكلات ليست مرتبطة بلغة معينة، بل هي هيكلية في معالجة النماذج اللغوية الكبيرة وتصميم المقاييس.
مقايضة الحوكمة: تحدد الورقة صراحةً وجود مقايضة: التأسيس على المصادر يحسن التحقق من الصحة ولكنه قد يقلل من سهولة الوصول والاتساق.

5. الأهمية والآثار المترتبة

العدالة الصحية: يمكن أن تؤدي المقروئية غير المتسقة إلى توسيع فجوات الثقافة الصحية، مما يؤخر تلقي الرعاية للفئات الضعيفة. إن الاعتماد على نموذج أو مقياس واحد قد يخلق دون قصد تفاوتات جديدة.
بروتوكولات التقييم: يدعو المؤلفون إلى معايير تقييم شفافة ومستقلة عن الشركات المصنعة. يجب أن تتضمن بروتكولات التواصل الصحي ما يلي:
- استخدام مجموعة من مقاييس المقروئية المتعددة بدلاً من درجة واحدة.
- تطبيق عتبات خاصة بكل لغة.
- إعادة تقييم النماذج كلما تغيرت البنية الأساسية أو تكوين التأسيس (مثل الانتقال من الحالة الأساسية إلى RAG).
استراتيجية المصلحة العامة: تؤكد الدراسة على ضرورة التعامل مع مصادر المعرفة (مثل ويكيبيديا) كسلع عامة. فإذا تم تدريب النماذج اللغوية الكبيرة بشكل متزايد على محتوى مولد بواسطة الذكاء الاصطناعي أو التأسيس عليه (تأثير "الأوروبروس" - Ouroboros effect)، فإن سلامة وسهولة قراءة النظام البيئي للمعلومات بأكمله قد تتدهور.
البحث المستقبلي: تدعو الدراسة إلى إجراء دراسات طولية لتتبع تطور النماذج، والتحقق عبر المجالات الطبية الأخرى، وتطوير تقييم يتضمن العنصر البشري (human-in-the-loop) لضمان أن النص "السهل القراءة" هو أيضاً دقيق سريرياً.

الخلاصة: تخلص الورقة إلى أنه بينما توفر النماذج اللغوية الكبيرة وعوداً للتواصل الصحي، فإن نشرها يتطلب تدقيقاً صارماً، متعدد المقاييس، ومستقلاً عن النماذج لضمان أن السعي وراء الدقة الواقعية لا يأتي على حساب سهولة الوصول اللغوي.