Structured Disagreement in Health-Literacy Annotation: Epistemic Stability, Conceptual Difficulty, and Agreement-Stratified Inference

ملخص تقني لورقة بحثية بعنوان: "الخلاف الهيكلي في توصيف الثقافة الصحية: الاستقرار الإبستمولوجي، الصعوبة المفاهيمية، والاستدلال الطبقي المتوافق مع الاتفاق"

1. بيان المشكلة

تعمل مسارات التوصيف (Annotation) التقليدية في معالجة اللغات الطبيعية (NLP) بناءً على افتراض أن كل حالة بيانات تمتلك "حقيقة أرضية كامنة" واحدة. ويُعامل الخلاف بين الموصِّفين عادةً كضجيج يتم حله عبر طرق التجميع (مثل التصويت بالأغلبية). ومع ذلك، يفشل هذا النهج في المهام التفسيرية المتدرجة، مثل تقييم الثقافة الصحية، حيث قد تحتوي الاستجابات على معرفة جزئية أو استدلال ضمني.

تعالج الورقة فجوة حرجة: متى يعكس الخلاف عدم استقرار في المهمة نفسها (الصعوبة الإبستمولوجية) بدلاً من عدم موثوقية الموصِّف؟ وتحديداً، يبحث المؤلفون فيما إذا كان تجميع أحكام الثقافة الصحية المتدرجة يحجب استدلالات علمية اجتماعية هامة (مثل تأثيرات التعليم، الجغرافيا، أو الدولة) وما إذا كان "النمذجة المنظورية" (Perspectivist modeling) -التي تعامل الخلاف كمعلومات مفيدة- ضرورة إحصائية للاستدلال الصحيح في البيئات محدودة الموارد ومتعددة اللغات.

2. المنهجية

مجموعة البيانات والسياق

• المصدر: 6,323 استجابة مفتوحة لأسئلة صحية تتعلق بكوفيد-19 جُمعت من الإكوادور وبيرو.
• الديموغرافيا: تم استقطاب المشاركين (N=299) من مجتمعات تتحدث لغة الكيتشوا/الكيشوا (Quechua/Kichwa) تاريخياً مهمشة (ريفية وحضرية).
• اللغات: كانت الاستجابات باللغات الإسبانية، والكيشوا، والكيتشوا.
• مقياس التوصيف: تم وسم الاستجابات بشكل مستقل من قبل أربعة موصِّفين باستخدام درجة صحة تناسبية على مقياس من 5 درجات: $\{0, 0.25, 0.5, 0.75, 1.0\}$.
  • تعكس الدرجات درجة التوافق مع الإرشادات المعيارية (منظمة الصحة العالمية ووزارات الصحة الوطنية).
  • نتج عن ذلك 17,305 ملاحظة على مستوى التوصيف.
• العينة الفرعية: تم اختيار سبعة أسئلة محددة من الأسئلة المفتوحة للتحليل الاستدلالي بناءً على الخصوصية الدلالية وتكرار الاستجابة.

الإطار التحليلي
استخدم المؤلفون نهجاً منظورياً (Perspectivist)، يتجاوز مجرد التجميع البسيط لتحليل هيكل الخلاف:

1. تفكيك التباين: استخدموا نماذج التأثيرات المختلطة لتقسيم التباين الكلي إلى مكونات تعزى إلى مستوى السؤال (الصعوبة المفاهيمية)، ومستوى الموصِّف (عدم اتساق الموصِّف)، والعوامل المتبقية.
2. النمذجة المرجعية: تم تدريب نموذج تصنيف انحدار لوجستي باستخدام سمات TF-IDF للتنبؤ بالصحة الثنائية (أقل من 0.5 مقابل أكبر من أو يساوي 0.5) لتحديد القدرة على التنبؤ المعجمي.
3. الاستدلال الطبقي المتوافق مع الاتفاق: تم تقسيم الأسئلة حسب مستويات الاتفاق بين الموصِّفين (مرتفع: $\kappa > 0.60$؛ متوسط: $0.40 \le \kappa \le 0.60$؛ منخفض: $\kappa < 0.40$).
4. التحليل المقارن: أُعيد تقييم التأثيرات السوسيوديموغرافية (الدولة، التعليم، ريف-حضر، الجنس) ضمن كل طبقة اتفاق لاختبار استقرار أو انعكاس الاتجاهات.

3. المساهمات الرئيسية

• التحقق التجريبي من الخلاف الهيكلي: تثبت الدراسة أن الخلاف في مهام الثقافة الصحية المتدرجة مدفوع أساساً بـ الصعوبة المفاهيمية على مستوى السؤال وليس بعدم اتساق الموصِّفين.
• الاستقرار مقابل عدم الاستقرار الإبستمولوجي: تميز الدراسة بين المكونات "المستقرة إبستمولوجياً" (حيث يكون الاتفاق مرتفعاً والاستدلالات قوية) والمكونات "غير المستقرة" (حيث يكشف الخلاف عن درجات متفاوتة من المعرفة الجزئية).
• الاستدلال الطبقي المتوافق مع الاتفاق: تقدم الورقة إطاراً منهجياً يوضح أن تجميع البيانات عبر جميع مستويات الاتفاق يمكن أن يؤدي إلى استنتاجات خاطئة أو معكوسة فيما يتعلق بالعوامل الاجتماعية.
• توسيع المنظورية: توسع الورقة نظرية المنظورية في معالجة اللغات الطبيعية (NLP) بما يتجاوز المهام الذاتية الواضحة (مثل اكتشاف السمية) لتشمل المهام "الموضوعية" المتدرجة التي تتضمن معرفة واقعية واستدلالاً.

4. النتائج الرئيسية

أ. هيكل التباين

• هيمنة السؤال: كشف تفكيك التباين أن 33.73% من التباين الكلي يعزى إلى السؤال (الصعوبة المفاهيمية)، بينما يعزى 1.14% فقط إلى الموصِّف.
• ارتباط داخل الفئة (ICC): كان معامل الارتباط داخل الفئة للأسئلة ($\approx 0.337$) أعلى بكثير من معامل الارتباط للموصِّفين ($\approx 0.011$).
• الاستنتاج: الخلاف هو إشارة لتعقيد المهمة، وليس ضجيجاً من الموصِّف. الأسئلة ذات التباين العالي تضمنت آليات بيولوجية طبية معقدة (مثل إعادة استخدام الكمامات، وانتقال العدوى بدون أعراض).

ب. القدرة التنبؤية المعجمية مقابل الاستقرار الإبستمولوجي

• حقق نموذج الانحدار اللوجستي (TF-IDF) دقة بلغت 83.98% في التنبؤ بالصحة الثنائية.
• نتيجة حاسمة: القدرة العالية على التنبؤ المعجمي لا تعني بالضرورة الاستقرار الاستدلالي. حتى مع وجود إشارات سطحية قوية، ظلت الاستدلالات الاجتماعية الأساسية غير مستقرة عند تقسيمها حسب مستويات الاتفاق.

ج. الاستدلال الطبقي المتوافق مع الاتفاق (تأثير "الانعكاس")
وجدت الدراسة أن التأثيرات العلمية الاجتماعية تختلف بشكل كبير في الحجم والاتجاه اعتماداً على مستوى الاتفاق بين الموصِّفين:

• التفسير: في أنظمة "الاتفاق المتوسط"، تكون الاستجابات غامضة أو يصعب تفسيرها باستمرار. تجميع هذه البيانات مع بيانات "الاتفاق المرتفع" يحجب عدم الاستقرار، مما يؤدي إلى استنتاجات قد تكون ناتات عن طريقة التجميع بدلاً من كونها توجهات حقيقية للسكان.

د. التفاعلات متعددة المتغيرات
كانت تأثيرات التعليم حساسة للسياق: كان التدرج أقوى في المناطق الريفية منه في الحضرية، وأقوى في الإكوادور منه في بيرو. كانت هذه الأنماط أكثر وضوحاً في مجموعة الاتفاق المرتفع.

5. الأهمية والآثار المترتبة

• لأبحاث معالجة اللغات الطبيعية (NLP):

  • استراتيجية النمذجة: النمذجة المنظورية القوية (التي تدمج الخلاف كميزة وليس كضجيج) ضرورية إحصائياً للاستدلال الصحيح في المهام التفسيرية المتدرجة.
  • التقييم: مقاييس الدقة القياسية غير كافية؛ يجب أن يأخذ التقييم في الاعتبار هيكل الخلاف لتجنب حجب عدم اليقين الإبستمولوجي.

• للصحة العامة والعلوم الاجتماعية:

  • أداة تشخيصية: يعمل الاتفاق بين الموصِّفين كمؤشر تشخيصي لـ الاستقرار الإبستمولوجي. يشير الاتفاق المنخفض في مجموعات ديموغرافية أو أنواع أسئلة معينة إلى المناطق التي تكون فيها المعرفة غير موزعة بالتساوي أو حيث تكون الإرشادات غير واضحة للسكان.
  • تفسير السياسات: قد تحجب درجات الثقافة الصحية المجمعة الفوارق الحرجة. يجب على صانعي السياسات مراعاة أن الأداء "المتوسط" قد يخفي توجهات معكوسة (مثل الريف مقابل الحضر) اعتماداً على وضوح الأسئلة.

• المساهمة النظرية:

  • تجادل الورقة بأن الخلاف في المهام المتدرجة ليس مجرد "ضجيج"، بل هو يشفر اختلافات في المعرفة الجزئية. إنها تتحدى نموذج "الحقيقة الأرضية الواحدة"، وتقترح أنه بالنسبة للمعرفة المعقدة في العالم الحقيقي، فإن توزيع الأحكام هو البيانات ذات الأهمية، وليس مجرد المتوسط.

الخاتمة

تخلص الورقة إلى أن توصيف الثقافة الصحية يحتوي على مكونات مستقرة إبستمولوجياً وأخرى غير مستقرة. إن تجميع هذه المكونات دون مراعاة هيكل الخلاف يخاطر بحجب التباين الاجتماعي الهام. ويدعو المؤلفون إلى استخدام نهج النمذجة الطبقية والهرمية لضمان أن الاستدلالات المستخلصة من أنظمة معالجة اللغات الطبيعية في مجال الصحة العامة هي استدلالات قوية، واعية بالسياق، وصحيحة إحصائياً.