Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA

ملخص تقني مفصل لورقة البحث: "هل هي مُعايرة؟ ليس للجميع: كيف تؤدي المؤشرات المتعلقة بالتوجه الجنسي والانتماء الديني إلى تشويه دقة وثقة النماذج اللغوية الكبيرة في الأسئلة الطبية"

1. بيان المشكلة

يعتمد النشر الآمن للنماذج اللغوية الكبيرة (LLMs) في البيئات السريرية ليس فقط على الدقة العالية، بل أيضاً على المعايرة القوية لعدم اليقين (Robust Uncertainty Calibration). في سير العمل السريري، يجب على النماذج أن تحيل المهام إلى الأطباء البشريين عندما يكون مستوى ثقتها منخفضاً. ومع ذلك، تشير الأبحاث الحالية إلى أن واصفات الهوية الاجتماعية (مثل العرق والجنس) يمكن أن تسبب انحيازاً في مخرجات النماذج.

تعالج هذه الورقة فجوة حرجة: كيف تؤثر مؤشرات الهوية الاجتماعية غير التشخيصية سريرياً — وتحديداً التوجه الجنسي والانتماء الديني — على كل من الدقة و(المعايرة) (أي موثوقية درجات الثقة) للنماذج اللغية الكبيرة الطبية؟ يفترض المؤلفون أن هذه المؤشرات قد لا تكتفي بتغيير التنبؤات فحسب، بل قد تؤدي أيضاً إلى تدهور قدرة النموذج على تقدير عدم اليقين الخاص به بشكل صحيح، مما يشكل خطراً على الرعاية المتكافئة والآمنة للمرضى.

2. المنهجية

البيانات وبناء السيناريوهات المقابلة (Counterfactual Construction)

• مجموعة البيانات: تستخدم الدراسة 2,364 سؤالاً من مجموعة بيانات MedQA-USMLE (اختبار الترخيص الطبي في الولايات المتحدة)، بعد تصفيتها لتشمل حالات مرضية لبالغين (≥18 عاماً) واستبعاد أي إشارات مسبقة للطب النفسي، أو التوجه الجنسي، أو الدين.
• النسخ المقابلة (Counterfactual Variants): قام المؤلفون بإنشاء نسخ مقابلة لكل حالة مرضية عبر إدراج جملة نمطية تحدد:
  • التوجه الجنسي: "المريض يعرّف نفسه كغيري الجنس (Heterosexual)" أو "المريض يعرّف نفسه كمثلي الجنس (Homosexual)".
  • الدين: "المريض كاثوليكي"، "مسلم"، أو "ملحد".
  • التقاطع (Intersectional): تركيبات من التوجه الديني والديني (مثل: "مثلي الجنس" + "كاثوليكي").
• المجموعة الضابطة (Control): عملت إدراجات "غيري الجنس" كخط أساس قريب من الحياد.

النماذج التي تم تقييمها

تم اختبار تسعة نماذج لغوية كبيرة، شملت نماذج عامة وأخرى طبية حيوية، تراوحت أحجامها بين 3 مليار و70 مليار معلمة (Parameters)، بما في ذلك:

• النماذج مفتوحة الأوزان: Llama-3.2-3B, Qwen3-4B/30B, Bio-Medical-Llama-3-8B, Llama-3.1-8B/70B, OpenBioLLM-70B.
• النماذج مغلقة المصدر: GPT-4.1-mini, GPT-5.1.

المقاييس وتقدير عدم اليقين

• الدقة (Accuracy): قيست عبر الاختيار من متعدد (MCQA) والتوليد مفتوح النهاية.
• تقدير عدم اليقين (Uncertainty Quantification): تستخدم الدراسة طريقة الاعتلال الدلالي (Semantic Entropy)، وهي طريقة تقيس عدم اليقين التنبئي عبر قياس الاعتلال في المخرجات المتميزة دلالياً عبر توليدات متعددة (K=10)، بدلاً من مجرد احتمالات الرموز (Tokens) السطحية.
• مقاييس المعايرة (Calibration Metrics):
  • درجة براير (Brier Score): تقيس متوسط مربع الخطأ بين الاحتمالات المتوقدة والصحة الثنائية (الأقل هو الأفضل).
  • الثقة (Confidence): تُعرف بأنها $1 - \text{الاعتلال المعياري}$.
  • خطأ المعايرة المتوقع (ECE) وAUROC: استُخدما كمقاييس تكميلية لتقييم المعايرة والتمييز.

التصميم التجريبي

1. الأسئلة متعددة الخيارات: تم تقييم تحولات الدقة والمعايرة عبر جميع حالات الهوية.
2. دراسة الحالة مفتوحة النهاية: لاستبعاد الآثار المرتبطة حصرياً بصيغة الاختيار من متعدد، قام المؤلفون بتحويل الأسئلة إلى توليد مفتوح النهاية. استخدموا نموذجاً لغوياً كـ "حَكَم" (تم التحقق من صحته بواسطة طبيب) لتقييم الصحة واستخدام التجميع الدلالي لحساب الاعتلال.
3. التحليل النوعي: فحص حالات الفشل المحددة لفهم طبيعة الأخطاء.

3. المساهمات الرئيسية

1. اكتشاف "أزمة معايرة": تثبت الورقة أن مؤشرات الهوية لا تغير الدقة فحسب، بل تؤدي بشكل منهجي إلى تدهور معايرة عدم اليقين. تصبح النماذج أقل موثوقية في إشارات الثقة الخاصة بها عند وجود تلميحات الهوية الحساسة.
2. الهشاشة التقاطعية (Intersectional Vulnerability): تكشف الدراسة أن الجمع بين التوجه الجنسي والمؤشرات الدينية ينتج أضراراً غير تراكمية وغير متوقعة. فالهويات التقاطعية (مثل: مثلي الجنس + كاثوليكي) غالباً ما تسبب انخفاضات في الأداء والمعايرة تتجاوز مجموع آثار الهويات الفردية.
3. ما وراء الاختيار من متعدد: من خلال التحقق من النتائج في بيئة التوليد مفتوح النهاية، أثبت المؤلفون أن هذه التشوهات ليست نتاجاً لصيغة الاختيار من متعدد، بل تعكس عيوباً جوهرية في التفكير لدى النماذج.
4. الأهمية السريرية: تسلط الورقة الضوء على أن حتى "النماذج الرائدة" (مثل GPT-5.1) تظهر فقداناً كبيراً في المعايرة، مما يشير إلى أن النماذج المتطورة حالياً ليست جاهزة تماماً لتدفقات العمل السريرية القائمة على الإحالة بناءً على الثقة والتي تشمل مجموعات سكانية متنوعة.

4. النتائج الرئيسية

تحولات الدقة

• مؤشرات المثليين (Homosexual Markers): أدت باستمرار إلى انخفاضات كبيرة في الدقة في معظم النماذج. على سبيل المثال، سجل نموذج OpenBioLLM-70B انخفاضاً في الدقة بنسبة −7.21% مع إدراج وصف "مثلي الجنس" مقارنة بخط الأساس.
• مؤشرات غيري الجنس (Heterosexual Markers): عملت عموماً كخط أساس محايد مع تغيرات طفيفة لا تذكر.
• المؤشرات الدينية: أظهرت اتجاهات سلبية ولكنها متنوعة، حيث تسببت إدراجات "مسلم" و"كاثوليكي" في انخفاضات حادة أحياناً.
• التقاطع (Intersectionality): أدى الجمع بين "المثلية" والواصفات الدينية إلى تفاقم التدهور. بالنسبة لنموذج Bio-Medical-Llama-3-8B، كان الانخفاض في حالة "+homo+Cat" بنسبة (−5.58%) أكبر بكثير من الانخفاضات في حالة "+homo" (−2.37%) أو "+Cat" (−1.10%) بمفردهما.

تدهور المعايرة والثقة

• زيادة درجات براير (Brier Score): أدت إدراجات الهوية إلى زيادة مستمرة في درجات براير (مما يشير إلى سوء المعايرة). تحت شرط "+homo"، شهدت نماذج Llama-3.1-70B و OpenBioLLM-70B زيادات نسبية في درجات براير بلغت +29.3% و +32.0% على التوالي.
• عدم تطابق الثقة (Confidence Mismatch): غالباً ما قللت النماذج من ثقتها عند إدراج مؤشرات الهوية. ومع ذلك، فإن هذا الارتفاع في عدم اليقين كان غير كافٍ للحفاظ على المعايرة (كما يتضح من ارتفاع درجات براير). وهذا يخلق سيناريو خطيراً حيث قد لا تحيل النماذج المهام للأطباء حتى عندما تكون مخطئة، أو قد تحيلها بشكل مفرط، مما يؤدي لتآكل فائدة النظام.
• النماذج الرائدة: حتى نموذج GPT-5.1 الأكثر قوة، أظهر فقداناً كبيراً في المعايرة تحت ظروف "+homo"، رغم أنه كان أقل حساسية للإشارات التقاطعية مقارنة بالنماذج الأخرى.

التوليد مفتوح النهاية

• استمر التدهور في بيئات التوليد مفتوح النهاية. أظهر GPT-5.1 انخفاضاً في الدقة بنسبة −3.81% وزيادة في درجة براير بنسبة 5.3% تحت ظروف "+homo".
• أنماط الفشل النوعية: حددت الدراسة "الاستنتاج المدفوع بالصور النمطية". فعلى سبيل المثال، عندما وُصف المريض بأنه "مثلي الجنس"، انتقل النموذج من تشخيص مدعوم سريرياً (مثل متلازمة الكبد والكلى) إلى تفسير مدفوع بالصورة النمطية (مثل اعتلال الكلية المرتبط بفيروس نقص المناعة البشرية HIV) رغم افتقار الحالة السريرية لأي دليل على ذلك، وكل ذلك مع الحفاظ على ثقة عالية.

5. الأهمية والآثار المترتبة

• الخطر على العدالة في الرعاية: تشير النتائج إلى أن أنظمة الذكاء الاصطنا-السريرية قد تقدم نصائح أقل دقة وأقل موثوقية للمرضى من مجتمع الميم (LGBTQ+) والأقليات الدينية، مما قد يؤدي إلى فرز غير عادل للحالات ورعاية غير آمنة.
• فشل الإحالة القائمة على الثقة: بما أن السلامة السريرية تعتمد غالباً على إحالة النماذج للمهام إلى البشر عندما تكون الثقة منخفضة، فإن تشوه إشارات الثقة يعني أن آليات السلامة هذه قد تفشل لمجموعات ديموغرافية معينة.
• محدودية إزالة السمات (Attribute Removal): يجادل المؤلفون بأن مجرد تجريد المدخلات من سمات الهوية ليس حلاً قوياً؛ فالهوية يمكن استنتاجها من إشارات وسيطة، وهي أحياناً ذات صلة سريرية، ويجب أن تكون النماذج قوية تجاه التباينات المدخلة غير الضارة.
• الاتجاهات المستقبلية: تدعو الورقة إلى جعل "المعايرة المقابلة" (Counterfactual Calibration) معياراً لفحص الجاهزية السريرية، والتدريب المراعي للمعايرة، وتطوير سياسات إحالة يتم التحقق من صحتها صراحة عبر مجموعات الهوية المختلفة.

في الختام، توفر الورقة دليلاً تجريبياً على أن مؤشرات الهوية الاجتماعية تعمل كـ "سم قاتل" لموثوقية النماذج اللغوية الكبيرة في الطب، مما يخلق ضعفاً محدداً حيث تصبح النماذج أقل دقة وأقل موثوقية في تقديرات عدم اليقين الخاصة بها للمجموعات المهمشة.