TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs
تقدم هذه الورقة TreeProbe، وهو أول معيار اختبار صُمم لتقييم التحيز الثقافي في النماذج اللغوية الكبيرة من خلال اختبار مدى التزامها بالإطار النظري الهيكلي للطب التبتي، مما يكشف أن النماذج الحالية غالباً ما تظهر انحرافاً معرفياً منهجياً نحو نماذج الطب الحيوي السائدة أو الطب الصيني التقليدي.
تخيل أنك تدخل إلى مكتبة ضخمة وعالية التقنية حيث الكتب مكتوبة بواسطة روبوتات فائقة الذكاء. هذه الروبوتات، التي تُسمى النماذج اللغوية الكبيرة (LLMs)، قد قرأت كل شيء تقريبًا على الإنترنت. إنها مذهلة في الإجابة على الأسئلة، وكتابة القصص، وحتى التظاهر بأنها أطباء. لكن هناك مشكلة: معظم الكتب التي قرأتها كانت مكتوبة باللغة الإنجليزية ومبنية على العلوم الغربية. لذا، عندما تسألهم عن نظام طبي من ثقافة مختلفة — مثل الطب التبتي، الذي له طريقته الفريدة الخاصة في فهم الجسم والمرض — يصاب الروبوتات بالارتباك. فبدلاً من استخدام القواعد التبتية، ينتقلون دون قصد إلى القواعد الغربية أو حتى قواعد الطب الصيني، تمامًا مثل طباخ يعرف فقط كيفية صنع البيتزا، وفجأة يحاول صنع السوشي ولكن باستخدام عجينة البيتزا. تتحدث هذه الورقة البحثية عن بناء اختبار خاص لمعرفة كيف ولما-ذا يرتكب هؤلاء الروبوتات هذا الخطأ، وإلى أي مدى "ينحرفون" عن الحقيقة.
قام الباحثون وراء هذه الدراسة، بقيادة جين تشانغ وفريق من جامعات في الصين والتبت، بابتكار أداة جديدة تسمى TreeProbe. فكر في الطب التبتي كشجرة عملاقة وقديمة ذات جذور عميقة. تستخدم الورقة البحثية "شجرة الطب"، وهو إطار عمل كلاسيكي من النصوص التبتية، لبناء اختبار يحتوي على 4,719 سؤالاً تغطي 467 مرضاً مختلفاً. لم يكتفوا بسؤال الروبوتات أسئلة بسيطة حول المعلومات العامة؛ بل سألوهم عن سبب حدوث المرض، وكيفية تشخيصه باستخدام "الأخلاط الثلاثة" التبتية (وهو مفهوم يشبه توازن الطاقات)، وكيفية علاجه بنظام غذائي أو أعشاب محددة.
وجد الفريق أن حتى أذكى الروبوتات اليوم لا تزال تعاني. فعند الاختبار، لم تحصل أفضل النماذج إلا على حوالي 60% من الإجابات الصحيحة في أسئلة الاختيار من متعدد. لكن القصة الحقيقية ليست فقط في كونهم أخطأوا في الإجابة؛ بل في كيفية وقوعهم في الخطأ. لم تكن الروبوتات تخمن عشوائياً؛ بل انحرفت باستمرار نحو أنظمة طبية أخرى. فبعض النماذج، مثل نموذج شركة Anthropic (Claude)، مالَت نحو التفكير الطبي الحيوي الغربي، بينما انحرفت نماذج أخرى، مثل بعض النماذج الصينية، نحو الطب الصيني التقليدي (TCM). الأمر يبدو كما لو أن للروبوتات "إعدادات افتراضية" تتجاوز المعرفة التبتية المحددة التي يُفترض بها استخدامها.
اكتشف الباحثون أيضاً أن الروبوتات بارعة في التظاهر بالمعرفة. يمكنها كتابة جمل تبتية بليغة تبدو مثالية من الناحية النحوية، لكن النصيحة الطبية بداخلها غالباً ما تكون خاطئة أو مختلطة مع أنظمة أخرى. إنه يشبه روبوتاً يتحدث الفرنسية بطلاقة ولكنه يعطيك وصفة لطبق ألماني عندما طلبت منه طبقاً فرنسياً. تشير الدراسة إلى أن هذا يحدث لأن الروبوتات تم تدريبها على بيانات تكون فيها الأفكار الطبية الغربية والصينية أكثر شيوعاً من الأفكة التبتية. فعندما يتعثر الروبوت، فإنه يعود إلى ما يعرفه جيداً، مما يؤدي دون قصد إلى محو المنطق الفريد للطب التبتي.
باخت সহজ، يعمل TreeProbe كأداة تشخيص للروبوتات نفسها. فهو يوضح لنا أنه لكي نجعل الذكاء الاصطناعي عادلاً ومفيداً حقاً للجميع، لا يمكننا فقط تزويده بمزيد من البيانات؛ بل يجب علينا تعليمه احترام وفهم طرق مختلفة لمعرفة العالم. لا تدعي الورقة البحثية أنها حلت المشكلة بعد، لكنها توفر أول خريطة واضحة للأماكن التي يضل فيها الروبوتات طريقها، مما يساعد المطورين على بناء ذكاء اصطناعي أفضل وأكثر وعياً ثقافياً في المستقبل.
ملخص تقني: TreeProbe – معيار للطب التيبتي لقياس التحيز الثقافي في النماذج اللغوية الكبيرة
بيان المشكلة تُقترح النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كأدوات للتخفيف من عدم المساواة في الصحة العالمية. ومع ذلك، فإن النماذج الحالية مدربة في الغالب على مجموعات بيانات ذات مركزية غربية وعالية الموارد، مما يؤدي إلى نقص منهجي في تمثيل السياقات الثقافية المحلية والمعارف الطبية الخاصة بكل منطقة. وتتجلى هذه القضية بوضوح في الطب التيبتي، وهو أحد الأنظمة الطبية التقليدية الأربعة الرئيسية في العالم، والذي يمتلك إطاراً نظرياً مستقلاً وعالي الهيكلية. فعندما تفتقر النماذج اللغوية الكبيرة إلى فهم راسخ للإبستمولوجيا (نظرية المعرفة) الطبية التبتية، فإنها تميل إلى الاعتماد على الأنظمة الخارجية المهيمنة — وتحديداً الطب الحيوي أو الطب الصيني التقليدي (TCM) — أثناء عملية الاستنتاج. هذا "الانجراف الأنطولوجي" (Ontology Drift) يشوه هياكل المعرفة الأصلية، مما قد يعزز الهياكل الهرمية القائمة للمعرفة ويفاقم عدم المساواة في الرعاية الصحية. وهناك فجوة حرجة تتمثل في غياب الأدوات الكمية لتقييم وتشخيص هذا الشكل المحدد من التحيز الثقافي ضمن السياقات الطبية التبتية.
المنهجية: معيار TreeProbe لمعالجة هذه الفجوة، قدم المؤلفون TreeProbe، وهو أول معيار للتحيز الثقافي يستند إلى إطار "الشجرة الطبية" الأصلي للطب التيبتي، كما هو مدون في "التانترات الأربعة" (Four Tantras). يتم هيكلة المعيار حول ثلاث جذور هي: الفيزيولوجيا المرضية، التشخيص، والعلاج.
بناء مجموعة البيانات: يتكون TreeProbe من 4,719 عنصرًا تم التحقق منها من قبل خبراء، تغطي 467 مرضًا و10 مهام فرعية (تشمل كلاً من أسئلة الاختيار من متعدد والأسئلة والأجوبة التوليدية). تتبع عملية البناء مساراً من أربع مراحل:
استخراج وحدات المعرفة: يتم استخراج وحدات معرفية ذرية من مصادر موثوقة (التانترات الأربعة والمعيار الوطني GB/T 46946–2025) بواسطة مدققين يتحدثون اللغة التبتية الأصلية. كل وحدة هي "رباعية" مهيكلة تربط بين الدليل المصدري، وأكواد الأمراض، ومتجهات السمات التي تغطي المسببات، والنشوء المرضي، والتشخيص، والعلاج.
الاستحضار الموجه بالمعاملات (Operator-Guided Instantiation): تُشتق العناصر باستخدام عائلة من معاملات الاستقصاء التي تربط سمات محددة بالأسئلة المستهدفة. يضمن ذلك أن الصعوبة نابعة من الاستنتاج وليس من تسرب المعلومات.
تأليف المشتتات عبر الأنطولوجيات (Cross-Ontology Distractor Authoring): لاختبار التحيز بصرامة، يستخدم المعيار تصنيفاً محدداً للمشتتات:
الإجابة الوفية (FA): الإجابة الصحيحة وفقاً للمنطق الطبي التبتي.
المشتت داخل النظام التبتي (ITD): يستخدم مصطلحات تبتية صحيحة ولكنه ينتهك المنطق العلاقاتي المحدد المطلوب للسؤال.
المشتت المنحرف نحو الطب الصيني (TCD): يبدو منطقياً في سياق الطب الصيني التقليدي ولكنه غير صحيح في النظرية التبتية.
المشتت المنحرف نحو الطب الحيوي (BID): يتوافق مع التصنيف الحيوي ولكنه غير صحيح في السياق التبتي. ومن الضروري أن يتم تأليف المشتتات من قبل خبراء في المجال (أطباء في الطب الصيني التقليدي والطب الحيوي) باستخدام سيناريوهات سريرية محايدة أنطولوجياً لمنع تحيز "التفضيل الذاتي" للنموذج.
التحكيم: تخضع العناصر لعملية تصفية صارمة لضمان الفصل الأنطولوجي والسلامة، تليها عملية تحكيم عمياء من قبل لجنة مكونة من خمسة خبراء مستقلين (ثلاثة تبتيين، واحد في الطب الصيني التقليدي، وواحد في الطب الحيوي). لا يتم الاحتفاظ بالعنصر إلا إذا وافق أربعة خبتمت على الأقل.
مقاييس التقييم: يعرّف البحث مقياسين لـ "لوغاريتم الأرجحية" (log-odds) لقياس التحيز:
لوغاريتم الانجراف الأنطولوجي (ODLO): يقيس مدى الابتعاد الإجمالي عن الأنطولوجيا التبتية (الانجراف نحو الأنظمة الخارجية).
لوغاريتم الانجراف بين الطب الحيوي والطب الصيني (BTD-LO): يحدد اتجاه الانجراف الخارجي (إيجابي للطب الحيوي، وسلبي للطب الصيني التقليدي).
النتائج التجريبية قام المؤلفون بتقييم ستة نماذج لغوية كبيرة رائدة (بما في ذلك GPT-5.4، وClaude Sonnet 4.6، وGemini 3.1، وGLM-4.7، وDeepSeek-V3.2، وQwen3.5-397B-A17B) باستخدام TreeProbe.
القيود في الأداء: تظهر النماذج الحالية قيوداً كبيرة في السياقات الطبية التبتية الأصلية. فحتى أقوى نموذج في وضع "الصفر المعرفة" (zero-shot)، وهو Qwen3.5-397B-A17B، حقق متوسط دقة قدره 60.55% فقط في أسئلة الاختيار من متعدد، بينما كان الأداء في الأسئلة التوليدية أقل بكثير (متوسط درجات يتراوح بين 0.47 و0.55 على مقياس طبيعي من [0، 1]).
الانجراف الأنطولوجي المنهجي: يكشف تحليل أنماط الخطأ أن النماذج لا تفشل لمجرد نقص المعرفة فحسب؛ بل تنحرف بشكل منهجي نحو أنطولوجيات خارجية. أظهر كل نموذج تم اختباره قيمة ODLO أكبر من 0.48، مما يشير إلى أن الأخطاء تأخذ باستمرار شكل الاستبدال بأنظمة طبية خارجية بدلاً من الارتباك ضمن البدائل التبتية الداخلية.
التحيز الاتجاهي: تتباين النماذج في اتجاه انجرافها بناءً على تكوين بيانات التدريب المسبق والتشابه الدلالي السطحي:
الميل نحو الطب الحيوي: أظهرت نماذج مثل Claude Sonnet 4.6 وGPT-5.4 ميلاً قوياً نحو الاستنتاج الحيوي.
الميل نحو الطب الصيني التقليدي: أظهرت نماذج مثل GLM-4.7 وDeepSeek-Chat وGemini ميلاً أقوى نحو الطب الصيني التقليدي. ويعزو المؤلفون ذلك إلى التشابه الدلالي السطحي العالي بين المفاهيم الطبية التبتية والصينية، مما يقلل من "تكلفة" الاستبدال حتى بالنسبة للنماذج التي لا تملك تعرضاً غير متناسب للطب الصيني.
الكفاءة اللغوية مقابل الكفاءة الأنطولوجية: في المهام التوليدية، أظهرت النماذج "جودة لغوية" عالية (الطلاقة في اللغة التبتية) ولكن "أمانة أنطولوجية" منخفضة. يشير هذا إلى أن النماذج يمكنها توليد نصوص تبتية سليمة قواعدياً مع الفشل في الحفاظ على الاستنتاج الطبي الأساسي أو استبداله بنماذج خارجية.
اختبارات التشخيص المحكومة: كشفت التجارب التي أُجبرت فيها النماذج على الاختيار بين إجابات تبتية صحيحة، وإجابات طب صيني، وإجابات حيوية، أنه حتى عندما أظهرت النماذج قدرة على الوصول إلى الإجابة التبتية الصحيحة، فإنها غالباً ما تعود إلى نموذجها الخارجي المفضل. وفي بعض الحالات، اختارت النماذج إجابات غير صحيحة سريرياً من نظامها الخارجي المفضل على الإجابة التبتية الصحيحة، مما يشير إلى تفضيل عميق للأنطولوجيات الخارجية.
المساهمات الرئيسية
معيار TreeProbe: تقديم أول معيار للتحيز الثقافي مخصص للطب التبتي، منظم حول إطار "الشجرة الطبية" الأصلي، ويحتوي على 4,719 عنصراً تم التحقق منها من قبل الخبراء.
نموذج البناء: منهجية قابلة لإعادة الاستخدام لتقييم الطب التقليدي منخفض الموارد، باستخدام وحدات معرفية مهيكلة ومشتتات عبر الأنظمة مؤلفة من قبل خبراء لعزل الانجراف الأنطولوجي عن فجوات المعرفة.
التوصيف المنهجي للتحيز: تقييم شامل للنماذج اللغوية الكبيرة الرائدة يكشف عن آليات التحيز الثقافي، موضحاً أن الأخطاء ليست عشوائية بل تتبع أنماطاً مهيكلة من الانجراف الأنطولوجي نحو الطب الحيوي أو الطب الصيني، والتي تشكلها بيانات التدريب المسبق والتشابهات الدلالية السطحية.
الأهمية والادعاءات يضع البحث TreeProbe كأداة تشخيصية ضرورية لتطوير أنظمة ذكاء اصطناعي طبية تكون شاملة لغوياً ومنصفة معرفياً (إبستمولوجياً). ويدعي المؤلفون أنه بدون مثل هذا التقييم الصارم، فإن التحيز الثقافي غير المراقب في النماذج اللغوية الكبيرة يخاطر بتحويل هذه النماذج إلى آليات تمحو أو تستبدل أنظمة المعرفة الضعيفة بالنماذج الطبية المهيمنة. ومن خلال قياس وتتبع هذه التحيزات، يوفر TreeProbe أساساً لتشخيص النماذج، وعزو التحيز، والمواءمة، لضمان أن تطبيقات الذكاء الاصطناعي في الرعاية الصحية لا تهمش بطريق الخطأ التقاليد الطبية التقليدية. ويؤكد المؤلفون صراحةً أن TreeProbe هو معيار بحثي للتقييم وتشخيص التحيز، وليس نظاماً لدعم القرار السريري.