Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

إليك ملخص تقني مفصل لورقة البحث بعنوان: "نماذج عنق الزجاجة المفاهيمية الكريدالية لتفكيك اليقين الإبستيمي-الأليتوريكي" (Credal Concept Bottleneck Models for Epistemic–Aleatoric Uncertainty Decomposition).

1. بيان المشكلة

في تطبيقات معالجة اللغات الطبيعية (NLP) عالية الخطورة (مثل الرعاية الصحية، القانون، والتمويل)، تخرج النماذج القياسية درجة ثقة واحدة تدمج بين نوعين متميزين من اليقين:

• اليقين الإبستيمي (Epistemic Uncertainty): وهو اليقين القابل للتقليل الناتج عن جهل النموذج أو عدم كفاية التوصيف (مثلاً: لم يشاهد النموذج أمثلة مشابهة كافية أثناء التدريب).
• اليقين الأليتوريكي (Aleatoric Uncertainty): وهو اليقين غير القابل للتقليل الناتج عن الغموض المتأصل أو الضجيج في بيانات المدخلات (مثلاً: اختلاف المعلقين البشريين فعلياً حول التصنيف).

محددات النهج الحالية:

• نماذج عنق الزجاجة المفاهيمية (CBMs): بينما تعمل نماذج CBM على تحسين القابلية للتفسير من خلال التنبؤ بمفاهيم وسيطة مفهومة بشرياً، إلا أنها عادة ما تخرج احتمالات نقطية (قيم فردية). وهذا يؤدي إلى دمج اليقين الإبستيمي والأليتوريكي، مما يجعل من المستحيل تحديد سبب عدم اليقين في التنبؤ.
• فجوة القابلية للتنفيذ (Actionability Gap): بدون عملية التفكيك، لا يمكن للممارسين التمييز بين الحالات التي يحتاج فيها النموذج إلى المزيد من بيانات التدريب (يقين إبستيمي مرتفع) مقابل الحالات التي تتطلب مراجعة بشرية بسبب غموض المدخلات (يقين أليتوريكي مرتفع).

2. المنهجية: CREDENCE

يقترح المؤلفون إطار عمل CREDENCE (تقدير المجموعات المفاهيمية الكريدالية)، وهو إطار يقوم بتفكيك اليقين على مستوى المفهوم من خلال البناء الهيكلي.

الابتكارات المعمارية الجوهرية

1. التنبؤات الكريدالية (الفترات): بدلاً من احتمال واحد $p_k$، يتم التنبؤ بكل مفهوم $k$ كفترة احتمالية $[p_k, \bar{p}_k]$. تمثل هذه الفترة مجموعة كريدالية (Credal Set)، والتي تلتقط نطاق الاحتمالات المعقولة.
2. الفصل الهيكلي لليقين: يضمن التصميم المعماري استقاء إشارات اليقين الإبستيمي والأليتوريكي من مصادر متميزة لمنع اندماجهما في درجة واحدة.
   • اليقين الإبستيمي ($U_{epi}$): مشتق من اختلاف المجموعات (Ensemble Disagreement). يستخدم النموذج رؤوساً متنوعة وخفيفة الوزن (LoRA adapters) ذات رتب ومعدلات إسقاط (dropout) متفاوتة. يقيس التباين في تنبؤاتها حجم ارتباك النموذج.
   • اليقين الأليتوريكي ($U_{ale}$): مشتق من رأس مخصص تم تدريبه خصيصاً للتنبؤ بـ اختلاف المعلقين (الغموض). يتعلم هذا الرأس إخراج قيمة تتناسب مع تباين الملصقات البشرية لمفهوم معين.

مراحل خط الإنتاج (Pipeline)

1. المُشفّر (Encoder): يقوم نموذج مُدرب مسبقاً ومجمد (مثل RoBERTA أو LLMs) بتشفير النص المدخل $x$ إلى تمثيل $h$.
2. رؤوس المجموعات (Ensemble Heads): تتنبأ $H$ من رؤوس LoRA بـ احتمالات المفاهيم $\hat{p}_h^{(k)}$.
3. التجميع الكريدالي (Credal Aggregation):
   • يتم تشكيل حدود الفترة: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • يُحسب اليقين الإبستيمي كتباين عبر الرؤوس: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. الرأس الأليتوريكي: يتنبأ رأس منفصل بـ $\sigma_\theta^{(k)}$، ويتم تدريبه ليتوافق مع معدل اختلاف المعلقين (الحقيقة الأرضية) أثناء التدريب.
5. التصنيف واتخاذ القرار:
   • يتم التنبؤ بالتصنيفات النهائية باستخدام متوسط احتمالات المفاهيم.
   • قواعد القرار: يستخدم النظام الإشارات المفككة لتوجيه العينات:
     • الثقة (Trust): يقين إبستيمي منخفض، يقين أليتوريكي منخفض $\leftarrow$ أتمتة.
     • جمع البيانات (Data Collection): يقين إبستيمي مرتفع، يقين أليتوريكي منخفض $\leftarrow$ جمع المزيد من بيانات التدريب.
     • المراجعة البشرية (Human Review): يقين إبستيمي منخفض، يقين أليتوريكي مرتفع $\leftarrow$ توجيه للمراجعة البشرية (المدخلات غامضة).
     • الامتناع (Abstain): يقين إبستيمي مرتفع، يقين أليتوريكي مرتفع $\leftarrow$ رفض التنبؤ.

3. المساهمات الرئيسية

1. صياغة CBM الكريدالية: نوع جديد من نماذج CBM يمثل تنبؤات المفاهيم كفترات احتمالية بدلاً من التقديرات النقطية، مما يسمح بقياس كمي مبدئي لليقين.
2. التفكيك الهيكلي: طريقة تفصل بين الإشارات الإبستيمية (ارتباك النموذج) والأليتوريكية (غموض البيانات) باستخدام مكونات معمارية متميزة (تباين المجموعات مقابل رأس الغموض الخاضع للإشراف)، مما يمنع انهيار الإشارة.
3. التوجيه الوصفي القابل للتنفيذ: يوضح أن تفكيك اليقين يسمح بتدخلات محددة ومحسنة (مثل إعطاء الأولوية لجمع البيانات للأخطاء الإبستيمية مقابل المراجعة البشرية للحالات الأليتوريكية).

4. النتائج التجريبية

تم تقييم إطار العمل على مهام متعددة لمعالجة اللغات الطبيعية (المشاعر، العاطفة، السمية) باستخدام مجموعات بيانات مثل CEBaB، وGoEmotions، وHateXplain، وSST-2.

• صحة التفكيك (RQ1 & RQ2):

  • الارتباط الإبستيمي: يظهر CREDENCE ارتباطاً إيجابياً قوياً بين اليقين الإبستيمي وأخطاء التنبؤ ($\rho_{epi} \approx 0.287$ في CEBaB). عندما يخطئ النموذج، تختلف رؤوس المجموعات.
  • الارتباط الأليتوريكي: يرتبط اليقين الأليتوريكي بقوة بـ اختلاف المعلقين ($\rho_{ale} \approx 0.785$ في CEBaB)، متفوقاً بفارق كبير على النماذج المرجعية (على سبيل المثال، C+Ensemble $\rho_{ale} \approx 0.356$).
  • الفصل: في SST-2 (التي تفتقر إلى ملصقات اختلاف المعلقين)، أظهر اليقين الأليتوريكي بشكل صحيح عدم وجود ارتباط مع الأخطاء، مما يثبت أنه يقيس الغموض وليس فشل النموذج.

• القابلية للتنفيذ (RQ3):

  • التدخل المفاهيمي: استبدال المفاهيم ذات اليقين الأليتوريكي المرتفع بالملصقات الحقيقية يحقق مكاسب في الدقة أعلى بكثير ($\Delta Acc \approx 18.9\%$) مقارنة باستبدال المفاهيم ذات اليقين الإبستيمي المرتفع ($\Delta Acc \approx 4.3\%$). يشير هذا إلى أن المفاهيم الغامضة تقود نتائج المهام أكثر من ارتباك النموذج.
  • كفاءة التوجيه: يحدد إطار اتخاذ القرار ذو الأرباع الأربعة حالات "المراجعة البشرية" (إبستيمي منخفض، أليتوريكي مرتفع) حيث يكون النموذج صحيحاً بالفعل ولكن البشر يختلفون، محققاً أعلى مكسب محتمل في الدقة ($85.7\%$) إذا تم توجيهه بشكل صحيح.

• الكفاءة: يحقق CREDENCE هذه النتائج مع حد أدنى من العبء الإضافي (باستخدام محولات LoRA) مقارنة بالمجموعات العميقة الكاملة (Deep Ensembles)، مع الحفاظ على دقة تنافسية وتوفير إشارات يقين غنية.

5. الأهمية والأثر

• سد الفجوة بين النظرية والتطبيق: تتجاوز الورقة مجرد القياس الكمي النظري لليقين لتقدم إجراءات وصفية: فهي تخبر الممارسين ماذا يفعلون بناءً على نوع اليقين (مثلاً: "جمع البيانات" مقابل "الإرسال للمراجعة البشرية").
• التعامل مع الذاتية: في مهام معالجة اللغات الطبيعية حيث تكون "الحقيقة الأرضية" غالباً عبارة عن مزيج من الأحكام البشرية المتنازع عليها (الذاتية)، يعد التمييز بين جهل النموذج والغموض المتأصل أمراً حاسماً. يوفر CREDENCE أول إطار عمل CBM لنمذجة هذا التمييز صراحة.
• التعاون بين الإنسان والذكاء الاصطناعي: من خلال تحديد الحالات التي يكون فيها الحكم البشري ضرورياً (أليتوريكي مرتفع) مقابل الحالات التي يحتاج فيها النموذج ببساطة إلى مزيد من التدريب (إبستيمي مرتفع)، يعمل الإطار على تحسين تخصيص الموارد البشرية وميزانيات جمع البيانات.
• القوة والمتانة: تتوسع الطريقة عبر أحجام نماذج مختلفة (من مشفرات بـ 66 مليون معلمة إلى نماذج LLM بـ 8 مليارات معلمة) وعبر مهام متنوعة لمعالجة اللغات الطبيعية.

باختاً، يحول CREDENCE اليقين من درجة ثقة واحدة غامضة إلى أداة تشخيصية مهيكلة وقابلة للتنفيذ، مما يتيح نشر أنظمة الذكاء الاصطناعي بشكل أكثر موثوقية وكفاءة في البيئات عالية الخطورة.