🤖 machine learning

Structurally Separated Uncertainty in Supervised Latent Variable Models

تقترح هذه الورقة مبدأ تصميم "الفصل الهيكلي" لنماذج المتغيرات الكامنة الخاضعة للإشراف، والذي يخصص عدم اليقين المعرفي وعدم اليقين العشوائي لمسارات بارامترية منفصلة ذات أهداف تدريبية متميزة، مما يحقق تقديرات لعدم اليقين قابلة للتمييز تشغيلياً مع تقليل الارتباط مع الحفاظ على الأداء التنبؤي.

المؤلفون الأصليون: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

نُشر 2026-07-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tanmoy Mukherjee, Marius Kloft, Pierre Marquis, Zied Bouraoui

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يفهم العالم. تريد منه أن يعرف شيئين مختلفين تماماً: أولاً، عندما لا يعرف ما يكفي لمجرد أنه لم يرَ أمثلة كافية (مثل طالب لم يدرس الفصل الدراسي بعد)؛ وثانياً، عندما تكون الإجابة مربكة أو فوضوية حقاً، بغض النظر عن مقدار دراسته (مثل لغز له إجابتان صحيحتان متساويتان). في عالم الذكاء الاصطناائي، يُسمى النوع الأول من الارتباك "اليقين المعرفي" (epistemic uncertainty) (نوع "أحتاج إلى مزيد من البيانات")، ويُسمى النوع الثاني "اليقين العشوائي" (aleatoric uncertainty) (نوع "العالم غامض").

لماذا يهم هذا؟ لأنه إذا لم يستطع الروبوت التمييز بينهما، فقد يتخذ قرارات كارثية. إذا اعتقد أن عرضاً طبياً مربكاً هو مجرد نقص في البيانات، فقد يخمن بشكل عشوائي بدلاً من طلب المساعدة من طبيب بشري. وإذا اعتقد أن حقيقة مفقودة هي مجرد لغز مربك، فقد يستسلم عندما كان بإمكانه تعلم الإجابة مع القليل من التدريب الإضافي. لسنوات، حاول العلماء بناء روبوتات يمكنها الفصل بين هذين النوعين، لكن معظم المحاولات فشلت. لقد بنوا أنظمة حيث كان "مقياس الارتباك" و"مقياس الغموض" لدى الروبوت ملتصقين ببعضهما، بحيث عندما يرتفع أحدهما، يرتفع الآخر أيضاً، مما يجعل من المستحيل معرفة أي مشكلة يواجهها الروبوت في الواقع.

تقدم هذه الورقة البحثية طريقة ذكية جديدة لإصلاح هذا الالتصاق. يقترح المؤلفون، من خلال العمل مع نوع من نماذج الذكاء الاصطناعي التي تستخدم "المفاهيم" (مثل تفكيك مراجعة فيلم إلى "الطعام"، و"الخدمة"، و"الأجواء")، تصميماً يسمى "الفصل الهيكلي" (structural separation). بدلاً من محاولة فك تشابك الارتباك بعد أن يكون الروبوت قد قدم تخميناً بالفعل، يقومون ببناء الروبوت بمسارين داخليين منفصلين تماماً منذ البداية. مسار واحد يتم تدريبه خصيصاً لرصد متى يفتقر الروبوت إلى المعلومات، بينما يتم تدريب المسار الآخر لرصد متى يكون المدخل نفسه فوضوياً أو يحتوي على إجابات متعددة وصحيحة.

اختبر الباحثون هذه الفكرة على خمس مجموعات بيانات مختلفة، بما في ذلك مراجعات الأفلام، وكشف خطاب الكراهية، والأسئلة الصعبة. ووجدوا أن تصميمهم الجديد نجح في فك تشابك النوعين من اليقين. في أفضل نتائجهم، انخفض الارتباط بين إشارة "أنا لا أعرف" وإشارة "هذا مربك" من 0.84 القوية (حيث كانا يكادان يكونان الشيء نفسه) إلى ما يقرب من 0.05 (حيث أصبحا مستقلين تماماً عن بعضهما البعض). وهذا يعني أن الروبوت يمكنه الآن التمييز بين "أحتاج إلى الدراسة أكثر" وبين "هذا السؤال ليس له إجابة واحدة صحيحة". تشير الورقة البحثية إلى أنه من خلال منح هذين النوعين من اليقين "أدمغة" مخصصة لهما داخل النموذج، بدلاً من محاولة استخراجهما من تنبؤ واحد، يمكننا بناء أنظمة ذكاء اصطناعي تتخذ قرارات أذكى وأكثر أماناً بشأن متى تخمن، ومتى تطلب المساعدة، ومتى تعترف ببساطة بأن الإجابة غير واضحة.

ملخص تقني: الفصل الهيكلي بين عدم اليقين الإبستيمي (المعرفي) والآلي (الاحتمالي)

1. بيان المشكلة

يتم تفكيك عدم اليقين التنبئي تقليديًا إلى عدم يقين إبستيمي (EU) (جهل النموذج القابل للتقليل) وعدم يقين آلي (AU) (غموض البيانات المستمر). ورغم كونهما متميزين مفاهيميًا، إلا أن الطرق القياسية لتقدير هذه الكميات غالبًا ما تفشل في الفصل بينهما تجريبيًا. فالتقنيات مثل "Dropout" في مونت كارلو، والمجموعات العميقة (Deep Ensembles)، والشبكات الدليلية (Evidential Networks)، تستمد كلا التقديرين من نفس التوزيع التنبئي $p(y|x)$ .

هذا يخلق "فخًا جبريًا": نظرًا لأن كلاً من الـ EU والـ AU هما دالتان لنفس التوزيع، فإنهما يرثان تبعية جبرية مشتركة. وتشير الاختبارات المرجعية الحديثة إلى أن هذين المكونين غالبًا ما يكونان مرتبطين بقوة ( $\rho \ge 0.78$ )، مما يجعل من المستحيل التمييز بين نموذج يعاني من الارتباك (EU مرتفع) وبين بيانات غامضة بطبيعتها (AU مرتفع). وتوحي النتائج الرسمية (على سبيل المثال، Tomov et al., 2026) بأنه لا يمكن لأي دالة لاحقة (Post-hoc) لـ $p(y|x)$ أن تميز بشكل فريد بين الخطأ القابل للتقليل والغموض الجوهري، حيث يمكن لحالات مختلفة من عدم اليقين الأساسي أن تؤدي إلى نفس التوزيع التنبئي الأمثل.

2. المنهجية: الفصل الهيكلي

تقترح الورقة البحثية الفصل الهيكلي كمبدأ تصميمي لكسر هذا الاقتران الجبري. فبدلاً من اشتقاق كلا النوعين من عدم اليقين من كائن تنبئي واحد، تقوم الورقة بتعيين الـ EU والـ AU لـ مسارات بارامترية منفصلة ضمن نماذج المتغيرات الكامنة الخاضعة للإشراف (SLVMs).

البنية الأساسية: نموذج عنق الزجاجة المفاهيمي الاعتقادي (Credal CBM)

التجسيد الرئيسي هو نموذج Credal CBM مبني على مشفر مجمد (مثل DistilBERT). تقدم البنية ثلاثة مسارات بارامترية متعامدة:

مسار المتوسط ( $\mu$ ): يتنبأ بالتقدير النقطي للمفاهيم، ويغذي رأس المهمة.
الرأس الإبستيمي ( $\sigma_{epi}$ ): مُدرب لتتبع خطأ التنبؤ القابل للتقليل. يتم تمثيله بواسطة مجموعة منفصلة $\phi_{epi}$ ويتم الإشراف عليه بواسطة خسارة تجمع بين خطأ التنبؤ (مع استخدام "Stop-gradients" لمنع التلاعب) ومنظم Hausdorff KL.
الرأس الآلي ( $\sigma_{ale}$ ): مُدرب لتتبع غموض التسمية المستمر. يتم تمثيله بواسطة مجموعة منفصلة $\phi_{ale}$ ويتم الإشراف عليه مباشرة بواسطة إنتروبيا توزيع التسمية الحقيقي ( $H[\hat{p}^*]$ )، المستمدة من اختلاف المعددين أو توزيعات الإجابات المستمدة من المتون (Corpus).

الآليات الرئيسية

التمثيل البارامتري المنفصل: تستخدم الرؤوس الإبستيمية والآلية مجموعات بارامترية غير متداخلة ( $\phi_{epi} \cap \phi_{ale} = \emptyset$ ).
الإسقاطات المتعامدة: يتم إسقاط مخرج المشفر $h$ إلى فضاءات فرعية متعامدة ( $W_{epi}h$ , $W_{ale}h$ ) لضمان تلقي الرؤوس مدخلات ميزات غير متداخلة.
عزل التدرج: يتم تفكيك خسارة التدريب بحيث تعتمد الخسارة الإبستيمية ( $L_{epi}$ ) فقط على $\phi_{epi}$ وتعتمد الخسارة الآلية ( $L_{ale}$ ) فقط على $\phi_{ale}$ . وتثبت الورقة (النظرية 3.3) أنه تحت هذه الظروف، تكون التدرجات المتقاطعة صفرية تمامًا ( $\nabla_{\phi_{epi}} L_{ale} = 0$ و $\nabla_{\phi_{ale}} L_{epi} = 0$ ).
المجموعات الاعتقادية (Credal Sets): يمثل النموذج المفاهيم كمجموعات اعتقادية (مجموعات محدبة من التوزيعات الاحتمالية) محددة بمتوسط $\mu$ وتغاير إبستيمي $\Sigma_{epi}$ ، بينما يتم نمذجة التغاير الآلي $\sigma_{ale}$ بشكل منفصل خارج المجموعة الاعتقادية.

3. المساهمات الرئيسية

مبدأ الفصل الهيكلي: تقدم الورقة إطارًا لنماذج SLVMs حيث يتم حساب EU و AU من مسارات بارامترية خاضعة للإشراف ومتميزة، بدلاً من التفكيك اللاحق لـ $p(y|x)$ .
نظرية عزل التدرج: برهان رسمي يوضح أنه باستخدام بارامترات منفصلة وحسابات خسارة منفصلة، تظل الرؤوس الإبستيمية والآلية غير مقترنة أثناء التدريب، مما يتجنب الفخ الجبري المحدد في الأعمال السابقة.
تجسيد Credal CBM: تنفيذ محدد يستخدم نموذج Credal CBM الذي يستفيد من الإسقاطات المتعامدة ودوال الخسارة الهجينة لتحقيق هذا الفصل.
التشخيصات الشاملة: قدم المؤلفون وتحققوا من مقاييس لا تختبر فقط إلغاء الارتباط، بل الصلاحية الدلالية أيضًا:
- عزل التدرج: التحقق من انعدام التدرجات المتقاطعة.
- الارتباط: قياس $\rho(U_{epi}, U_{ale})$ .
- قابلية التقليل عبر توسيع البيانات: التحقق مما إذا كان الـ EU ينخفض مع زيادة البيانات.
- تتبع الغموض: التحقق مما إذا كان الـ AU يرتبط بالغموض الحقيقي ( $H[\hat{p}^*]$ ).

4. النتائج التجريبية

تم تقييم الطريقة عبر خمسة اختبارات مرجعية: ثلاثة مجموعات بيانات لعنق الزجاجة المفاهيمي (CEBaB, HateXplain, GoEmotions) ذات غموض مستمد من المعددين، ومجموعتان من بيانات الأسئلة والأجوبة (MAQA*, AmbigQA*) ذات غموض مستمد من المتون.

إلغاء الارتباط: قلل الفصل الهيكلي من ارتباط Spearman بين EU و AU من نطاق الأساس $\rho \in [0.75, 0.84]$ (الملاحظ في الطرق القياسية مثل Deep Ensembles و MC Dropout) إلى $\rho \approx 0.05$ . وحتى بدون عقوبة إلغاء ارتباط صريحة ( $\lambda_d = 0$ )، ظل الارتباط منخفضًا ( $\rho \in [0.12, 0.23]$ )، وهو أقل بكثير من "أرضية ما بعد التفكيك".
الصلاحية الدلالية:
- تتبع الآلية (Aleatoric Tracking): أظهر الرأس الآلي ارتباطًا قويًا بالغموض الحقيقي ( $\rho(\sigma_{ale}, H) \in [0.42, 0.74]$ )، بينما أظهرت النماذج الأساسية تتبعًا أضعف بكثير.
- الحساسية الإبستيمية: ظل الرأس الإبستيمي حساسًا لخطأ التنبؤ وأظهر توقيع القابلية للتقليل المتوقع (تناقص قيم التدرج مع زيادة بيانات التدريب).
المنفعة اللاحقة (Downstream Utility): مكّنت الطريقة من التوجيه القائم على الأرباع (Quadrant-based routing)، حيث نجحت في التمييز بين:
- البيانات (DATA) (EU مرتفع، AU منخفض): حالات تتطلب المزيد من البيانات (مثل الحقائق الغامضة).
- المراجعة (REVIEW) (EU منخفض، AU مرتفع): حالات تتطلب مراجعة بشرية بسبب الغموض المتأصل (مثل الآراء الذاتية).
  النماذج الأساسية دمجت هذه الحالات المتميزة على قطر واحد، وفشلت في دعم هذه القرارات التشغيلية.
المتانة: ظلت النتائج ثابتة عبر بنيات مشفرات مختلفة (DistilBERT, BERT, RoBERTa) وتم تأكيدها في تجسيد لشبكة عصبية ذاتية التفسير (SENN).

5. الأهمية والادعاءات

تدعي الورقة أن بنيات المتغيرات الكامنة الخاضعة للإشراف توفر مسارًا عمليًا نحو تقديرات عدم يقين ليست مجرد غير مرتبطة إحصائيًا، بل هي متميزة تشغيليًا.

تجاوز الاستحالة: من خلال نقل التقدير من فضاء المخرجات (دوال لـ $p(y|x)$ ) إلى فضاء البارامترات (رؤوس منفصلة وتدرجات منفصلة)، يتجاوز هذا النهج نتائج الاستحالة التي تنطبق على عمليات التفكيك اللاحقة.
التمييز التشغيلي: الأهمية الرئيسية ليست مجرد إلغاء الارتباط الإحصائي، بل القدرة على دعم قرارات مختلفة: الـ EU المرتفع يشير إلى الحاجة لمزيد من البيانات أو تحسين النموذج، بينما الـ AU المرتفع يشير إلى الحاجة للامتناع عن القرار أو المراجعة البشرية.
القيود: أشار المؤلفون بتواضع إلى أن الإطار يعتمد على توافر هياكل كامنة خاضعة للإشراف (مفاهيم) وإشارات إشراف متعلقة بالغموض (مثل بيانات تعدد المعددين). كما أقروا بأن توسيع النطاق ليشمل الضبط الدقيق الكامل لنماذج اللغات الكبيرة (LLMs) قد يتطلب توجيهًا دقيقًا للتدرجات للحفاظ على الفصل، وأن الاختبارات المرجعية الحالية مصممة خصيصًا لهذا الغرض وصغيرة نسبيًا.

باختصار، تجادل الورقة بأن الفصل الهيكلي، مقترنًا بأهداف إشراف متميزة، يعد شرطًا ضروريًا وفعالًا لإنتاج تقديرات عدم يقين صالحة دلاليًا ومفيدة لاتخاذ القرار.