Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "عدم اليقين في التركيز الاتجاهي: نهج تمثيلي لتقدير عدم اليقين للنماذج التوليدية."

١. بيان المشكلة

تفتقر النماذج التوليدية، ولا سيما النماذج اللغوية الكبيرة (LLMs)، إلى الموثوقية والشفافية في المجالات الحساسة. وبينما يعد تقدير عدم اليقين (Uncertainty Quantification - UQ) أمراً ضرورياً للكشف عن عدم موثوقية النموذج، تواجه الطرق الحالية قيوداً كبيرة:

• الجمود: تعتمد العديد من النهج الحالية على قواعد استدلالية جامدة لا يمكن تعميمها عبر المهام أو الوسائط المختلفة.
• قيود الإنتروبيا الدلالية (Semantic Entropy - SE): تعتمد الطريقة الأكثر تطوراً حالياً، وهي الإنتروبيا الدلالية، على تجميع المخرجات المولدة بناءً على التكافؤ الدلالي (باستخدام نماذج الاستلزام). يعمل هذا النهج بشكل جيد في مهام الإجابة على الأسئلة (QA) القصيرة والمنظمة، ولكنه يفشل في المهام المعقدة، أو المفتوحة، أو متعددة الوسائط لأن تعريف "التكافؤ الدلالي" للنصوص الطويلة أو المتنوعة هو أمر تقديري وصعب.
• الحاجة إلى التعميم: هناك حاجة لإطار عمل لتقدير عدم اليقين يكون مرناً، ومستقلاً عن المهمة، وقادراً على التعامل مع البيانات متعددة الوسائط (مثل: نص + صور) دون الحاجة إلى نماذج مطابقة دلالية متخصصة.

٢. المنهجية: عدم اليقين في التركيز الاتجاهي (DCU)

يقترح المؤلفون عدند اليقين في التركيز الاتجاهي (Directional Concentration Uncertainty - DCU)، وهو إطار هندسي يقيس عدم اليقين من خلال قياس تشتت مخرجات النموذج في فضاء تضمين مستمر، بدلاً من تجميعها دلالياً.

سير العمل الأساسي:

١. أخذ العينات (Sampling): لكل مدخل $x$، يولد النموذج $N$ من المخرجات المستقلة $\{y_1, y_2, ..., y_N\}$.
٢. التضمين (Embedding): يتم رسم كل مخرج كمتجه ذي $d$ من الأبعاد باستخدام نموذج تضمين مُدرب مسبقاً $\phi(\cdot)$.
٣. التطبيع (Normalization): يتم تطبيع المتجهات (Normalization) باستخدام $\ell_2$ لتستقر على كرة فائقة (hypersphere) ذات وحدة ($S^{d-1}$):
$$z_i = \frac{\phi(y_i)}{\|\phi(y_i)\|}$$
٤. النمذجة الإحصائية (vMF): يتم نمذجة مجموعة المتجهات المطبعة باستخدام توزيع فون ميسيس-فيشر (vMF)، والذي يُعرف على كرة فائقة. يتم تحديد هذا التوزيع بواسطة:

• الاتجاه المتوسط ($\mu$): متوسط اتجاه المتجهات.
• معلمة التركيز ($\kappa$): تقيس مدى تكتل العينات حول الاتجاه المتوسط.
  ٥. حساب عدم اليقين:
• يتم تقدير معلمة التركيز $\kappa$ عبر تقدير الاحتمال الأقصى (Maximum Likelihood Estimation - MLE).
• $\kappa$ المرتفعة تشير إلى تكتل وثيق (عدم يقين منخفض/اتساق عالٍ).
• $\kappa$ المنخفضة تشير إلى تشتت عالٍ (عدم يقين مرتفع/عدم اتساق).
• تُعرف درجة عدم اليقين النهائية بأنها مقلوب التركيز: $\kappa^{-1}$.

التمايز عن الإنتروبيا الدلالية (SE):

• SE: تتطلب مقارنات دلالية ثنائية (مثل نماذج الاستلزام المنطقي NLI) لتجميع الإجابات في مجموعات، ثم حساب الإنتروبيا فوق احتمالات هذه المجموعات.
• DCU: تعمل مباشرة على التضمينات المستمرة. وهي لا تتطلب عمليات تخصيص لمجموعات منفصلة، ولا نماذج استلزام، ولا تعريفات خاصة بالمهمة للتكافؤ الدلالي.

٣. المساهمات الرئيسية

• إطار عمل مبتكر: تقديم DCU، وهو منهج هندسي لتقدير عدم اليقين يستبدل التجميع الدلالي بتحليل التركيز الاتجاهي في فضاء التضمين.
• استقلالية الوسائط (Modality Agnosticism): من خلال الاعتماد على التضمينات بدلاً من دلالات النصوص، يمكن تطبيق DCU على أي وسيط (نص، صور، وسائط متعددة) طالما توفر مشفر (encoder) مناسب.
• تعميم فائق: أظهرت النتائج أن DCU يضاهي أو يتجاوز أداء SE في مهام الإجابة على الأسئلة القياسية، ويتفوق بشكل كبير على SE في المهام المعقدة ومتعددة الوسائط حيث يفشل التجميع الدلالي.
• رؤية نظرية: تجادل الورقة بأن نجاح طرق أخذ العينات مثل SE مدفوع أساساً باتساق توزيع مخرجات النموذج، وهو ما يمكن التقاطه بكفاءة أكبر عبر التركيز الهندسي بدلاً من التجميع الدلالي.

٤. النتائج التجريبية

قام المؤلفون بتقييم DCU مقابل الإنتروبيا الدلالية (SE) باستخدام LLaMA-2، وFalcon، وMistral (للنصوص فقط) و LLaVA، وGemma 3 (متعدد الوسائط) عبر عدة مجموعات بيانات.

أ. مهام الإجابة على الأسئلة النصية فقط (TriviaQA, SQuAD, NQ-Open)

• الأداء: حقق DCU درجات AUROC مماثلة لـ SE. وفي عدة حالات (مثل Falcon على NQ-Open)، ضاهى DCU طريقة SE أو تفوق عليها قليلاً.
• الاستقرار: أظهرت كلتا الطريقتين تبايناً منخفضاً في إعادة أخذ العينات (bootstrap resampling)، مما يشير إلى إشارات عدم يقين قوية.
• الاستنتاج: نجح DCU في التقاط نفس إشارات عدم اليقين التي تلتقطها SE دون العبء الحسابي للتجميع الدلالي.

ب. الإجابة على الأسئلة البصرية (ScienceQA)

• التحدي: تتضمن هذه المهمة مدخلات متعددة الوسائط (نص + صور) وهي أكثر تعقيداً من الإجابة التقليدية على الأسئلة.
• أداء SE: كان أداء SE ضعيفاً (AUROC ~0.51 لنموذج LLaVA)، مما يشير إلى فشله في التمييز بين الإجابات الصحيحة والخاطئة. فقد اعتمدت طريقة SE على نماذج الاستلزام النصي التي انهارت في السياق متعدد الوسائط.
• أداء DCU: تفوق DCU بشكل كبير على SE (درجة AUROC بلغت 0.67 لنموذج LLaVA مقابل 0.51 لـ SE).
• الأهمية: يثبت هذا أن النهج التمثيلي يتوسع ليشمل المجالات المعقدة ومتعددة الوسائط حيث يفشل التجميع الدلالي القائم على القواعد الاستدلالية.

٥. الأهمية والآثار المستقبلية

• كسر حواجز الوسائط: يزيل DCU الاعتماد على "التكافؤ الدلالي"، وهو مفهوم غير محدد بدقة للنصوص غير النصية أو المهام التوليدية المعقدة. وهذا يجعله مرشحاً قابلاً للتطبيق في الأنظمة الوكيلية (Agentic Systems) ومسارات العمل متعددة الوسائط.
• الكفاءة: رغم أن DCU لا يزال يتطلب عمليات أخذ عينات متعددة (وهي تكلفة مشتركة مع SE)، إلا أنه يلغي الحاجة إلى فحوصات الاستلزام الثنائية المكلفة، مما قد يقلل من العبء الحسابي في السيناريوهات المعقدة.
• الاتجاهات المستقبلية:
  • التطبيق على وسائط مختلفة (توليد الصور، الصوت).
  • التكامل في مسارات العمل الوكيلية للكشف عن انتشار عدم اليقين والحد منه قبل أن يؤثر على القرارات اللاحقة.
• القيود: لا تزال الطريقة تتطلب تكرار أخذ العينات من النموذج التوليدي، وهو أمر قد يكون مكلفاً حسابياً في التطبيقات التي تعمل بالوقت الفعلي. ومع ذلك، يشير المؤلفون إلى أن تكلفة المشفر (encoder) أقل من تكلفة النموذج التوليدي نفسه.

الخاتمة

تثبت الورقة أن عدم اليقين في التركيز الاتجاهي (DCU) هو بديل قوي ومرن وقابل للتعميم للإنتروبيا الدلالية. ومن خلال تحويل التركيز من التجميع الدلالي المنفصل إلى التركيز الهندسي المستمر، يوفر DCU إطاراً موحداً لتقدير عدم اليقين يمكنه التوسع بفعالية من الإجابة البسيطة على الأسئلة النصية إلى مهام الاستدلال المعقدة ومتعددة الوسائط.