A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

ملخص تقني: معضلة ثلاثية تشبه نظرية CAP للنماذج اللغوية الكبيرة

بيان المشكلة
تحدد هذه الورقة توتراً بنيوياً في توليد استجابات النماذج اللغوية الكبيرة (LLM) يشبه نظرية CAP في الأنظمة الموزعة. وبينما تفترض نظرية CAP أن الاتساق، والتوافر، وتحمل التجزئة لا يمكن ضمانها جميعاً في آن واحد أثناء حدوث تجزئة في الشبكة، تجادل هذه الورقة بأن النماذج اللغوية الكبيرة تواجه وضعاً مشابهاً من الاستحالة تحت حالة "عدم التحديد الدلالي" (Semantic Underdetermination).

يُعرَّف المطالب (Prompt) بأنه غير محدد دلالياً عندما تكون الحقائق والافتراضات والمسلمات المتاحة ($F_x$) غير كافية لاستلزام إجابة فريدة منطقياً. في مثل هذه السيناريوهات، تطلب استفسارات المستخدمين (مثل: "أي مرشح يجب اختياره؟" أو "أي مدينة هي الأفضل؟") قراراً أحادياً، ومع ذلك فإن المسلمات لا تحدد معيار القرار المطلوب لتبرير هذا الاختيار. وتفترض الورقة أن النموذج اللغوي الكبير لا يمكنه ضمان ثلاث خصائص مرغوبة في هذه السياقات في آن واحد:

1. الصحة القوية ($C_{strong}$): المخرج مستلزم تماماً من المسلمات المتاحة ($F_x \models y$).
2. النزاهة الصارمة ($NB_{strict}$): لا يمنح النموذج أفضلية لمرشح على آخر ما لم يكن هذا التفضيل مبرراً صراحةً بواسطة $F_x$. ويُعرَّف التحيز هنا بمعناه الواسع كأي تفضيل اختيار أو أولوية أو معيار معياري غير مدعوم.
3. المنفعة الحاسمة ($U_{decisive}$): تقدم الاستجابة إجابة ملموسة وقابلة للتنفيذ بدلاً من الرفض، أو التحوط، أو طلب التوضيح.

المنهجية
تستخدم الورقة إطاراً منطقياً رسمياً لصياغة هذه المعضلة، مستمدةً تشبيهاً مباشراً من صياغة جيلبرت-لينش لنظرية CAP.

• التعريفات الرسمية: يعرّف المؤلفون مجموعة الإجابات المتوافقة مع المسلمات كـ $S_x = \{a \in A \mid a \text{ متوافق مع } F_x\}$. ويكون المطالب غير محدد دلالياً إذا كان $|S_x| > 1$.
• الصياغة المنطقية: تُصاغ الفرضية الجوهرية كالتالي: $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$. وهذا يعني أنه إذا كان المطالب غير محدد دلالياً، فمن المستحيل تحقيق الشروط الثلاثة معاً.
• التحليل الثنائي: تحلل الورقة المقايضات الثنائية:
  • $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$: لكي يظل النموذج صحيحاً وغير منحاز، يجب عليه الرفض أو طلب التوضيح، مما يقلل من المنفعة.
  • $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$: لكي يكون النموذج مفيداً وحاسماً مع بقائه محايداً، قد يقدم مساواة غير مدعومة تضعف الصحة.
  • $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$: لتقديم إجابة صحيحة وحاسمة، يجب على النموذج إدخال معيار اختيار؛ وإذا لم يتم توفير هذا المعيار من قبل المستخدم، فإنه يعمل كتحيز غير مدعوم.
• دراسات الحالة: تُوضح المنهجية ذلك من خلال ثلاثة أمثلة:
  1. اختيار المنح الدراسية: الاختيار بين طلاب بناءً على المعدل التراكمي والحاجة المالية دون تحديد قاعدة ترجيح.
  2. التوصية الذاتية: ترتيب المدن بناءً على أولويات المستخدم غير المعلنة (مثل: سوق العمل مقابل الأمان).
  3. القرار المعياري: تقديم الربح على رفاهية الموظفين دون وجود إطار أخلاقي محدد.

المساهمات الرئيسية

1. فرضية تشبه CAP: المساهمة الأساسية هي صياغة "معضلة الصحة-النزاهة-المنفعة". وهذا ينقل التركيز من رؤية إخفاقات النماذج اللغوية الكبيرة كمجرد قصور في النموذج (مثل الهلوسة أو تحيز بيانات التدريب) إلى الاعتراف بها كنتائج بنيوية لطلبات القرار غير المحددة دلالياً.
2. إعادة تعريف التحيز: توسع الورقة تعريف التحيز ليتجاوز التحيز الديموغرافي أو الاجتماعي ليشمل "التحيز النظري للاختيار". في السياقات غير المحددة دلالياً، فإن أي آلية تختار إجابة واحدة من بين خيارات متعددة صالحة دون تبرير صريح من المستخدم تشكل تحيزاً.
3. تأطير الرفض: تعيد الورقة تأطير رفض النموذج أو طلبات التوضيح ليس كفشل في المساعدة، بل كاستراتيجيات للحفاظ على الاتساق، تشبه رفض نظام موزع لطلب ما أثناء حدوث تجزئة في الشبكة لتجنب عدم الاتساق.
4. مقترح سياسة التصميم: يقترح المؤلفون سياسة عملية $\pi(x)$ لإدارة هذه المقايضات، تقترح أن النماذج يجب أن:
   • تجيب مباشرة إذا كان $|S_x| = 1$.
   • تطلب التوضيح إذا كان $|S_x| > 1$ ولم يتم تقديم معيار.
   • تقدم إجابات مشروطة إذا كانت هناك معايير متعددة محتملة.
   • توصي بوجود افتراضات معلنة إذا كانت المنفعة تتطلب حتماً اتخاذ قرار.

النتائج والادعاءات
لا تقدم الورقة نتائج تجريبية، بل تقدم برهاناً نظرياً عن طريق التناقض. وهي تثبت أنه لأي مطالب غير محدد دلالياً يحتوي على إجابات صالحة متعددة، فإن استيفاء الخصائص الثلاث يؤدي إلى تناقض منطقي.

• النتيجة النظرية: الإجابة الحاسمة ($y \in S_x$) تتطلب إدخال دالة قيمة أو معيار $\theta$. إذا لم يكن $\theta$ موجوداً في $F_x$، فإن الإجابة ليست صحيحة بقوة ($F_x \not\models y$). وإذا كان $\theta$ مخفياً، فإن الإجابة ستكون منحازة. وإذا كان $\theta$ صريحاً ولكن النموذج رفض الاختيار، فإن المنفعة ستنخفض.
• الآثار على المحاذاة (Alignment): تجادل الورقة بأن جهود المحاذاة الحالية، التي غالباً ما تعامل الصدق والنزاهة والمساعدة كأهداف يمكن تعظيمها بشكل مستقل، قد تكون معيبة جوهرياً في السياقات غير المحددة دلالياً. فالإجابة "المفيدة" غالباً ما تستلزم تفضيلاً، والإجابة "المحايدة" غالباً ما تستلزم الرفض.

الأهمية
تزعم الورقة أن فهم هذه المعضلة أمر بالغ الأهمية للجيل القادم من محاذاة ونشر النماذج اللغوية الكبيرة.

• إعادة تأطير الإخفاقات: تشير إلى أن العديد من إخفاقات النماذج المتصورة ناتجة بنيوياً عن طبيعة المطالب وليس بسبب عدم كفاءة النموذج.
• الشفافية فوق الحياد: تجادل بأن الهدف لا ينبغي أن يكون القضاء على المقايضة، بل جعلها صريحة. يجب أن تعطي النماذج الأولوية لـ "الصحة المشروطة" و"النزاهة الشفافة" (الإفصاح عن الافتراضات المستخدمة) بدلاً من "المنفعة الحاسمة" عندما تكون المسلمات غير كافية.
• الأثر النظامي: مع نشر النماذج الأساسية في مهام هامة، يعد إدراك أن الإجابة "المتوازنة" قد تكون في الواقع ادعاءً غير مدعوم بالمساواة، أمراً حيوياً لمنع انتشار الأطر المعيارية الخفية.

في الختام، تؤكد الورقة أن استراتيجيات المحاذاة يجب أن تتطور لدراسة كيفية مقايضة الصحة والنزاهة والمنفعة تحت ظروف عدم التحديد الدلالي، بدلاً من محاولة تعظيمها بشكل مستقل.