Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مبدأ عدم اليقين العصبي: رؤية موحدة للهشاشة العدائية وهلوسة النماذج اللغوية الكبيرة".

1. بيان المشكلة

تتناول الورقة نمطين حرجين من أنماث الفشل، واللذين يُعتبران تقليديًا منفصلين، في الأنظمة العصبية الحديثة:

• الهشاشة العدائية في الرؤية الحاسوبية (Adversarial Fragility in Vision): الشبكات العصبية العميقة (DNNs) حساسة للغاية للاضطرابات غير المحسوسة في المدخلات، مما يؤدي إلى تنبؤات واثقة ولكنها خاطئة.
• الهلوسة في النماذج اللغوية الكبيرة (Hallucination in LLMs): غالبًا ما تولد النماذج اللغوية الكبيرة محتوى بليغًا ولكنه غير مدعوم بحقائق أو مختلق، خاصة عندما توفر المطالبة (prompt) تكييفًا ضعيفًا.

الحلول الحالية خاصة بكل وسيط (على سبيل المثال، التدريب العدائي للرؤية، أو التوليد المعزز بالاسترجاع أو المحاذاة للنماذج اللغوية الكبيرة) وتفتقر إلى إطار نظري موحد. يجادل المؤلفون بأن كلتا الظاهرتين تنبعان من أصل هندسي مشترك: وهو عدم التوازن في "ميزانية عدم اليقين" بين تموضع المدخلات وحساسية التدرج.

2. المنهجية: مبدأ عدم اليقين العصبي (NUP)

المساهمة الجوهرية هي صياغة مبدأ عدم اليقين العصبي (NUP)، والذي يستمد تشبيهًا بين ميكانيكا الكم والمنحدرات الخاسرة للشبكات العصبية.

أ. الصياغة النظرية

• المتغيرات المترافقة (Conjugate Observables): يعرّف المؤلفون متجه المدخلات $x$ وتدرج الخسارة $p(x) = \nabla_x L_c(x)$ كمتغيرات مترافقة تحت حالة مستحثة بالخسارة (توزيع احتمالي مرجح بمربع الخسارة، $L_c(x)^2$).
• بناء المؤثر (Operator Construction): يقومون ببناء حالة شبيهة بالكم $\psi_c(x) = A_c(x) e^{i\alpha L_c(x)}$ حيث يتم تحديد الطور بواسطة الخسارة. كما يعرّفون مؤثرات اتجاهية للموقع ($\hat{x}_u$) والزخم ($\hat{p}_u = -i\partial_u$).
• علاقة روبرتسون-شرودنغر (Robertson-Schrödinger Relation): بتطبيق متباينة عدم اليقين لروبرتسون-شرودنغر على هذه المؤثرات، نحصل على:
  $$\Delta \hat{m}^*_u \cdot \Delta \hat{p}_u \geq \frac{1}{2}$$
  حيث أن:
  • $\Delta \hat{m}^*_u$ يمثل السمك الأدنى للمحور المختلط (غموض الحدود).
  • $\Delta \hat{p}_u$ يمثل تشتت الحساسية (تباين التدرج).
• المقايضة (The Trade-off): ينص المبدأ على أن النموذج لا يمكنه تقليل غموض الحدود (تحقيق دقة عالية في العينات الصعبة) وتقليل تشتت الحساسية (أن يكون قويًا تجاه الاضطرابات) في آن واحد. إن ضغط حدود القرار يؤدي حتمًا إلى توسيع الحساسية للتدرجات.

ب. مسبار الارتباط المترافق (CC-Probe)

لجعل هذه النظرية قابلة للحوسبة، اشتق المؤلفون وكيلًا عمليًا يعتمد على تمريرة خلفية واحدة (single-backward-pass) يسمى CC-Probe:
$$c_{probe} = |\cos(x, p)| = \frac{|x^\top p|}{\|x\|_2 \|p\|_2}$$

• في الرؤية: $x$ هو صورة المدخلات، و $p$ هو تدرج المدخلات. يشير $c_{probe}$ المرتفع إلى اقتران قوي، مما يحدد "إجهاد الحدود" (العينات الصعبة/الهشة).
• في النماذج اللغوية الكبيرة: $x$ هو تضمين المطالبة (prompt embedding)، و $p$ هو تدرج خسارة الرمز التالي بالنسبة للمطالبة. يشير $c_{probe}$ المنخفض إلى اقتران ضعيف، مما يحدد "ضعف التكييف" (ارتفاع خطر الهلوسة).

3. المساهمات الرئيسية

1. النظرية الموحدة (NUP): تثبت أن الهشاشة العدائية والهلوسة هما طرفا نقيضان لنفس ميزانية عدم اليقين.
   • الرؤية (التشبع): اقتران مرتفع ($\uparrow c_{probe}$) $\leftarrow$ غموض صغير، حساسية عالية $\leftarrow$ ضعف عدائي.
   • النماذج اللغبية الكبيرة (الارتخاء): اقتران منخفض ($\downarrow c_{probe}$) $\leftarrow$ غموض كبير، حساسية غير منضبطة $\leftarrow$ هلوسة.
2. أداة تشخيصية (CC-Probe): مقياس خفيف الوزن ولا يتطلب فك التشفيد (decoding-free) يحدد أنماط الفشل قبل عملية التوليد أو الهجوم.
3. استراتيجيات التدخل:
   • ConjMask: تدخل في وقت التدريب للرؤية يقوم بحجب مكونات المدخلات ذات درجات $|x \cdot p|$ العالية، مما يقلل من إجهاد الحدود دون الحاجة للتدريب العدائي.
   • LogitReg: تنظيم تكميلي للرؤية يعمل على تثبيت فضاء الـ logit للتعامل مع الهجمات التي تتجاوز معيار Cross-entropy التقليدي.
   • تسجيل مخاطر التعبئة المسبقة (Prefill Risk Scoring): بالنسبة للنماذج اللغوية الكبيرة، استخدام CC-Probe خلال مرحلة التعبئة المسبقة (prefill) للكشف عن خطر الهلوسة واختيار المطالبات المثلى دون توليد أي رموز إجابة.

4. النتائج التجريبية

تحقق المؤلفون من نظريتهم عبر ست تجارب في الرؤية (CIFAR-10, Tiny-ImageNet, ImageNet-100) وفي النماذج اللغوية الكبيرة (DeepSeek-Coder-7B في الاستدلال الرياضي).

تجارب الرؤية

• التشخيص (Exp 1-2): تأكد أن العينات المصنفة خطأ والأمثلة العدائية تظهر "ذيلاً عالي الكوسين" (high $c_{img}$) مستمرًا، بينما تنفصل العينات الصحيحة (low $c_{img}$). أدت الاضطرابات المحاذية للتدرج إلى زيادة $c_{img}$ وتقليل الدقة.
• التخفيف (Exp 3-4):
  • ConjMask: حسن المتانة ضد هجمات PGD-20 و APGD-CE بشكل كبير (على سبيل المثال، ResNet-18 على CIFAR-10: من 0.62% $\to$ 83.96% دقة متينة) دون تدريب عدائي.
  • القصور: كان ConjMask وحده ضعيفًا ضد هجمات APGD-DLR.
  • LogitReg: إضافة التنظيم من جانب الـ logit استعادت المتانة ضد APGD-DLR، محققة أداءً يقارب TRADES ولكن بتكلفة حسابية أقل.

تجارب النماذج اللغوية الكبيرة

• كشف الهلوسة (Exp 5): في اختبار رياضي مكون من 500 مسألة، حقق CC-Probe (المسمى Risk-Cos) قيمة AUROC تبلغ ~0.69 لكشف الهلوسة. والأهم من ذلك، أنه عمل قبل فك التشفيد (prefill-only)، بينما فشلت المقاييس القياسية مثل Entropy و NLL أو كانت ذات ارتباط عكسي.
• اختيار المطالبة (Exp 6): عند إعطائه 5 مطالبات معاد صياغتها لنفس المسألة، فإن اختيار المطالبة ذات أعلى $c_{prompt}$ (أقل خطرًا) حقق معدل نجاح (Top-1 Hit Rate) بنسبة 76% في اختيار الإجابة المفضلة لدى المُقيّم، متفوقًا على النماذج المرجعية القائمة على الـ entropy أو الـ margin.

5. الأهمية والآثار المترتبة

• تحول في النموذج الفكري: ينقل المجال من "الرقع" الخاصة بكل وسيط إلى فهم هندسي موحد للموثوقية العصبية. إنه يعيد صياغة الموثوقية كعلاقة مقايضة بين التموضع والحساسية.
• الكفاءة: التدخلات المقترحة (ConjMask, LogitReg) والتشخيصات (CC-Probe) فعالة حاسوبيًا. فهي تتجنب التكلفة العالية للتدريب العدائي والعبء الحسابي لطرق كشف الهلوسة الحالية (مثل Semantic Entropy).
• الفائدة العملية:
  • الرؤية: يوفر مسارًا لنماذج قوية دون الحاجة لتوليد بيانات عدائية مكلفة.
  • النماذج اللغوية الكبيرة: يتيح تقييم المخاطر في الوقت الفعلي دون الحاجة لفك التشفيد، مما يسمح للأنظمة برفض أو إعادة طلب مطالبات أكثر ملاءمة قبل توليد رمز واحد.
• العمق النظري: يربط مفاهيم ميكانيكا الكم (علاقات عدم اليقين) مع التعلم العميق، مما يقدم إطارًا رياضيًا صارمًا لتحليل "طبقة الحدود" (boundary layer) للشبكات العصبية.

في الختام، تُظهر الورقة أنه من خلال مراقبة ومعالجة قناة اقتران المدخلات والتدرج، يمكن تشخيص وتخفيف الأسباب الهندسية الأساسية لكل من الهشاشة العدائية والهلوسة، مما يوفر مسارًا مبدئيًا نحو ذكاء اصطناعي أكثر موثوقية.