ملخص تقني: الانتباه الذاتي كعملية نقل: حدود التشخيصات الطيفية المتماثلة

بيان المشكلة

تحدث الهلوسة في النماذج اللغوية الكبيرة (LLMs) من خلال اعتلالات توجيه متميزة: فشل الاختناق (bottleneck failures)، حيث يتركز الانتباه بشكل مفرط على مجموعة ضيقة من المواضع، والفشل المنتشر (diffuse failures)، حيث يتشتت الانتباه لدرجة تضعف فيها الصلة. وبينما تبدو هذان النمطين متشابهين كمياً تحت العدسات الطيفية القياسية، إلا أنهما متضادان ميكانيكياً. تفشل التشخيصات الطيفية الحالية (مثل LLM-Check و EigenTrack و LapEigvals) غالباً في التمييز بينهما أو الخلط بين فشل السعة وفشل الاتجاه. علاوة على ذلك، ترث العديد من الميزات الطيفية تبعيات مربكة تعتمد على طول التسلسل، مما يحجب الإشارة الهيكلية الحقيقية لتوجيه الانتباه. تسعى هذه الورقة إلى توصيف الحدود الهيكلية لما يمكن وما لا يمكن للتشخيصات القائمة على الانتباه قياسه، وتحديداً معالجة قيود الطرق الطيفية المتماثلة في اكتشاف اتجاه تدفق المعلومات.

المنهجية

يصيغ المؤلفون رؤوس الانتباه كـ عوامل نقل ثنائية الأجزاء طبيعية الدرجة (degree-normalized bipartite transport operators) ($M$) بين الاستعلامات (queries) والمفاتيح (keys). ينتج عن هذا التمثيل عامل ثابت المقياس تشفر خصائصه الطيفية جودة التوجيه. تستند المنهجية إلى ثلاث ركائز:

1. التفكيك المتعامد (Orthogonal Decomposition): يتم تفكيك عامل النقل $M$ تحت ضرب هيلبرت-شميدت (Hilbert–Schmidt inner product) إلى مكون متماثل ($M_{sym}$) يحكم سعة النقل، ومكون غير متماثل ($M_{asym}$) يحكم اتجاه النقل.
2. التشخيصات الطيفية:
   • الموصلية ($\phi$): مشتقة من المكون المتماثل عبر متباينة تشيجر (Cheeger inequality)، وتقيس $\phi$ كفاءة نقل المعلومات. تشير الموصلية المنخفضة إلى اختناقات؛ بينما تشير الموصلية العالية إلى خلط منتشر.
   • معامل عدم التماثل ($G$): يُعرف بأنه المسافة الفرويبينية الموزونة لـ $M$ إلى الفضاء المتماثل ($G = \|M_{asym}\|_F / (\|M\|_F + \epsilon)$)، ويعمل $G$ كالمكمل الأدنى المطلوب لاستعادة المعلومات الاتجاهية المفقودة بواسطة الملخصات المتماثلة.
   • الفجوة الطيفية ($1-\sigma_2$): تعمل القيمة المفردة الثانية لـ $M$ كوسيط للموصلية.
3. التقييم المتحكم في الطول: لمعالجة الارتباط المربك، يقدم المؤلفون بروتوكول AUROC المتحكم في الطول (LC-AUROC). يتضمن ذلك تقسيم العينات حسب طول الاستجابة إلى فئات، وإزالة أثر الطول (residualizing) من الدرجات داخل الفئات، والتجميع عبر AUROC الموزون بالزوج. هذا يعزل إشارات التوجيه الهيكلية عن الآثار المعتمدة على الطول.
4. المعايير النظرية: تشتق الورقة مشاهد طبيعية (closed-form landscapes) للموصلية للبنى السببية المعيارية (Uniform Causal، Window Attention) لتحديد "أرضيات" معمارية متوقعة وأشكال أنماط الفشل.

المساهمات الرئيسية

1. الحدود الهيكلية للتشخيصات المتماثلة (عمى التوجه)

تثبت الورقة النظرية 4 (عمى التوجه): أي تشخيص طيفي يعتمد فقط على القيم المفردة أو المكون المتماثل لعامل الانتباه هو ثابت بالنسبة لتبديل المصفوفة (transpose-invariant). وبناءً عليه، فإن مثل هذه التشخيصات هي "عمياء التوجه" هيكلياً ولا يمكنها التمييز بين عامل ومقلوبه، مما يجعلها عاجزة عن اكتشاف اتجاه تدفق المعلومات. وتضع النقيضة الكمية (Proposition 6) أن أي تشخيص "ليبتشيتز" (Lipschitz) حساس للاتجاه يجب أن يعتمد على المكون غير المتماثل، مع حساسية محدودة بـ $\|M_{asym}\|_F$.

2. نظرية الموصلية ثنائية الجانب

على عكس المقاييس التي تكتشف نمط فشل واحد فقط، يوفر إطار الموصلية تشخيصاً ثنائي الجانب:

• الاختناقات: الموصلية المنخفضة ($\phi$) تؤكد وجود توجيه شديد التركيز.
• الخلط المنتشر: الموصلية العالية بشكل غير طبيعي (مقارنة بالمعايير المعمارية) تؤكد وجود توجيه ضعيف التركيز.
  اشتق المؤلفون مشهد bipartite-Cheeger لآلية الانتباه السببي الموحد، مما يثبت وجود أرضية مستقلة عن $n$ حيث $\phi \ge 1/5$ مع أسوأ قطع عند $t^*/n \approx 0.32$. كما أظهرت نتائج Window attention أنها تخترق هذه الأرضية كـ $O(w/n)$.

3. كفاية الدرجة وهيكل الاقتران

تؤطر النظرية 2 (كفاية الدرجة) متى يساهم هيكل الاقتران في الخصائص الطيفية بما يتجاوز عدم تجانس الدرجة. وتثبت أنه بالنسبة للانتباه شبه المنتظم ($\kappa \approx 1$)، فإن الفجوة الطيفية تُفسر بالكامل من خلال توزيعات الدرجة. وفقط عندما ينحرف عدم تجانس الدرجة بشكل كبير، يوفر هيكل الاقتران إشارة مستقلة.

4. التنبؤ بالقطبية التجريبية

يوفر الإطار تنبؤاً قابلاً للتفنيد: يجب أن تظهر معايير الاختبار التي يهيمن عليها الاختناق والانتشار قطبية متعاكسة في درجات الموصلية.

• HaluEval: تتجمع الهلوسات في نظام الموصلية المنخفضة (الاختناق).
• MedHallu: تتجمع الهلوسات في نظام الموصلية العالية (الانتشار).
  لوحظ هذا الانقلاب في القطبية تجريبياً تحت التقييم المتحكم في الطول، مما يؤكد صحة النظرية ثنائية الجانب.

النتائج التجريبية

• أداء التشخيص: تحت بروتكول LC-AUROC، تحتفظ ميزات النقل بإشارة قابلة للتفسير (0.62–0.84) في النماذج التي تصل إلى 8 مليار بارامتر.
  • الموصلية ($\phi$): تلتقط فشل السعة. وتتحول الإشارة المهيمنة مع حجم النموذج: عند 70 مليون بارامتر، تهيمن إحصاءات الموقع (المتوسط) (انخفاض موحد)؛ وعند 1.4 مليار، تهيمن إحصاءات الانتشار (الانحراف المعياري) (عدم تجانس التوجيه).
  • عدم التماثل ($G$): يكون عموماً شحيحاً (أداء قريب من الصدفة) في النماذج التي تعتمد على التفكيك (decoder-only)، مما يعكس أن التوجيه الاتجاهي المعتمد على المحتوى ليس هو نمط الفشل الأساسي. وتشمل الاستثناءات نموذج Flan-T5 (حيث يكتشف $G$ فشل ربط الانتباه المتقاطع) ونموذج Pythia (حيث يكتشف $G$ الانحرافات عن اضمحلال الموضع الناتج عن RoPE).
• المقارنة مع الخطوط المرجعية:
  • مقاييب الحالة الخفية (LLM-Check): تحقق كشفاً عاماً قوياً (0.62–0.72 LC-AUROC) لكنها غير مدركة هيكلياً لأنماط الفشل وتظهر ارتباكاً متوسطاً مع الطول.
  • المصنفات الطيفية الخاضعة للإشراف (EigenTrack): تظهر إشارة هامشية وقدرة ضعيفة على التعميم عبر مجموعات البيانات، ويرجع ذلك على الأرجح إلى الإفراط في التخصيص (overfitting) للسمات الطيفية الخاصة بكل مجموعة بيانات والاعتماد غير القابل للاختزال على الطول عبر نسب الجوانب.
• التوسع (Scaling): تستمر تشخيصات النقل عبر مقاييس Pythia (من 70 مليون إلى 1.4 مليار) و LLaMA 3.1 8B، وإن كانت طريقة التجميع المطلوبة لالتقاط الإشارة تتغير من الاعتماد على المتوسط إلى الاعتماد على التباين مع زيادة سعة النموذج.

الأهمية والادعاءات

تدعي الورقة أنها تضع حداً هيكلياً لتشخيصات الانتباه بدلاً من اقتراح "أفضل" كاشف للهلوسة. تكمن أهميتها الأساسية في:

1. التفكيك: تقسيم فشل التوجيه إلى محاور متعامدة (السعة مقابل الاتجاه) مع ضمانات رسمية (متباينة تشيجر، ونظرية عمى التوجه).
2. القابلية للتفسير: تقديم تفسير ميكانيكي لسبب إظهار مجموعات البيانات المختلفة أنماط فشل مختلفة (اختناق مقابل انتشار) بناءً على شكل مشهد الموصلية.
3. الدقة المنهجية: إثبات أن ارتباك الطول يمكن أن يرفع الـ AUROC الخام بمقدار يصل إلى 0.28 نقطة، ووضع بروتوكول (LC-AUROC) لعزل الإشارات الهيكلية.
4. الرؤية المعمارية: إظهار أن "ندرة" الإشارات الاتجاهية ($G$) في النماذج التي تعتمد على التفكيك هي خاصية معمارية (هيمنة البنية الموضعية على الاتجاه المعتمد على المحتوى) وليست فشلاً في التشخيص.

يؤكد المؤلفون أنه بينما يحدد الإطار كيف يفشل توجيه الانتباه، فإنه لا يدعي حل مشكلة اكتشاف الهلوسة في جميع الحالات (على سبيل المثال، قد تظل فجوات المعرفة التي لا تتضمن خللاً في التوجيه غير قابلة للاكتشاف). المساهمة هي إطار عمل مبدئي لفهم الحدود الهيكلية للتحليل الطيفي للانتباه.