Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models

ملخص تقني لورقة بحثية بعنوان: "عدم الاستقرار العددي والفوضى: قياس عدم القدرة على التنبؤ في النماذج اللغوية الكبيرة"

1. بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في سير عمل معقد متعدد الوكلاء، تظهر هذه النماذج معدلات عالية من عدم القدرة على التنبؤ وعدم القابلية للتكرار. فحتى مع تثبيت البذور العشوائية (random seeds) واستخدام نفس المطالبات (prompts) تمامًا، غالبًا ما ينتج الوكلاء مخرجات متناقضة أو يفشلون في الوصول إلى حالة التقارب.

• الفجوة: بينما تعزو الأعمال السابقة هذه الإخفاقات إلى القيود الخوارزمية أو الحساسية الدلالية، إلا أن هناك نقصًا في الفهم المنهجي حول كيفية تفاعل أخطاء تقريب الفاصلة العائمة (floating-point rounding errors) مع حسابات المحولات (Transformer computations) للتسبب في عدم الاستقرار.
• الفرضية: يفترض المؤلفون أن جزءًا كبيرًا من إخفاقات الأنظمة متعددة الوكلاء ينبع من عدم الاستقرار العددي الناجم عن العمليات الحسابية غير الترابطية وغير الحتمية للفاصلة العائمة عبر الأجهزة غير المتجانسة (مثل وحدات معالجة الرسومات المختلفة). ويفترضون أن أخطاء التقريب المجهرية (عند مقياس $\epsilon$ الآلة، $\sim 10^{-14}$) يمكن أن تؤدي إلى "تأثيرات انهيارية" (avalanche effects) داخل طبقات الشبكة، مما يؤدي إلى نتائج ثنائية: إما تضخيم سريع أو اضمحلال تام.

2. المنهجية

يستخدم المؤلفون تحليلًا دقيقًا على مستوى الطبقات للاستدلال في النماذج اللغوية الكبيرة لقياس الاستقرار، متجاوزين أرقام الحالة (condition numbers) التقليدية التي غالبًا ما تكون متشائمة للغاية في الفضاءات عالية الأبعاد.

• تعريف المقياس: قدموا رقم الحالة الاتجاهي المطلق ($\kappa_{abs}$)، المعرف بنورم المشتق الاتجاهي. يقيس هذا المقياس التغير المطلق الفوري في المخرجات مقابل اضطراب وحدة واحدة في اتجاه معين $v$:
  $$\kappa_{abs}(f, x, v) \approx \frac{\|f(x + \epsilon v) - f(x)\|_2}{\epsilon}$$
  ولتجنب ضوضاء أخذ العينات الاحتمالية، قاموا بتحليل اللوجيتس (Logits) (مخرجات ما قبل Softmax) بدلاً من تنبؤات الرموز (tokens) النهائية.
• الإعداد التجريبي:
  • النماذج: Meta-Llama-3.1-8B-Instruct و OpenAI-GPT-OSS-20B.
  • مجموعات البيانات: TruthfulQA (للاستدلال العام) و AdvBench (للمطالبات العدائية).
  • الأجهزة: وحدات NVIDIA RTX A5000 (لنموذج Llama) ومعالج Intel CPU (لنموذج GPT-OSS لفرض قيود دقة Float32).
  • الدقة: أُجريت التجارب باستخدام Float32 و BFloat16 و Float64.
• تقنيات التحليل:
  • التحليل الطيفي (Spectral Analysis): سبر الاضطرابات على طول المتجهات المنفردة لـ Jacobian لمعرفة ما إذا كانت الحساسية تتبع طيف القيم المنفردة.
  • الاستمرارية المجهرية (Micro-Continuity): مسح الاضطرابات عند مقاييس أقل من الـ ULP (الوحدة في آخر مكان) لمراقبة حالات "الركود" (المخرجات الثابتة) مقابل "القفزات".
  • رسم خرائط حدود القرار: تصور مستويات الاضطراب ثنائية الأبعاد بالقرب من نقاط "التعادل الوثيق" (حيث يتساوى لوجيت أعلى رمزين) لقياس التجزئة وكثافة العبور.

3. المساهمات الرئيسية

1. تحديد الديناميكيات الفوضوية: تُظهر الورقة أن النماذج اللغوية الكبيرة تظهر سلوكًا فوضويًا حيث تؤدي الاضطرابات عند مقياس الفاصلة العائمة ($\epsilon$) إما إلى تضخيم أسي أو تلاشي تام داخل طبقات المحول المبكرة. يمكن أن تتجاوز أرقام الحالة الاتجاهية $10^6$، وهو ما يتجاوز بكثير القيم المنفردة النظرية.
2. توصيف ثلاثة أنظمة استقرار: حدد المؤلفون ثلاثة أنظمة تشغيل متميزة بناءً على مقياس الاضطراب والمدخلات:
   • النظام الثابت (Constant Regime): تقع الاضطرابات تحت عتبة تعتمد على المدخلات؛ حيث تتبدد أخطاء التقريب، مما يؤدي إلى مخرجات ثابتة بتاتياً (bitwise-constant).
   • النظام الفوضوي (Chaotic Regime): تهيمن أخطاء التقريب، مما يؤدي إلى تباعد المخرجات وتقلبات القرارات العشوائية.
   • نظام سيادة الإشارة (Signal-Dominated Regime): تكون تغيرات المدخلات الحقيقية كبيرة بما يكفي لتجاوز الضوضاء العددية.
3. الاعتماد العالمي على المقياس: يثبت المؤلفون أن عدم الاستقرار مدفوع بالمقياس وليس بالطيف. يتم تحديد عتبات الاستقرار بواسطة تأثيرات التكميم للفاصلة العائمة (ULP spacing) وليس بخصائص طيف Jacobian.

4. النتائج والاكتشافات الرئيسية

• "تأثير الانهيار" (The Avalanche Effect):

  • في النظام الفوضوي (الاضطرابات المجهرية، مثل $\epsilon = 10^{-10}$)، ينهار الهيكل الاتجاهي لـ Jacobian. وتُظهر الاضطرابات على طول اتجاهات الحساسية العالية (القيم المنفردة العالية) واتجاهات الحساسية المنخفضة (القيم القريبة من الصفر) مسارات تضخيم متطابقة تقريبًا.
  • بمجرد أن ينجو الاضطراب من واجهة التقريب الأولية، فإنه يتصاعد عبر عمق الشبكة، ليصبح معتمدًا بشكل ضعيف على اتجاهه الأولي.

• الاستمرارية المجهرية وسلوك الدرج (Staircase Behavior):

  • يكشف التحليل عن نمط "درجي" في تمثيلات المخرجات. معظم خطوات الاضطراب المتتالية تنتج تغيرًا صفريًا (هضاب ثابتة)، لكن الخطوات النادرة تسبب قفزات ضخمة ومنفصلة.
  • يفسر هذا الشذوذ الإحصائي حيث يكون متوسط عدم الاستقرار هو 0.0، بينما يكون المتوسط الحسابي لعدم الاستقرار أكبر بعدة مراتب مقدارية (مثل $10^6$).

• حدود القرار الكسورية (Fractal Decision Boundaries):

  • بالقرب من حدود القرار (حيث $L_1 \approx L_2$)، تقوم الاضطرابات المجهرية بتجزئة فضاء المخرجات إلى مئات المناطق المنفصلة.
  • تردد الانقلاب (Flip Frequency): تُظهر الخلايا الشبكية المتجاورة في مستويات الاضطراب انقلابات في التنبؤ في حوالي 16% من الحالات.
  • كثافة العبور (Crossing Density): عبور الحدود أعلى بـ 50 مرة مما هو متوقع في الدوال الناعمة، مما يخلق خرائط قرار بنمط "الملح والفلفل" (salt-and-pepper).

• الشمولية عبر المتجهات المنفردة:

  • رغم أن القيم المنفردة تمتد عبر ست مراتب مقدارية (من $\sigma \approx 600$ إلى $\sigma \approx 0$)، إلا أن أقصى مقدار اضطراب مستقر ($s_{max}$) يظل ثابتًا تقريبًا عند $\sim 10^{-10}$ عبر جميع المتجهات المنفردة البالغ عددها 4,096.
  • هذا يؤكد أن الاستقرار محكوم بديناميكيات التقريب المعتمدة على المدخلات، وليس بالهيكل الطيفي للنموذج.

• تأثير الدقة (Impact of Precision):

  • تغيير الدقة (BFloat16 مقابل Float64) يغير موقع حدود الأنظمة (أي عند أي $\epsilon$ يبدأ الفوضى) ولكنه لا يلغي السلوك الفوضوي. الدقة العالية (Float64) تدفع عدم الاستقرار إلى مقاييس أصغر، لكن الطبيعة المعتمدة على المقياس تظل قائمة.

• التخفيف عبر متوسط الضجيج (Noise Averaging):

  • يقترح المؤلفون حساب متوسط عدة عمليات تمرير أمامي مع حقن الضجيج. هذا يلغي أخطاء التقريب العشوائية (التي تختلف عبر المسارات) مع الحفاظ على الحساسية الخوارزمية الحقيقية.
  • النتيجة: حساب متوسط 10 إلى 100 عينة فقط يقلل رقم الحالة المقدر من المستويات الفوضوية ($>900$) إلى المستويات المستقرة ($\sim 600$)، مما يؤدي إلى التقارب مع القيمة المنفردة الحقيقية.

5. الأهمية والآثار المترتبة

• التحول النظري: يتحدى هذا العمل الرؤية الكلاسيكية التي تعتبر حساسية النموذج محددة بطيف Jacobian. بدلاً من ذلك، يثبت أنه بالنسبة للنماذج اللغوية الكبيرة، فإن الدقة العددية ومقياس الاضطراب هما المحركان الأساسيان للاستقرار.
• موثوقية الأنظمة متعددة الوكلاء: تفسر هذه النتائج معدلات الفشل التي تتراوح بين 23-31% في الأنظمة متعددة الوكلاء (مثل AutoGen و MetaGPT). فعندما يتبادل الوكلاء التضمينات (embeddings) عبر أجهزة غير متجانسة، تؤدي عمليات الاختزال غير الحتمية وأخطاء التقريب إلى جعل المدخلات المتطابقة تسلك مسارات حسابية مختلفة، مما يؤدي إلى نتائج متباعدة.
• التطبيقات الحرجة للسلامة: بالنسبة للتطبيقات التي تتطلب قابلية التكرار (مثل التشخيص الطبي أو الاستدلال القانوني)، فإن الاعتماد على الاستدلال بمرور واحد (single-pass inference) هو أمر معيب جوهريًا بسبب الطبيعة الفوضوية لحسابات الفاصلة العائمة في الشبكات العميقة.
• الاتجاهات المستقبلية: تشير الورقة إلى أن بناء أنظمة قوية يتطلب إما تغييرات معمارية لتوسيع "المناطق الثابتة" (Constant Regions)، أو اكتشاف حدود الفوضى أثناء التشغيل، أو اعتماد تقنيات متوسط الضجيج لاستعادة تقديرات الحساسية الحتمية.

في الختام، تؤكد الورقة أن عدم الاستقرار العددي هو قيد أساسي على قابلية تكرار النماذج اللغوية الكبيرة، مدفوعًا بتفاعل فوضوي بين تقريب الفاصلة العائمة وانتشار الشبكة العميقة، وليس مجرد هشاشة خوارزمية.