Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models
تتقصى هذه الورقة عدم الاستقرار العددي للنماذج اللغوية الكبيرة من خلال توضيح كيف يؤدي دقة الفاصلة العائمة المحدودة إلى إحداث "تأثير انهياري" فوضوي في طبقات المحولات (Transformer) المبكرة، مما يؤدي إلى ثلاثة أنظمة سلوكية متميزة — مستقرة، وفوضوية، ومسيطرة بالإشارة — والتي تحكم بشكل أساسي عدم القدرة على التنبؤ والموثوقية في هذه النماذج.