🤖 AI
Numerical Instability and Chaos: Quantifying the Unpredictability of Large Language Models
यह शोध पत्र यह प्रदर्शित करके लार्ज लैंग्वेज मॉडल्स (LLMs) की संख्यात्मक अस्थिरता (numerical instability) की जांच करता है कि कैसे परिमित फ्लोटिंग-पॉइंट प्रिसिजन (finite floating-point precision) शुरुआती ट्रांसफॉर्मर परतों में एक अराजक "एवलेंच इफेक्ट" (avalanche effect) को सक्रिय करता है, जो तीन विशिष्ट व्यवहारिक अवस्थाओं—स्थिर, अराजक और सिग्नल-प्रधान—की ओर ले जाता है जो मौलिक रूप से मॉडल्स की अप्रत्याशितता और विश्वसनीयता को नियंत्रित करती हैं।