🔢 mathematics
Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि निम्न-तापमान सीमा (low-temperature limit) में, गहरे एनकोडर-ओनली ट्रांसफॉर्मर में टोकन वितरण तेजी से मॉडल के प्रोजेक्शन मैट्रिसेस द्वारा निर्धारित एक विशिष्ट मेटास्टेबल अवस्था पर केंद्रित हो जाते हैं, जिसका अभिसरण दर (convergence rate) वासरस्टीन दूरी (Wasserstein distance) के माध्यम से परिमाणित किया गया है और बाद के स्पेक्ट्रल-डोमिनेटेड टर्मिनल चरण को दर्शाने वाले संख्यात्मक प्रयोगों द्वारा मान्य किया गया है।