Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
यह शोध पत्र लेयरनॉर्म (LayerNorm) ट्रांसफॉर्मर्स के लिए एक नवीन, केवल फॉरवर्ड-पास-आधारित नैदानिक पद्धति प्रस्तुत करता है जो केवल लेयरनॉर्म स्केल मापदंडों का उपयोग करके पैरामीटर स्पेस में एक सटीक बीजगणितीय मृत दिशा (algebraic dead direction) की पहचान करता है, एक ऐसी विधि जिसे 14 मॉडलों में आइजनडीकंपोजिशन (eigendecomposition) के बिना सिंगुलर संरचनाओं की सटीक भविष्यवाणी करने और लेयरनॉर्म को आरएमएसनॉर्म (RMSNorm) आर्किटेक्चर से अलग करने के लिए मान्य किया गया है।