📊 सांख्यिकी
Spectral Lens: Activation and Gradient Spectra as Diagnostics of LLM Optimization
यह शोध पत्र "स्पेक्ट्रल लेंस" (Spectral Lens) को प्रस्तुत करता है, जो एक नैदानिक प्रोटोकॉल है जो एक्टिवेशन कोवेरियेंस (activation covariance) और ग्रेडिएंट स्पेक्ट्रा (gradient spectra) का उपयोग करके यह प्रकट करता है कि बैच आकार (batch size) कैसे प्रतिनिधित्व ज्यामिति (representation geometry) को प्रभावित करता है, टोकन दक्षता (token efficiency) की भविष्यवाणी करता है, और बड़े भाषा मॉडलों में आर्किटेक्चरल एवं निष्पादन-पक्ष (execution-side) अनुकूलन लाभों के बीच अंतर करता है।