Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training
यह शोध पत्र यह प्रदर्शित करता है कि लो-रैंक प्री-ट्रेनिंग विधियाँ, फुल-रैंक ट्रेनिंग के समान वैलिडेशन परप्लेक्सिटी प्राप्त करने के बावजूद, ज्यामितीय और स्पेक्ट्रल रूप से भिन्न समाधानों पर अभिसरित होती हैं जिनके आंतरिक प्रतिनिधित्व और डाउनस्ट्रीम प्रदर्शन भिन्न होते हैं, जो केवल परप्लेक्सिटी से परे एक व्यापक मूल्यांकन ढांचे की आवश्यकता को रेखांकित करता है।