PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training
यह शोध पत्र एक पॉलिनॉमियल वेट प्रीकंडीशनिंग (PC) लेयर पेश करता है जो कम-डिग्री वाले पॉलिनॉमियल्स के माध्यम से वेट सिंगुलर-वैल्यू स्पेक्ट्रा को पुनर्गठित करके LLM प्री-ट्रेनिंग को स्थिर करता है, जिससे मर्ज करने के बाद इन्फरेंस ओवरहेड के बिना ज्यामितीय अभिसरण (geometric convergence) सुनिश्चित होता है और प्रदर्शन में सुधार होता है।