🤖 machine learning
How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models
यह शोध पत्र लूप वाले भाषा मॉडलों (looped language models) के लिए एक नया स्केलिंग लॉ स्थापित करता है जो पुनरावृत्ति गहराई (recurrence depth) की दक्षता को परिमाणित करता है, यह प्रकट करते हुए कि प्रत्येक अतिरिक्त पुनरावृत्ति अद्वितीय मापदंडों (unique parameters) के 0.46 की घात के बराबर घटते प्रतिफल (diminishing returns) प्रदान करती है, जिससे मॉडल की गहराई, मापदंडों की संख्या और प्रशिक्षण कंप्यूट के बीच अनुमानित ट्रेड-ऑफ सक्षम होता है।