LionVote: Per-Layer Learning Rate Adaptation for Lion
यह शोध पत्र LionVote प्रस्तुत करता है, जो एक प्रति-परत (per-layer) लर्निंग रेट अनुकूलन तंत्र है जो ग्रेडिएंट स्थिरता और मोमेंटम डायग्नोस्टिक्स का उपयोग करके लर्निंग रेट को गतिशील रूप से समायोजित करता है, जिससे ट्रांसफॉर्मर आर्किटेक्चर में अंतर्निहित क्रॉस-लेयर लर्निंग रेट असमानताओं को संबोधित करते हुए ViT-Tiny/CIFAR-100 पर मानक Lion और AdamW की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सटीकता सुधार प्राप्त होता है।