PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer
PoLoRA एक नवीन ऑप्टिमाइज़र है जो लो-रैंक एडेप्टेशन (LoRA) के लिए उत्पाद-जागरूक स्पेक्ट्रल अपडेट (product-aware spectral updates), कर्वेचर प्रीकंडीशनिंग (curvature preconditioning), और एक मैग्नीट्यूड कंट्रोल रूल (magnitude control rule) को जोड़ता है ताकि मानक Adam की तुलना में तेज़ अभिसरण (convergence), लर्निंग रेट स्थिरता, और रैंक चयन के प्रति कम संवेदनशीलता प्राप्त की जा सके, जिसमें न्यूनतम कम्प्यूटेशनल ओवरहेड शामिल है।