🤖 machine learning

Rethinking Bregman Divergences in Kronecker-Factored Optimizers

यह शोध पत्र विश्लेषण करता है कि विभिन्न ब्रेगमैन डाइवर्जेंस (Bregman divergences) क्रोनेकर सन्निकटन त्रुटियों (Kronecker approximation errors) को कोवेरियन्स स्पेक्ट्रम (covariance spectrum) में कैसे वितरित करते हैं, जो यह प्रकट करता है कि शीर्ष आइजनस्पेस (top eigenspaces) विश्वसनीय हैं जबकि पूंछ (tail) शोरयुक्त है, जो एक नए सबस्पेस-जागरूक ऑप्टिमाइज़र को प्रेरित करता है जो आइजनवैल्यू-आधारित प्रीकंडीशनिंग को अनुकूली समदैशिक त्वरण (adaptive isotropic acceleration) के साथ जोड़ता है।

मूल लेखक: Bing Liu, Wenjie Zhou, Chengcheng Zhao

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bing Liu, Wenjie Zhou, Chengcheng Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: धुंध भरे पहाड़ पर रास्ता खोजना

कल्पना कीजिए कि आप एक विशाल, भारी रोबोट (एक AI मॉडल) को एक पहाड़ से नीचे घाटी की ओर ले जाने की कोशिश कर रहे हैं (सबसे अच्छा प्रदर्शन खोजने के लिए)। रोबोट इतना बड़ा है कि वह तुरंत मुड़ नहीं सकता, इसलिए उसे एक नक्शे की आवश्यकता है जो उसे बताए कि किस दिशा में "नीचे" जाना है।

AI की दुनिया में, इस नक्शे को प्रिकंडीशनर (preconditioner) कहा जाता है। यह रोबोट को बताता है कि हर दिशा में जमीन कितनी ढालू है ताकि वह सही कदम का आकार ले सके।

समस्या क्या है? पहाड़ बहुत बड़ा है, और हर पत्थर और कंकड़ का एक सटीक, विस्तृत नक्शा बनाना असंभव और बहुत धीमा है। इसलिए, इंजीनियर एक शॉर्टकट का उपयोग करते हैं: वे एक "क्रोनेकर-फैक्टर्ड" (Kronecker-factored) संरचना का उपयोग करके नक्शे का अनुमान लगाते हैं। इसे एक जटिल 3D परिदृश्य को केवल दो अलग-अलग 2D स्लाइस (जैसे कि बगल से दिखने वाली छाया और सामने से दिखने वाली छाया) को देखकर और उन्हें मिलाकर समझाने की कोशिश करने के रूप में समझें।

समस्या: "छाया" एकदम सटीक नहीं होती

लेखक इस शॉर्टकट में एक मौलिक खामी की ओर इशारा करते हैं: छाया कभी भी वास्तविक वस्तु से पूरी तरह मेल नहीं खाती।

क्योंकि वास्तविक पहाड़ (डेटा) जटिल होता है, आप केवल दो 2D स्लाइस से उसे कभी भी पूरी तरह से पुनर्गठित नहीं कर सकते। हमेशा "अनुमान त्रुटि" (approximation error) रहेगी—नक्शे के ऐसे हिस्से जो थोड़े गलत होंगे।

लंबे समय से, शोधकर्ताओं ने सोचा कि ये सभी शॉर्टकट तरीके मूल रूप से एक जैसे ही हैं, बस वे गलती को मापने के लिए थोड़ा अलग गणितीय सूत्रों (जिन्हें ब्रेगमैन डायवर्जेंस/Bregman Divergences कहा जाता है) का उपयोग करते हैं। यह पेपर पूछता है: यदि हम एक सटीक नक्शा नहीं प्राप्त कर सकते, तो क्या यह मायने रखता है कि हम त्रुटि को मापने के लिए किस सूत्र का उपयोग करते हैं?

खोज: अलग-अलग सूत्र, अलग-अलग अंध बिंदु (Blind Spots)

लेखकों ने पाया कि हाँ, इससे बहुत फर्क पड़ता है। अलग-अलग सूत्र नक्शे की "गलतियों" के साथ अलग-अलग व्यवहार करते हैं:

फ्रोबेनियस (Frobenius - "बड़ी तस्वीर" का प्रशंसक): यह सूत्र पहाड़ के बड़े, स्पष्ट फीचर्स (ऊंचे शिखरों और गहरी घाटियों) पर ध्यान केंद्रित करता है। यह छोटे कंकड़ों को अनदेखा कर देता है। यह एक मानचित्रकार की तरह है जो केवल प्रमुख राजमार्गों को बनाता है और छोटी गलियों को छोड़ देता है।
लॉगडेट (LogDet - "सूक्ष्मदर्शी"): यह सूत्र बारीक विवरणों के प्रति जुनूनी है। यह नक्शे के बहुत छोटे, शोर वाले (noisy) हिस्सों के प्रति बहुत संवेदनशील हो जाता है। यह हर छोटे कंकड़ को ठीक करने की कोशिश करता है, भले ही वह कंकड़ केवल एक रैंडम पत्थर हो जो पहाड़ के वास्तविक आकार का प्रतिनिधित्व नहीं करता।
वॉन न्यूमैन (von Neumann - "मध्य मार्ग"): यह बीच में कहीं स्थित है, बड़े फीचर्स की परवाह करता है लेकिन पहले वाले की तरह आक्रामक रूप से नहीं।

मुख्य अंतर्दृष्टि: लेखकों ने पाया कि "बड़े फीचर्स" (डेटा का टॉप स्पेक्ट्रम) आमतौर पर पहाड़ के वास्तविक आकार (हेसियन/Hessian) के साथ अच्छी तरह मेल खाते हैं। हालांकि, "बारीक विवरण" (बॉटम स्पेक्ट्रम) अक्सर केवल शोर (noise) होते हैं—रैंडम स्टेटिक, जो वास्तव में रोबोट को रास्ता दिखाने में मदद नहीं करते।

यदि आप "सूक्ष्मदर्शी" (LogDet) दृष्टिकोण का उपयोग करते हैं, तो आप रैंडम शोर के आधार पर रोबोट को चलाने की कोशिश करते हैं, जिससे वह डगमगाता है और धीमा चलता है। यदि आप "बड़ी तस्वीर" (Big Picture) वाला दृष्टिकोण अपनाते हैं, तो आप विश्वसनीय हिस्सों पर ध्यान केंद्रित करते हैं।

समाधान: "सबस्पेस-अवेयर" (Subspace-Aware) ऑप्टिमाइज़र

पूरे नक्शे को एक सूत्र से ठीक करने के बजाय, लेखक एक नई रणनीति प्रस्तावित करते हैं जिसे BregTop कहा जाता है। वे नक्शे को दो क्षेत्रों में विभाजित करते हैं:

"उच्च-विश्वास" क्षेत्र (Top Spectrum):
- यह क्या है: पहाड़ के बड़े, स्पष्ट फीचर्स।
- रणनीति: यहाँ एक सटीक, आइजनवैल्यू-आधारित नक्शे का उपयोग करें। यह रोबोट को बताता है कि वास्तविक इलाके के आधार पर उसे ठीक से कैसे मुड़ना है और कितनी गति से जाना है।
- उपमा: यह हाई-डेफिनिशन सैटेलाइट इमेजरी वाले जीपीएस का उपयोग करने जैसा है जो मुख्य राजमार्गों के लिए है।
"शोर वाला" क्षेत्र (Bottom Spectrum):
- यह क्या है: बारीक, अविश्वसनीय विवरण जो ज्यादातर केवल स्टेटिक (static) हैं।
- रणनीति: इन विवरणों को मैप करने की कोशिश करना बंद करें! इसके बजाय, रोबोट को बस एक स्थिर, समान धक्का (uniform push) दें। हर छोटे कंकड़ से बचने की कोशिश न करें; बस एक निरंतर गति से आगे बढ़ते रहें।
- उपमा: यह धुंध भरे खेत में गाड़ी चलाने जैसा है जहाँ आप जमीन नहीं देख सकते। अदृश्य पत्थरों से बचने के बजाय, आप बस एक सुरक्षित, स्थिर गति से सीधे चलते रहते हैं।

परिणाम

लेखकों ने एक लैंग्वेज मॉडल ट्रेनिंग टास्क पर पुराने तरीकों (जैसे मानक Shampoo और इसके वेरिएंट) के मुकाबले इस नए "विभाजित रणनीति" (BregTop) का परीक्षण किया।

परिणाम: नया तरीका अन्य तरीकों की तुलना में लक्ष्य प्रदर्शन तक तेजी से (कम चरणों में) पहुँच गया।
क्यों: विश्वसनीय "बड़ी तस्वीर" के डेटा पर भरोसा करके और "बारीक विवरणों" (शोर) को अनदेखा करके, रोबोट ने ऊर्जा बर्बाद नहीं की। वह पहाड़ से अधिक कुशलता से नीचे उतरा।

सारांश

यह पेपर तर्क देता है कि जब हम AI डेटा के जटिल संसार का सटीक नक्शा नहीं बना सकते, तो हमें हर छोटी त्रुटि को ठीक करने की कोशिश नहीं करनी चाहिए। इसके बजाय, हमें:

बड़े, स्पष्ट पैटर्न पर भरोसा करना चाहिए।
शोर वाले, अविश्वसनीय विवरणों को सरल और समान मानकर उन्हें अनदेखा करना चाहिए।

यह "क्या विश्वास करना है और क्या अनदेखा करना है" वाला दृष्टिकोण AI प्रशिक्षण को तेज़ और अधिक कुशल बनाता है।

तकनीकी सारांश: क्रोनेकर-फैक्टर वाले ऑप्टिमाइज़र्स में ब्रेगमैन डायवर्जेंस (Bregman Divergences) का पुनर्मूल्यांकन

समस्या विवरण
शैम्पू-शैली के ऑप्टिमाइज़र्स ग्रेडिएंट कोवेरिएंस मैट्रिक्स $C = E[\text{vec}(G)\text{vec}(G)^\top]$ को कम कम्प्यूटेशनल जटिलता के लिए एक क्रोनेकर-फैक्टर संरचना $L \otimes R$ का उपयोग करके अनुमानित करते हैं। हालिया कार्य (Lin et al., 2026) ने विभिन्न शैम्पू वेरिएंट्स को $C$ और $L \otimes R$ के बीच ब्रेगमैन मैट्रिक्स डायवर्जेंस के मिनिमाइजेशन समस्याओं के रूप में फ्रेम करके एकीकृत किया है। हालाँकि, एक महत्वपूर्ण अंतराल बना हुआ है: जेनेरिक डेंस कोवेरिएंस मैट्रिसेस के लिए, सटीक क्रोनेकर गुणनखंडन (Kronecker factorization) असंभव है, जिसका अर्थ है कि अनुमान त्रुटि (approximation error) अपरिहार्य है। यह स्पष्ट नहीं है कि विभिन्न ब्रेगमैन डायवर्जेंस इस त्रुटि को कोवेरिएंस स्पेक्ट्रम में कैसे वितरित करते हैं और क्या इसके परिणामस्वरूप बने प्रीकंडीशनर्स स्पेक्ट्रम के सभी हिस्सों पर समान रूप से भरोसा करते हैं। इसके अलावा, चूंकि ग्रेडिएंट कोवेरिएंस अक्सर वास्तविक हेसियन (Hessian) से काफी भिन्न होता है, इसलिए सभी स्पेक्ट्रल घटक प्रीकंडीशनिंग के लिए उपयुक्त नहीं होते हैं। केंद्रीय प्रश्न जिसका समाधान किया गया है: जब सटीक क्रोनेकर मिलान असंभव हो, तो एक स्ट्रक्चर्ड ऑप्टिमाइज़र को कोवेरिएंस स्पेक्ट्रम के किन हिस्सों का अनुमान लगाना चाहिए और उन पर भरोसा करना चाहिए?

कार्यप्रणाली और विश्लेषण
लेखक इस समस्या के प्रति दृष्टिकोण के लिए दो मुख्य विश्लेषणात्मक लेंसों का उपयोग करते हैं: ब्रेगनमान सन्निकटन (Bregman approximation) की स्पेक्ट्रल ज्यामिति और कोवेरिएंस आइजनस्पेस (eigenspaces) की अनुभवजन्य विश्वसनीयता।

ब्रेगमैन सन्निकटन की स्पेक्ट्रल ज्यामिति:
कागज़ यह लक्षणित करता है कि फ्रोबेनियस (Frobenius), वॉन न्यूमैन (von Neumann), और लॉगडेट (LogDet) डायवर्जेंस अनुमान त्रुटियों को अलग-अलग तरीके से कैसे दंडित (penalize) करते हैं। डायवर्जेंस को मार्जिनल स्पेक्ट्रम पदों और एक क्रॉस-स्पेक्ट्रल कपलिंग टर्म $g_F(\lambda_i, \omega_j)$ में विभाजित करके, लेखक दिखाते हैं कि:
- फ्रोबेनियस डायवर्जेंस: कपलिंग टर्म $-\lambda_i \omega_j$ एक द्वैरेखीय परिमाण दंड (bilinear magnitude penalty) लागू करता है, जो शीर्ष (बड़े आइगेनवैल्यू) स्पेक्ट्रम पर अत्यधिक जोर देता है।
- वॉन न्यूमैन डायवर्जेंस: टर्म $-\lambda_i \log \omega_j$ शीर्ष स्पेक्ट्रम के प्रति प्राथमिकता बनाए रखता है लेकिन इसे लॉगरिदमिक रूप से कम (dampen) करता है।
- लॉगडेट डायवर्जेंस: टर्म $\lambda_i / \omega_j$ एक सापेक्ष अनुपात विरूपण (relative ratio distortion) बनाता है, जिससे सन्निकटन छोटे आइगेनवैल्यू (टेल स्पेक्ट्रम) के प्रति अत्यधिक संवेदनशील हो जाता है।
थ्योरम 2 स्थापित करता है कि इन मिनिमाइजेशन समस्याओं के स्टेशनरी पॉइंट्स कच्चे अवशेष (raw residual) $(S^* - C)$ द्वारा निर्धारित नहीं होते हैं, बल्कि एक डायवर्जेंस-वेटेड अवशेष $\nabla^2 F(S^*)[S^* - C]$ द्वारा निर्धारित होते हैं। फलस्वरूप, परिणामी क्रोनेकर फैक्टर्स चुने गए डायवर्जेंस की विशिष्ट स्पेक्ट्रल प्राथमिकताओं के अनुरूप होते हैं (जैसे, LogDet फैक्टर्स छोटे आइगेनवैल्यू के प्रति अधिक संवेदनशील होते हैं, जबकि फ्रोबेनियस फैक्टर्स डोमिनेंट सबस्पेस पर ध्यान केंद्रित करते हैं)।
कोवेरिएंस प्रीकंडीशनिंग की स्पेक्ट्रल विश्वसनीयता:
लेखक SST-2 पर प्रशिक्षित एक ट्रांसफॉर्मर मॉडल पर ग्रेडिएंट कोवेरिएंस और हेसियन आइजनस्पेस के बीच संरेखण (alignment) की अनुभवजन्य जांच करते हैं। परिणाम (तालिका 3) संकेत देते हैं कि शीर्ष कोवेरिएंस आइजनस्पेस, निचले-आइगेनवैल्यू घटकों की तुलना में हेसियन के साथ काफी बेहतर संरेखित है। टेल स्पेक्ट्रम को प्रीकंडीशनिंग के लिए शोर युक्त (noisier) और कम विश्वसनीय देखा गया है, जो पूर्व निष्कर्षों (Kunstner et al., 2019; Thomas et al., 2020) के अनुरूप है।
प्रस्तावित समाधान: सबस्पेस-अवेयर क्रोनेकर ऑप्टिमाइज़र (BregTop):
डायवर्जेंस-प्रेरित स्पेक्ट्रल प्राथमिकताओं और स्पेक्ट्रम की वास्तविक विश्वसनीयता के बीच बेमेल (mismatch) से प्रेरित होकर, लेखक BregTop का प्रस्ताव करते हैं। यह ऑप्टिमाइज़र दोनों अवलोकनों की शक्तियों को जोड़ता है:
- यह शीर्ष-संवेदनशील डायवर्जेंस (जैसे, वॉन न्यूमैन या फ्रोबेनियस) का उपयोग करके क्रोनेकर फैक्टर्स का चयन करता है।
- यह केवल शीर्ष सबस्पेस (सबसे बड़े $\lceil \rho mn \rceil$ प्रविष्टियाँ) के भीतर आइगेनवैल्यू-आधारित प्रीकंडीशनिंग लागू करता है।
- यह पूरक बॉटम सबस्पेस के साथ, भ्रामक कर्वेचर जानकारी के साथ संभावित रूप से शोर वाले टेल को प्रीकंडीशन करने के बजाय, एक एडेप्टिव आइसोट्रोपिक एक्सेलरेशन कांस्टेंट ( $\chi_{\rho, q}$ ) के साथ काम करता है।
सैद्धांतिक रूप से, यह प्रीकंडीशनर को एक कर्वेचर-स्केल्ड टॉप घटक और बॉटम स्पेस के लिए एक यूनिफॉर्म एक्सेलरेशन घटक में विभाजित करता है (थ्योरम 4)।

प्रमुख योगदान

स्पेक्ट्रल ज्यामिति लक्षण वर्णन: पेपर यह औपचारिक लक्षण वर्णन प्रदान करता है कि कैसे फ्रोबेनियस, वॉन न्यूमैन और लॉगडेट डायवर्जेंस विभिन्न आइगेनवैल्यू-निर्भर दंडों को प्रेरित करते हैं, यह दिखाते हुए कि स्टेशनरी क्रोनेकर फैक्टर्स कच्चे अवशेषों के बजाय डायवर्जेंस-वेटेड अवशेषों द्वारा शासित होते हैं।
अनुभवजन्य स्पेक्ट्रल विश्वसनीयता: कार्य यह प्रदर्शित करता है कि जबकि पूर्ण कोवेरिएंस स्पेक्ट्रम प्रीकंडीशनिंग के लिए अविश्वसनीय है, शीर्ष आइजनस्पेस हेसियन के साथ मजबूत संरेखण बनाए रखता है, जो एक सबस्पेस-अवेयर दृष्टिकोण को न्यायसंगत बनाता है।
सबस्पेस-अवेयर ऑप्टिमाइज़र डिज़ाइन: लेखक BregTop पेश करते हैं, जो एक एल्गोरिदम है जो विश्वसनीय टॉप सबस्पेस में आइगेनवैल्यू-आधारित स्केलिंग और शोर वाले बॉटम सबस्पेस में आइसोट्रोपिक एक्सेलरेशन के बीच अनुकूल रूप से स्विच करता है।

प्रायोगिक परिणाम
लेखकों ने SST-2 के पूर्ण डेटासेट पर प्रशिक्षित 4-लेयर ट्रांसफॉर्मर पर मानक Shampoo, KL-Shampoo, VN-Shampoo, और F-Shampoo के विरुद्ध BregTop का मूल्यांकन किया। उपयोग किया गया मेट्रिक EMA-स्मूथ किया गया ट्रेनिंग लॉस 0.05 से नीचे गिरने के लिए आवश्यक स्टेप्स की संख्या थी।

BregTop-VN-v2 ने 1003 स्टेप्स में लक्ष्य लॉस प्राप्त किया, जो मानक Shampoo (1119 स्टेप्स) और बेसलाइन VN-Shampoo (1127 स्टेप्स) से बेहतर प्रदर्शन करता है।
BregTop वेरिएंट्स ने लगातार अपने संबंधित डायवर्जेंस बेसलाइन्स (जैसे, BregTop-VN ने VN-Shampoo से बेहतर प्रदर्शन किया; BregTop-F ने F-Shampoo से बेहतर प्रदर्शन किया) में सुधार किया, जो टॉप सबस्पेस को प्रीकंडीशनिंग के लिए अलग करने के लाभ को प्रमाणित करता है।

महत्व और दावे
पेपर का दावा है कि स्ट्रक्चर्ड ऑप्टिमाइज़र्स के डिज़ाइन को क्रोनेकर गुणनखंडन में अपरिहार्य सन्निकटन त्रुटि और कोवेरिएंस स्पेक्ट्रम की परिवर्तनशील विश्वसनीयता को ध्यान में रखना चाहिए। यह पहचानते हुए कि विभिन्न ब्रेगमैन डायवर्जेंस स्वाभाविक रूप से विभिन्न स्पेक्ट्रल क्षेत्रों को प्राथमिकता देते हैं, और केवल शीर्ष स्पेक्ट्रम ही विश्वसनीय रूप से हेसियन के साथ संरेखित है, प्रस्तावित सबस्पेस-अवेयर दृष्टिकोण एक अधिक मजबूत प्रीकंडीशनिंग रणनीति प्रदान करता है। लेखक नोट करते हैं कि उनका डिज़ाइन Song et al. (2025) में देखे गए ट्रेनिंग डायनेमिक्स के अनुरूप है, जहाँ लर्निंग बॉटम सबस्पेस में होती है; अतः, वहाँ आइसोट्रोपिक एक्सेलरेशन लागू करना आवश्यक ग्रेडिएंट फ्लो को बनाए रखता है जबकि टॉप सबस्पेस प्रीकंडीशनिंग के माध्यम से हाई-कर्वेचर दिशाओं में शोर युक्त अपडेट को कम करता है। परिणाम बताते हैं कि यह हाइब्रिड दृष्टिकोण पूर्ण सेकंड-ऑर्डर जानकारी की आवश्यकता के बिना स्टेप एफिशिएंसी में सुधार करता है।