🔢 mathematics

BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization

यह शोध पत्र BROS को प्रस्तुत करता है, जो एक मेमोरी-कुशल सिंगल-लूप स्टोकेस्टिक बाइलेवल ऑप्टिमाइज़ेशन विधि है जो सटीक विधियों के समान $\mathcal O(\varepsilon^{-2})$ अभिसरण दर (convergence rate) प्राप्त करने के लिए रैंडमाइज्ड सबस्पेस और एक रेडमेकर बायो-प्रोब करेक्शन का उपयोग करती है, जबकि पीक मेमोरी उपयोग को काफी कम कर देती है।

मूल लेखक: Hengrui Zhang, Boao Kong, Engao Zhang, Kun Yuan

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hengrui Zhang, Boao Kong, Engao Zhang, Kun Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल मशीन को ट्यून करने की कोशिश कर रहे हैं, जैसे कि एक विशाल ऑर्केस्ट्रा, ताकि वह एक सटीक गीत बजा सके। AI की दुनिया में, यह मशीन एक न्यूरल नेटवर्क ( "लोअर-लेवल" समस्या) है, और वे "ट्यूनिंग नॉब्स" जिन्हें आप घुमा रहे हैं, वे हाइपरपैरामीटर्स ("अपर-लेवल" समस्या) हैं।

चुनौती यह है कि यह जानने के लिए कि नॉब को किस दिशा में घुमाना है, पहले आपको पूरे ऑर्केस्ट्रा को सुनना होगा, यह समझना होगा कि हर एक संगीतकार कैसे बजा रहा है, और फिर यह गणना करनी होगी कि एक नॉब को बदलने से पूरा गाना कैसे बदल जाएगा। इसे बाइलेवल ऑप्टिमाइज़ेशन (Bilevel Optimization) कहा जाता है।

समस्या: "मेमोरी" का बॉटलनेक (Bottleneck)

यह पेपर बताता है कि आधुनिक विशाल AI मॉडल्स (जिनमें अरबों पैरामीटर्स होते हैं) के लिए, ट्यूनिंग की सही दिशा को एक साथ कैलकुलेट करने की कोशिश करना ऐसा ही है जैसे अपने बैकपैक में एक पूरी लाइब्रेरी ले जाने की कोशिश करना।

पुराना तरीका: मौजूदा तरीके इस सटीक दिशा को कैलकुलेट करने की कोशिश करते हैं कि हर एक नोट और वाद्य यंत्र को एक साथ ट्रैक रखा जाए। इसके लिए इतनी अधिक कंप्यूटर मेमोरी (RAM) की आवश्यकता होती है कि बड़े मॉडल्स पर यह क्रैश हो जाता है।
"सरोगेट" (Surrogate) तरीका: अन्य तरीके मेमोरी बचाने के लिए गणित को सरल बनाकर "चीटिंग" करने की कोशिश करते हैं, लेकिन वे आपको एक गलत दिशा देते हैं, जिससे अंतिम परिणाम (गीत) खराब हो जाता है।

समाधान: BROS (बायस-करेक्टेड रैंडमाइज्ड सबस्पेस)

लेखकों ने BROS नामक एक नया तरीका प्रस्तावित किया है। यह कैसे काम करता है, यहाँ एक सरल उदाहरण दिया गया है:

1. "स्पॉटलाइट" रणनीति (रैंडमाइज्ड सबस्पेस)

पूरे ऑर्केस्ट्रा को एक साथ सुनने की कोशिश करने के बजाय (जो बहुत भारी पड़ता है), BROS एक स्पॉटलाइट का उपयोग करता है।

यह एक पल के लिए ध्यान केंद्रित करने के लिए संगीतकारों के एक छोटे समूह (एक "सबस्पेस") को रैंडमली चुनता है।
यह केवल इस छोटे समूह के आधार पर नॉब्स को ट्यून करने का तरीका निकालता है।
क्योंकि यह केवल एक छोटे समूह को देख रहा है, यह बहुत कम मेमोरी का उपयोग करता है (उनके परीक्षणों में 45% तक कम)।

2. "मैजिक मिरर" सुधार (रेडेमेकर बाइ-प्रोब)

यही पेचीदा हिस्सा है: यदि आप केवल एक छोटे समूह को सुनते हैं, तो आपका पूरे ऑर्केस्ट्रा का कैलकुलेशन बायस्ड (पक्षपाती या गलत) होगा। यह ऐसा ही है जैसे केवल वायलिन के आधार पर पूरे सिम्फनी का निर्णय लेना; आप ड्रम्स को मिस कर सकते हैं।

जो तरीके इस "स्पॉटलाइट" दृष्टिकोण का उपयोग करते हैं, वे इस त्रुटि को स्वीकार कर लेते हैं, जो अंतिम परिणाम को बिगाड़ देता है।
BROS का सीक्रेट सॉस: यह एक चतुर गणितीय ट्रिक का उपयोग करता है जिसे रेडेमेकर बाइ-प्रोब (Rademacher bi-probe) कहा जाता है। इसे एक "जादुई दर्पण" या "करेक्शन लेंस" के रूप में सोचें।
छोटे समूह को देखने के बाद, BROS कुछ विशिष्ट, रैंडम सवाल पूछता है (रैंडम +1 और -1 संकेतों का उपयोग करके) यह पता लगाने के लिए कि स्पॉटलाइट ने दृश्य को ठीक से कैसे विकृत (distort) किया है।
इसके बाद यह उस विरूपण को गणितीय रूप से "अनडू" (undo) कर देता है।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ

इस सुधार के कारण, BROS दोनों का सर्वश्रेष्ठ परिणाम देता है:

कम मेमोरी: यह छोटे कंप्यूटरों पर भी चल सकता है क्योंकि यह एक बार में मॉडल के छोटे हिस्सों को प्रोसेस करता है।
उच्च सटीकता: क्योंकि यह बायस (bias) को ठीक कर देता है, यह भारी, मेमोरी-हंग्री तरीकों के समान ही सटीक ट्यूनिंग दिशा पाता है। यह गुणवत्ता से कोई समझौता नहीं करता है।

उन्होंने क्या टेस्ट किया

लेखकों ने चार वास्तविक दुनिया के AI कार्यों पर BROS का परीक्षण किया:

गंदा डेटा साफ करना: गलत लेबल वाले AI ट्रेनिंग डेटा को ठीक करना (जैसे कि किसी छात्र के होमवर्क को ठीक करना जिसे गलत ग्रेड दिया गया था)।
डेटा मिक्सिंग: लैंग्वेज मॉडल को ट्रेन करने के लिए विभिन्न डेटा स्रोतों का सही मिश्रण तय करना।
रिप्रेजेंटेशन सीखना: AI को यह सिखाना कि वह छवियों (images) को बेहतर तरीके से कैसे "देख" सकता है।
सैंपल्स को रीवेटिंग (Reweighting) करना: यह तय करना कि AI के सीखने के लिए कौन सी विशिष्ट छवियां सबसे महत्वपूर्ण हैं।

इन सभी परीक्षणों में, BROS ने काफी कम मेमोरी का उपयोग किया (पीक मेमोरी को 45% तक कम किया) जबकि भारी, मेमोरी-इंटेंसिव तरीकों के लगभग समान प्रदर्शन प्राप्त किया।

संक्षेप में

BORS एक स्मार्ट कंडक्टर की तरह है जिसे यह जानने के लिए कि संगीत को कैसे ट्यून करना है, एक साथ ऑर्केस्ट्रा के हर वाद्य यंत्र को सुनने की आवश्यकता नहीं है। इसके बजाय, वे एक छोटे से हिस्से को सुनते हैं, उस चीज़ को ठीक करने के लिए एक विशेष गणितीय ट्रिक का उपयोग करते हैं जो उन्होंने मिस कर दी थी, और अंततः पूरे ऑर्केस्ट्रा का सटीक संचालन करते हैं—बिना किसी भारी, महंगे साउंड सिस्टम के।

तकनीकी सारांश: BROS: मेमोरी-कुशल सिंगल-लूप बाइलेवल ऑप्टिमाइज़ेशन के लिए बायस-करेक्टेड रैंडमाइज्ड सबस्पेस

समस्या विवरण
स्टोकेस्टिक बाइलेवल ऑप्टिमाइज़ेशन (SBO), हाइपरपैरामीटर ऑप्टिमाइज़ेशन, डेटा रीवेटिंग, रिप्रेजेंटेशन लर्निंग और हाइपर-डेटा क्लीनिंग जैसे डीप लर्निंग अनुप्रयोगों के लिए एक मौलिक ढांचा है। मानक फॉर्मूलेशन में एक अपर-लेवल वेरिएबल $x$ और एक लोअर-लेवल वेरिएबल $Y$ (आमतौर पर एक न्यूरल नेटवर्क के पैरामीटर्स) शामिल होते हैं, जहाँ अपर-लेवल ऑब्जेक्टिव लोअर-लेवल ऑप्टिमाइज़ेशन समस्या के समाधान पर निर्भर करता है।

मौजूदा सटीक सिंगल-लूप SBO विधियाँ (जैसे, MA-SOBA) मजबूत अभिसरण गारंटी ( $O(\epsilon^{-2})$ सैंपल कॉम्प्लेक्सिटी) प्रदान करती हैं, लेकिन जब लोअर-लेवल नेटवर्क बड़ा होता है, तो वे गंभीर मेमोरी बाधाओं का सामना करती हैं। ये विधियाँ ऑक्जिलरी वेरिएबल्स को बनाए रखने के लिए फुल-स्पेस हेसियन-वेक्टर प्रोडक्ट्स (HVPs) और जैकोबियन-वेक्टर प्रोडक्ट्स (JVPs) पर निर्भर करती हैं, जिसके लिए पूर्ण पैरामीटर गणना के अनुपात में मेमोरी की आवश्यकता होती है। इसके विपरीत, मेमोरी-कुशल सरोगेट विधियाँ (जैसे, पेनल्टी मेथड्स, ज़ीरो-ऑर्डर अप्रोच) मेमोरी उपयोग को कम करती हैं, लेकिन अक्सर सटीक अभिसरण गारंटी से समझौता करती हैं, उन्हें मजबूत धारणाओं की आवश्यकता होती है, या वे मूल बाइलेवल ऑब्जेक्टिव के बजाय एक सरोगेट समस्या को ऑप्टिमाइज़ करती हैं।

कार्यप्रणाली: BROS
लेखक BROS (बाइलेवल ऑप्टिमाइज़ेशन वाया रैंडमाइज्ड सबस्पेस) प्रस्तावित करते हैं, जो मल्टीलेयर मैट्रिक्स-पैरामीटराइज्ड समस्याओं के लिए डिज़ाइन किया गया एक मेमोरी-कुशल सिंगल-लूप SBO मेथड है। BROS सटीक सिंगल-लूप हाइपरग्रेडिएंट संरचना को संरक्षित करते हुए रैंडमाइज्ड लो-डायमेंशनल सबस्पेस के भीतर लोअर-लेवल और ऑक्जिलरी-लेवल अपडेट करने के माध्यम से मेमोरी बाधा को दूर करता है।

BROS के मुख्य घटक हैं:

रैंडमाइज्ड सबस्पेस डिकंपोज़िशन:
पूरे लोअर-लेवल पैरामीटर्स $Y \in \mathbb{R}^{m \times n}$ को अपडेट करने के बजाय, BROS प्रत्येक इटरेशन में एक स्केल्ड हार प्रोजेक्टर (Haar projector) $P \in \mathbb{R}^{m \times r}$ को सैंपल करता है (जहाँ $r \ll m$ )। लोअर-लेवल अपडेट को रिड्यूस्ड सबस्पेस $B \in \mathbb{R}^{r \times n}$ में प्रोजेक्टेड ऑब्जेक्टिव $\tilde{g}(x, B) = g(x, Y + PB)$ के माध्यम से कंप्यूट किया जाता है। फुल-स्पेस वेरिएबल को $Y^{k+1} = Y^k + P B^k$ के रूप में अपडेट किया जाता है। यह ग्रेडिएंट्स, एक्टिवेशन्स और ऑक्जिलरी दिशाओं के मेमोरी फुटप्रिंट को $O(mn) $से$ O(rn)$ तक कम कर देता है।
बायस-करेक्टेड ऑक्जिलरी अपडेट्स:
ऑक्जिलरी वेरिएबल $Z$ के लिए एक नेटिव "स्केच-देन-लिफ्ट" (sketch-then-lift) दृष्टिकोण बायस (bias) पेश करता है क्योंकि लिफ्टेड हेसियन एक्शन $P \tilde{H} [P^\top Z]$ , फुल-स्पेस हेसियन एक्शन $H[Z]$ के अनबायस्ड एस्टिमेटर के रूप में कार्य नहीं करता है। यह बायस हाइपरग्रेडिएंट को विकृत कर सकता है और नॉन-स्टेशनरी लिमिट की ओर ले जा सकता है।
इसे हल करने के लिए, BROS एक रेडेमेकर बी-प्रोब करेक्शन (Rademacher bi-probe correction) पेश करता है। एल्गोरिदम प्रोजेक्शन द्वारा प्रेरित ट्रेस-लाइक और ट्रांसपोज़-लाइक नज़ेंस टर्म्स (nuisance terms) का अनुमान लगाने के लिए स्वतंत्र रेडेमेकर वेक्टर्स (साइन वेक्टर्स) $u$ और $\xi$ को सैंपल करता है। ये प्रोब्स एक सुधारा गया HVP एस्टिमेटर, जिसे $\widehat{H}[Z]$ के रूप में दर्शाया गया है, बनाने की अनुमति देते हैं, जो फुल-स्पेस हेसियन एक्शन के लिए कंडिशनली अनबायस्ड है, बिना किसी फुल-स्पेस मैट्रिक्स निर्माण की आवश्यकता के।
सिंगल-लूप रिकर्सन:
BROS अपर-वेरिएबल $x$ , लोअर-वेरिएबल $Y$ , ऑक्जिलरी-वेरिएबल $Z$ , और एक मूविंग-एवरेज हाइपरग्रेडिएंट एस्टिमेटर $h$ पर एक कपल्ड सिंगल-लूप रिकर्सन बनाए रखता है। अपडेट्स प्रोजेक्टेड लोअर ग्रेडिएंट और बायस-करेक्टेड ऑक्जिलरी दिशा का उपयोग करते हैं।

प्रमुख योगदान

मेमोरी-कुशल रिकर्सन: BROS लोअर-लेवल और ऑक्जिलरी रिकर्सन को रैंडमाइज्ड सबस्पेस में डीकंपोज़ करता है, जिससे संग्रहीत ग्रेडिएंट्स, एक्टिवेशन्स और HVP/JVP गणनाओं की डाइमेंशनलिटी काफी कम हो जाती है।
अनबायस्ड हाइपरग्रेडिएंट रिकवरी: पेपर प्रोजेक्शन-प्रेरित बायस को पहचानता है जो लिफ्टेड ऑक्जिलरी हेसियन एक्शन में होता है और एक लेयरवाइज रेडेमेकर बी-प्रोब करेक्शन प्रस्तावित करता है। यह सुनिश्चित करता है कि एस्टिमेटर बिना किसी अतिरिक्त स्ट्रक्चरल धारणा (जैसे, ब्लॉक-डायगोनल हेसियन) के, फुल-स्पेस हेसियन एक्शन के लिए अनबायस्ड रहे।
सैद्धांतिक गारंटी: मानक धारणाओं (स्मूथनेस, लोअर लेवल की स्ट्रॉन्ग कॉन्वेक्सिटी) के तहत, लेखक सिद्ध करते हैं कि BROS $\epsilon$ -स्टेशनरी पॉइंट खोजने के लिए सटीक सिंगल-लूप मेथड्स (विशेष रूप से MA-SOBA) की $O(\epsilon^{-2})$ सैंपल कॉम्प्लेक्सिटी को सुरक्षित रखता है। अभिसरण दर प्रोजेक्शन रेश्यो $\omega_P = \max(m_\ell/r_\ell)$ पर निर्भर करती है, जो $r=m$ होने पर फुल-स्पेस रेट को रिकवर करती है।

प्रायोगिक परिणाम
लेखक चार बाइलेवल लर्निंग टास्क पर BROS का मूल्यांकन करते हैं:

MNIST हाइपर-डेटा क्लीनिंग: BRES 84.30% टेस्ट एक्यूरेसी प्राप्त करता है, जो फुल-स्पेस MA-SOBA बेसलाइन (84.46%) के बहुत करीब है और पेनल्टी-बेस्ड और ज़ीरो-ऑर्डर मेथड्स से बेहतर प्रदर्शन करता है।
डेटा-मिक्सचर लर्निंग (280M GPT-स्टाइल मॉडल): BRES, MA-SOBA (फाइनल लॉग-परप्लेक्सिटी 2.8109 बनाम 2.8098) के प्रदर्शन से मेल खाता है, जबकि MA-SOBA की तुलना में पीक प्रॉक्सी-ट्रेनिंग मेमोरी को लगभग 44.9% कम कर देता है और पेनल्टी मेथड्स की तुलना में 27% कम करता है।
CIFAR-10 हाइपर-रिप्रेजेंटेशन लर्निंग: BRES 78.03% फाइनल टेस्ट एक्यूरेसी प्राप्त करता है, जो MA-SOBA (78.57%) के तुलनीय है।
CIFAR-100 ViT सैंपल रीवेटिंग: BRES फुल-स्पेस बेसलाइन्स के 23 GB से अधिक मेमोरी की तुलना में केवल 6.42 GB पीक मेमोरी का उपयोग करके सर्वश्रेष्ठ वैलिडेशन (49.88%) और टेस्ट (49.05%) एक्यूरेसी प्राप्त करता है।

महत्व और दावे
पेपर का दावा है कि BRES स्टोकेस्टिक बाइलेवल ऑप्टिमाइज़ेशन में मेमोरी दक्षता और सैद्धांतिक अभिसरण के बीच के अंतर को सफलतापूर्वक पाटता है। उन सरोगेट मेथड्स के विपरीत जो दक्षता के लिए सटीकता (exactness) से समझौता करते हैं, BRES सटीक सिंगल-लूप हाइपरग्रेडिएंट अपडेट स्ट्रक्चर और उसकी संबद्ध $O(\epsilon^{-2})$ कन्वर्जेंस ऑर्डर को बनाए रखता है। रैंडमाइज्ड सबस्पेस और एक नवीन बायस-करेक्शन मैकेनिज्म का उपयोग करके, BRES बाइलेवल ऑप्टिमाइज़ेशन कार्यों (जैसे डेटा रीवेटिंग और हाइपरपैरामीटर ट्यूनिंग) को बड़े न्यूरल नेटवर्क पर सक्षम बनाता है जो अन्यथा मेमोरी बाधाओं के कारण असंभव होते, जिससे पीक मेमोरी उपयोग में 44.9% तक की कमी आती है और फुल-स्पेस प्रदर्शन के बहुत करीब पहुँचते हैं।