🤖 machine learning

Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens

यह शोधपत्र ZoVH को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो उच्च-आयामी डेरिवेटिव-मुक्त अनुकूलन (derivative-free optimization) में बेहतर सटीकता और अभिसरण प्राप्त करने के लिए, हेसियन (Hessian) और इसके व्युत्क्रम (inverse) के लिए वेरिएंस-रिड्यूस्ड (variance-reduced), निष्पक्ष अनुमानकों का एक व्यापक समूह प्रदान करने हेतु सिंगल-स्टेप पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से ज़ीरोथ-ऑर्डर हेसियन सन्निकटन (zeroth-order Hessian approximation) की पुनर्व्याख्या करता है।

मूल लेखक: Junbin Qiu, Zhaowei Hong, Renzhe Xu, Yao Shu

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junbin Qiu, Zhaowei Hong, Renzhe Xu, Yao Shu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (एक समस्या का "इष्टतम समाधान" या optimal solution), लेकिन आपकी आँखों पर पट्टी बंधी है। आप ज़मीन के आकार को देख नहीं सकते, और न ही अपने पैरों के नीचे ढलान को महसूस कर सकते हैं। आप केवल इतना ही कर सकते हैं कि पूछ सकें, "यहाँ कितनी ऊँचाई है?" और आपको एक शोर-शराबे वाला (noisy), थोड़ा गलत जवाब मिलता है। यह ज़ेरोथ-ऑर्डर ऑप्टिमाइज़ेशन (Zeroth-Order Optimization) की दुनिया है: समस्याओं को केवल "हाँ/नहीं" या "ऊँचा/नीचा" जैसे जवाबों का उपयोग करके हल करना, बिना यह जाने कि ढलान किस दिशा में है (ग्रेडिएंट)।

अधिकांश पट्टी बंधी हुई हाइकर्स छोटे, रैंडम कदम उठाते हैं। लेकिन तेज़ी से और निश्चित रूप से चलने के लिए, आपको ज़मीन की वक्रता (curvature) जानने की आवश्यकता है। क्या ज़मीन एक कटोरे की तरह ऊपर की ओर मुड़ रही है (ढूँढना आसान है)? या यह सपाट और पेचीदा है? इस वक्रता की जानकारी को हेसियन (Hessian) कहा जाता है।

प्रदान किया गया पेपर, "Revisiting Zeroth-Order Hessian Approximation," एक बड़ी समस्या का समाधान करता है: इस धुंधली दुनिया में इस वक्रता का पता लगाना अविश्वसनीय रूप से कठिन है और इसके लिए आमतौर पर स्पष्ट चित्र प्राप्त करने के लिए बहुत अधिक सवाल (queries) पूछने की आवश्यकता होती है।

यहाँ इस पेपर का समाधान है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. नया दृष्टिकोण: "पॉलिसी ऑप्टिमाइज़ेशन" का नज़रिया

लेखकों ने महसूस किया कि ज़मीन की वक्रता का अनुमान लगाने की कोशिश करना गणितीय रूप से रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की एक समस्या "पॉलिसी ऑप्टिमाइज़ेशन" के समान है।

उपमा (Analogy): कल्पना कीजिए कि आप एक कोच हैं जो एक रोबोट को चलना सिखा रहे हैं। रोबोट यह देखने के लिए अलग-अलग पैर चलाने के तरीके (सैंपलिंग दिशाएँ) आज़माता है कि कौन सा तरीका सबसे अच्छा काम करता है। लेखकों ने महसूस किया कि ज़मीन की वक्रता का अनुमान लगाना बिल्कुल वैसा ही है जैसे रोबोट यह समझने की कोशिश करता है कि उसके कदमों के आधार पर उसे अपनी "पॉलिसी" (अपनी रणनीति) को कैसे समायोजित करना चाहिए।
ब्रेकथ्रू (Breakthrough): इस "कोच और रोबोट" के नज़रिए से देखते हुए, उन्होंने वक्रता का अनुमान लगाने के सभी पुराने, अस्त-व्यस्त तरीकों को देखने का एक एकीकृत तरीका खोज निकाला। उन्होंने दिखाया कि ये सभी पुराने तरीके केवल रोबोट द्वारा अपने अंदाज़ों के लिए एक "बेसलाइन" (संदर्भ बिंदु) चुनने के विभिन्न तरीके थे।

2. समस्या: शोर और विचलन (Noise and Variance)

एक शोर-शराबे वाले वातावरण में, हर बार जब आप पूछते हैं "यह कितना ऊँचा है?", तो जवाब थोड़ा डगमगाता है। यदि आप इन डगमगाते जवाबों से वक्रता (द्वितीय व्युत्पन्न/second derivative) की गणना करने का प्रयास करते हैं, तो त्रुटि (error) बहुत बढ़ जाती है। यह सड़क के घुमाव को एक एकल, हिलती हुई फोटो देखकर मापने की कोशिश करने जैसा है; परिणाम धुंधला और बेकार होता है।

3. समाधान: ZoVH (द "सुपर-स्कैनर")

लेखकों ने ZoVH (Zeroth-Order Variance-reduced Hessian) नामक एक नया टूल बनाया है। इसे एक सुपर-स्मार्ट स्कैनर के रूप में समझें जो शोर को साफ करता है। यह दो मुख्य तरकीबों का उपयोग करता है:

तरकीब A: "परफेक्ट रेफरेंस पॉइंट" (इष्टतम बेसलाइन)

जब रोबोट (या एल्गोरिदम) पूछता है "यह कितना ऊँचा है?", तो वह आमतौर पर एक रैंडम अनुमान या एक निश्चित संख्या के साथ तुलना करता है। यह पिछले साल के किसी रैंडम नंबर से आज के तापमान की तुलना करने जैसा है।

समाधान: ZoVH हाल के सभी "कितना ऊँचा है?" जवाबों का औसत (average) निकालता है और उसे ही संदर्भ बिंदु के रूप में उपयोग करता है।
रूपक (Metaphor): कल्पना कीजिए कि आप भीड़ की औसत ऊँचाई का अनुमान लगाने की कोशिश कर रहे हैं। एक व्यक्ति की तुलना किसी अजनबी से करने के बजाय, आप उनकी तुलना अभी मापी गई समूह की वास्तविक औसत ऊँचाई से करते हैं। यह अधिकांश शोर को खत्म कर देता है, जिससे वक्रता की गणना अविश्वसनीय रूप से सटीक हो जाती है। पेपर यह सिद्ध करता है कि यह इसे करने का गणितीय रूप से "सर्वश्रेष्ठ" तरीका है।

तरकीब B: "पदचिह्नों का पुनर्चक्रण" (Query Reuse)

आमतौर पर, बेहतर चित्र प्राप्त करने के लिए, आपको अधिक प्रश्न पूछने पड़ते हैं, जिसमें समय और पैसा खर्च होता है।

समाधान: ZoVH उन सवालों को देखता है जो उसने हाल ही में पूछे थे। चूंकि रोबोट अभी तक बहुत दूर नहीं गया है, इसलिए पुराने जवाब अभी भी बहुत प्रासंगिक हैं।
रूपक (Metaphor): हर सेकंड सड़क की एक नई फोटो लेने के बजाय, ZoVH आपके द्वारा ली गई पिछली कुछ तस्वीरों को जोड़ देता है। यह आपके द्वारा पहले से बनाए गए "पदचिह्नों" का पुन: उपयोग करता है। यह बिना किसी नए सवाल पूछे, आपको एक बड़ा डेटासेट (अधिक सैंपल) प्रदान करता है। यह बिना अतिरिक्त लागत के एक स्पष्ट चित्र प्राप्त करता है।

4. परिणाम: तेज़ी से और सुरक्षित रूप से चलना

इन दोनों तरकीबों को मिलाकर, ZoVH पिछले तरीकों की तुलना में बहुत कम शोर के साथ ज़मीन की वक्रता का अनुमान लगा सकता है।

व्यवहार में: लेखकों ने इसका परीक्षण सिंथेटिक गणितीय समस्याओं, न्यूरल नेटवर्क (AI मॉडल), और यहाँ तक कि AI मॉडल पर हमला करने (adversarial attacks) के लिए भी किया।
परिणाम: ZoVH अन्य पट्टी बंधी हुई हाइकर्स की तुलना में बहुत तेज़ी से "घाटी के निचले हिस्से" तक पहुँच गया। इसने कम चरणों में समाधान खोजा और यह अधिक सटीक था।
LLM फाइन-ट्यूनिंग: उन्होंने यह भी दिखाया कि यह लार्ज लैंग्वेज मॉडल्स (जैसे कि वह AI जिससे आप अभी बात कर रहे हैं) को फाइन-ट्यून करने के लिए अच्छी तरह से काम करता है। यह AI को बेहतर तरीके से सीखने में मदद करता है बिना ऐसी जटिल गणितीय गणनाओं के जो इसकी मेमोरी को क्रैश कर सकती हैं।

सारांश

पेपर कहता है: "हमने एक नया तरीका खोजा है जिससे ब्लाइंडफोल्डेड ऑप्टिमाइज़र दुनिया के आकार का अनुमान लगाते हैं। इसे एक रोबोट की पॉलिसी सीखने की प्रक्रिया के रूप में देखते हुए, हमने एक विधि (ZoVH) का आविष्कार किया है जो शोर को रद्द करने के लिए एक स्मार्ट औसत का उपयोग करती है और बिना अतिरिक्त लागत के स्पष्ट चित्र प्राप्त करने के लिए पुराने डेटा का पुनर्चक्रण करती है। यह ब्लाइंडफोल्डेड ऑप्टिमाइज़ेशन को तेज़, अधिक सटीक और वास्तविक दुनिया के AI कार्यों के लिए तैयार बनाता है।"

तकनीकी सारांश: ज़ीरोथ-ऑर्डर हेसियन सन्निकटन का पुनरावलोकन: एक सिंगल-स्टेप पॉलिसी ऑप्टिमाइज़ेशन लेंस

1. समस्या विवरण

ज़ीरोथ-ऑर्डर (ZO) ऑप्टिमाइज़ेशन उन परिदृश्यों को संबोधित करता है जहाँ ऑब्जेक्टिव फंक्शन $F(\theta) = \mathbb{E}_\xi[f(\theta; \xi)]$ एक ब्लैक बॉक्स है जो केवल शोर वाले फंक्शन इवैल्यूएशन के माध्यम से सुलभ है। जबकि ZO ग्रेडिएंट एस्टीमेशन अच्छी तरह से स्थापित है, सटीक ZO हेसियन सन्निकटन (Hessian approximation) एक महत्वपूर्ण चुनौती बनी हुई है, विशेष रूप से उच्च-आयामी (high-dimensional) और शोर वाले परिवेश में।

सटीक कर्वेचर (curvature) जानकारी निम्नलिखित के लिए महत्वपूर्ण है:

डेरिवेटिव-फ्री बाइलेवल ऑप्टिमाइज़ेशन के लिए।
अनिश्चितता परिमाणीकरण (Uncertainty quantification) के लिए।
लार्ज लैंग्वेज मॉडल्स (LLMs) के कर्वेचर-अवेयर फाइन-ट्यूनिंग के लिए।

मौजूदा विधियाँ दो प्राथमिक सीमाओं का सामना करती हैं:

उच्च विचरण (High Variance): क्लासिकल रैंडमाइज्ड एस्टिमेटर्स (जैसे, स्टीन-टाइप एस्टिमेटर्स) अक्सर उच्च-आयामी सेटिंग्स में उच्च विचरण से ग्रस्त होते हैं, जिससे अस्थिर ऑप्टिमाइज़ेशन होता है।
सीमित दायरा (Limited Scope): पूर्व शोध मुख्य रूप से हेसियन मैट्रिक्स $\nabla^2 F(\theta)$ के अनुमान पर केंद्रित रहा है। रेगुलराइज्ड इनवर्स हेसियन $(\nabla^2 F(\theta) + \lambda I_d)^{-1}$ और इनवर्स हेसियन-ग्रेडिएंट प्रोडक्ट $(\nabla^2 F(\theta) + \lambda I_d)^{-1}\nabla F(\theta)$ पर सीमित ध्यान दिया गया है, जो सेकंड-ऑर्डर ZO अपडेट के लिए आवश्यक हैं।
क्वेरी दक्षता (Query Efficiency): नैव (Naive) फाईनाइट-डिफरेंस मेथड्स को $O(d^2)$ क्वेरीज की आवश्यकता होती है, जबकि मौजूदा रैंडमाइज्ड मेथड्स अक्सर वेरिएंस रिडक्शन और क्वेरी पुन: उपयोग (query reuse) के बीच प्रभावी संतुलन बनाने में विफल रहते हैं।

2. कार्यप्रणाली

2.1. सैद्धांतिक ढांचा: पॉलिसी ऑप्टिमाइज़ेशन लेंस

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जो ZO हेसियन सन्निकटन को सिंगल-स्टेप पॉलिसी ऑप्टिमाइज़ेशन (PO) के लेंस के माध्यम से पुनर्व्याख्या करता है।

स्मूथड ऑब्जेक्टिव (Smoothed Objective): ZO ऑब्जेक्टिव को एक स्मूथड ऑब्जेक्टिव $F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)}[\mathbb{E}_\xi[f(x; \xi)]]$ के रूप में पुनर्गठित किया जाता है, जहाँ $\pi_\theta$ एक पैरामीटराइज्ड सैंपलिंग पॉलिसी है (जैसे, गाऊसी $N(\theta, \mu^2 I_d)$ )।
हेसियन आइडेंटिटी: पॉलिसी ग्रेडिएंट को डिफरेंशिएट करके, लेखक स्मूथड ऑब्जेक्टिव के लिए एक सामान्य हेसियन आइडेंटिटी प्राप्त करते हैं:
$\nabla^2 F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)} \left[ H_{\pi_\theta} \cdot \mathbb{E}_\xi[f(x; \xi)] \right]$
जहाँ $H_{\pi_\theta}$ पॉलिसी लॉग-डेंसिटी का हेसियन है।
एस्टिमेटर्स का एकीकरण: यह परिप्रेक्ष्य प्रकट करता है कि क्लासिकल स्टीन-टाइप एस्टिमेटर्स (वन-पॉइंट, टू-पॉइंट, थ्री-पॉइंट) और सेंट्रल-डिफरेंस एस्टिमेटर्स इस ढांचे के विशेष मामले हैं, जो केवल उनके बेसलाइन (जैसे, ज़ीरो बेसलाइन, एंकर बेसलाइन $f(\theta)$ , या एंटीथेटिक सैंपलिंग) के चयन द्वारा भिन्न होते हैं।

2.2. ZoVH: वेरिएंस-रिड्यूस्ड हेसियन एस्टिमेटर

PO ढांचे पर आधारित होकर, लेखक ZoVH (Zeroth-Order Variance-reduced Hessian) पेश करते हैं, जो दो प्रमुख तकनीकों का उपयोग करता है:

इष्टतम औसत बेसलाइन (Optimal Averaged Baseline):
- ग्रेडिएंट एस्टिमेटर्स के विपरीत जहाँ बेसलाइन्स अक्सर ह्यूरिस्टिक होते हैं, लेखक सिद्ध करते हैं कि रैंक-वन आइडेंटिटी से प्राप्त हेसियन एस्टिमेटर के लिए, एवरेज्ड बेसलाइन $\hat{b} = \frac{1}{K}\sum f(x_k)$ ही अनबायस्डनेस (unbiasedness) को बनाए रखने वाला अद्वितीय विकल्प है।
- सैद्धांतिक रूप से, यह बेसलाइन सभी कांस्टेंट बेसलाइन्स के बीच एस्टिमेटर के वेरिएंस को कम करने के लिए सिद्ध है।
क्वेरी पुन: उपयोग रणनीति (Query Reuse Strategy):
- क्वेरी लागत को बढ़ाए बिना वेरिएंस को और कम करने के लिए, ZoVH पिछले फंक्शन क्वेरीज के एक हिस्ट्री बफर का उपयोग करता है।
- इसे PO फ्रेमवर्क के भीतर ऑफ-पॉलिसी लर्निंग के रूप में व्याख्यायित किया गया है, जहाँ ऐतिहासिक डेटा (पिछले इटरेशन से उत्पन्न) का उपयोग वर्तमान हेसियन का अनुमान लगाने के लिए इम्पॉर्टेंस सैंपलिंग के माध्यम से पुन: वेटिंग (reweighting) के रूप में किया जाता है।
- यह प्रभावी रूप से सैंपल साइज को अतिरिक्त फंक्शन इवैल्यूएशन के बिना $K$ से $NK $(जहाँ$ N$ हिस्ट्री लेंथ है) तक बढ़ा देता है।

2.3. कुशल इनवर्स सन्निकटन (Efficient Inverse Approximations)

व्यावहारिक सेकंड-ऑर्डर अपडेट को सक्षम करने के लिए, पेपर ZoVH को इनवर्स हेसियन और इनवर्स हेसियन-ग्रेडिएंट प्रोडक्ट को अनुमानित करने के लिए विस्तारित करता है:

इनवर्स हेसियन: यह एक डेंस $d \times d$ मैट्रिक्स को इनवर्ट किए बिना, रेगुलराइज्ड रैंक- $K$ हेसियन एस्टिमेटर के इनवर्स को कुशलतापूर्वक कंप्यूट करने के लिए वुडबरी मैट्रिक्स आइडेंटिटी का उपयोग करता है ( $O(K^2 d)$ या डायगोनल एप्रोक्सिमेशन के साथ $O(Kd)$)।
बायस-करेक्टेड प्रोडक्ट: जब ग्रेडिएंट और हेसियन एस्टिमेशन के लिए समान रैंडम दिशाओं का उपयोग किया जाता है (क्वेरीज बचाने के लिए), तो कोरिलेशन बायस उत्पन्न होता है। लेखक इस बायस को ठीक करने के लिए एक लीव-वन-आउट (leave-one-out) रणनीति का प्रस्ताव करते हैं, जिससे न्यूनतम ओवरहेड के साथ $(\nabla^2 F + \lambda I)^{-1}\nabla F$ की कुशल गणना संभव होती है।

3. मुख्य योगदान

एकीकृत PO परिप्रेक्ष्य: सामान्य ZO हेसियन एस्टिमेटर्स और एक स्मूथड PO ऑब्जेक्टिव के हेसियन के बीच एक सैद्धांतिक समानता स्थापित की गई, जिसने क्लासिकल रैंडमाइज्ड एस्टिमेटर्स को बेसलाइन चयन के विशिष्ट उदाहरणों के रूप में एकीकृत किया।
ZoVH एल्गोरिदम: फुल हेसियन, इसके रेगुलराइज्ड इनवर्स, और बायस-करेक्टेड इनवर्स हेसियन-ग्रेडिएंट प्रोडक्ट के लिए एक व्यापक विएरिएंस-रिड्यूस्ड एस्टिमेटर्स का सेट विकसित किया गया।
सैद्धांतिक गारंटी:
- एवरेज्ड बेसलाइन के साथ हेसियन एस्टिमेटर की अनबायस्डनेस (unbiasedness) को सिद्ध किया।
- एवरेजड बेसलाइन की वेरिएंस ऑप्टिमलिटी को प्रदर्शित किया।
- पूरे ZoVH सूट के लिए एरर बाउंड्स (बायस-वेरिएंस डिकम्पोजिशन) प्रदान किए।
- परिणामी कर्वेचर-अवेयर ZO एल्गोरिदम के लिए $\epsilon$ -स्टेशनरी पॉइंट तक कन्वर्जेंस गारंटी स्थापित की।
व्यावहारिक दक्षता: एक क्वेरी पुन: उपयोग तंत्र पेश किया जो फंक्शन बजट को बढ़ाए बिना सैंपल एफिशिएंसी को बढ़ाता है, और कुशल इनवर्स एप्रोक्सिमेशन को डेरिवड किया जो LLM फाइन-ट्यूनिंग जैसी उच्च-आयामी समस्याओं के लिए उपयुक्त है।

4. प्रयोगात्मक परिणाम

लेखकों ने सिंथेटिक बेंचमार्क, न्यूरल नेटवर्क ट्रेनिंग और ब्लैक-बॉक्स एडवरसेरियल अटैक्स पर ZoVH को मान्य किया।

हेसियन एस्टीमेशन सटीकता:
- सिंथेटिक फंक्शन्स (Quadratic, Rosenbrock, Styblinski-Tang) और CNN लेयर्स पर, ZoVH (क्वेरी पुन: उपयोग, $N=4$ के साथ) क्लासिकल स्टीन और सेंट्रल-डिफरेंस एस्टिमेटर्स की तुलना में लगातार सबसे कम फ्रोबेनियस नॉर्म एरर प्राप्त करता है।
- ZoVH ( $N=1$ ) ने क्वाड्रेटिक और रोसेनब्रोक फंक्शन्स पर सेंट्रल-डिफरेंस एस्टिमेटर की तुलना में 8x सटीकता सुधार दिखाया।
- CNN लेयर्स पर, ZoVH ( $N=4$ ) ने सेंट्रल-डिफरेंस एस्टिमेटर की तुलना में 9x एरर रिडक्शन हासिल किया।
ऑप्टिमाइज़ेशन कन्वर्जेंस:
- सिंथेटिक ऑप्टिमाइज़ेशन कार्यों में, ZoVH ( $N=4$ ) कन्वर्जेंस स्पीड और फाइनल एक्यूरेसी दोनों में वैनिला ZOO, HiZOO, और ZoAR से काफी बेहतर रहा, और वैनिला ZOO पर औसतन 22x स्पीडअप प्राप्त किया।
- ब्लैक-बॉक्स एडवरसेरियल अटैक्स में, सफल हमला करने के लिए ZoVH ( $N=4$ ) को वैनिला ZOO की तुलना में 4x कम इटरेशन की आवश्यकता पड़ी।
LLM फाइन-ट्यूनिंग:
- GLUE/SuperGLUE कार्यों पर OPT-1.3B और OPT-13B मॉडल्स को फाइन-ट्यून करने के लिए लागू किया गया।
- ZoVH ने MeZO और HiZOO की तुलना में तेज़ कन्वर्जेंस और उच्च टेस्ट एक्यूरेसी प्रदर्शित की।
- रनटाइम और मेमोरी ओवरहेड न्यूनतम था, जिसमें ZoVH केवल MeZO से थोड़ा धीमा था और बहुत कम अतिरिक्त मेमोरी (केवल स्केलर वैल्यू और सीड्स स्टोर करना) का उपयोग करता था।

5. महत्व और दावे

पेपर का दावा है कि ZoVH मजबूत फाउंडेशन (robust foundation) के रूप में कर्वेचर-अवेयर डेरिवेटिव-फ्री ऑप्टिमाइज़ेशन प्रदान करता है। ZO एप्रोक्सिमेशन और पॉलिसी ऑप्टिमाइज़ेशन के बीच की खाई को पाटकर, यह कार्य निम्नलिखित प्रदान करता है:

सैद्धांतिक स्पष्टता: एक कठोर व्युत्पत्ति जो बताती है कि कुछ एस्टिमेटर्स क्यों काम करते हैं और हम बेसलाइन चयन के माध्यम से उन्हें कैसे अनुकूलित कर सकते हैं।
व्यावहारिक उपयोगिता: एक विधि जो फुल फाईनाइट-डिफरेंस स्कीम्स की अत्यधिक क्वेरी लागत के बिना, वास्तविक दुनिया के अनुप्रयोगों (LLMs सहित) में बेहतर एस्टीमेशन सटीकता और कन्वर्जेंस प्रदर्शन प्राप्त करती है।
स्केलेबिलिटी: कुशल इनवर्स एप्रोक्सिमेशन और क्वेरी पुन: उपयोग के माध्यम से उच्च-आयामी समस्याओं (जैसे LLMs में लाखों पैरामीटर्स) को संभालने की क्षमता, जिससे सेकंड-ऑर्डर ऑप्टिमाइज़ेशन ब्लैक-बॉक्स सेटिंग्स में भी व्यावहारिक हो जाता है जहाँ यह पहले अव्यवहारिक था।

लेखक इस बात पर जोर देते हैं कि हालांकि यह विधि एक स्मूथिंग बायस (जो ZO मेथड्स में अंतर्निहित है) पेश करती है, लेकिन वेरिएंस रिडक्शन और क्वेरी एफिशिएंसी के लाभ इस ट्रेड-ऑफ से कहीं अधिक हैं, जिससे शोर वाले, उच्च-आयामी वातावरण में तेज़ और अधिक स्थिर कन्वर्जेंस मिलता है।