🤖 machine learning

Zero-Shot Off-Policy Learning

यह शोध पत्र एक ज़ीरो-शॉट ऑफ-पॉलिसी लर्निंग विधि प्रस्तावित करता है जो इष्टतम महत्व नमूनाकरण (इम्पॉर्टेंस सैंपलिंग) अनुपातों को अनुमानित करने के लिए सक्सेसर मेजर्स और स्टेशनरी डेंसिटी रेश्यो के बीच एक सैद्धांतिक संबंध का लाभ उठाता है, जिससे विविध बेंचमार्क में नई कार्यों के लिए प्रशिक्षण-मुक्त अनुकूलन सक्षम होता है।

मूल लेखक: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नया, जटिल व्यंजन बनाना सीख रहे हैं, लेकिन आपको भोजन चखने या नई सामग्री खरीदने से मना किया गया है। आपके पास केवल एक विशाल, धूल भरी कुकबुक (खाना पकाने की किताब) है जिसमें हजारों रेसिपी लिखी हुई हैं जो किसी और ने वर्षों पहले लिखी थीं। यही जीरो-शॉट ऑफ-पॉलिसी लर्निंग (Zero-Shot Off-Policy Learning) की चुनौती है।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, शोधकर्ता "बिहेवियरल फाउंडेशन मॉडल्स" (BFMs) बनाने की कोशिश कर रहे हैं। इन्हें ऐसे AI शेफ के रूप में समझें जिन्होंने लाखों रेसिपी बुक्स (ऑफलाइन डेटा) पढ़ ली हैं, लेकिन उन्होंने कभी किसी विशिष्ट ग्राहक के लिए कोई विशेष भोजन नहीं बनाया है (एक नया कार्य)। जब कोई ग्राहक कहता है, "मुझे स्पाइसी पास्ता चाहिए," तो AI को केवल अपने पुराने ज्ञान का उपयोग करके तुरंत यह समझना होगा कि खाना कैसे बनाया जाए, बिना किसी ट्रायल-एंड-एरर (प्रयास और त्रुटि) के।

समस्या: "आउट-ऑफ-बुक" ट्रैप (किताब से बाहर का जाल)

यह पेपर पहचान करता है कि वर्तमान में ये AI शेफ कैसे काम करते हैं, इसमें एक बड़ी खामी है।

कल्पना कीजिए कि आपका AI शेफ "स्पाइसी पास्ता" का अनुरोध देखता है। वह अपनी पुरानी किताबों को स्कैन करता है और उसे "स्पाइसी नूडल्स" की एक रेसिपी मिलती है। वह उस रेसिपी का पालन करने की कोशिश करता है। लेकिन यहाँ पेच यह है: पुरानी किताबें शायद ऐसे शेफ द्वारा लिखी गई थीं जिसने केवल एक बहुत ही विशिष्ट रसोई में खाना बनाया था। पुरानी किताबें "पानी उबालने" जैसे निर्देशों से भरी हो सकती हैं, लेकिन उनमें "लहसुन काटने" जैसे निर्देश पूरी तरह से गायब हो सकते हैं क्योंकि उस शेफ ने कभी ऐसा नहीं किया था।

यदि AI शेफ नया व्यंजन बनाने की कोशिश करता है, तो वह लहसुन के चरण पर अटक सकता है क्योंकि पुराने डेटा ने इसे कवर नहीं किया था। तकनीकी शब्दों में, इसे डिस्ट्रीब्यूशनल शिफ्ट (distributional shift) कहा जाता है। AI उस "रसोई" (स्टेट-स्पेस) के उन क्षेत्रों में कार्य करने की कोशिश कर रहा है जहाँ उसके ट्रेनिंग डेटा ने कभी कदम नहीं रखा। इससे AI जंगली अंदाज़े लगाने लगता है, अपनी योजना की अच्छाई को बढ़ा-चढ़ाकर बताता है, और अंततः विफल हो जाता है।

समाधान: ZOL (जीरो-शॉट ऑफ-पॉलिसी लर्निंग)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे ZOL कहा जाता है। उन्होंने महसूस किया कि दो अवधारणाओं के बीच एक छिपा हुआ गणितीय संबंध है:

सक्सेसर मेजर्स (Successor Measures): यह अनुमान लगाने का एक तरीका कि "यदि मैं यह क्रिया करता हूँ तो मैं कहाँ पहुँच जाऊँगा?"
स्टेशनरी डेंसिटी रेश्यो (Stationary Density Ratios): यह मापने का एक तरीका कि "मेरी नई योजना में यह क्रिया मेरे पुराने बुक्स की तुलना में कितनी अधिक (या कम) संभावित है?"

रचनात्मक उपमा: "लोकप्रियता का मानचित्र" (The Popularity Map)

कल्पना कीजिए कि पुराना डेटा (कुकबुक) एक शहर के मानचित्र की तरह है जहाँ कुछ सड़कें ट्रैफिक से भरी हैं (डेटा में अत्यधिक विज़िट की गई) और कुछ खाली कच्ची सड़कें हैं (शायद ही कभी देखी गई)।

पुराना AI: जब इसे एक नया गंतव्य दिया जाता है, तो AI बस वहां तक जाने के लिए एक सीधी रेखा खींच देता है। यदि वह रेखा किसी खाली कच्ची सड़क से होकर गुजरती है, तो AI मान लेता है कि वहां जाना ठीक है, भले ही उसे उसका कोई अनुभव न हो। फिर वह दुर्घटनाग्रस्त हो जाता है।
ZOL (नया AI): ZOL पुराने बुक्स के आधार पर एक "लोकप्रियता मानचित्र" (डensity ratio) बनाता है। अपनी योजना पर प्रतिबद्ध होने से पहले, वह पूछता है: "क्या इस योजना के लिए मुझे ऐसी कच्ची सड़क पर गाड़ी चलाने की आवश्यकता है जिसे मैंने पहले कभी नहीं देखा?"

यदि उत्तर हाँ है, तो ZOL केवल "नहीं" नहीं कहता। इसके बजाय, यह योजना को री-वेट (re-weight) करता है। यह कहता है, "ठीक है, मैं अभी भी गंतव्य तक जा सकता हूँ, लेकिन मुझे अपना रास्ता बदलने की ज़रूरत है ताकि मैं उन व्यस्त, अच्छी तरह से पक्की सड़कों के करीब रहूँ जिन्हें मैं जानता हूँ, जबकि लक्ष्य को भी प्राप्त कर सकूँ।"

यह कैसे काम करता है (जादुई ट्रिक)

पेपर का दावा है कि AI के आंतरिक "मस्तिष्क" (विशेष रूप से एक फ्रेमवर्क जिसे फॉरवर्ड-बैकवर्ड रिप्रेजेंटेशन कहा जाता है) में पहले से ही इस "लोकप्रियता मानचित्र" का रहस्य मौजूद है।

कोई नया प्रशिक्षण नहीं: AI को खाना बनाने का अभ्यास करने के लिए बाहर जाने की आवश्यकता नहीं है (कोई ऑनलाइन इंटरेक्शन नहीं)। यह अपने प्रारंभिक "पढ़ने" के चरण के दौरान सीखे गए गणित का उपयोग करता है।
तत्काल समायोजन: जब एक नया कार्य आता है, तो ZOL एक सरल सुधार कारक (correction factor) की गणना करता है। यह प्रभावी रूप से AI को बताता है: "उन हिस्सों को अनदेखा करें जो आपके पास मौजूद डेटा पर निर्भर करते हैं, और उन हिस्सों पर ध्यान केंद्रित करें जो आपके अनुभव द्वारा समर्थित हैं।"
परिणाम: AI एक नया, इष्टतम पथ खोजता जो सुरक्षित है (उस डेटा के भीतर रहता है जिसे वह जानता है) लेकिन फिर भी लक्ष्य को प्राप्त करता है।

यह क्यों महत्वपूर्ण है

लेखकों ने विभिन्न "रोबोटिक" कार्यों पर इसका परीक्षण किया, जैसे कि एक आभासी मानव को चलना, दौड़ना या भूलभुलैया सुलझाना।

परीक्षण: उन्होंने AI को एक नया कार्य दिया (जैसे, "पीछे की ओर चलना") जो उसने पहले कभी नहीं देखा था।
तुलना: अन्य तरीकों ने अनुमान लगाने की कोशिश की और अक्सर विफल रहे या गलत बातें बनाईं (hallucinations)।
ZOL की जीत: ZOL ने लगातार बेहतर समाधान खोजे। इसने केवल अनुमान नहीं लगाया; इसने बुद्धिमानी से अपनी रणनीति को अपने "लाइब्रेरी" की सीमाओं के अनुरूप समायोजित किया और फिर भी पहेली को हल किया।

संक्षेप में

यह पेपर एक ऐसे तरीके को पेश करता है जिससे AI बिना अभ्यास किए तुरंत नए कार्यों के अनुकूल हो सकता है। यह गणितीय रूप से यह जाँच करके करता है कि क्या नया कार्य AI को "अपरिचित क्षेत्र" (जहाँ उसके पास कोई डेटा नहीं है) में कदम रखने की आवश्यकता है। यदि ऐसा है, तो ZOL AI को धीरे से वापस सुरक्षित, परिचित जमीन की ओर धकेलता है, जिससे यह सुनिश्चित होता है कि AI अनजाने में दुर्घटनाग्रस्त न हो। यह एक ऐसे GPS की तरह है जो जानता है कि कौन सी सड़कें पक्की हैं और कौन सी कच्ची, और यह सुनिश्चित करने के लिए आपको तुरंत मार्ग बदल देता है कि आप बिना कभी मानचित्र छोड़े सुरक्षित रूप से अपने गंतव्य तक पहुँचें।

तकनीकी सारांश: ज़ीरो-शॉट ऑफ-पॉलिसी लर्निंग (ZOL)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बिहेवियरल फाउंडेशन मॉडल्स (BFMs) के प्रतिमान (paradigm) के भीतर ज़ीरो-शॉट ऑफ-पॉलिसी लर्निंग की चुनौती को संबोधित करता है। BFMs ऐसे एजेंट हैं जिन्हें बड़े, बिना लेबल वाले, रिवॉर्ड-मुक्त डेटासेट पर प्रीट्रेन किया जाता है ताकि वे पुन: प्रयोज्य व्यवहारिक पूर्ववृत्त (reusable behavioral priors) सीख सकें, जिससे वे टेस्ट टाइम पर अतिरिक्त प्रशिक्षण (जैसे, टेक्स्ट प्रॉम्प्ट, लक्ष्य, या मोशन कैप्चर के माध्यम से) के बिना नए कार्यों के अनुकूल हो सकें।

हालाँकि, यह इन्फरेंस-आधारित अनुकूलन ऑफ-पॉलिसी और ऑफलाइन सुदृढीकरण लर्निंग (RL) से एक महत्वपूर्ण विफलता मोड विरासत में लेता है: डिस्ट्रीब्यूशनल शिफ्ट (distributional shift)।

विसंगति (The Mismatch): एक नए कार्य विनिर्देश (task specification) द्वारा प्रेरित पॉलिसी अक्सर उन स्टेट-एक्शन क्षेत्रों को क्वेरी करती है जो प्रीट्रेनिंग डेटासेट में या तो खराब तरीके से प्रस्तुत हैं या पूरी तरह से अनुपस्थित हैं (आउट-ऑफ-डिस्ट्रीब्यूशन या OOD)।
परिणाम (The Consequence): मानक ज़ीरो-शॉट इन्फरेंस (जैसे, रिवॉर्ड प्रोजेक्शन के आधार पर लेटेंट वेक्टर $z$ का चयन करना) वैल्यू एस्टीमेशन और वैल्यू फंक्शन ओवरएस्टिमेशन में व्यवस्थित त्रुटियों की ओर ले जाता है। एजेंट उन लेटेंट्स को चुन सकता है जो एक्सट्रैपोलेटेड वैल्यूज के तहत इष्टतम दिखाई देते हैं, लेकिन वे ऐसे विजिटेशन डिस्ट्रीब्यूशन को प्रेरित करते हैं जो डेटा द्वारा समर्थित नहीं हैं, जिसके परिणामस्वरूप उप-इष्टतम (suboptimal) या असुरक्षित व्यवहार होता है।
अंतराल (The Gap): मौजूदा समाधान जैसे DICE (DualDICE, OptiDICE) के लिए कार्य-विशिष्ट अनुकूलन की आवश्यकता होती है, जो "ज़ीरो-शॉट" की आवश्यकता के विपरीत है। अन्य फास्ट-अडैप्टेशन विधियाँ (ReLA, LoLA) ऑनलाइन एनवायरनमेंट इंटरैक्शन और ऑन-पॉलिसी रोलआउट्स पर निर्भर करती हैं, जो लागतपूर्ण हैं और BFM की पूरी तरह से ऑफलाइन प्रकृति का उल्लंघन करती हैं।

मूल प्रश्न यह है: क्या हम बिना प्रति-कार्य ऑनलाइन अनुकूलन के, पूरे BFM-प्रेरित पॉलिसियों के परिवार के लिए इष्टतम स्टेशनरी ऑक्यूपेंसी रेश्यो का अनुमान लगा सकते हैं, जिससे तेज़ टेस्ट-टाइम अनुकूलन सक्षम हो सके और ऑफ-पॉलिसी पैथोलॉजी से बचा जा सके?

2. कार्यप्रणाली: ज़ीरो-शॉट ऑफ-पॉलिसी लर्निंग (ZOL)

लेखक ZOL प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, टेस्ट-टाइम प्रक्रिया है जो सक्सेसर मेजर्स (Successor Measures - SM) और स्टेशनरी डेंसिटी रेश्यो (Stationary Density Ratios) के बीच के अंतर को पाटती है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight)

यह विधि फॉरवर्ड-बैकवर्ड (FB) फ्रेमवर्क (Touati & Ollivier, 2021) से प्राप्त एक सैद्धांतिक संबंध पर आधारित है, जिसका उपयोग सक्सेसर मेजर्स को अनुमानित करने के लिए किया जाता है।

सक्सेसर मेजर्स (SM): SM, $M^\pi$ , एक पॉलिसी $\pi$ के डिस्काउंटेड फ्यूचर विजिटेशन को दर्शाता है। FB फ्रेमवर्क में, सक्सेसर डेंसिटी $m_\pi$ को एक लो-रैंक फैक्टराइजेशन के माध्यम से अनुमानित किया जाता है: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ , जहाँ $F$ एक फॉरवर्ड एम्बेडिंग है और $B$ एक बैकवर्ड एम्बेडिंग है।
डेंसिटी रेश्यो आइडेंटिटी: लेखक एक सटीक पहचान (Eq. 9) निकालते हैं जो दिखाती है कि स्टेशनरी डेंसिटी रेश्यो $w_{\pi/\beta} = d_\pi / d_\beta$ (वह सुधार कारक जो पॉलिसी के विजिटेशन को डेटासेट के साथ संरेखित करने के लिए आवश्यक है) प्रारंभिक वितरण $\rho_0$ के तहत अपेक्षित सक्सेसर डेंसिटी के समानुपाती है:
$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$
लो-रैंक एस्टीमेटर: पहचान में FB एप्रोक्सिमेशन को प्रतिस्थापित करके, डेंसिटी रेश्यो बैकवर्ड एम्बेडिंग का एक सरल रैखिक फलन बन जाता है:
$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$
यहाँ, $W_{\pi_z}$ प्रारंभिक वितरण पर अपेक्षित फॉरवर्ड एम्बेडिंग है। महत्वपूर्ण रूप से, यह एस्टीमेटर केवल डेटा-आधारित (data-only) है; इसका मूल्यांकन केवल डेटासेट $D$ में मौजूद नमूनों $(s, a)$ पर किया जाता है, यह सुनिश्चित करता है कि पॉलिसी कभी भी असमर्थित क्षेत्रों को संभाव्यता (probability) प्रदान न करे।

एल्गोरिदम (Algorithm)

ZOL बिना BFM के प्रीट्रेनिंग को संशोधित किए तीन चरणों में कार्य करता है:

प्रीट्रेनिंग: ऑफलाइन डेटासेट पर मानक टेम्पोरल-डिफरेंस ऑब्जेक्टिव्स का उपयोग करके FB एम्बेडिंग्स ( $F$ और $B$ ) को प्रशिक्षित करें।
लेटेंट इनिशियलाइजेशन: रिवॉर्ड $r_T$ वाले एक नए कार्य के लिए, रिवॉर्ड को बैकवर्ड फीचर्स पर प्रोजेक्ट करके एक प्रारंभिक टास्क एम्बेडिंग $c_T$ निकालें: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$ .
लेटेंट ऑप्टिमाइजेशन: एक रेगुलराइज्ड वेटेड रिटर्न को मैक्सिमाइज करने के लिए लेटेंट वेक्टर $z$ $z$ को अनुकूलित करें:
$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$
- रीवेटिंग (Reweighting): पद $w_{\pi_z/\beta}$ सुपरविजन को डेटा-समर्थित क्षेत्रों की ओर रीवेट करता है, जो डिस्ट्रीब्यूशनल शिफ्ट को ठीक करता है।
- रेगुलराइजेशन (Regularization):
  - $\chi^2$ पेनल्टी: इम्पोर्टेंस वेट्स के अत्यधिक विचलन (variance) को रोकता है।
  - ट्रस्ट रीजन ( $L_{trust}$ ): अनुकूलित लेटेंट को प्रारंभिक टास्क एम्बेडिंग के करीब रखता है ताकि विनाशकारी ड्रिफ्ट (catastrophic drift) से बचा जा सके।
  - रिवॉर्ड सेंटरिंग: निरंतर रिवॉर्ड ऑफसेट्स के कारण होने वाले ट्रिवियल सॉल्यूशंस (जैसे, "कुछ न करने वाली" पॉलिसियाँ) को रोकता है।

अनुकूलन $W_{\pi_z}$ का अनुमान लगाने के लिए स्टार्ट स्टेट्स के मोंटे कार्लो सैंपलिंग का उपयोग करके $z$ पर ग्रेडिएंट एसेंट (Adam) के माध्यम से किया जाता है, जिसमें प्रारंभिक अवस्था के सैंपलिंग के अलावा किसी एनवायरनमेंट इंटरैक्शन की आवश्यकता नहीं होती है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक सेतु (Theoretical Bridge): यह शोध पत्र एक नया सैद्धांतिक लिंक स्थापित करता है जो दिखाता है कि फॉरवर्ड-बैकवर्ड सक्सेसर रिप्रेजेंटेशन्स में ऑफ-पॉलिसी करेक्शन के लिए आवश्यक स्टेशनरी डेंसिटी रेश्यो अंतर्निहित होते हैं। यह प्रीट्रेन्ड कंपोनेंट्स से सीधे ऑप्टिमल करेक्शन वेट्स की गणना करने की अनुमति देता है।
ZOL एल्गोरिदम: एक सरल, ट्रेनिंग-फ्री, और इंटरैक्शन-फ्री टेस्ट-टाइम अनुकूलन विधि जो डेंसिटी रेश्यो रीवेटिंग के माध्यम से सपोर्ट बाधाओं (support constraints) को स्पष्ट रूप से लागू करके ऑफ-पॉलिसी ओवरएस्टिमेशन और एक्सट्रैपोलेशन त्रुटियों को कम करती है।
अनुभवजन्य सत्यापन (Empirical Validation): ZOL का मूल्यांकन विविध बेंचमार्क (ExORL, OGBench, SMPL Humanoid) पर किया गया है और यह कंसिस्टेंटली स्टेट-ऑफ-द-आर्ट ज़ीरो-शॉट बेसलाइन्स (FB, HILP, TD-JEPA) और ऑनलाइन अडैप्टेशन मेथड्स (LoLA, ReLA) को रिटर्न और मजबूती के मामले में पछाड़ता है, विशेष रूप से लॉन्ग-होरिजन और हाई-डायमेंशनल कार्यों में।
एब्लेशन और विश्लेषण: पेपर एक न्यूनतम 2D टॉय उदाहरण प्रदान करता है जो दर्शाता है कि मानक ज़ीरो-शॉट इन्फरेंस सपोर्ट बायस के कारण विफल हो जाता है, जबकि ZOL ऑक्यूपेंसी के साथ संरेखित करके टास्क स्ट्रक्चर को सफलतापूर्वक रिकवर करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर ZOL का मूल्यांकन किया:

ExORL (DeepMind Control Suite): ZOL ने Walker, Cheetah, Quadruped, और PointMass डोमेन में बेसलाइन्स पर निरंतर लाभ दिखाया। विशेष रूप से, इसने लॉन्ग-होरिजन कार्यों और हाई-डायमेंशनल डोमेन (जैसे, Quadruped) में महत्वपूर्ण सुधार दिखाया, जो बिना एनवायरनमेंट रोलआउट के ऑनलाइन मेथड्स (LoLA और ReLA) से बेहतर प्रदर्शन करता है।
OGBench (Long-Horizon Goal-Conditioned RL): उन कार्यों पर जिनमें टेम्पोरल स्टिचिंग (जैसे, AntMaze, Cube manipulation) की आवश्यकता होती है, ZOL ने FB और अन्य बेसलाइन्स की तुलना में बेहतर सफलता दर प्राप्त की। इसने पूरी तरह से ऑफलाइन काम करते हुए ऑनलाइन मेथड्स (LoLA/ReLA) के बराबर या उनसे बेहतर प्रदर्शन किया।
SMPL Humanoid (Motion Tracking): एक प्रीट्रेन्ड FB-CPR मॉडल का उपयोग करते हुए, ZOL ने AMASS डेटासेट पर मोशन ट्रैकिंग प्रदर्शन में सुधार किया, जो बेसलाइन FB-CPR इन्फरेंस की तुलना में काफी बेहतर पॉलिसियाँ खोजा।

सभी बेंचमार्क में, ZOL ने हाइपरपैरामीटर चॉइस के प्रति मजबूती प्रदर्शित की, जिसमें न्यूनतम ट्यूनिंग की आवश्यकता थी।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह ऑफ-पॉलिसी लर्निंग और ज़ीरो-शॉट अडैप्टेशन के क्षेत्रों को जोड़ता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि मजबूत ज़ीरो-शॉट अनुकूलन के लिए आवश्यक रूप से महंगे ऑनलाइन इंटरैक्शन या प्रति-कार्य अनुकूलन की आवश्यकता नहीं होती है।

इन्फरेंस गैप को कम करना: लेखक तर्क देते हैं कि BFMs में प्रदर्शन अंतराल मॉडल की रिप्रेजेंटेशनल क्षमता के कारण नहीं, बल्कि स्वयं इन्फरेंस प्रक्रिया की उप-इष्टतमता के कारण उत्पन्न होते हैं। ZOL यह सुनिश्चित करके इसे संबोधित करता है कि अनुकूलन प्रक्रिया प्रीट्रेनिंग डिस्ट्रीब्यूशन में जमी रहे।
ट्रेनिंग-फ्री अडैप्टेशन: उन विधियों के विपरीत जिन्हें फाइन-ट्यूनिंग या ऑनलाइन रोलआउट की आवश्यकता होती है, ZOL एक "प्लग-एंड-प्ले" समाधान प्रदान करता है जो डिस्ट्रीब्यूशनल शिफ्ट को ठीक करने के लिए मौजूदा FB स्ट्रक्चर का लाभ उठाता है।
सैद्धांतिक औचित्य: यह कार्य एक सिद्धांतपूर्ण आधार प्रदान करता है कि क्यों FB रिप्रेजेंटेशन्स ऑफ-पॉलिसी करेक्शन के लिए उपयुक्त हैं, जो ह्यूरिस्टिक अडैप्टेशन से आगे बढ़ता है।

सीमाएं (Limitations): लेखक स्वीकार करते हैं कि ZOL सीखा गया FB फैक्टराइजेशन का रिप्रेजेंटेशनल बायस विरासत में लेता है। यदि डेंसिटी रेश्यो एस्टीमेट सटीक नहीं है या यदि कोई डाउनस्ट्रीम टास्क सख्ती से आउट-ऑफ-सपोर्ट व्यवहार की मांग करता है, तो विधि की रूढ़िवादी प्रकृति (सपोर्ट बाधाओं को लागू करना) प्रदर्शन और सुरक्षा के बीच ट्रेड-ऑफ कर सकती है। भविष्य की दिशाओं में अनिश्चितता-जागरूक (uncertainty-aware) करेक्शन और पार्शियली ऑब्जर्वेबल डोमेन के विस्तार शामिल हैं।