📊 statistics

Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes

यह शोध पत्र विषम बहु-साइट डेटा से सुदृढ़ अनुक्रमिक निर्णय नीतियों (sequential decision policies) को सीखने के लिए फीचर-वाइज अनिश्चितता सेटों (feature-wise uncertainty sets) और एक निराशावादी ऑफलाइन एल्गोरिदम (pessimistic offline algorithm) के साथ एक ग्रुप-रोबस्ट मार्कोव डिसीजन प्रोसेस फ्रेमवर्क प्रस्तावित करता है, जो मजबूत स्टेट-एक्शन रेक्टेंगुलैरिटी धारणाओं पर निर्भर किए बिना उप-इष्टतम गारंटी (suboptimality guarantees) प्राप्त करता है।

मूल लेखक: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

प्रकाशित 2026-02-03

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल शहर में पैकेज डिलीवर करने के लिए नेविगेट करना सिखाने की कोशिश कर रहे हैं। आपके पास रोबोट को चीजों से टकराते हुए चलाने देने का समय नहीं है (यह "ऑनलाइन" लर्निंग है, जो खतरनाक और महंगी है)। इसके बजाय, आप रोबोट को तीन अलग-अलग शहरों—न्यूयॉर्क, शिकागो और मियामी—के ड्राइविंग लॉग्स का एक विशाल पुस्तकालय देते हैं।

यहाँ समस्या है:

न्यूयॉर्क में बहुत अधिक ट्रैफिक लाइटें और संकरी सड़कें हैं।
शिकागो में विशाल खुले मार्ग हैं लेकिन बर्फीली सर्दियाँ हैं।
मियामी में भारी बारिश और अलग ट्रैफिक नियम हैं।

यदि आप इन सभी लॉग्स को एक साथ मिलाकर एक बड़ा ढेर बना देते हैं, तो रोबोट एक "औसत" रणनीति सीख सकता है जो किसी भी औसत शहर में ठीक काम करती है, लेकिन सबसे खराब स्थिति (जैसे शिकागो के बर्फीले तूफान में फंस जाना) में बुरी तरह विफल हो जाती है। इसे डिस्ट्रीब्यूशनल शिफ्ट (distributional shift) कहा जाता है।

यदि आप रोबोट को प्रत्येक शहर के लिए अलग-अलग सिखाते हैं, तो वह न्यूयॉर्क का विशेषज्ञ तो बन सकता है, लेकिन मियामी के मामले में अनभिज्ञ हो सकता है, या वह भ्रमित हो सकता है क्योंकि किसी एक शहर में नियमों को सुनिश्चित करने के लिए पर्याप्त डेटा नहीं है।

यह पेपर रोबोट को तीनों शहरों के डेटा का उपयोग करके सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है, जबकि उसे किसी भी शहर के सबसे खराब संभव संस्करण के लिए तैयार करता है।

मुख्य विचार: "सबसे खराब मौसम बताने वाला" (The Worst-Case Weatherman)

लेखक सीखने की प्रक्रिया को दो पात्रों के बीच एक खेल की तरह देखते हैं:

रोबोट (एजेंट): पैकेज डिलीवर करने के लिए सबसे अच्छा रास्ता खोजने का लक्ष्य रखता है।
विरोधी (मौसम विज्ञान/Weatherman): रोबोट के जीवन को यथासंभव कठिन बनाने का लक्ष्य रखता है, जो देखे गए डेटा से सबसे खराब संभव ट्रैफिक स्थितियाँ या सड़क के नियम चुनता है।

आमतौर पर, इन खेलों में, मौसम विज्ञान हर एक सड़क के कोने के लिए स्वतंत्र रूप से नियम बदल सकता है। यह गणित को हल करना असंभव बना देता है (यह एक साथ वायुमंडल के हर परमाणु के लिए मौसम की भविष्यवाणी करने जैसा है)।

पेपर की ट्रिक:
लेखक "फीचर-वाइज रेक्टेंगुलैरिटी" (Feature-wise Rectangularity) नामक एक चतुर शॉर्टकट पेश करते हैं।
हर एक नियम को स्वतंत्र रूप से बदलने देने के बजाय, वे कहते हैं: "ठीक है, मौसम विज्ञान, आप 'ट्रैफिक लाइट', 'सड़क की चौड़ाई' और 'मौसम' के लिए स्वतंत्र रूप से नियम बदल सकते हैं, लेकिन आपको उन सभी को एक साथ एक ही 'सबसे खराब-स्थिति' (worst-case) तर्क के अनुसार लागू करना होगा।"

इसे सामग्री के मेनू की तरह समझें।

पुराना तरीका: शेफ (मौसम विज्ञान) हर एक व्यंजन के लिए स्वतंत्र रूप से सूप में नमक, केक में चीनी और स्टू में मसाला बदल सकता है। यह अराजक है और योजना बनाना कठिन है।
नया तरीका (यह पेपर): शेफ नमक, चीनी और मसाले को बदल सकता है, लेकिन उन्हें व्यंजन के "फ्लेवर प्रोफाइल" का सम्मान करते हुए एक संरचित तरीके से करना होगा। यह गणित को हल करने योग्य रखता है और फिर भी बहुत सतर्क रहता है।

यह एल्गोरिदम कैसे काम करता है: "सावधान शेफ" (The Cautious Chef)

पेपर का एल्गोरिदम (एल्गोरिदम 1) तीन चरणों में काम करता है, जैसे एक सावधान शेफ एक नखरेबाज मेहमान के लिए भोजन तैयार कर रहा हो:

प्रत्येक शहर से अलग सीखना (रिज रिग्रेशन - Ridge Regression):
सबसे पहले, रोबोट न्यूयॉर्क, शिकागो और मियामी के लॉग्स को अलग-अलग देखता है। यह प्रत्येक शहर के नियमों का अनुमान लगाने की कोशिश करता है। लेकिन क्योंकि डेटा अव्यवस्थित या अधूरा हो सकता है, यह अपने अनुमानों में एक "सुरक्षा बफर" (जिसे पෙසिमिज्म/pessimism यानी निराशावाद कहा जाता है) जोड़ता है। यह मान लेता है कि डेटा थोड़ा गलत हो सकता है।
"सबसे खराब-स्थिति" का मिश्रण (Row-wise Minimization):
अब, रोबोट इन अनुमानों को जोड़ता है। औसत निकालने के बजाय (जो खराब हिस्सों को छिपा सकता है), यह हर एक नियम को देखता है और पूछता है: "तीनों शहरों में से इस नियम का सबसे खराब संस्करण क्या है?"

यदि न्यूयॉर्क कहता है "स्पीड लिमिट 30 है," शिकागो कहता है "25," और मियामी कहता है "35," तो रोबोट मानता है कि स्पीड लिमिट 25 है।
यह हर एक फीचर के लिए सबसे कम (सबसे सुरक्षित) अनुमान के आधार पर एक पॉलिसी बनाता है। यह सुनिश्चित करता है कि किसी भी शहर की छिपी हुई "सबसे खराब-स्थिति" सामने आने पर भी रोबोट टकराएगा नहीं।

सुरक्षा दंड (The Safety Penalty):
यदि रोबोट ने किसी विशिष्ट स्थिति को लॉग्स में पर्याप्त बार नहीं देखा है (उदाहरण के लिए, उसने मियामी में केवल 5 बरसात के दिन देखे हैं), तो एल्गोरिदम उस अनुमान में एक बड़ा "दंड" जोड़ देता है। यह रोब manera को बताता है: "इस नंबर पर भरोसा न करें; आपके पास पर्याप्त डेटा नहीं है। सबसे खराब स्थिति मान लें।" यह रोबोट को छोटे, भाग्यशाली नमूनों के आधार पर अत्यधिक आत्मविश्वासी होने से रोकता है।

"ग्रुप" रणनीति: समान शहरों का क्लस्टरिंग (Clustering Similar Cities)

पेपर एक दूसरा तरीका भी सुझाता है। क्या होगा यदि आपके पास 50 शहर हैं, लेकिन उनमें से 10 बहुत समान हैं (जैसे, सभी तटीय शहर)?
उन्हें 10 अलग-अलग समस्याओं के रूप में देखने के बजाय, आप उन्हें एक "सुपर-कोस्टल" समूह में पूल (pool) कर सकते हैं।

क्यों? यह आपको "तटीय ड्राइविंग" के नियम सीखने के लिए अधिक डेटा देता है।
सावधानी: आपको यह सुनिश्चित करना होगा कि शहर वास्तव में समान हैं। यदि आप एक रेगिस्तानी शहर को तटीय शहर के साथ मिला देते हैं, तो आपका "सुपर-ग्रुप" के नियम निरर्थक होंगे। पेपर यह गणितीय प्रमाण प्रदान करता है कि जब तक समूह के शहर पर्याप्त रूप से समान हैं, तब तक उन्हें पूल करने से रोबोट तेजी से और अधिक सटीकता से सीखता है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने कंप्यूटर सिमुलेशन पर इसका परीक्षण किया:

नेइव पूलिंग (Naive Pooling): बस सभी डेटा को मिला देना। परिणाम: रोबोट विशिष्ट शहरों के अद्वितीय खतरों को अनदेखा करने के कारण सबसे खराब स्थितियों में विफल रहा।
अलग-अलग सीखना (Separate Learning): प्रत्येक शहर के लिए अकेले सीखना। परिणाम: रोबोट अस्थिर था और गलतियाँ करता था क्योंकि किसी भी एक शहर के लिए उसके पास पर्याप्त डेटा नहीं था।
इस पेपर की विधि: परिणाम: रोबोट ने एक ऐसी पॉलिसी सीखी जो लगातार सुरक्षित और कुशल थी, यहाँ तक कि सबसे खराब स्थितियों में भी। इसने बहुत अधिक सावधान होने और बहुत लापरवाह होने के बीच का "स्वीट स्पॉट" ढूंढ लिया।

संक्षेप में

यह पेपर हमें कई अलग-अलग स्रोतों (जैसे अस्पताल, शहर या कारखाने) से सीखने का एक गणितीय नुस्खा देता है, जिसमें हमें यह विश्वास करने की आवश्यकता नहीं है कि वे सभी बिल्कुल एक जैसे हैं। यह एक निर्णय लेने वाली प्रणाली बनाता है जो मजबूत (robust) है: यह देखे गए डेटा के सबसे खराब संस्करण के लिए तैयार होता है, जिससे यह सुनिश्चित होता है कि अंतिम योजना सुरक्षित रूप से काम करे, भले ही चीजें गलत हो जाएं या डेटा गायब हो।

यह एक पायलट को केवल "औसत मौसम" पर प्रशिक्षित करने के बजाय, हवा, बारिश और विक्षोभ (turbulence) के सबसे खराब संयोजन का अनुकरण करके प्रशिक्षित करने जैसा है, ताकि यह सुनिश्चित हो सके कि वे कुछ भी होने पर सुरक्षित रूप से लैंड कर सकें।

तकनीकी सारांश: कई स्रोतों से अनुक्रमिक निर्णयों को सीखना (Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes)

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र कई साइटों (जैसे, अस्पताल) से एकत्र किए गए ऑफलाइन डेटासेट से एक मजबूत (robust) अनुक्रमिक निर्णय लेने वाली नीतियों (policies) को सीखने की चुनौती को संबोधित करता है, जो एक सामान्य अनुप्रयोग संदर्भ साझा करते हैं लेकिन विषमता (heterogeneity) प्रदर्शित करते हैं। मानक ऑफलाइन सुदृढीकरण लर्निंग (Reinforcement Learning - RL) में, नीतियां बिना किसी और वातावरण संपर्क के पूर्व-संग्रहित डेटा से सीखी जाती हैं। हालांकि, वास्तविक दुनिया के मल्टी-साइट डेटा में अक्सर दो गंभीर समस्याएं होती हैं:

वितरण संबंधी बदलाव (Distributional Shift): ऑफलाइन प्रक्षेपवक्र (trajectories) उन व्यवहार नीतियों द्वारा उत्पन्न किए जाते हैं जो इष्टतम नीति के स्टेट-एक्शन वितरण को कवर नहीं कर सकते हैं।
साइट-वार विषमता (Site-wise Heterogeneity): डेटा अधिग्रहण प्रोटोकॉल, जनसंख्या संरचना और पर्यावरणीय स्थितियों में भिन्नता का अर्थ है कि प्रक्षेपवक्र एक एकल, निश्चित मार्कोव डिसीजन प्रोसेस (MDP) से उत्पन्न नहीं होते हैं। इसके बजाय, प्रत्येक साइट $k$ का अपना ट्रांजिशन कर्नेल $P_k$ और रिवॉर्ड फंक्शन $r_k$ होता है।

लेखक इस सेटिंग को एक ग्रुप-लीनियर डिस्ट्रिब्यूशनली रोबस्ट MDP (DRMDP) के रूप में मॉडल करते हैं। अंतर्निहित धारणा यह है कि सभी साइटें एक सामान्य, ज्ञात फीचर मैप $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ साझा करती हैं, लेकिन ट्रांजिशन कर्नेल और रिवॉर्ड फंक्शन इन फीचर्स के प्रति साइट-विशिष्ट मापदंडों $(\theta^k_h, \mu^k_h)$ के साथ लीनियर हैं। लक्ष्य एक ऐसी नीति सीखना है जो एक संभावित अनिश्चितता सेट के भीतर सबसे खराब स्थिति वाले पर्यावरणीय बदलाव के तहत अच्छा प्रदर्शन करे, जो साइट-विशिष्ट वितरणों के कॉन्वेक्स हल (convex hull) द्वारा परिभाषित है।

कार्यप्रणाली (Methodology)

1. फीचर-वाइज (d-rectangular) अनिश्चितता सेट (Feature-wise (d-rectangular) Uncertainty Sets)

मल्टी-साइट से उत्पन्न होने वाली अनिश्चितता को संभालने और गणनात्मक सुगमता (computational tractability) बनाए रखने के लिए, लेखक एक फीचर-वाइज (d-rectangular) अनिश्चितता सेट प्रस्तावित करते हैं।

संरचना: क्रॉस-साइट कॉन्वेक्स हल के विपरीत, जो सभी फीचर्स के लिए अनिश्चितता को जोड़ देता है (जिससे नॉन-रेक्टेंगुलर सेट और NP-hard प्लानिंग होती है), यह दृष्टिकोण एडवरसरी (adversary) को प्रत्येक फीचर डायमेंशन $i \in [d]$ के लिए स्वतंत्र रूप से मिक्सिंग वेट चुनने की अनुमति देता है।
परिभाषा: प्रत्येक स्टेप $h$ और फीचर $i$ के लिए, एडवरसरी साइट-विशिष्ट मापदंडों का एक सबसे खराब मिश्रण बनाने के लिए एक मिक्सिंग वेक्टर $\alpha_{h,i} \in \Delta^{K-1}$ चुनता है। अनिश्चितता सेट $\mathcal{U}_h$ को इस तरह परिभाषित किया गया है कि किसी भी $(s, a)$ के लिए रिवॉर्ड और ट्रांजिशन, फीचर-विशिष्ट मिश्रणों द्वारा भारित साइट मापदंडों के लीनियर कॉम्बिनेशन होते हैं।
लाभ: यह अप्रोच क्रॉस-साइट विषमता को बनाए रखते हुए रोबस्ट बेलमैन रिकर्सन (robust Bellman recursions) को बहाल करती है, जिससे समस्या गणना योग्य बन जाती है।

2. पेसिमिस्टिक वैल्यू इटरेशन एल्गोरिदम (Pessimistic Value Iteration Algorithm)

लेखक पेसिमिस्टिक वैल्यू इटरेशन पर आधारित एक ऑफलाइन एल्गोरिदम (एल्गोरिदम 1) विकसित करते हैं, जिसमें तीन मुख्य घटक शामिल हैं:

प्रति-साइट रिज रिग्रेशन (Per-Site Ridge Regression): प्रत्येक साइट $k$ के लिए, एल्गोरिदम स्थानीय डेटासेट $D_k$ पर रिज रिग्रेशन का उपयोग करके बेलमैन टारगेट कोएफिशिएंट्स $\hat{\nu}^k_h$ का अनुमान लगाता है। यह लीनियर मापदंडों के साइट-विशिष्ट अनुमान प्रदान करता है।
फीचर-वाइज वर्स्ट-केस एग्रीगेशन (Feature-wise Worst-Case Aggregation): औसत निकालने के बजाय, एल्गोरिदम सभी साइटों के अनुमानित कोएफिशिएंट्स पर रो-वाइज मिनिमम (row-wise minimum) करता है। विशेष रूप से, प्रत्येक फीचर डायमेंशन $i$ के लिए, रोबस्ट कोएफिशिएंट को $\min_{k \in [K]} (\hat{\nu}^k_h)_i$ के रूप में सेट किया जाता है। यह प्रत्येक फीचर के लिए साइटों के बीच सबसे खराब स्थिति को कैप्चर करता है।
डेटा-डिपेंडेंट पेसिमिज्म पेनल्टी (Data-Dependent Pessimism Penalty): अनुमान अनिश्चितता और वितरण संबंधी बदलाव को ध्यान में रखने के लिए, Q-वैल्यू से एक पेनल्टी टर्म घटाया जाता है। यह पेनल्टी रिज रिग्रेशन से प्राप्त इनवर्स डिजाइन मैट्रिसेस (कोवेरिएंस मैट्रिसेस) के डायगोनल्स का उपयोग करके कंप्यूट की जाती है। यह पेनल्टी फीचर वेक्टर $\phi(s, a)$ और प्रत्येक फीचर के लिए देखी गई अधिकतम अनिश्चितता के साथ स्केल होती है।

3. क्लस्टर-लेवल एक्सटेंशन (Cluster-Level Extension)

जब साइटें समानता प्रदर्शित करती हैं, तो सैंपल एफिशिएंसी में सुधार के लिए, लेखक एक क्लस्टर-लेवल एक्सटेंशन प्रस्तावित करते हैं। समानता के पूर्व ज्ञान के आधार पर साइटों को क्लस्टर्स में विभाजित किया जाता है। प्रत्येक क्लस्टर के भीतर, डेटासेट्स को एक "सुपर-साइट" बनाने के लिए मिला दिया जाता है, और रोबस्ट बेलमैन ऑपरेटर को क्लस्टर-लेवल प्रतिनिधि पर लागू किया जाता है। यह दृष्टिकोण क्लस्टर के भीतर की विषमता द्वारा पेश की गई त्रुटि को नियंत्रित करते हुए बड़े पूल्ड सैंपल साइज का लाभ उठाता है।

सैद्धांतिक परिणाम (Theoretical Results)

लेखक एक रोबस्ट पार्शियल कवरेज धारणा के तहत अपने प्रस्तावित एल्गोरिदम के लिए परिमित-नमूना (finite-sample) सबऑप्टिमैलिटी बाउंड प्रदान करते हैं।

सबऑप्टिमैलिटी डिकम्पोजिशन: सबऑप्टिमैलिटी को स्प्यूरियस कोरिलेशन, इनट्रिन्सिक अनिश्चितता और ऑप्टिमाइजेशन एरर में विभाजित किया गया है।
कन्वर्जेंस रेट: इस धारणा के तहत कि साइट-विशिष्ट एम्पिरिकल कोवेरिएंस मैट्रिसेस रोबस्ट ऑप्टल पॉलिसी के विज़िटेशन डिस्ट्रीब्यूशन के सेकंड मोमेंट्स पर हावी हैं, सीखे गए पॉलिसी $\hat{\pi}$ की सबऑप्टिमैलिटी इस प्रकार बाउंड की गई है:
$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$
जहाँ $N_{\min}$ सभी साइटों में न्यूनतम सैंपल साइज है, $d$ फीचर डायमेंशन है, $H$ हॉरिजन है, और $K$ साइटों की संख्या है।
क्लस्टर-लेवल बाउंड: क्लस्टर-लेवल एल्गोरिदम के लिए, बाउंड में एक अतिरिक्त बायस टर्म शामिल है जो क्लस्टर के भीतर के पैरामीटर विसंगति ( $\Delta_h$ ) के समानुपाती है, जो यह दर्शाता है कि जब तक क्लस्टर के भीतर की विषमता नियंत्रित है, तब तक पूलिंग फायदेमंद है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक $K=3$ से $4$ साइटों वाले एपिसोडिक लीनियर MDPs पर सिमुलेशन के माध्यम से अपने दृष्टिकोण को सत्यापित करते हैं।

तुलना: प्रस्तावित "साइटवाइज़" (Sitewise) एल्गोरिदम की तुलना निम्नलिखित से की गई है:
- नेइव पूलिंग (Naive Pooling): सभी डेटा को एकत्रित करना और मानक पेसिमिस्टिक वैल्यू इयरेशन (PEVI) लागू करना।
- प्रति-साइट PEVI (Average-Q): स्वतंत्र साइट-विशिष्ट PEVI रन से Q-फंक्शन्स का औसत लेना।
- प्रति-साइट PEVI (Min-Q): साइट-विशिष्ट Q-फंक्शन्स का पॉइंटवाइज मिनिमम लेना।
प्रदर्शन: प्रस्तावित एल्गोरिदम सभी बेंचमार्क की तुलना में लगातार काफी कम रोबस्ट सबऑप्टिमैलिटी प्राप्त करता है।
- नेइव पूलिंग साइट-विशिष्ट वितरण संबंधी बदलावों के प्रति रोबस्ट होने में विफल रहता है, क्योंकि यह सबसे खराब स्थिति के बजाय औसत प्रदर्शन के लिए अनुकूलित होता है।
- प्रति-साइट विधियां सीमित स्थानीय सैंपल साइज और सूचना साझा करने की कमी के कारण उच्च वेरिएंस से ग्रस्त होती हैं।
कन्वर्जेंस: एम्पिरिकल स्केलिंग लॉ प्रस्तावित $O(N_{\min}^{-1/2})$ कन्वर्जेंस रेट की पुष्टि करते हैं।
पेसिमिज्म की आवश्यकता: प्रयोग दिखाते हैं कि पेसिमिज्म पेनल्टी को हटाने (स्केलिंग कांस्टेंट $c=0$ सेट करने) से कुशल कन्वर्जेंस विफल हो जाता है, क्योंकि ग्रीडी एस्टीमेटर (greedy estimator) सीमित-नमूना शोर (finite-sample noise) के प्रति ओवरफिट हो जाता है, विशेष रूपकर असंतुलित डेटा कवरेज वाले परिदृश्यों में।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह स्ट्रॉन्ग स्टेट-एक्शन रेक्टेंगुलैरिटी धारणाओं पर निर्भर किए बिना, मल्टी-साइट ऑफलाइन RL सेटिंग्स में रोबस्ट प्लानिंग के लिए एक सिद्धांतित दृष्टिकोण प्रदान करता है।

ट्रेक्टेबिलिटी बनाम रोबस्टनेस: एक $d$ -रेक्टेंगुलर अनिश्चितता सेट पेश करके, लेखक सामान्य क्रॉस-साइट कॉन्वेक्स हल की जटिलता और मानक $(s, a)$ -रेक्टेंगुलर रोबस्ट MDPs की अत्यधिक रूढ़िवादिता के बीच के अंतर को पाटते हैं।
गोपनीयता और दक्षता: एल्गोरिदम केवल एकत्रित साइट-स्तरीय सारांश सांख्यिकी (रिज रिग्रेशन कोएफिशिएंट्स और कोवेरिएंस डायगोनल्स) संचारित करता है, न कि कच्चे प्रक्षेपवक्र (raw trajectories), जो डेटा संचार लागत को कम करता है और गोपनीयता बढ़ाता है।
विषमता को संभालना: फ्रेमवर्क स्पष्ट रूप से साइटों के बीच की विषमता को मॉडल करता है और उसका लाभ उठाता है ताकि यह सुनिश्चित किया जा सके कि सीखी गई नीति सबसे खराब साइट कॉन्फ़िगरेशन के प्रति रोबस्ट है, जो मानक ऑफलाइन RL की एक मौलिक सीमा को संबोधित करता है जब इसे मल्टी-सोर्स डेटा पर लागू किया जाता है।

लेखक स्वीकार करते हैं कि उनकी विधि साइटों के भीतर एक लीनियर स्ट्रक्चर पर निर्भर करती है और $d$ -रेक्टेंगुलर अप्रोक्सिमेशन से रूढ़िवादी अनुमान लग सकते हैं। वे सुझाव देते हैं कि भविष्य के कार्य गैर-रेखीय फीचर मैपिंग को संभालने के लिए टाइट अप्रोक्सिमेशन और रिप्रेजेंटेशन लर्निंग के एकीकरण का पता लगा सकते हैं।