💻 computer science

RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation

यह शोध पत्र रेजिडुअल फ्लो स्टीयरिंग (RFS) का प्रस्ताव करता है, जो एक डेटा-कुशल सुदृढीकरण अधिगम (रिनफोर्समेंट लर्निंग) ढांचा है जो स्थानीय त्रुटि सुधार और वैश्विक अन्वेषण के बीच संतुलन बनाने के लिए अवशिष्ट क्रियाओं (रेसिडुअल एक्शन्स) और लेटेंट नॉइज़ वितरणों को संयुक्त रूप से अनुकूलित करके पूर्व-प्रशिक्षित फ्लो-मैचिंग नीतियों को दक्ष हेरफेर (डेक्सट्रस मैनिपुलेशन) के लिए अनुकूलित करता है।

मूल लेखक: Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

प्रकाशित 2026-02-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अत्यधिक कुशल, लेकिन थोड़े कठोर (rigid) रोबोटिक हाथ को ब्लॉक स्टैकिंग, पानी डालने या नाजुक वस्तुओं को उठाने जैसे जटिल कार्य करने के लिए सिखा रहे हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे रेसिड्यूअल फ्लो स्टीयरिंग (Residual Flow-Steering - RFS) कहा जाता है। इसे एक "स्मार्ट को-पायलट" सिस्टम की तरह समझें जो एक पूर्व-प्रशिक्षित (pre-trained) रोबोट को बिना हजारों नए उदाहरणों की आवश्यकता के, वास्तविक दुनिया में तेजी से सीखने और बेहतर काम करने में मदद करता है।

यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं (analogies) में यहाँ समझाया गया है:

1. शुरुआती बिंदु: "मसल मेमोरी" वाला रोबोट

सबसे पहले, शोधकर्ता एक रोबोट को इमिटेशन लर्निंग (Imitation Learning) का उपयोग करके प्रशिक्षित करते हैं। वे रोबोट को मानव प्रदर्शन दिखाते हैं (जैसे किसी वस्तु को पकड़ने का वीडियो)।

उपमा: एक छात्र की कल्पना करें जिसने एक मास्टर शेफ को हजार बार खाना बनाते हुए देखा है। छात्र के पास "मसल मेमोरी" है और वह रेसिपी के सामान्य प्रवाह को जानता है। वह काट सकता है और मिला सकता है, लेकिन अगर चूल्हा सामान्य से थोड़ा अधिक गर्म हो या पैन का आकार अलग हो, तो उसे संघर्ष करना पड़ सकता है।
समस्या: जब यह रोबोट वास्तविक दुनिया (वास्तविक भौतिकी, फिसलन वाली वस्तुओं या अलग लाइटिंग के साथ) में कार्य करने की कोशिश करता है, तो यह अक्सर विफल हो जाता है क्योंकि यह बहुत कठोर है। यह छोटी गलतियों या अप्रत्याशित परिवर्तनों को संभाल नहीं पाता है।

2. समाधान: "दो-हाथों वाला" सुधार (The "Two-Handed" Correction)

शोधकर्ताओं ने महसूस किया कि रोबोट को ठीक करने के लिए आपको एक ही समय में दो अलग-अलग प्रकार की मदद की आवश्यकता होती है। वे इसे रेसिड्यूअल फ्लो स्टीयरिंग (Residual Flow Steering) कहते हैं।

रोबोट के मस्तिष्क को दो अलग-अलग नियंत्रण नॉब्स (control knobs) के रूप में सोचें जो एक साथ काम करते हैं:

नॉब A: "बड़ी तस्वीर" वाला डायल (Latent Noise Steering)
- यह क्या करता है: यह नॉब गति की कुल रणनीति या "वाइब" को बदल देता है। यह रोबोट को बताने जैसा है, "हे, बाईं ओर से पहुँचने के बजाय, दाईं ओर से पहुँचने की कोशिश करो," या "वस्तु को अधिक कोमलता से पकड़ो।"
- उपमा: यह एक ऑर्केस्ट्रा के कंडक्टर की तरह है जो टेम्पो (लय) बदल देता है। यह हर एक नोट को फिर से लिखे बिना पूरे प्रदर्शन को एक नई शैली में बदल देता है। यह रोबोट को वैश्विक स्तर पर (globally) चीजों को करने के नए तरीके खोजने की अनुमति देता है।
नॉब B: "फाइन-ट्यूनिंग" वाला डायल (Residual Action)
- यह क्या करता है: यह नॉब रोबोट की वास्तविक गति में सूक्ष्म और सटीक समायोजन करता है। यदि रोबोट का हाथ 2 मिलीमीटर बहुत ऊपर है, तो यह नॉब उसे नीचे धकेलता है।
- उपमा: यह एक रस्सी पर चलने वाले (tightrope walker) के संतुलन दंड (balancing pole) की तरह है। जब वे डगमगाते हैं, तो वे सीधा रहने के लिए छोटे, त्वरित सुधार करते हैं। यह पूरे प्लान को बदले बिना स्थानीय त्रुटियों को ठीक करता है।

यह विशेष क्यों है?
अधिकांश पिछले तरीकों ने केवल इनमें से एक ही नॉब का उपयोग करने की कोशिश की।

केवल "बड़ी तस्वीर" वाले डायल का उपयोग करना (कुछ अन्य AI विधियों की तरह) बहुत अस्पष्ट है; यह डगमगाते हाथ को ठीक नहीं कर सकता।
केवल "फाइन-ट्यूनिंग" वाले डायल का उपयोग करना (मानक "रेसिड्यूअल" लर्निंग की तरह) बहुत सीमित है; यदि पूरी योजना ही गलत है, तो यह रणनीति नहीं बदल सकता।
RFS इन दोनों का एक साथ उपयोग करता है, जिससे रोबोट अपनी रणनीति भी बदल सकता है और अपनी गलतियों को भी ठीक कर सकता है।

3. प्रशिक्षण प्रक्रिया: सिमुलेशन से वास्तविकता तक

शोध पत्र इस कार्य को सफल बनाने के लिए एक विशिष्ट पाइपलाइन का वर्णन करता है:

सिमुलेशन प्रशिक्षण (अभ्यास का मैदान):
वे पहले वर्चुअल रियलिटी डेटा का उपयोग करके कंप्यूटर सिमुलेशन में रोबोट को प्रशिक्षित करते हैं। रोबोट बुनियादी बातें सीखता है। फिर, वे "दो-हाथों वाले" सिस्टम का उपयोग करते हैं ताकि रोबोट सिमुलेशन में सुरक्षित रूप से अभ्यास और विफलता (fail) कर सके, और खुद को सुधारना सीख सके।
- उपमा: रोबोट एक वीडियो गेम में अभ्यास कर रहा है जहाँ वह कुछ भी तोड़े बिना हजार बार क्रैश हो सकता है।
वास्तविक दुनिया में फाइन-ट्यूनिंग (असली मंच):
जब वे रोबोट को वास्तविक दुनिया में ले जाते हैं, तो वह अभी भी गलतियाँ करता है क्योंकि वास्तविक वस्तुएं फिसलन भरी और भारी होती हैं। पूरे रोबोट को शून्य से फिर से प्रशिक्षित करने के बजाय (जिसमें बहुत अधिक डेटा लगता है), वे थोड़े से वास्तविक दुनिया के डेटा का उपयोग करते हैं।
- "मानव सुधार" चरण: एक इंसान रोबोट को कार्य करते हुए देखता है। जब रोबलेट विफल होने लगता है (जैसे कप गिरा देना), तो इंसान हाथ को सही जगह पर धीरे से निर्देशित करता है।
- जादू: RFS सिस्टम इन कुछ सुधारों से सीखता है। यह समझ जाता है, "ठीक है, वास्तविक दुनिया में, मुझे 'बड़ी तस्वीर' वाले नॉब को थोड़ा बाईं ओर घुमाना होगा और 'फाइन-ट्यूनिंग' नॉब का उपयोग करके पकड़ को मजबूत करना होगा।"

4. परिणाम: उन्होंने क्या पाया?

शोध पत्र ने पैकिंग, स्टैकिंग, पोरिंग (pouring) और ग्रास्पिंग (grasping) जैसे कठिन कार्यों पर परीक्षण किया:

पैकिंग: वस्तुओं को बॉक्स में रखना।
स्टैकिंग: वस्तुओं को एक के ऊपर एक संतुलित करना।
पोरिंग: तरल पदार्थ को बिना गिराए डालना।
ग्रास्पिंग: विभिन्न वस्तुओं को उठाना।

निष्कर्ष:

केवल "मसल मेमोरी" से बेहतर: आधारभूत रोबोट (बिना RFS के) वास्तविक दुनिया में अक्सर विफल रहा।
अन्य AI विधियों से बेहतर: अन्य विधियों ने जो रोबोट को ठीक करने की कोशिश की थी, या तो वे रणनीति बदलने में सक्षम नहीं थीं या वे पर्याप्त सटीक सुधार नहीं कर सकीं।
RFS विजेता रहा: दोनों "बड़ी तस्वीर" और "फाइन-ट्यूनिंग" डायल का एक साथ उपयोग करके, रोबोट ने सिमुलेशन और वास्तविक दुनिया दोनों में उच्च सफलता दर (अक्सर 80-90% सफलता) प्राप्त की, यहाँ तक कि उन वस्तुओं के साथ भी जिन्हें उसने पहले कभी नहीं देखा था।

सारांश

रेसिड्यूअल फ्लो स्टीयरिंग (RFS) एक रोबोट को स्मार्ट को-पायलट देने जैसा है।

को-पायलट रास्ता अवरुद्ध होने पर पूरे सफर का मार्ग बदल सकता है (Global/Noise Steering)।
को-पायलट गड्ढे से बचने के लिए स्टीयरिंग व्हील को भी मोड़ सकता है (Local/Residual Correction)।

इन दोनों क्षमताओं को जोड़कर, रोबोट वह सब कुछ कर सकता है जो उसने वर्चुअल दुनिया में सीखा है और बहुत कम अतिरिक्त डेटा का उपयोग करके तेजी से वास्तविक, अप्रत्याशित दुनिया के अनुकूल हो सकता है।

तकनीकी सारांश: डेक्सट्रस मैनिपुलेशन के लिए रेसिडुअल फ्लो स्टीयरिंग (RFS)

समस्या विवरण

इमिटेशन लर्निंग (Imitation learning), विशेष रूप से डिफ्यूजन और फ्लो मैचिंग जैसे अभिव्यंजक जनरेटिव मॉडल्स का उपयोग करके, उच्च-आयामी डेक्सट्रस मैनिपुलेशन (dexterous manipulation) में नीतियों (policies) को बूटस्ट्रैप करने के लिए प्रभावी सिद्ध हुआ है। हालांकि, केवल मानव प्रदर्शनों (human demonstrations) पर प्री-ट्रेन की गई नीतियां अक्सर अनदेखे परिदृश्यों में सीमित सामान्यीकरण (generalization) प्रदर्शित करती हैं और मजबूत, उत्पादन-स्तर के प्रदर्शन के लिए फाइन-ट्यूनिंग की आवश्यकता होती है।

मौजूदा अनुकूलन विधियां एक ट्रेड-ऑफ का सामना करती हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning): इसके लिए उच्च-गुणवत्ता वाले, क्यूरेटेड विशेषज्ञ डेटा की आवश्यकता होती है, जिसे एकत्र करना महंगा है।
जनरेटिव मॉडल्स के साथ सुदृढीकरण सीखना (Reinforcement Learning - RL): जबकि RL रिवॉर्ड ऑप्टिमाइज़ेशन के माध्यम से व्यवहार सुधार के लिए एक सिद्धांतवादी ढांचा प्रदान करता है, मानक RL फाइन-ट्यूनिंग विधियां अक्सर क्लोज्ड-फॉर्म लाइकलीहुड या रीपैरामीट्रिज़ेशन ट्रिक्स पर निर्भर करती हैं। ये जटिल जनरेटिव आर्किटेक्चर (डिफ्यूजन/फ्लो मॉडल्स) के साथ असंगत हैं। इसके अलावा, मौजूदा पॉलिसी मॉड्यूलेशन तकनीकें वैश्विक अन्वेषण (global exploration) और स्थानीय सटीकता (local precision) के बीच संतुलन बनाने में संघर्ष करती हैं:
- रेसिडुअल RL (Residual RL) स्थानीय एक्शन सुधार (local action corrections) सक्षम करता है लेकिन आवश्यक वैश्विक व्यवहार परिवर्तन को प्रेरित करने में विफल रहता है।
- डिफ्यूजन स्टीयरिंग (Diffusion Steering - इनपुट मॉड्यूलेशन) वैश्विक मॉड्यूलेशन की अनुमति देता है लेकिन ऑफ-डिस्ट्रीब्यूशन अवस्थाओं में सीमित सूक्ष्म नियंत्रण प्रदान करता है।

मुख्य चुनौती प्री-ट्रेन की गई जनरेटिव पॉलिसियों को नए कार्यों और वास्तविक दुनिया की गतिशीलता (dynamics) के अनुकूल बनाना है, जबकि प्री-ट्रेनिंग के वैश्विक अन्वेषण लाभों और स्थानीय निष्पादन त्रुटियों के त्वरित सुधार की क्षमता को बनाए रखना है।

कार्यप्रणाली: रेसिडुअल फ्लो स्टीयरिंग (RFS)

लेखक रेसिडुअल फ्लो स्टीलरिंग (RFS) का प्रस्ताव करते हैं, जो एक डेटा-कुशल सुदृढीकरण शिक्षण (RL) ढांचा है जो प्री-ट्रेन की गई फ्लो-मैचिंग पॉलिसियों को अनुकूलित करने के लिए इनपुट और आउटपुट मॉड्यूलेशन को एकीकृत करता है।

एकीकृत पॉलिसी मॉड्यूलेशन (Unified Policy Modulation)

RFS पॉलिसी अनुकूलन को एक प्री-ट्रेन की गई बेस पॉलिसी $\pi_{base}$ (जिसे फ्लो-मैचिंग वेलोसिटी फील्ड $v_\theta$ द्वारा दर्शाया गया है) को उसके अंतर्निहित मापदंडों (parameters) को अपडेट किए बिना मॉड्यूलेट करने के रूप में देखता है। यह संयुक्त रूप से दो घटकों को अनुकूलित करता है:

लेटेंट नॉइज़ स्टीयरिंग (Latent Noise Steering - इनपुट मॉड्यूलेशन): एक पॉलिसी $\pi_H$ स्टेट $s$ पर आधारित एक प्रारंभिक लेटेंट नॉइज़ वेक्टर $a_0$ आउटपुट करना सीखती है। यह जनरेटिव मॉडल के वैश्विक व्यवहार को निर्देशित करता है, जिससे पॉलिसी मोड को बदलने और प्रदर्शन मैनिफोल्ड (demonstration manifold) से परे अन्वेषण करने में सक्षम होती है।
रेसिडुअल एक्शन करेक्शन (Residual Action Correction - आउटपुट मॉड्यूलेशन): एक पॉलिसी $\pi_r$ एक रेसिडुअल एक्शन $a_r$ सीखती है जिसे बेस पॉलिसी के आउटपुट में जोड़ा जाता है। यह निष्पादन त्रुटियों को ठीक करने या ऑफ-मैनिफोल्ड आवश्यकताओं को संभालने के लिए सटीक, स्थानीय सुधार (local refinements) सक्षम करता है।

अंतिम एक्शन इस प्रकार गणना किया जाता है:
$a = a_{base} + a_r$
जहाँ $a_{base}$ को स्टीयर्ड लेटेंट नॉइज़ $a_0$ से फ्लो डायनेमिक्स को इंटीग्रेट करके जनरेट किया जाता है।

कार्यान्वयन पाइपलाइन (Implementation Pipeline)

इस ढांचे को सिमुलेशन-टू-रियलिटी पाइपलाइन के माध्यम से स्थापित किया गया है:

सिमुलेशन प्री-ट्रेनिंग: एक बेस फ्लो-मैचिंग पॉलिसी को VR-टेलीऑपरेटेड प्रदर्शनों के एक छोटे सेट पर प्रशिक्षित किया जाता है।
सिमुलेशन में ऑनलाइन RL: ग्रैस्प सफलता और स्थिरता को अनुकूलित करने के लिए PPO का उपयोग करके RFS पॉलिसी ( $\pi_{RFS}$ ) को फाइन-ट्यून किया जाता है। यहाँ उच्च-गुणवत्ता वाले प्रदर्शन उत्पन्न करने के लिए प्रिविलेज्ड स्टेट जानकारी (जैसे ऑब्जेक्ट पोस) का उपयोग किया जाता है।
डिस्टिलेशन (Distillation): RFS-एन्हांस्ड पॉलिसी को पॉइंट क्लाउड्स पर कंडिशन किए गए विज़ुओमोटर पॉलिसी में डिस्टिल किया जाता है, जिससे परिनियोजन (deployment) के लिए प्रिविलेजड स्टेट जानकारी की आवश्यकता समाप्त हो जाती है।
वास्तविक दुनिया में ऑफलाइन फाइन-ट्यूनिंग: सिम-टू-रियल गैप को पाटने के लिए, डिस्टिल्ड पॉलिसी को मानव-सुधारित ट्रांजिशन के एक छोटे डेटासेट का उपयोग करके अनुकूलित किया जाता है।
- डेटा संग्रह: बेस पॉलिसी रोलआउट निष्पादित करती है; मनुष्य सुधारात्मक क्रियाओं ( $a_{human}$ ) के साथ हस्तक्षेप करते हैं।
- रेसिडुअल परिभाषा: रेसिडुअल को $a_r = a_{human} - a_{base}$ के रूप में परिभाषित किया गया है।
- प्रशिक्षण: RFS पॉलिसी को Offline RL (विशेष रूप से TD3+BC) का उपयोग करके प्रशिक्षित किया जाता है। क्रिटिक (critic) को डीकंपोज्ड घटकों के बजाय अंतिम निष्पादित एक्शन ( $a = a_{base} + a_r$ ) पर कंडिशन किया जाता है, जिसे लेखकों ने स्थिरता के लिए महत्वपूर्ण पाया। एक्टर क्रिटिक वैल्यू को अधिकतम करता है जबकि रेसिडुअल एक्शन पर बिहेवियर क्लोनिंग रेगुलराइज़र लागू करता है।

मुख्य योगदान

RFS फ्रेमवर्क: रेसिडुअल फ्लो स्टीयरिंग का परिचय, जो प्री-ट्रेन की गई फ्लो-मैचिंग पॉलिसी को अनुकूलित करने के लिए लेटेंट नॉइज़ (वैश्विक अनुकूलन के लिए) और रेसिडुअल एक्शन (स्थानीय शोधन के लिए) को संयुक्त रूप से अनुकूलित करने वाला एक एकीकृत ढांचा है।
प्रभावी सिमुलेशन प्री-ट्रेनिंग: यह प्रमाण कि RFS मानव प्रदर्शनों से मजबूत सिमुलेशन प्री-ट्रेनिंग को सक्षम बनाता है, जटिल मल्टी-फिंगर कोऑर्डिनेशन व्यवहारों को सफलतापूर्वक कैप्चर करता है।
डेटा-कुशल वास्तविक दुनिया अनुकूलन: सत्यापन कि RFS कम वास्तविक दुनिया इंटरैक्शन डेटा (ऑफलाइन RL) के साथ वास्तविक दुनिया में फाइन-ट्यूनिंग करने के लिए उत्कृष्ट समर्थन प्रदान करता है, जो बूटस्ट्रैप्ड इमिटेशन-लर्निंग बेसलाइन्स और मानक रेसिडुअल-ओनली या स्टीयरिंग-ओनली विधियों से बेहतर प्रदर्शन करता है।
व्यापक एब्लेशन (Ablations): उच्च प्रदर्शन के लिए दोनों इनपुट और आउटपुट मॉड्यूलेशन घटकों की आवश्यकता की पहचान करने वाले विस्तृत प्रयोग।

प्रयोगात्मक परिणाम

सिमुलेशन प्रदर्शन

RFS का मूल्यांकन छह डेक्सट्रस मैनिपुलेशन कार्यों पर किया गया: ग्रैस्पिंग (Grasping), पिक एंड प्लेस (Pick & Place), पैकिंग (Packing), पुश-टू-ग्रैस्प (Push-to-Grasp), स्टैकिंग (Stacking), और पोरिंग (Pouring)।

बेसलाइन्स: RFS की तुलना डिफ्यूजन/फ्लो RL फाइन-ट्यूनिंग (DPPO, ReinFlow), ऑफलाइन-टू-ऑनलाइन RL (IQL, AWAC, Flow Q-Learning), और प्रदर्शनों के साथ RL (RLPD, IBRL) से की गई।
एब्लेशन: रेसिडुअल RL केवल (Policy Decorator, ResiP) और डिफ्यूजन स्टीयरिंग केवल (DSRL) के विरुद्ध तुलना की गई।
परिणाम: RFS ने सभी कार्यों में उच्चतम सफलता दर प्राप्त की, जिसकी औसत सफलता दर 0.87 है।
- विशेष रूप से, RFS ने लॉन्ग-होरिजन (Packing) और हाई-प्रिसिजन (Stacking, Pouring) कार्यों पर बेस पॉलिसी और सभी बेसलाइन्स को काफी पीछे छोड़ दिया, जहाँ अन्य विधियाँ विफल रहीं या संघर्ष करती रहीं।
- उदाहरण के लिए, स्टैकिंग पर, RFS ने 0.95 सफलता प्राप्त की, जबकि बेस पॉलिसी के लिए यह 0.15 और DSRL के लिए 0.135 थी।

वास्तविक दुनिया का प्रदर्शन

एक फ्रैंका आर्म (Franka arm) और LEAP हैंड पर प्रयोग किए गए, जो सिमुलेशन में प्रशिक्षित पॉलिसियों को देखे गए और अनदेखे ऑब्जेक्ट्स के साथ वास्तविक दुनिया के ग्रैस्पिंग और पिक-एंड-प्लेस कार्यों में स्थानांतरित करते हैं।

सेटअप: फाइन-ट्यूनिंग केवल 50 मानव-सुधारित प्रदर्शनों (ऑफलाइन RL) का उपयोग करके की गई।
बेसलाइन्स: ज़ीरो-शॉट ट्रांसफर, बिहेवियर क्लोनिंग (BC) फाइन-ट्यूनिंग, और को-ट्रेनिंग (Co-training)।
परिणाम:
- देखी गई वस्तुएं (Seen Objects): RFS ने पिक-एंड-प्लेस में 90.0% सफलता और ग्रैस्पिंग में 80.0% सफलता प्राप्त की, जो को-ट्रेनिंग (60.0% / 83.3%) और BC (40.0% / 73.3%) से बेहतर है।
- अनदेखी वस्तुएं (Unseen Objects): RFS ने बेहतर सामान्यीकरण प्रदर्शित किया, ग्रैस्पिंग में 74.0% सफलता और पिक-एंड-प्लेस में 48.0% सफलता प्राप्त की, जो ज़ीरो-शॉट बेसलाइन (43.3% / 30.0%) और अन्य ऑफलाइन RL वेरिएंट से काफी अधिक है।
क्रिटिक डिज़ाइन: लेखकों ने पाया कि क्रिटिक को अंतिम निष्पादित एक्शन ( $a_{base} + a_r$ ) पर कंडिशन करना आवश्यक था; डीकंपोज्ड कंपोनेंट्स पर कंडिशन करने से सुसंगत परिणाम नहीं मिले।

महत्व और दावे

पेपर का दावा है कि RFS जनरेटिव इमिटेशन लर्निंग में "अनुकूलन बाधा" (adaptation bottleneck) के लिए एक सिद्धांतवादी समाधान प्रदान करता है। वैश्विक अन्वेषण (लेटेंट नॉइज़ के माध्यम से) को स्थानीय शोधन (रेसिडुअल के माध्यम से) से अलग करके, RFS पॉलिसियों को सक्षम बनाता है:

प्री-ट्रेनिंग को सुरक्षित रखना: प्री-ट्रेन की गई फ्लो-मैचिंग पॉलिसी की अभिव्यंजक संरचना और मल्टीमॉडल क्षमताओं को बनाए रखना।
कुशलता से अनुकूलित करना: न्यूनतम वास्तविक दुनिया इंटरैक्शन डेटा (ऑफलाइन फाइन-ट्यूनिंग) के साथ मजबूत प्रदर्शन प्राप्त करना।
सामान्यीकरण करना: सिमुलेशन से वास्तविक दुनिया में सफलतापूर्वक स्थानांतरण करना, उन नवीन वस्तुओं और गतिशील स्थितियों को संभालना जिनके कारण ज़ीरो-शॉट पॉलिसियाँ विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि RFS अत्यधिक प्रभावी है, वर्तमान सीमाओं में पॉइंट-क्लाउड ऑब्जर्वेशन पर निर्भरता (उच्च-स्तरीय सिमेंटिक रीजनिंग की कमी) और ऑफलाइन फाइन-ट्यूनिंग तक सीमित होना शामिल है, जो परिनियोजन के दौरान गतिशील रूप से बदलती स्थितियों के प्रति प्रतिक्रियाशीलता को सीमित करता है।