🤖 AI

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ एक ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो संरचित क्रिया वरीयताओं (structured action preferences) को सीखने के लिए समान निराशावाद (uniform pessimism) को एक स्व-पर्यवेक्षित बहु-पद रैंकिंग हानि (self-supervised multi-term ranking loss) से प्रतिस्थापित करके नमूना दक्षता और नीति प्रदर्शन में सुधार करती है, जो स्पार्स रिवॉर्ड बेंचमार्क पर उत्कृष्ट परिणाम और विजन-आधारित रोबोट लर्निंग में महत्वपूर्ण सिम-टू-रियल ट्रांसफर लाभ प्रदर्शित करती है।

मूल लेखक: Andrew Choi, Wei Xu

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrew Choi, Wei Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को बिना नुकसान पहुँचाए सिखाना

कल्पना कीजिए कि आप एक रोबोट को ब्लॉक (blocks) सजाना सिखाना चाहते हैं। आपके पास दो विकल्प हैं:

ऑनलाइन लर्निंग (Online Learning): रोबोट को कोशिश करने दें, असफल होने दें, टकराने दें और शून्य से सीखने दें। यह धीमा, खतरनाक और महंगा है (जैसे किसी बच्चे को कार चलाना सिखाने के लिए उसे सड़क पर उतार देना)।
ऑफलाइन लर्निंग (Offline Learning): रोबोट को किसी और को यह काम करते हुए दिखाने वाला वीडियो दिखाएं। रोबोट उस वीडियो से सीखता है लेकिन असली ब्लॉक्स को कभी छूता नहीं है। यह तेज़ और सुरक्षित है, लेकिन रोबोट बुरी आदतें सीख सकता है यदि वीडियो हिलता हुआ था या यदि वीडियो में दिख रहा व्यक्ति गलतियाँ कर रहा था।

RankQ एक नया तरीका है जो इन दोनों का सबसे अच्छा संगम पाने की कोशिश करता है। यह रोबोट को पहले वीडियो से सीखने देता है (Offline), और फिर इसे बेहतर होने के लिए वास्तविक दुनिया में अभ्यास करने देता है (Online)। समस्या यह है कि जब रोबोट अभ्यास करना शुरू करता है, तो वह अक्सर अपनी ही गलतियों या वीडियो के खराब हिस्सों से भ्रमित हो जाता है। RankQ रोबोट को केवल याद करने के बजाय, कार्यों को रैंक (rank) करना सिखाकर इस समस्या को ठीक करता है।

समस्या: "निराशावादी" कोच (The "Pessimist" Coach)

पिछले तरीकों (जैसे CQL और Cal-QL) ने "खराब वीडियो" वाली समस्या को हल करने के लिए एक निराशावादी कोच की तरह काम करने की कोशिश की।

वे कैसे काम करते थे: वे रोबोट से कहते थे, "जो कुछ भी तुमने वीडियो में नहीं देखा है, वह शायद खतरनाक है। इसलिए, यदि तुम कुछ नया करने की कोशिश करते हो, तो हम तुम्हें भारी दंड देंगे।"
खामी: यह तब अच्छा काम करता है जब वीडियो में बेहतरीन चालें दिखाई गई हों। लेकिन क्या होगा यदि वीडियो गलतियों से भरा हो? निराशावादी कोच कहता है, "कुछ भी नया मत करो क्योंकि वीडियो कहता है कि सब कुछ बुरा है।" यह रोबhel को कभी सुधार करने से रोक देता है। वह वीडियो में देखी गई बिल्कुल वैसी ही औसत दर्जे की चालें दोहराते हुए फंस जाता है, भले ही वह इससे बेहतर कर सकता हो।

समाधान: "रैंकिंग" कोच (RankQ)

RankQ कोचिंग के तरीके को बदल देता है। एक निराशावादी जो नई चीजों को दंडित करता है, के बजाय RankQ एक स्मार्ट रैंकिंग कोच की तरह काम करता है।

यह कहने के बजाय कि "नई चीजें बुरी हैं," यह कहता है, "चलो तुलना करते हैं। क्या यह नई चाल वीडियो में मौजूद चीज़ों से बेहतर है या बदतर?"

यहाँ बताया गया है कि RankQ रोबोट को कार्यों को रैंक करना कैसे सिखाता है:

सफलता बनाम विफलता (Success vs. Failure): यह वीडियो को देखता है और "अच्छी चालों" (सफलताओं) को "बुरी चालों" (विफलताओं) से अलग करता है।
"शोर" परीक्षण (The "Noise" Test): यह वीडियो से एक "अच्छी चाल" लेता है और उसमें थोड़ा सा बदलाव करता है (जैसे थोड़ा सा स्टैटिक शोर जोड़ना)। यह रोबोट को सिखाता है: "मूल सटीक चाल इस थोड़ी सी बिगड़ी हुई वर्शन से बेहतर है।"
"अराजकता" परीक्षण (The "Chaos" Test): यह एक "अच्छी चाल" लेता है और उसे बहुत अस्त-व्यस्त या रैंडम बना देता है। यह रोबोट को सिखाता है: "थोड़ी सी बिगड़ी हुई वर्शन अभी भी इस पूरी अराजकता से बेहतर है।"
"विफलता" परीक्षण (The "Failure" Test): भले ही वीडियो में कोई विफलता दिखाई गई हो, RankQ रोबोट को सिखाता है कि वीडियो की एक "बुरी चाल" भी पूरी तरह से रैंडम, मनगढ़ंत चाल से बेहतर है।

जादू: इन सापेक्ष रैंकिंग (relative rankings) को सीखकर, रोबोट एक मानसिक मानचित्र (एक "Q-landscape") बनाता है। इस मानचित्र पर, "अच्छी चालें" एक पहाड़ी के शिखर पर हैं, और "बुरी चालें" एक घाटी में हैं।

जब रोबोट एक नया कार्य करता है, तो उसे केवल "हाँ/नहीं" का उत्तर नहीं मिलता। उसे एक दिशा मिलती है।
गणित रोबोट को बताता है: "तुम यहाँ हो। शिखर (सफलता) तक पहुँचने के लिए, तुम्हें इस दिशा में आगे बढ़ना होगा।"

यह रोबोट को खराब वीडियो डेटा की "घाटी" से बाहर निकलने और ब्लॉक सजाने के नए, बेहतर तरीके खोजने की अनुमति देता है, भले ही मूल वीडियो गलतियों से भरा हो।

उन्होंने क्या टेस्ट किया (परिणाम)

शोधकर्ताओं ने दो प्रकार की चुनौतियों पर इसका परीक्षण किया:

1. "वीडियो गेम" टेस्ट (D4RL बेंचमार्क)

उन्होंने रोबोट सिमुलेशन कार्यों (जैसे एक चींटी जो भूलभुलैया में घूम रही है या एक हाथ जो पेन चला रहा है) का उपयोग किया।

परिणाम: RankQ ने सात अन्य शीर्ष तरीकों के बराबर या उनसे बेहतर प्रदर्शन किया। यह विशेष रूप रूप से उन कठिन भूलभुलैया को हल करने में अच्छा था जहाँ अन्य रोबोट फंस जाते थे।

2. "असली रोबोट" टेस्ट (Vision-Language-Action Models)

यह सबसे बड़ा परीक्षण है। उन्होंने एक परिष्कृत AI मॉडल (एक VLA) का उपयोग किया जो "देख" सकता है और भाषा के निर्देशों को "समझ" सकता है।

कम डेटा परिदृश्य (Low Data Scenario): उन्होंने रोबोट को अभ्यास के लिए बहुत कम डेटा (केवल 200 प्रयास) दिया।
- अन्य तरीके: रुक गए। वे बहुत डर के कारण सुधार नहीं कर सके।
- RankQ: सफल रहा। इसने अगले सबसे अच्छे तरीके की तुलना में सफलता दर में 42.7% का सुधार किया। इसने क्यूब्स को सजाने और चम्मचों को कटोरे में रखने के काम को बहुत बेहतर ढंग से सीखा।
उच्च डेटा परिदृश्य (High Data Scenario): उन्होंने रोबोट को बहुत सारा डेटा (800 प्रयास) दिया और कई अलग-अलग लाइटिंग स्थितियों और कैमरा एंगल का अनुकरण किया।
- परिणाम: RankQ अभी भी सबसे तेज़ और सबसे सफल था। इसने प्रतिस्पर्धा की तुलना में 25.7% तेज़ी से कार्य पूरे किए।
वास्तविक दुनिया में स्थानांतरण (Real World Transfer): वे कंप्यूटर सिमुलेशन में प्रशिक्षित रोबोट को एक असली भौतिक रोबोट पर ले गए, जो एक वास्तविक लैब में है।
- RankQ से पहले: रोबोट केवल 43.1% बार क्यूब को सजा पाता था।
- RankQ के बाद: रोबोट ने क्यूब को 84.7% बार सफलतापूर्वक सजाया।

निष्कर्ष (The Takeaway)

RankQ को एक ऐसे तरीके के रूप में देखें जो रोबोट को केवल यह नहीं सिखाता कि क्या करना है, बल्कि यह भी सिखाता है कि वह जो कर रहा है उसका आकलन कैसे करना है।

सिर्फ एक स्क्रिप्ट का आँख मूँदकर पालन करने या नई चीज़ें आज़माने से डरने के बजाय, RankQ रोबोट को एक दिशा-सूचक (compass) देता है। यह रोबोट को समझने में मदद करता है कि "विफलता से थोड़ा बेहतर होना" भी एक कदम ऊपर की ओर है, और "पूर्णता" ही लक्ष्य है। यह रोबोट को अपूर्ण डेटा से तेजी से सीखने और वास्तविक दुनिया में अभ्यास शुरू करने पर तेजी से सुधार करने की अनुमति देता है।

तकनीकी सारांश: RankQ - स्व-पर्यवेक्षित एक्शन रैंकिंग के माध्यम से ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण

ऑफलाइन-टू-ऑनलाइन सुदृढीकरण शिक्षण (RL) का लक्ष्य पूर्व-संग्रहित डेटासेट का उपयोग करके ऑनलाइन इंटरेक्शन में शामिल होने से पहले ऑनलाइन इंटरेक्शन के माध्यम से नमूना दक्षता (sample efficiency) में सुधार करना है। इस प्रतिमान (paradigm) में एक प्राथमिक चुनौती बड़े स्टेट-एक्शन स्पेस में एक सटीक क्रिटिक (वैल्यू फंक्शन) सीखना है जहाँ डेटासेट कवरेज सीमित होता है। मौजूदा विधियाँ आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्रियाओं के लिए वैल्यू ओवरएस्टिमेशन को संबोधित करने के लिए पेसिमिज्म (pessimism/निराशावाद) लागू करती हैं, जो प्रभावी रूप से डेटासेट की क्रियाओं के सापेक्ष OOD क्रियाओं को कम महत्व देती हैं (जैसे, कंजर्वेटिव Q-लर्निंग [3] और कैलिब्रेटेड Q-लर्निंग [2])।

जबकि पेसिमिज्म ट्रेनिंग को स्थिर करता है, पेपर का तर्क है कि यह एक "बिहेवियर क्लोनिंग एंकर" के रूप में कार्य करता है। अनदेखी क्रियाओं को समान रूप से दंडित करके, ये विधियाँ नीति (policy) को डेटा वितरण की ओर झुका देती हैं। यह तब समस्याग्रस्त हो जाता है जब ऑफलाइन डेटासेट में उप-इष्टतम (suboptimal) या विफलता वाले प्रक्षेपवक्र (trajectories) होते; पेसिमिज्म का प्रतिबंध उन संभावित रूप से बेहतर क्रियाओं की खोज को बाधित कर सकता है जो डेटा में मौजूद नहीं थीं, जिससे डाउनस्ट्रीम ऑनलाइन पॉलिसी सुधार में बाधा आती है। मुख्य प्रश्न जो संबोधित किया गया है वह यह है कि बिना समान पेसिमिज्म पर निर्भर हुए, प्रभावी ऑनलाइन सुधार के लिए वैल्यू फंक्शन को डेटासेट से परे कैसे आकार दिया जाए।

कार्यप्रणाली: RankQ

लेखक RankQ का प्रस्ताव करते हैं, जो एक ऑफलाइन-टू-ऑनलाइन Q-लर्निंग ऑब्जेक्टिव है जो मानक टेम्पोरल-डिफरेंस (TD) लर्निंग को एक स्व-पर्यवेक्षित मल्टी-टर्म रैंकिंग लॉस के साथ जोड़ता है। OOD क्रियाओं को समान रूप से दंडित करने के बजाय, RankQ एक संरचित क्रम (structured ordering) को लागू करने के लिए क्रियाओं की सापेक्ष गुणवत्ता को स्पष्ट रूप से मॉडल करता है।

मुख्य तंत्र

यह विधि डेटासेट $D$ को सफलता ( $D_{success}$ ) और विफलता ( $D_{failure}$ ) प्रक्षेपपथों में विभाजित करती है। यह युग्म-वार रैंकिंग बाधाएं (pairwise ranking constraints) बनाने के लिए विशिष्ट उप-इष्टतम क्रियाओं के वर्ग बनाता है:

नॉइजी क्रियाएं ( $a_\epsilon$ ): $a + \epsilon$ , जहाँ $\epsilon \sim \mathcal{N}(0, \sigma)$ ।
बहुत नॉइजी क्रियाएं ( $a_{2\epsilon}$ ): $a + 2\epsilon$ ।
रैंडम क्रियाएं ( $a_r$ ): यूनिफॉर्मली सैम्पल की गई क्रियाएं।
परम्यूटेड क्रियाएं ( $a_p$ ): असंबंधित अवस्थाओं (states) से सैम्पल की गई क्रियाएं।

RankQ लॉस निम्नलिखित संरचित क्रम को लागू करता है:

सफलता प्राथमिकता (Success Preference): सफल ट्रांजिशन के लिए, इष्टतम क्रिया का Q-वैल्यू सभी उप-इष्टतम वेरिएंट्स से अधिक होना चाहिए: $Q(s, a) > Q(s, a')$ जहाँ $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$ ।
उप-इष्टतम क्रियाओं के बीच सापेक्ष गुणवत्ता: विधि इष्टतम क्रिया की निकटता के आधार पर एक पदानुक्रम लागू करती है: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$ । यह सुनिश्चित करता है कि Q-लैंडस्केप ग्रेडिएंट्स ( $\partial Q/\partial a$ ) केवल डेटासेट से दूर जाने के बजाय उच्च-गुणवत्ता वाले क्षेत्रों की ओर निर्देशित हों।
विफलता पर्यवेक्षण (Failure Supervision): विफलता प्रक्षेपपथों के लिए, विधि यह लागू करती है कि डेटासेट क्रिया अभी भी रैंडम क्रियाओं की तुलना में बेहतर है ( $Q(s, a) > Q(s, a_r)$ ), लेकिन सापेक्ष गुणवत्ता की सार्थक धारणा की कमी के कारण मजबूत ऑर्डरिंग बाधाएं लगाने से बचती है।

अंतिम ऑब्जेक्टिव इन रैंकिंग लॉस को मानक TD लॉस के साथ जोड़ता है:
$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$

प्रमुख योगदान

बेंचमार्क प्रदर्शन: RankQ चार antmaze और तीन adroit स्पार्स-रिवॉर्ड वातावरणों में D4RL बेंचमार्क में सात पूर्ववर्ती विधियों (CQL, Cal-QL और हाइब्रिड RL सहित) के मुकाबले प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करता है।
लो-डेटा VLA फाइन-ट्यूनिंग: एक चुनौतीपूर्ण लो-डेटा रिजीम (200 ऑफलाइन रोलआउट, प्रति अपडेट 8 ऑनलाइन रोलआउट) में, RankQ एकमात्र ऐसी विधि है जो बेसलाइन विजन-लैंग्वेज-एक्शन (VLA) मॉडल में महत्वपूर्ण सुधार करता है। यह तीन मैनिपुलेशन कार्यों (carrot-on-plate, cube-stacking, spoon-into-bowl) में अगले सर्वश्रेष्ठ मेथड की तुलना में औसतन 42.7% अधिक सफलता दर प्राप्त करता है।
हाई-डेटा प्रदर्शन और सिम-टू-रियल ट्रांसफर: व्यापक डोमेन रैंडमाइजेशन के साथ हाई-डेटा सेटिंग में, RankQ अगले सर्वश्रेष्ठ मेथड की तुलना में सिमुलेशन सफलता दर में 13.7% और कार्य पूर्णता गति में 25.7% का सुधार करता है। महत्वपूर्ण रूप से, यह सफल सिम-टू-रियल ट्रांसफर प्रदर्शित करता है, जो प्रारंभिक VLA प्रदर्शन की तुलना में वास्तविक दुनिया के क्यूब स्टैकिंग सफलता को 43.1% से बढ़ाकर 84.7% कर देता है।
Q-लैंडस्केप का विश्लेषण: लेखक विस्तृत विश्लेषण प्रदान करते हैं जो दिखाते हैं कि RankQ Q-वैल्यू लैंडस्केप को इस तरह आकार देता है कि एक्शन ग्रेडिएंट्स उच्च-गुणवत्ता वाले व्यवहारों की ओर निर्देशित होते हैं, जिससे CQL और Cal-QL में देखे गए अनबाउंडेड पेसिज्म और अत्यधिक ग्रेडिएंट स्पाइक्स से बचा जा सके।

प्रयोगात्मक परिणाम

D4RL बेंचमार्क: RankQ आसान कार्यों (जैसे antmaze-medium, adroit-pen) पर सबसे मजबूत बेसलाइन्स के बराबर प्रदर्शन करता है और antmaze-large और adroit-relocate जैसे कठिन, लॉन्ग-होरिजन कार्यों पर सभी बेसलाइन्स को पछाड़ देता है, जहाँ अन्य विधियाँ अक्सर सार्थक नीतियां सीखने में विफल रहती हैं।
VLA लो-डेटा: केवल 800 कुल ऑनलाइन रोलआउट के साथ, RankQ लगातार अपनी इमिटेशन बेसलाइन से आगे बढ़ता है, जबकि अन्य विधियां (CQL, Cal-QL, SAC+OFF) काफी हद तक अपने प्रारंभिक प्रदर्शन के पास ही रुक जाती हैं।
VLA हाई-डेटा और सिम-टू-रियल: RankQ-प्रशिक्षित नीतियां न केवल उच्च सफलता दर प्राप्त करती हैं बल्कि कार्यों को तेजी से भी निष्पादित करती हैं (लगभग 8 सेकंड बनाम बेसलाइन्स के लिए 10.5–12.5 सेकंड)। वास्तविक दुनिया के परीक्षणों में, RankQ नीति ने क्यूब स्टैकिंग की सफलता दर को 144 परीक्षणों में 43.1% से बढ़ाकर 84.7% कर दिया, साथ ही निष्पादन समय में भिन्नता (variance) को भी कम किया।

महत्व और दावे

पेपर का दावा है कि स्पष्ट रूप से सापेक्ष एक्शन ऑर्डरिंग को मॉडल करना अत्याधुनिक ऑफलाइन-टू-ऑनलाइन विधियों द्वारा उपयोग किए जाने वाले यूनिफॉर्म पेसिज्म का एक प्रभावी विकल्प प्रदान करता है। Q-फंक्शन को आकार देकर ताकि एक्शन ग्रेडिएंट्स को केवल अनदेखी क्रियाओं को दबाने के बजाय उच्च-गुणवत्ता वाले व्यवहारों की ओर निर्देशित किया जा सके, RankQ दोनों ऑफलाइन प्रीट्रेनिंग और ऑनलाइन फाइन-ट्यूनिंग के दौरान प्रभावी नीति सुधार को सक्षम बनाता है।

लेखकों का सुझाव है कि यह दृष्टिकोण विशेष रूप से स्पार्स-रिवॉर्ड और लो-डेटा सेटिंग्स में मूल्यवान है, जहाँ पेसिमिस्टिक विधियां अत्यधिक प्रतिबंधात्मक हो सकती हैं और प्रचुर मात्रा में विफलता डेटा से सीखने के संकेतों को निकालने में विफल हो सकती हैं। RankQ नीति का सफल सिम-टू-रियल ट्रांसफर यह दर्शाता है कि स्ट्रक्चर्ड वैल्यू शेपिंग, प्रभावी ऑफलाइन-टू-ऑनलाइन RL और वास्तविक दुनिया के रोबोट लर्निंग को सुगम बना सकता है, भले ही प्रारंभिक डेटासेट उप-इष्टतम या विफलता वाले प्रक्षेपपथों से प्रधान हो।