🤖 AI

Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment

यह शोध पत्र स्टाइल-कंडीशन्ड इम्प्लिसिट क्यू-लर्निंग (SCIQL) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो व्यवहार शैली परिभाषा को एकीकृत करता है और ऑफलाइन गोल्स-कंडीशन्ड आरएल तकनीकों को गेटेड एडवांटेज वेटेड रिग्रेशन के साथ नियोजित करता है ताकि ऑफलाइन रिइन्फोर्समेंट लर्निंग में उच्च कार्य प्रदर्शन को मजबूत शैली पर्यवेक्षण के साथ प्रभावी ढंग से संरेखित किया जा सके।

मूल लेखक: Mathieu Petitbois, Rémy Portelas, Sylvain Lamprier

प्रकाशित 2026-06-30

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mathieu Petitbois, Rémy Portelas, Sylvain Lamprier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना या दौड़ना सिखा रहे हैं। आमतौर पर, हम बस चाहते हैं कि रोबोट जीते या फिनिश लाइन तक जितनी जल्दी हो सके पहुँचे। लेकिन क्या होगा अगर आप चाहते हैं कि वह इसे एक खास तरीके से करे? शायद आप चाहते हैं कि वह चीते की तरह दौड़े, या एक कांपते हुए, कलात्मक हाथ से गोला बनाए, या एक नर्तकी की तरह खूबसूरती से चले।

यह पेपर एक बहुत ही विशिष्ट समस्या पर काम करता है: हम एक रोबोट को दूसरे रोबोट के पुराने, रिकॉर्ड किए गए वीडियो का उपयोग करके, बिना वास्तविक दुनिया में अभ्यास किए, एक विशिष्ट "शैली" (style) के साथ कार्य कैसे सिखा सकते हैं?

यहाँ उनके समाधान, SCIQL का विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।

समस्या: "शैली बनाम कौशल" का संघर्ष (The "Style vs. Skill" Conflict)

लेखक इस क्षेत्र में तीन बड़ी समस्याओं की पहचान करते हैं:

"शैली" को परिभाषित करना कठिन है: क्या "शैली" पूरा वीडियो है? या केवल कुछ सेकंड? यदि आप पूरे 10 मिनट के वीडियो को "आक्रामक" लेबल करते हैं, लेकिन रोबोट 9 मिनट तक शांत था और 1 मिनट के लिए आक्रामक था, तो लेबल भ्रमित करने वाला है। लेखक तर्क देते हैं कि शैली छोटे दौरों (sub-trajectories) में होती है, जैसे कि एक एकल नृत्य मुद्रा या एक विशिष्ट मोड़।
"गायब पहेली के टुकड़ों" की समस्या (डिस्ट्रीब्यूशन शिफ्ट): कल्पना कीजिए कि आपके पास व्यंजनों की एक कुकबुक है। आप "स्पाइसी इटालियन" खाना बनाना सीखना चाहते हैं। लेकिन आपकी कुकबुक में केवल लोगों को खाना खाते हुए दिखाया गया है, सामग्री नहीं। यदि आप खाना बनाने की कोशिश करते हैं, तो हो सकता है कि आपके पास पास्ता खत्म हो जाए या आप गलत सॉस का उपयोग करें क्योंकि किताब ने आपको यह नहीं दिखाया कि वहां तक कैसे पहुँचा जाए, केवल अंतिम प्लेट कैसी दिखती है, यह दिखाया। AI के संदर्भ में, रोबोट ऐसी स्थिति में जा सकता है जो उसने पहले कभी नहीं देखी (जैसे तेज दौड़ने की कोशिश में लड़खड़ाना) और उसे पता नहीं चलेगा कि कैसे संभला जाए क्योंकि वह विशिष्ट "लड़खड़ाने और दौड़ने" वाला क्षण प्रशिक्षण वीडियो में नहीं था।
शैली बनाम प्रदर्शन: अक्सर, स्टाइलिश होने से आप धीमे हो जाते हैं। एक रोबोट जो दौड़ते समय नृत्य करता है, वह उस रोबोट से धीमा होगा जो बस स्प्रिंट करता है। पिछले तरीकों को चुनना पड़ता था: या तो स्टाइलिश बनें लेकिन कार्य में खराब, या कार्य में अच्छे बनें लेकिन उबाऊ। लेखक दोनों चाहते थे।

समाधान: SCIQL (स्टाइल-कंडीशन्ड इम्प्लिसिट Q-लर्निंग)

लेखकों ने SCIQL नामक एक नई विधि बनाई है। इसे एक स्मार्ट ट्यूटर के रूप में सोचें जो ऊपर दी गई समस्याओं को हल करने के लिए दो मुख्य तरकीबों का उपयोग करता है।

तरकीब 1: "विंडोड लेबलर" (परिभाषा को हल करना)

पूरे वीडियो को "तेज" लेबल करने के बजाय, वे एक स्लाइडिंग विंडो का उपयोग करते हैं। कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जिसमें एक आवर्धक लेंस (magnifying glass) है जो एक बार में केवल 5 सेकंड देखता है। वे उन 5 सेकंड को लेबल करते हैं: "यह हिस्सा तेज है," "यह हिस्सा धीमा है।"

यह कैसे मदद करता है: छोटे हिस्सों में शैली का आकलन करना आसान होता है। यह इंसानों (या सरल नियमों) के लिए इन लेबलों को बनाना सस्ता और आसान भी बनाता है, क्योंकि आपको निर्णय लेने के लिए पूरा वीडियो देखने की आवश्यकता नहीं होती है।

तरकीख 2: "गेटेड एडवांटेज" (शैली बनाम प्रदर्शन को हल करना)

यही मुख्य नवाचार है। वे एक तंत्र का उपयोग करते हैं जिसे वे गेटेड एडवांटेज वेटेड रिग्रेशन (GAWR) कहते हैं।

कल्पना कीजिए कि आप गाड़ी चलाना सीख रहे हैं।

"शैली" का संकेत: आपका इंस्ट्रक्टर कहता है, "हाथ 10 और 2 की स्थिति में रखें।"
"कार्य" का संकेत: आपका इंस्ट्रक्टर कहता है, "उस कार को पार करने के लिए गति बढ़ाएं।"

कभी-कभी ये आपस में टकराते हैं। यदि आप गति बढ़ाते हैं, तो हो सकता है कि आप 10 और 2 पर हाथ रखने की बात भूल जाएं।

GAWR एक स्मार्ट गेटकीपर की तरह कार्य करता है:

यदि रोबोट शैली (10 और 2 पर हाथ) के साथ अच्छा काम कर रहा है, तो गेट चौड़ा खुल जाता है, और रोबोट कार्य की सलाह (गति बढ़ाएं) को सुनता है।
यदि रोबोट शैली (हाथ फिसल रहे हैं) में विफल हो रहा है, तो गेट बंद हो जाता है। रोबोट "गति बढ़ाएं" की सलाह को अनदेखा कर देता है और पूरी तरह से हाथ की स्थिति को ठीक करने पर ध्यान केंद्रित करता है।

यह सुनिश्चित करता है कि रोबोट त्वरित इनाम पाने के लिए अपनी शैली का बलिदान कभी न करे। वह कार्य में तभी "बेहतर" होता है जब वह पहले से ही स्टाइलिश हो रहा हो।

तरकीब 3: "स्टिचिंग" और "रीलेबलिंग" (गायब टुकड़ों को हल करना)

"गायब पहेली के टुकड़ों" को संभालने के लिए, यह विधि गोल-कंडीशन्ड लर्निंग से एक तकनीक का उपयोग करती है। यह एक वीडियो को एडिट करने जैसा है।

यदि प्रशिक्षण डेटा में "दौड़ना शुरू करने" का एक क्लिप है और "तेज दौड़ने" का एक अलग क्लिप है, लेकिन बीच के ट्रांजिशन का कोई क्लिप नहीं है, तो AI उन्हें एक साथ जोड़ने (stitch) के लिए सीखता है।
यह "हिंडसाइट रीलेबलिंग" का भी उपयोग करता है। यदि रोबोट तेज दौड़ने में विफल रहता है, तो AI पीछे मुड़कर देखता है और कहता है, "खैर, आपने तेज नहीं दौड़ा, लेकिन आपने अच्छी तरह से रेंगना (crawl) सीखा। आइए इस हिस्से को 'रेंगना' के रूप में लेबल करें ताकि हम इससे सीख सकें।" यह रोबट को गलतियों से सीखने और डेटा के अंतराल को भरने में मदद करता है।

परिणाम

लेखकों ने कई कार्यों पर इसका परीक्षण किया:

Circle2D: विभिन्न गति और शैलियों के साथ वृत्त बनाना।

HalfCheetah: एक रोबोट चीता अलग-अलग चालों (रेंगना, सामान्य, सीधा खड़ा होना) के साथ दौड़ना।

HumEnv: एक ह्यूमनॉइड रोबोट अलग-अलग तरीकों से चलना (खड़े होना, लेटना, तेज, धीमा)।

उन्होंने क्या पाया:

बेहतर शैली: SCIQL पिछले तरीकों की तुलना में अनुरोधित शैली का पालन करने में बहुत बेहतर था।

बेहतर प्रदर्शन: "गेटेड" तंत्र के कारण, रोबोट केवल स्टाइलिश ही नहीं दिखे; उन्होंने वास्तव में पिछले तरीकों की तुलना में कार्य (जैसे दूर तक दौड़ना या सटीक रूप से चित्र बनाना) को बेहतर ढंग से किया, जहाँ समझौता करना पड़ता था।

मजबूती (Robustness): भले ही डेटा अव्यवस्थित या अधूरा था, SCIQL शैली बनाए रखने के लिए व्यवहारों को "स्टिच" करने में सक्षम था।

सरल शब्दों में

SCIQL को एक सख्त लेकिन निष्पक्ष डांस कोच के रूप में सोचें।

पुराने तरीके: कहेंगे, "बस अच्छा दिखो!" (शैली) या "बस सुरों को हिट करो!" (कार्य)। छात्र या तो शानदार दिखेंगे लेकिन ताल चूक जाएंगे, या हर सुर को सही हिट करेंगे लेकिन अजीब दिखेंगे।

SCIQL: कहता है, "पहले, सुनिश्चित करें कि आपकी मुद्रा (posture) एकदम सही है (शैली)। केवल यदि आपकी मुद्रा सही है, तभी मैं आपको अगला सुर तेजी से बजाने के लिए कहूंगा (कार्य)। यदि आपकी मुद्रा बिगड़ती है, तो गति की चिंता करना छोड़ दें और अपनी मुद्रा को ठीक करने पर ध्यान दें।"

इस "गेट" का उपयोग करके, रोबोट केवल पुराने वीडियो को संदर्भ के रूप में उपयोग करके, वास्तविक दुनिया में अभ्यास किए बिना, स्टाइलिश और कुशल दोनों होने का हुनर सीखता है।

तकनीकी सारांश: मजबूत शैली संरेखण के तहत उच्च-गुणवत्ता वाले व्यवहारों का ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning)

समस्या विवरण
यह शोध पत्र निश्चित ऑफलाइन डेटासेट (ऑफलाइन सुदृढीकरण शिक्षण) से शैली-सशर्त नीतियां (style-conditioned policies) सीखने की चुनौती को संबोधित करता है, जबकि साथ ही उच्च कार्य प्रदर्शन के लिए अनुकूलन भी करता है। लेखक मौजूदा साहित्य में तीन प्राथमिक चुनौतियों की पहचान करते हैं:

शैली परिभाषा (Style Definition): मौजूदा परिभाषाएं असतत प्रक्षेपवक्र लेबल (discrete trajectory labels) से लेकर अव्यsupervised क्लस्टर तक फैली हुई हैं, जो अक्सर खराब व्याख्यात्मकता, उच्च लेबलिंग लागत, या व्यवहारों की बहु-पैमाने वाली प्रकृति के कारण क्रेडिट असाइनमेंट (credit assignment) संबंधी समस्याओं से ग्रस्त होती हैं।

अवस्था-शैली वितरण विचलन (State-Style Distribution Shift): ऑफलाइन विधियां वितरण विचलन (distribution shift) से ग्रस्त होती हैं। शैली कंडीशनिंग जोड़ने से यह समस्या और बढ़ जाती है, क्योंकि एजेंट अनुमान (inference) के दौरान आउट-ऑफ-डिस्ट्रीब्यूशन अवस्था-शैली विन्यास का सामना कर सकता है, जिसमें पर्यावरण के साथ अंतःक्रिया के बिना पुन: अंशांकन (recalibrate) करने की क्षमता का अभाव होता है।

कार्य-शैली मिसअलाइनमेंट (Task-Style Misalignment): कार्य प्रदर्शन (जैसे गति) के लिए अनुकूलन अक्सर शैली संरेखण (जैसे विशिष्ट चाल/gait) के साथ संघर्ष करता है। पिछले तरीकों ने या तो शैली संरेखण के लिए प्रदर्शन से समझौता किया है या कार्य को अनुकूलित करते समय मजबूत संरेखण बनाए रखने में विफल रहे हैं।

कार्यप्रणाली (Methodology)
लेखक स्टाइल-कंडीशन्ड इम्प्लिसिट Q-लर्निंग (SCIQL) प्रस्तावित करते हैं, जो गोल-कंडीशन्ड सुदृढीकरण शिक्षण (GCRL) को शैली संरेखण के लिए सामान्यीकृत करता है।

डेटा प्रोग्रामिंग के माध्यम से शैली परिभाषा: व्याख्यात्मकता और लेबलिंग लागत को संबोधित करने के लिए, लेखक पूर्ण प्रक्षेपवक्र के बजाय सब-ट्रैजेक्टरी विंडोज़ (subtrajectory windows) पर लागू स्पष्ट लेबलिंग फंक्शन $\lambda$ का उपयोग करके शैली को परिभाषित करते हैं। यह बहु-पैमाने वाले व्यवहारों को कैप्चर करता है और क्रेडिट असाइनमेंट की समस्याओं को कम करता है। डेटासेट $\mathcal{D}$ को इस तरह एनोटेट किया गया है कि प्रत्येक अवस्था-क्रिया युग्म $(s_t, a_t)$ को आसपास की विंडो की शैली के आधार पर लेबल किया गया है।

सरोगेट मार्कोवियन स्टाइल ऑब्जेक्टिव: प्रत्यक्ष शैली संरेखण का अनुकूलन गैर-मार्कोवियन (non-Markovian) है। लेखक एक सरोगेट मार्कोवियन रिवॉर्ड $r^\lambda_D(s, a, z) = p^{\pi_D}_\lambda(z | s, a)$ का निर्माण करते हैं, जिसे एनोटेटेड डेटासेट से अनुमानित किया जाता है। यह शैली संरेखण की समस्या को एक मानक ऑफलाइन RL अनुकूलन समस्या में बदल देता है।

SCIQL एल्गोरिदम: IQL पर आधारित, SCIQL एक्सपेक्टाइल रिग्रेशन (expectile regression) का उपयोग करके स्टाइल-कंडीशन्ड वैल्यू फंक्शन $V^\lambda$ और $Q^\lambda$ सीखता है। महत्वपूर्ण रूप से, यह वितरण विचलन को संभालने और उन शैलियों के लिए दीर्घकालिक निर्णय लेने में सक्षम बनाने के लिए स्टाइल रीलेबलिंग (प्रशिक्षण के दौरान वर्तमान अवस्था-क्रिया युग्म से स्वतंत्र रूप से शैली लेबल $z$ का नमूना लेना) और ट्रैजेक्टरी स्टिचिंग (trajectory stitching) का उपयोग करता है।

गेटेड एडवांटेज वेटेड रिग्रेशन (GAWR): कार्य प्रदर्शन और शैली संरेखण को संयुक्त रूप से अनुकूलित करने के लिए, लेखक GAWR पेश करते हैं। केवल कार्य और शैली के एडवांटेज को जोड़ने के बजाय, GAWR कार्य एडवांटेज $A^r$ के लिए गेट के रूप में स्टाइल एडवांटेज $A^\lambda$ का उपयोग करता है। गेटेड एडवांटेज को इस प्रकार परिभाषित किया गया है:
$\xi(A^\lambda, A^r)(s, a, z) = A^\lambda(s, a, z) + \sigma(A^\lambda(s, a, z)) \cdot A^r(s, a)$
जहाँ $\sigma$ सिग्मॉइड फंक्शन है। यह तंत्र सुनिश्चित करता है कि कार्य प्रदर्शन सुधारों को केवल तभी प्राथमिकता दी जाए जब वे शैली संरेखण को महत्वपूर्ण रूप से नुकसान न पहुँचाएँ (अर्थात, जब स्टाइल एडवांटेज सकारात्मक हो)।

मुख्य योगदान

GCRL के एक सामान्यीकरण के रूप में शैलीकृत नीति शिक्षण की एक सामान्य परिभाषा।

व्याख्यात्मक शैलियों को कम लेबलिंग लागत के साथ परिभाषित करने के लिए सब-ट्रैजेक्टरी लेबलिंग फंक्शन का उपयोग करने वाला एक सुपरवाइज्ड डेटा-प्रोग्रामिंग ढांचा।

SCIQL एल्गोरिदम, जो मजबूत शैली संरेखण के लिए ऑफलाइन गोल-कंडीशन्ड RL तकनीकों (हिंडसाइट रीलेबलिंग, वैल्यू लर्निंग) का लाभ उठाता है।

GAWR तंत्र, जो शैली और कार्य उद्देश्यों के बीच संघर्ष को प्रबंधित करने के लिए एडवांटेज फंक्शन का उपयोग गेट के रूप में करता है।

अनुभवजन्य प्रदर्शन कि SCIQL पूर्ववर्ती ऑफलाइन विधियों की तुलना में शैली संरेखण और शैली-सशर्त कार्य प्रदर्शन दोनों में बेहतर प्रदर्शन करता है।

परिणाम
प्रयोग तीन वातावरणों पर किए गए: Circle2d (विभिन्न शैलियों के साथ वृत्त बनाना), HalfCheetah (विभिन्न चालों/गति के साथ लोकोमोशन), और HumEnv (विभिन्न मुद्राओं/गति के साथ ह्यूमनॉइड कंट्रोल)।

शैली संरेखण (Style Alignment): SCIQL ने BC, CBC, BCPMI और SORL सहित बेसलाइनों की तुलना में सभी डेटासेट्स पर उच्चतम शैली संरेखण स्कोर प्राप्त किया। उदाहरण के लिए, halfcheetah-vary-v0 पर, SCIQL ने 78.9% संरेखण प्राप्त किया, जबकि SCBC के लिए यह 31.7% और SORL के लिए 46.7% था।

कार्य प्रदर्शन (Task Performance): SCIQL ने उत्कृष्ट संयुक्त प्रदर्शन प्रदर्शित किया। शैली संरेखण और कार्य प्रदर्शन के बीच पारेटो फ्रंटियर (Pareto frontier) का मूल्यांकन करने के लिए हाइपरवॉल्यूम (HV) मेट्रिक्स का उपयोग करते हुए, SCIQL ने विभिन्न वातावरणों में SORL पर +41% से +163% का सुधार दिखाया।

GAWR प्रभावकारिता: GAWR के समावेश ने SCIQL को उच्च शैली संरेखण बनाए रखते हुए कार्य प्रदर्शन स्कोर बढ़ाने की अनुमति दी, जबकि केवल कार्य प्रदर्शन को प्राथमिकता देने वाली विधियों में संरेखण में महत्वपूर्ण गिरावट देखी गई।

महत्व
यह शोध पत्र दावा करता है कि यह एक व्यावहारिक ढांचा प्रदान करता है जो बिना किसी अतिरिक्त पर्यावरण अंतःक्रिया के मजबूत शैली संरेखण प्राप्त करता है। शैली संरेखण को एक गोल-कंडीशन्ड समस्या के रूप में फ्रेम करके और शैली एवं कार्य उद्देश्यों के बीच संघर्ष को प्रबंधित करने के लिए GAWR का उपयोग करके, SCIQL मौजूदा विविध नीति शिक्षण विधियों के लिए अधिक नियंत्रणीय और उच्च-प्रदर्शन वाला विकल्प प्रदान करता है। लेखक जटिल शैली व्यवहारों के लिए महत्वपूर्ण दीर्घकालिक निर्णय लेने और ट्रैजेक्टरी स्टिचिंग को संभालने की इसकी क्षमता पर जोर देते हैं।

समस्या: "शैली बनाम कौशल" का संघर्ष (The "Style vs. Skill" Conflict)

समाधान: SCIQL (स्टाइल-कंडीशन्ड इम्प्लिसिट Q-लर्निंग)

तरकीब 1: "विंडोड लेबलर" (परिभाषा को हल करना)

तरकीख 2: "गेटेड एडवांटेज" (शैली बनाम प्रदर्शन को हल करना)

तरकीब 3: "स्टिचिंग" और "रीलेबलिंग" (गायब टुकड़ों को हल करना)

परिणाम

सरल शब्दों में

इसी तरह के और पेपर