🤖 machine learning

PAWS: Preference Learning with Advantage-Weighted Segments

PAWS एक प्राथमिकता-आधारित सुदृढीकरण लर्निंग (preference-based reinforcement learning) विधि है जो नीति अपडेट के लिए सीधे सेगमेंट-स्तरीय एडवांटेज फंक्शनों का उपयोग करके मौजूदा दृष्टिकोणों में प्रशिक्षण-अनुमान विसंगति (training-inference mismatch) को हल करती है, जिससे प्रक्षेपवक्र-स्तरीय प्राथमिकता जानकारी सुरक्षित रहती है और रोबोटिक कार्यों में प्रदर्शन में उल्लेखनीय सुधार होता है।

मूल लेखक: Aleksandar Taranovic, Onur Celik, Niklas Freymuth, Ge Li, Serge Thilges, Huy Le, Tai Hoang, Rania Rayyes, Gerhard Neumann

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aleksandar Taranovic, Onur Celik, Niklas Freymuth, Ge Li, Serge Thilges, Huy Le, Tai Hoang, Rania Rayyes, Gerhard Neumann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "PAWS: Preference Learning with Advantage-Weighted Segments" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ समझाया गया है।

बड़ी समस्या: "ज़ूम-इन" की गलती

कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। रोबोट को रेसिपी (रिवॉर्ड फंक्शन) देने के बजाय, आप एक जज के रूप में कार्य करते हैं। आप खाना बनाने के दो अलग-अलग प्रयासों को देखते हैं और बस इतना कहते हैं, "मुझे दूसरा पसंद नहीं, पहला वाला बेहतर था।"

पुराना तरीका (मौजूदा विधियाँ):
वर्तमान विधियाँ यह समझने की कोशिश करती हैं कि आपको पहला व्यंजन क्यों पसंद आया। वे पूरी खाना बनाने की प्रक्रिया को एक एकल कहानी के रूप में देखती हैं, लेकिन फिर वे रोबोट द्वारा किए गए हर एक छोटे कार्य (प्याज काटना, बर्तन चलाना, पैनकेक पलटना) को एक "स्कोर" देने की कोशिश करती हैं।

पेपर का तर्क है कि यह एक गलती है। यह एक फिल्म देखने और फिर उसके हर एक फ्रेम के लिए "इमोशनल स्कोर" का अनुमान लगाने की कोशिश करने जैसा है।

मेल का अभाव (The Mismatch): आपने पूरे सेगमेंट (पूरे दृश्य/कहानी) पर फीडबैक दिया, लेकिन रोबोट व्यक्तिगत स्टेप्स (कदमों) से सीखने की कोशिश कर रहा है।
परिणाम: रोबोट भ्रमित हो जाता है। उसे लग सकता है कि प्याज काटने का बुरा तरीका ही समस्या थी, जबकि वास्तव में अच्छी तरह से बर्तन चलाने (stirring) ने डिश को बचा लिया था। क्योंकि फीडबैक पूरी कहानी के लिए था, लेकिन सीखना फ्रेम-दर-फ्रेम हो रहा है, इसलिए रोबोट गलत कार्यों को "क्रेडिट" दे देता है। इसे टेम्पोरल क्रेडिट असाइनमेंट प्रॉब्लम कहा जाता है।

समाधान: PAWS (द "चैप्टर" अप्रोच)

लेखकों ने PAWS नामक एक नई विधि प्रस्तावित की है। हर एक फ्रेम को स्कोर करने के बजाय, PAWS रोबोट को कहानी के अध्यायों (सेगमेंट्स) का मूल्यांकन करना और उनसे सीखना सिखाता है।

उपमा: पुस्तक समीक्षा (The Book Review)

पुराना तरीका: आप एक पूरी किताब पढ़ते हैं और कहते हैं, "यह किताब बहुत अच्छी है।" लेखक फिर यह अनुमान लगाने की कोशिश करता है कि किस एक शब्द ने किताब को महान बनाया। वह शायद "the" या "and" जैसे शब्द का अनुमान लगा सकता है, जो कि बेकार है।
PAWS विधि: आप एक पूरी किताब पढ़ते हैं और कहते हैं, "यह किताब बहुत अच्छी है।" लेखक फिर बेहतर अध्याय लिखना सीखता है। वह इस बात की चिंता नहीं करता कि कौन सा विशिष्ट शब्द सटीक था; वह इस पर ध्यान केंद्रित करता है कि पूरा दृश्य (scene) कैसे सफल बनाया जाए।

PAWS में, रोबोट इन पूरे अध्यायों के आधार पर एक "एडवांटेज फंक्शन" (गुणवत्ता को आंकने का एक तरीका) सीखता है। जब वह अपने व्यवहार को अपडेट करता है, तो वह एक समय में एक कदम नहीं देखता; वह पूरे सेगमेंट को देखता है और कहता है, "यह पूरा क्रम (sequence) अच्छा था, इसलिए मैं इस क्रम को और अधिक करूँगा।"

यह कैसे काम करता है (मैकेनिक्स)

जज को प्रशिक्षित करना: सिस्टम रोबोट के व्यवहारों के जोड़ों (सेगमेंट्स) को देखता है और सीखता है कि कौन सा बेहतर है। यह एक "जज" बनाता है जो एक पूरे अनुक्रम (sequence) को देख सकता है और उसे स्कोर दे सकता है।
"ट्रस्ट रीजन" (Trust Region): रोबोट को बताया जाता है, "आप अपना व्यवहार बदल सकते हैं, लेकिन इसे बहुत ज़्यादा न बदलें।" उसे उस डेटा के करीब रहना चाहिए जिसे उसने पहले ही देखा है, बस उसे थोड़ा बेहतर बनाने के लिए हल्का सा बदलाव करना है।
"प्रभावी नमूना आकार" (Effective Sample Size): यह "जज" पर कितना भरोसा करना है, यह तय करने के लिए एक चतुर तकनीक है।
- यदि आपके पास बहुत सारा डेटा है (कई उदाहरण), तो रोबलभ और केवल सबसे अच्छे उदाहरणों पर ध्यान केंद्रित कर सकता है (छोटा "प्रभावी नमूना आकार")।
- यदि आपके पास बहुत कम डेटा है, तो रोबोट को सावधान रहना चाहिए और गलतियाँ करने से बचने के लिए लगभग सभी उदाहरणों को देखना चाहिए (बड़ा "प्रभावी नमूना आकार")।
- उपमा: यदि आपके पास एक रेस्टोरेंट की 1,000 समीक्षाएं हैं, तो आप बुरे लोगों को अनदेखा कर सकते हैं और केवल 5-स्टार समीक्षकों की तरह खाना बना सकते हैं। यदि आपके पास केवल 10 समीक्षाएं हैं, तो आपको सुरक्षित रहने के लिए उन सभी को सुनना होगा।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने सिम्युलेटेड रोबोट्स पर दो प्रकार के कार्यों के लिए इसका परीक्षण किया:

मैनिपुलेशन (Manipulation): जैसे रोबोटिक हाथ का बटन दबाना, दरवाजे खोलना, या पेग डालना।
लोकोमोशन (Locomotion): जैसे रोबोट का चलना, कूदना, या दौड़ना (Ant, HalfCheetah, आदि)।

परिणाम:

PAWS जीत गया: लगभग हर परीक्षण में, PAWS ने पुरानी विधियों की तुलना में तेज़ी से सीखा और बेहतर प्रदर्शन किया।
यह कम डेटा के साथ काम करता है: यहाँ तक कि जब रोबोट ने केवल 50 उदाहरण देखे (बहुत कम मात्रा), तब भी PAWS ने अच्छी तरह से सीखा, जबकि अन्य विधियाँ संघर्ष करती रहीं या विफल रहीं।
यह वास्तविक मनुष्यों के साथ काम करता है: उन्होंने वास्तविक लोगों से प्राथमिकताएं (preferences) लेने के साथ इसका परीक्षण किया (केवल कंप्यूटर सिमुलेशन नहीं), और PAWS अभी भी शीर्ष पर रहा।
"ज़ूम" मायने रखता है: जब उन्होंने PAWS को स्टेप-बाय-स्टेप सीखने के लिए मजबूर किया (पुरानी विधियों की तरह), तो प्रदर्शन गिर गया। इससे यह साबित हुआ कि "चैप्टर" (सेगमेंट) वाले दृष्टिकोण को बनाए रखना आवश्यक है।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि अन्य विधियों के विफल होने का सबसे बड़ा कारण यह नहीं है कि उनके एल्गोरिदम खराब हैं, बल्कि यह है कि उनके सीखने के तरीके (पूरी तस्वीर देखना) और उनके सीखने को लागू करने के तरीके (छोटे विवरण देखना) के बीच एक मेल का अभाव (mismatch) है।

PAWS इसे "पूरी तस्वीर" वाले दृष्टिकोण को अंत तक बनाए रखकर ठीक करता है। यह एक छात्र को निबंध लिखने के लिए पूरे पैराग्राफ की समीक्षा करने के बजाय, हर एक कॉमा (comma) को ग्रेड करने के बजाय सिखाने जैसा है।

बताए गए सीमाएँ (Limitations)

लेखक कुछ बातें स्वीकार करते हैं:

समान वेटिंग (Uniform Weighting): PAWS यह मानता है कि यदि एक "अध्याय" अच्छा है, तो उसमें प्रत्येक वाक्य समान रूप से अच्छा है। कभी-कभी एक अध्याय में एक बेहतरीन वाक्य और एक बहुत बुरा वाक्य हो सकता है, लेकिन PAWS उनके साथ एक जैसा व्यवहार करता है।
ट्यूनिंग (Tuning): आपको अभी भी यह चुनने की आवश्यकता है कि रोबोट कितना "साहसी" होना चाहिए (प्रभावी नमूना आकार), हालांकि पेपर स्वचालित रूप से इसे पता लगाने का एक स्मार्ट तरीका प्रदान करता है।
सिमुलेशन: परीक्षण कंप्यूटर सिमुलेशन में किए गए थे, अभी तक वास्तविक दुनिया में वास्तविक भौतिक रोबोटों पर नहीं।

संक्षेप में, PAWS रोबोट को सिखाने का एक स्मार्ट तरीका है क्योंकि यह इस तथ्य का सम्मान करता है कि मनुष्य कार्यों को आइसोलेशन (अलगाव) में नहीं, बल्कि समूहों में देखते हैं।

तकनीकी सारांश: PAWS (प्रिविलेज लर्निंग विद एडवांटेज-वेटेड सेगमेंट्स)

समस्या विवरण
पसेंडेंस-बेस्ड रीइन्फोर्समेंट लर्निंग (PbRL) का लक्ष्य मानव प्रक्षेपवक्र-स्तर (trajectory-level) की तुलनाओं से नीतियों को सीखना है, न कि स्पष्ट रिवॉर्ड फंक्शन से। हालाँकि, मौजूदा विधियाँ एक मौलिक ट्रेनिंग-इन्फरेंस डिस्ट्रीब्यूशन शिफ्ट (training-inference distribution shift) से ग्रस्त हैं। आमतौर पर, PbRL विधियाँ सेगमेंट-स्तर या प्रक्षेपवक्र-स्तर की प्राथमिकताओं पर एक यूटिलिटी फंक्शन (जैसे रिवॉर्ड या एडवांटेज मॉडल) को प्रशिक्षित करती हैं। फिर भी, पॉलिसी ऑप्टिमाइजेशन के दौरान, प्रति-स्टेप लर्निंग सिग्नल की गणना करने के लिए इन मॉडलों को व्यक्तिगत स्टेट-एक्शन पेयर्स पर क्वेरी किया जाता है।

यह विसंगति एक टेम्पोरल क्रेडिट असाइनमेंट समस्या (temporal credit assignment problem) पैदा करती है। जैसा कि पेपर में दर्शाया गया है, कई अलग-अलग प्रति-स्टेप एडवांटेज असाइनमेंट एक ही सेगमेंट-लेवल प्रेफरेंस लेबल के योग के बराबर हो सकते हैं। इसके परिणामस्वरूप, यूटिलिटी मॉडल व्यक्तिगत स्टेप स्तर पर अनकन्स्ट्रेंड (underconstrained) रहता है। जब पॉलिसी ऑप्टिमाइज़र सेगमेंट पर प्रशिक्षित होने के बावजूद सिंगल स्टेप्स (इन्फरेंस) पर इस मॉडल को क्वेरी करता है, तो परिणामी लर्निंग सिग्नल अस्पष्ट और अविश्वसनीय होते हैं, जिससे पॉलिसी लर्निंग गंभीर रूप से खराब हो जाती है, विशेष रूप से लो-डेटा रिजीम (low-data regimes) में।

कार्यप्रणाली: PAWS
लेखक PAWS (प्रिविलेज लर्निंग विद एडवांटेज-वेटेड सेगमेंट्स) का प्रस्ताव करते हैं ताकि सेगमेंट स्तर पर यूटिलिटी ट्रेनिंग को पॉलिसी ऑप्टिमाइजेशन के साथ संरेखित करके इस डिस्ट्रीब्यूशन शिफ्ट को हल किया जा सके।

एडवांटेज लर्निंग:
- रिवॉर्ड फंक्शन सीखने के बजाय, PAWS सीधे सेगमेंट-लेवल प्रेफरेंस पेयर्स $(\tau^+, \tau^-)$ से एक एडवांटेज फंक्शन $A_\phi$ सीखता है।
- प्रेफरेंस लाइकलीहुड को एक सेगमेंट के भीतर एडवांटेज के योग पर आधारित ब्रैडली-टीरी (Bradley-Terry) फॉर्मूलेशन का उपयोग करके मॉडल किया जाता है: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$ ।
- मॉडल को ट्रांसफॉर्मर एनकोडर या मल्टी-लेयर पर्सेप्ट्रॉन (MLP) दोनों का उपयोग करके लागू किया जा सकता है।
सेगमेंट-आधारित पॉलिसी ऑप्टिमाइजेशन:
- प्रति-स्टेप यूटिलिटीज का अनुमान लगाने के बजाय, PAWS सीधे प्रक्षेपवक्र सेगमेंट पर पॉलिसी अपडेट करता है।
- यह विधि एक अनुकूलतम सेगमेंट डिस्ट्रीब्यूशन $p^*(\tau)$ खोजने के लिए एक कंस्ट्रेंड ऑप्टिमाइजेशन समस्या को फॉर्म्युलेट करती है जो मूल डेटा डिस्ट्रीब्यूशन $p_D(\tau)$ के भीतर एक ट्रस्ट रीजन (KL-डाइवर्जेंस बाउंड $\epsilon$ ) में रहते हुए अपेक्षित एडवांटेज को अधिकतम करता है।
- इसका समाधान एक रीवेटेड सेगमेंट डिस्ट्रीब्यूशन प्रदान करता है: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$ ।
- इसके बाद पॉलिसी $\pi_\theta$ को एक वेटेड मैक्सिमम लाइकलीहुड ऑब्जेक्टिव को मैक्सिमाइज करके अपडेट किया जाता है, जहाँ वेट्स सेगमेंट एडवांटेज के एक्सपोनेंशियल होते हैं:
  $\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$
- महत्वपूर्ण रूप से, इम्पॉर्टेंस वेट (importance weight) पूरे सेगमेंट पर लागू होता है, यह सुनिश्चित करता है कि पॉलिसी अपडेट सेगमेंट-लेवल प्रेफरेंस जानकारी का सम्मान करे।
प्रभावी सैंपल साइज के माध्यम से हाइपरपैरामीटर कंट्रोल:
- KL-बाउंड $\epsilon$ (जो एक्शन डाइमेंशनलिटी और डेटासेट साइज पर निर्भर करता है) के मैनुअल ट्यूनिंग से बचने के लिए, PAWS लैग्रेंज मल्टीप्लायर $\lambda$ को नियंत्रित करने के लिए एक डेटा-ड्रिवन रणनीति पेश करता है।
- लेखक $\lambda$ को एक वांछित प्रभावी सैंपल साइज ( $n_{eff}$ ) प्राप्त करने के लिए सेट करने का प्रस्ताव देते हैं, जिसकी गणना इम्पॉर्टेंस वेट्स से की जाती है। यह हाई-एडवांटेज सेगमेंट के दोहन (exploitation) और स्थिरता के बीच संतुलन बनाते हुए, यह नियंत्रित करने की अनुमति देता है कि कितने सेगमेंट अपडेट में सार्थक योगदान देते हैं।

प्रमुख योगदान

डिस्ट्रीब्यूशन शिफ्ट का विश्लेषण: पेपर ने मौजूदा PbRL विधियों की एक मुख्य सीमा के रूप में सेगमेंट-लेवल यूटिलिटी ट्रेनिंग और स्टेप-लेवल इन्फरेंस के बीच के मिसमैच की पहचान की है, जो अस्पष्ट टेम्पोरल क्रेडिट असाइनमेंट का कारण बनता है।
PAWS एल्गोरिदम: एक नवीन सेगमेंट-आधारित प्रेफरेंस लर्निंग विधि जो एडवांटेज-वेटेड सेगमेंट का उपयोग करके पॉलिसी अपडेट करती है, जिससे प्रक्षेपवक्र-स्तर की प्रेफरेंस जानकारी सुरक्षित रहती है और अविश्वसनीय प्रति-स्टेप सिग्नल्स से बचा जा सकता है।
डेटा-ड्रिवन हाइपरपैरामीटर ट्यूनिंग: प्रेफरेंस-वेटेड डेटा के प्रभावी सैंपल साइज के आधार पर पॉलिसी ऑप्टिमाइजेशन हाइपरपैरामीटर्स को सेट करने के लिए एक सहज रणनीति, जो मैनुअल ट्यूनिंग पर निर्भरता को कम करती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिम्युलेटेड रोबोटिक मैनिपुलेशन (Meta-World) और लोकोमोशन (D4RL) कार्यों पर व्यापक मूल्यांकन, जो स्थापित बेसलाइन्स की तुलना में निरंतर सुधार प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने दो प्रेफरेंस बजट (50 और 500 पेयर्स) के तहत 10 Meta-World मैनिपुलेशन कार्यों और 4 D4RL लोकोमोशन कार्यों पर PAWS का मूल्यांकन किया।

प्रदर्शन: PAWS (दोनों ट्रांसफॉर्मर और MLP वेरिएंट) ने BC, P-IQL, CPL, CPL+KL, प्रेफरेंस ट्रांसफॉर्मर और IPL सहित बेसलाइन्स को लगातार पछाड़ा।
लो-डेटा रिजीम: 50-प्रेफरेंस सेटिंग में, कई बेसलाइन्स BC से भी खराब प्रदर्शन करने लगे, जबकि PAWS ने मजबूत प्रदर्शन बनाए रखा, जो इसकी डेटा-दुर्लभ परिदृश्यों में दक्षता को उजागर करता है।
एब्लेशन स्टडीज (Ablation Studies):
- अपडेट ग्रैनुलैरिटी: PAWS के सेगमेंट-लेवल अपडेट को उसी सीखे गए एडवांटेज फंक्शन का उपयोग करके स्टेट-एक्शन-लेवल अपडेट से बदलने के परिणामस्वरूप प्रदर्शन में भारी गिरावट आई, जो पुष्टि करता है कि डिस्ट्रीब्यूशन शिफ्ट ही मानक दृष्टिकोणों की विफलता का मुख्य कारण है।
- सेगमेंट की लंबाई: सेगमेंट की लंबाई बढ़ाने से स्टेट-एक्शन-आधारित अपडेट के लिए प्रदर्शन में गिरावट आई, लेकिन PAVS पर इसका न्यूनतम नकारात्मक प्रभाव पड़ा, जो स्वाभाविक रूप से सेगमेंट स्तर पर कार्य करता है।
- मानव फीडबैक: 10 गैर-लेखक मानव लेबलर्स से एकत्र किए गए प्रेफरेंस पर परीक्षण करने पर, PAWS ने "बटन प्रेस" और "डोर ओपन" कार्यों पर उच्चतम सफलता दर प्राप्त की, जो वास्तविक मानव शोर (noise) के प्रति इसकी मजबूती को प्रमाणित करता है।
- क्रेडिट असाइनमेंट: PAWS ने स्टेप-आधारित अपडेट की तुलना में एक्सपर्ट रैंकिंग के साथ उच्च स्पीरमैन रैंक सहसंबंध (Spearman's rank correlation) प्रदर्शित किया, जो बेहतर टेम्पोरल प्रेफरेंस स्ट्रक्चर के संरक्षण को दर्शाता है।

महत्व और दावे
पेपर का दावा है कि PAWS के प्रदर्शन में सुधार मुख्य रूप से सीखे गए यूटिलिटी फंक्शन के ट्रेनिंग और इन्फरेंस डिस्ट्रीब्यूशन को संरेखित करने से आता है, न कि विशिष्ट आर्किटेक्चरल चॉइस से (क्योंकि दोनों MLP और ट्रांसफॉर्मर वेरिएंट अपने स्टेप-लेवल समकक्षों से बेहतर रहे)।

लेखक इस बात पर जोर देते हैं कि PAWS, उन तरीकों में निहित "अविश्वसनीय प्रति-स्टेप लर्निंग सिग्नल्स" से बचकर, PbRL में टेम्पोरल क्रेडिट असाइजेशन समस्या का एक सिद्धांतिक समाधान प्रदान करता है जो सेगमेंट पर प्रशिक्षित होते हैं लेकिन स्टेप्स पर इन्फर करते हैं। यह विधि विशेष रूप से लो-डेटा रिजीम में प्रभावी है जहाँ स्टेप-लेवल यूटिलिटी अनुमान सबसे अधिक शोर वाले होते हैं। हालांकि मूल्यांकन सिम्युलेटेड रोबोटिक कार्यों तक सीमित है, लेखक सुझाव देते हैं कि सेगमेंट-लेवल परिप्रेक्ष्य बड़े जेनेरेटिव मॉडल्स (जैसे RLHF) के प्रेफरेंस फाइन-ट्यूनिंग के लिए सीधे तौर पर लागू है, जहाँ तुलनाएँ व्यक्तिगत टोकन के बजाय संपूर्ण रिस्पॉन्स पर की जाती हैं।

सीमाएं
लेखक स्वीकार करते हैं कि PAW एक सेगमेंट के भीतर सभी स्टेट-एक्शन पेयर्स को समान इम्पॉर्टेंस वेट असाइन करता है, जो उप-इष्टतम (suboptimal) हो सकता है यदि एक सेगमेंट में हाई- और लो-क्वालिटी एक्शन का मिश्रण हो। इसके अतिरिक्त, प्रभावी सैंपल साइज ( $n_{eff}$ ) के चयन की आवश्यकता होती है, हालांकि यह नोट किया गया है कि यह सीधे KL बाउंड को ट्यून करने की तुलना में अधिक सहज है। अंत में, वर्तमान मूल्यांकन सिमुलेशन तक सीमित है और अभी तक बड़े पैमाने पर, शोर वाले मानव फीडबैक को संबोधित नहीं करता है।