🤖 machine learning

Freeform Preference Learning for Robotic Manipulation

यह शोध पत्र फ्रीफॉर्म प्रेफरेंस लर्निंग (FPL) को प्रस्तुत करता है, जो एक ऐसी विधि है जो रोबोटिक मैनिपुलेशन पॉलिसियों को बाइनरी तुलनाओं के बजाय प्राकृतिक-भाषा वरीयता अक्षों (natural-language preference axes) से सीखने में सक्षम बनाती है, जिसके परिणामस्वरूप प्रदर्शन में महत्वपूर्ण सुधार, सघन प्रगति संकेत (dense progress signals), और बिना पुन: प्रशिक्षण के परीक्षण के समय व्यवहार को नियंत्रित करने की क्षमता प्राप्त होती है।

मूल लेखक: Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marcel Torne, Anubha Mahajan, Abhijnya Bhat, Chelsea Finn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मेज सजाना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, यदि रोबोट से प्लेट गिर जाती, तो आप बस कहते, "बुरा काम।" यदि वह मेज को पूरी तरह से सजा देता, तो आप कहते, "अच्छा काम।" यह एक रोबोट को सरल "थम्स अप" (अंगूठा ऊपर) या "थम्स डाउन" (अंगूठा नीचे) देने जैसा है।

समस्या यह है कि "मेज सजाना" एक जटिल कार्य है। हो सकता है कि आप चाहते हों कि रोबोट तेज़ हो, लेकिन साथ ही कोमल भी हो ताकि वह चीनी मिट्टी के बर्तन न तोड़ दे। आप चाहते होंगे कि वह सलीके से काम करे, लेकिन साथ ही सावधान भी रहे कि वह किसी मेहमान की ओर चाकू की नोक न कर दे। यदि आप केवल "थम्स अप" या "थम्स डाउन" देते हैं, तो रोबोट भ्रमित हो जाता है। क्या उसे "थम्स डाउन" इसलिए मिला क्योंकि वह बहुत धीमा था? क्योंकि वह बहुत खुरदरा था? या क्योंकि कांटे टेढ़े थे? यह वैसा ही है जैसे किसी छात्र के टेस्ट में फेल होने का कारण अनुमान लगाने की कोशिश करना जब शिक्षक ने बिना किसी टिप्पणी के केवल पेपर पर "F" लिख दिया हो।

प्रवेश होता है "फ्रीफॉर्म प्रेफरेंस लर्निंग" (FPL) का।

FPL को एक शिक्षक के ग्रेडिंग करने के तरीके में बदलाव के रूप में समझें। केवल अंतिम ग्रेड देने के बजाय, शिक्षक (मानव) को टेस्ट के विभिन्न हिस्सों पर विशिष्ट टिप्पणियाँ लिखने का अवसर मिलता है।

पुराना तरीका: "कुल मिलाकर स्कोर" (The Overall Score)

पारंपरिक तरीकों में, एक इंसान रोबोट द्वारा मेज सजाने की दो वीडियो देखता है और उनमें से एक विजेता चुनता है।

वीडियो A: बहुत तेज़, लेकिन कप गिरा देता है।
वीडियो B: बहुत धीमा, लेकिन सब कुछ पूरी तरह से सजा देता है।
इंसान की दुविधा: "कौन सा बेहतर है?" यह एक कठिन निर्णय है। इंसान को उन सभी अलग-अलग गुणों (गति, सुरक्षा, सलीका) को एक एकल "विजेता" में समाहित करना पड़ता है। यह रोबोट के लिए एक धुंधला और भ्रमित करने वाला संकेत पैदा करता है।

नया तरीका: "फ्रीफॉर्म" फीडबैक

FPL के साथ, इंसान एक विशिष्ट आलोचक बन जाता है। वे कह सकते हैं:

"गति (Speed) के अक्ष (axis) पर, वीडियो A जीतता है।"
"सुरक्षा (Safety) के अक्ष पर, वीडियो B जीतता है।"
"सलीके (Neatness) के अक्ष पर, वीडियो B जीतता है।"

रोबोट केवल "अच्छा" या "बुरा" नहीं सीखता। वह एक बहु-आयामी मानचित्र (multi-dimensional map) सीखता है। वह सीखता है कि "गति" एक चीज़ है, "सुरक्षा" दूसरी चीज़ है, और वह उन्हें संतुलित कर सकता है।

यह कैसे काम करता है (रूपक)

कल्पना कीजिए कि रोबोट एक नया शेफ है।

मेन्यू (अक्ष/Axes): केवल यह पूछने के बजाय कि "क्या खाना अच्छा है?", शेफ से विशिष्ट मानदंडों पर भोजन का मूल्यांकन करने के लिए कहा जाता है: "क्या इसमें नमक पर्याप्त है?" "क्या यह गर्म है?" "क्या इसकी प्रस्तुति सुंदर है?"
स्वाद लेना (प्रशिक्षण): इंसान दो अलग-अलग व्यंजन चखता है। केवल यह कहने के बजाय कि "मुझे व्यंजन A पसंद है," वे कहते हैं, "व्यंजन A अधिक नमकीन है, लेकिन व्यंजन B अधिक गर्म है।"
सीखना: रोबोट एक मानसिक मॉडल बनाता है जो समझता है: "आह, जब इंसान 'अधिक नमकीन' कहता है, तो उनका मतलब इस विशिष्ट स्वाद प्रोफाइल से है। जब वे 'अधिक गर्म' कहते हैं, तो उनका मतलब तापमान से है।"
परिणाम: बाद में, इंसान रोबोट को बता सकता है, "आज रात, मुझे एक बहुत गर्म व्यंजन चाहिए, भले ही वह थोड़ा कम नमकीन हो।" क्योंकि रोबोट ने अलग-अलग "अक्षों" (नमक बनाम गर्मी) को सीख लिया है, वह बिना दोबारा प्रशिक्षित हुए तुरंत अपनी खाना पकाने की शैली को बदल सकता है।

शोधकर्ताओं को क्या पता चला

शोधकर्ताओं ने वास्तविक रोबोट्स पर इन कार्यों को किया जैसे शॉर्ट्स मोड़ना, टोस्ट को प्लेट पर रखना और मेज सजाना।

बेहतर परिणाम: इस "फ्रीफॉर्म" विधि से प्रशिक्षित रोबोट पुराने "थम्स अप/डाउन" तरीके से प्रशिक्षित रोबोटों की तुलना में कार्य पूरा करने में 38% बेहतर थे।
स्मार्ट व्यवहार: रोबोटों ने उन कौशलों को संयोजित करना सीखा जो उन्होंने पहले नहीं देखे थे। उदाहरण के लिए, यदि प्रशिक्षण डेटा में "तेज़ बाएं हाथ की हरकतें" और "धीमी दाएं हाथ की हरकतें" दिखाई गई थीं, तो रोबोट "तेज़" और "दाएं" की अवधारणाओं को जोड़कर "तेज़ दाएं हाथ की हरकतें" करने का तरीका निकाल सकता था।
आखिरी समय में नियंत्रण (Steering): क्योंकि रोबोट ने अलग-अलग "अक्षों" को सीख लिया था, आप आखिरी सेकंड में भी उसका व्यवहार बदल सकते हैं। आप निर्देश बदलकर इसे कह सकते हैं, "आज बहुत सावधान रहो," या "आज बहुत तेज़ बनो," बिना उसे हिलने-डुलने का नया तरीका सिखाए।

यह क्यों महत्वपूर्ण है

यह शोध पत्र तर्क देता है कि जटिल, लंबे कार्यों के लिए मनुष्यों से एक एकल "सर्वश्रेष्ठ" विकल्प मांगना बहुत अस्पष्ट है। मनुष्यों को उन विशिष्ट चीजों के बारे में प्राकृतिक भाषा में बोलने की अनुमति देकर (जैसे "प्लेट मत तोड़ो" या "इसे जल्दी करो"), हम रोबोटों को उनके व्यवहार के बारे में बहुत स्पष्ट, सघन और उपयोगी मार्गदर्शक प्रदान करते हैं। यह एक भ्रमित करने वाले "F" ग्रेड को एक विस्तृत रिपोर्ट कार्ड में बदल देता है जो वास्तव में रोबोट को सुधारने में मदद करता है।

तकनीकी सारांश: रोबोटिक हेरफेर के लिए फ्रीफॉर्म प्रेफरेंस लर्निंग (Freeform Preference Learning)

समस्या विवरण (Problem Statement)

स्वायत्त रोबोट नीति सुधार (autonomous robot policy improvement) के लिए रिवॉर्ड डिज़ाइन एक महत्वपूर्ण बाधा बना हुआ है, विशेष रूप से लंबे समय तक चलने वाले (long-horizon) हेरफेर कार्यों में। मौजूदा दृष्टिकोणों की महत्वपूर्ण सीमाएँ हैं:

स्पार्स रिवॉर्ड्स (Sparse Rewards): बाइनरी सफलता/विफलता लेबल उन जटिल कार्यों के लिए अपर्याप्त संकेत प्रदान करते जहाँ मध्यवर्ती प्रगति (intermediate progress) अत्यंत महत्वपूर्ण होती है।
अस्पष्ट बाइनरी प्रेफरेंस (Ambiguous Binary Preferences): पारंपरिक प्रेफरेंस लर्निंग (जैसे ब्रैडली-टी मॉडल) में एनोटेटर्स को कई प्रतिस्पर्धी गुणवत्ता धारणाओं (जैसे गति बनाम सुरक्षा) को एक एकल "कुल मिलाकर" (overall) बाइनरी लेबल में समाहित करने की आवश्यकता होती है। यह अस्पष्टता पैदा करता है, विशेष रूप से विभिन्न कार्य चरणों से प्राप्त प्रक्षेपवक्र (trajectory) खंडों की तुलना करते समय।
कठोर रिवॉर्ड फंक्शन (Rigid Reward Functions): हाथ से डिज़ाइन किए गए स्केलर रिवॉर्ड अक्सर मानवीय इरादे के पूर्ण स्पेक्ट्रम को पकड़ने में विफल रहते हैं, जैसे कि स्वच्छता (hygiene), औपचारिकता (formality), या सावधानी (carefulness), जिससे अनुकूलन (optimization) के दौरान अवांछित व्यवहार उत्पन्न हो सकते हैं।

यह शोध पत्र यह प्रतिपादित करता है कि उपयोगकर्ता के इरादे के सभी पहलुओं को पकड़ने के लिए मजबूत नीतियां सीखने हेतु मानवीय निर्णय की बहु-आयामी प्रकृति को संरक्षित करना आवश्यक है।

कार्यप्रणाली: फ्रीफॉर्म प्रेफरेंस लर्निंग (FPL)

FPL एक एकल स्केलर में फीडबैक को समेटने के बजाय, प्राकृतिक भाषा में परिभाषित फ्रीफॉर्म मानवीय प्राथमिकताओं से रोबोट नीतियों को सीखने के लिए एक ढांचा पेश करता है। यह विधि तीन मुख्य घटकों से बनी है:

1. फ्रीफॉर्म प्रेफरेंस कलेक्शन (Freeform Preference Collection)

"कुल मिलाकर कौन सा प्रक्षेपवक्र बेहतर है?" पूछने के बजाय, एनोटेटर्स को प्रक्षेपवक्र के जोड़े दिखाए जाते हैं और उनसे निम्नलिखित करने को कहा जाता है:

प्राकृतिक भाषा में विशिष्ट प्रेफरेंस एक्सिस (preference axes) को परिभाषित करें (जैसे, "गति," "सुरक्षा," "सेटअप की औपचारिकता," "सुगमता")। ये एक्सिस पूर्व-निर्धारित हो सकते हैं या प्रक्रिया के दौरान एनोटेटर द्वारा निर्दिष्ट किए जा सकते हैं।
प्रत्येक परिभाषित एक्सिस ( $l_k$ ) के लिए युग्मवार प्राथमिकताएं ( $y_k \in \{0, 1\}$ ) प्रदान करें।
इससे एक डेटासेट $\mathcal{P}$ प्राप्त होता है जिसमें प्राकृतिक भाषा लेबल और प्रति-एक्सिस बाइनरी प्राथमिकताएं अंकित होती हैं।

2. लैंग्वेज-कंडीशन्ड रिवॉर्ड लर्निंग (Language-Conditioned Reward Learning)

FPL एक एकल रिवॉर्ड मॉडल $r_\phi$ सीखता है जो प्री-ट्रेन किए गए विजन-लैंग्वेज मॉडल (VLM) रिप्रजेंटेशन का लाभ उठाते हुए, एक्सिस के प्राकृतिक भाषा विवरण पर आधारित होता है।

एक्सिस-कंडीशन्ड स्कोरिंग: एक प्रक्षेपवक्र जोड़े $(\tau_i, \tau_j)$ और एक्सिस के सेट $\{(l_k, y_k)\}$ के लिए, मॉडल एक संशोधित ब्रैडली-टी लॉस को कम करने के लिए प्रशिक्षित किया जाता है:
$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$
टेम्पोरल मॉडलिंग (Temporal Modeling): व्यक्तिगत ऑब्जर्वेशन को स्कोर करने वाले मानक मॉडलों के विपरीत, FPL ऑब्जर्वेशन हिस्ट्री पर रिवॉर्ड को कंडिशन करता है। प्रक्षेपवक्र-स्तरीय रिवॉर्ड को प्रति-प्रिफिक्स (per-prefix) स्कोर के योग के रूप में परिभाषित किया जाता है:
$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$
जहाँ $g_\phi$ एक मल्टीमॉडल ट्रांसफार्मर है। यह मॉडल को प्रक्षेपवक्र-स्तरीय प्राथमिकताओं का मूल्यांकन करने के लिए आवश्यक टेम्पोरल डिपेंडेंसीज़ को कैप्चर करने की अनुमति देता है।

3. मल्टी-डायमेंशनल पॉलिसी एक्सट्रैक्शन (Multi-Dimensional Policy Extraction)

सीखे गए बहु-आयामी रिवॉर्ड्स को एक एकल भारित स्केलर में समेटने के बजाय (जिससे रिवॉर्ड हैकिंग का जोखिम होता है), FPL प्राकृतिक भाषा एक्सिस और उनके संबंधित रिवॉर्ड स्कोर पर कंडिशन की गई एक पॉलिसी $\pi_\theta$ को प्रशिक्षित करता है।

पॉलिसी को व्यवहार क्लोनिंग (या ऑफलाइन RL) के माध्यम से उस डेटासेट पर प्रशिक्षित किया जाता है जहाँ क्रियाएं (actions) एक्सिस के सेट $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ और उनके संबंधित रिवॉर्ड $r_\phi(\tau | l_k)$ पर कंडिशन होती हैं।
पुनरावृत्ति प्रशिक्षण (Iterative Training): यह प्रक्रिया पुनरावृत्त हो सकती है। जैसे-जैसे पॉलिसी में सुधार होता है, एनोटेटर्स अधिक परिष्कृत फीडबैक दे सकते हैं, और एक्सिस का सेट विस्तारित किया जा सकता है, जिससे एक स्वाभाविक करिकुलम बनता है।
टेस्ट-टाइम स्टीयरेबिलिटी (Test-Time Steerability): इन्फरेंस के समय, पॉलिसी को विशिष्ट व्यवहारों की ओर मोड़ा जा सकता है, जो बिना रिट्रेनिंग के विशिष्ट एक्सिस पर कंडिशन किए गए लक्षित रिवॉर्ड मानों को बदलकर संभव होता है।

मुख्य योगदान (Key Contributions)

फ्रीफॉर्म प्रेफरेंस लर्निंग (FPL): बहु-आयामी, प्राकृतिक भाषा मानवीय प्राथमिकताओं को प्राप्त करने और सीखने का एक नवीन तरीका, जो "कुल मिलाकर" बाइनरी लेबल की अस्पष्टता से बचता है।
लैंग्वेज-कंडीशन्ड रिवॉर्ड मॉडल: एक रिवॉर्ड फंक्शन जो एक प्रक्षेपवक्र और एक प्राकृतिक भाषा एक्सिस विवरण को एक स्केलर स्कोर में मैप करता है, जिससे एक ही मॉडल से विविध गुणों (गुणवत्ता, गति, सुरक्षा, स्वच्छता) को सीखना संभव होता है।
कंपोजिशनलिटी और स्टीयरेबिलिटी (Compositionality and Steerability): यह ढांचा नीतियों को कंपोजिशनल व्यवहार प्रदर्शित करने में सक्षम बनाता है (उन गुणों को मिलाना जो डेटा में एक साथ नहीं देखे गए थे) और रिवॉर्ड कंडीशनिंग को समायोजित करके टेस्ट-टाइम पर व्यवहार को नियंत्रित करने की अनुमति देता है।
सेगमेंटेशन के बिना डेंस सुपरविजन: FPL बिना किसी स्पष्ट सबटास्क सेगमेंटेशन या मैनुअल रिवॉर्ड शेपिंग के, लंबे समय तक चलने वाले कार्यों के लिए घने (dense) प्रोग्रेस सिग्नल सीखता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार वास्तविक दुनिया के कार्यों (एक कटोरे में क्यूब रखना, शॉर्ट्स फोल्ड करना, टोस्ट प्लेटिंग, टेबल सेट करना) और दो सिम्युलेटेड कार्यों (ऑब्जेक्ट पुनर्गठन, बाईमॉडल स्क्वायर) पर FPL का मूल्यांकन किया।

प्रदर्शन: FPL ने वास्तविक दुनिया के कार्यों में औसत 38 प्रतिशत अंक से बेसलाइन (स्पार्स रिवॉर्ड, बाइनरी प्रेफरेंस लर्निंग और वेटेड रिग्रेशन सहित) को पीछे छोड़ दिया।
सिमुलेशन: "बाइमॉडल स्क्वायर" कार्य में, FPL ने सफलतापूर्वक कंपोजिशनल व्यवहार (एक पेग पर नट को तेजी से रखना) प्रदर्शित किया, भले ही प्रशिक्षण डेटा में केवल दूसरे पेग के लिए तेज़ उदाहरण मौजूद थे। इसने उसी पॉलिसी का उपयोग करके "इनवर्टेड" कार्य (बायां पेग) में भी उच्च प्रदर्शन हासिल किया, जो रिवॉर्ड कंडीशनिंग को बदलकर संभव हुआ—एक ऐसी क्षमता जो बेसलाइन विधियों में मौजूद नहीं थी।
रिवॉर्ड डेंसिटी: गुणात्मक विश्लेषण ने दिखाया कि FPL के एक्सिस-कंडीशंड रिवॉर्ड विशिष्ट सबटास्क इवेंट्स (जैसे कप रखना) के आसपास टेम्पोरली लोकलाइज्ड थे, जबकि बाइनरी प्रेफरेंस रिवॉर्ड्स अस्पष्ट, देर से आने वाले स्पाइक्स उत्पन्न करते थे।
एनोटेशन दक्षता: एकल बाइनरी प्रेफरेंस की तुलना में फ्रीफॉर्म प्रेफरेंस एकत्र करना प्रति लेबल लगभग 50% तेज़ था, क्योंकि वीडियो देखने की लागत कई एक्सिस-विशिष्ट निर्णयों के लिए साझा की जाती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि FPL रोबोटिक्स में मानवीय इरादे की "बहु-आयामी" प्रकृति को पकड़ने की मौलिक चुनौती का समाधान करता है। मानवीय फीडबैक की संरचना को संरक्षित करके, FPL:

पॉलिसी ऑप्टिमाइजेशन के लिए सघन (dense), कम अस्पष्ट सुपरविजन प्रदान करता है।
कंपोजिशनल जनरलाइजेशन को सक्षम बनाता है, जिससे रोबोट उन व्यवहारों को मिला सकते हैं (जैसे गति + सुरक्षा) जो डेटा में स्पष्ट रूप से एक साथ नहीं देखे गए थे।
टेस्ट-टाइम स्टीयरेबिलिटी प्रदान करता है, जिससे उपयोगकर्ता बिना रिट्रेनिंग के रोबोट के व्यवहार को समायोजित कर सकते हैं (जैसे गति बनाम कोमलता को प्राथमिकता देना)।
यह प्रदर्शित करता है कि प्राकृतिक भाषा, कठोर और पूर्व-निर्धारित रिवॉर्ड संरचनाओं से आगे बढ़कर, रिवॉर्ड एक्सिस को परिभाषित करने के लिए एक व्यवहार्य और प्रभावी इंटरफ़ेस है।

लेखक निष्कर्ष निकालते हैं कि हालांकि अनसुपरवाइज्ड दृष्टिकोणों की तुलना में प्रेफरेंस लर्निंग अधिक महंगी है, FPL सीखी गई नीतियों की गुणवत्ता और लचीलेपन में महत्वपूर्ण सुधार करता है, जो इसे वास्तविक दुनिया के रोबोट लर्निंग के लिए एक आशाजनक दिशा बनाता है।