💻 computer science

GIFT: Generalizing Intent for Flexible Test-Time Rewards

यह शोध पत्र GIFT प्रस्तुत करता है, जो प्रदर्शनों (demonstrations) से उच्च-स्तरीय मानवीय इरादे (intent) को समझने के लिए भाषा मॉडलों का लाभ उठाता है, जिससे रिवॉर्ड फंक्शन सतह-स्तर के संकेतों के बजाय इरादे के आधार पर टेस्ट स्टेट्स को व्यवहारिक रूप से समान ट्रेनिंग स्टेट्स से मैप करके, बिना पुन: प्रशिक्षण के नए वातावरण और वस्तुओं के लिए मजबूती से सामान्यीकरण करने में सक्षम होते हैं।

मूल लेखक: Fin Amin, Nathaniel Dennler, Andreea Bobu

प्रकाशित 2026-03-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fin Amin, Nathaniel Dennler, Andreea Bobu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को आर्ट क्लास के लिए बैग पैक करना सिखा रहे हैं। आप उसे कुछ बार दिखाते हैं: "पेंटब्रश को बैग में रखो। स्केचबुक को बैग में रखो।"

रोबोट यह सीख जाता है। लेकिन यहाँ एक समस्या है: यदि आप बाद में रोबोट से किसी अलग आर्ट सेशन के लिए सामान पैक करने को कहते हैं, और आप उसके सामने मोल्डिंग क्ले (मिट्टी का लोथड़ा) रख देते हैं, तो एक साधारण रोबोट भ्रमित हो सकता है।

क्यों? क्योंकि रोबोट ने वास्तव में "आर्ट सप्लाइज़" (कला सामग्री) की अवधारणा (concept) नहीं सीखी। इसके बजाय, उसने एक बेतुका नियम सीख लिया: "अगर यह पेंटब्रश जैसा दिखता है, तो इसे बैग में डाल दो।" इसलिए, जब वह एक डिश स्क्रबर (जो ब्रश जैसा दिखता है) या एक टूथब्रश (जिसके नाम में "ब्रश" शब्द है) देखता है, तो वह उन्हें पैक करने की कोशिश कर सकता है। वह वास्तविक लक्ष्य के बजाय सतही विवरणों (surface details) का पालन कर रहा है।

यह पेपर एक नया फ्रेमवर्क पेश करता है जिसे GIFT (Generalizing Intent for Flexible Test-Time rewards) कहा जाता है ताकि इस समस्या को ठीक किया जा सके।

मुख्य विचार: "इन्टेंट डिटेक्टिव" (इरादा खोजने वाला जासूस)

GIFT को एक ऐसे रोबोट के रूप में सोचें जो केवल तस्वीरें याद नहीं करता; बल्कि वह एक जासूस की तरह काम करता है जो आपके मकसद को समझने की कोशिश करता है।

पुराना तरीका (विजुअल/लैंग्वेज सिमिलरिटी - दृश्य/भाषाई समानता):
- विजुअल (दृश्य): रोबोट एक डिश स्क्रबर और एक पेंटब्रश देखता है। वे दिखने में समान हैं (दोनों में ब्रिसल्स हैं)। रोबोट सोचता है, "ये दोनों एक ही हैं!" और स्क्रबर को पैक कर देता है।
- लैंग्वेज (भाषा): रोबोट "टूथब्रश" और "पेंटब्रश" पढ़ता है। दोनों के अंत में "ब्रश" आता है। रोबोट सोचता है, "ये दोनों एक ही हैं!" और टूथब्रश को पैक कर देता है।
- परिणाम: रोबोट विफल हो जाता है क्योंकि वह गलत संकेतों को देख रहा है।
GIFT का तरीका (इन्टेंट सिमिलरिटी - इरादे की समानता):
- GIFT एक लार्ज लैंग्वेज मॉडल (जैसे कि एक सुपर-स्मार्ट AI चैटबॉट) का उपयोग एक अनुवादक (translator) के रूप में करता है।
- यह देखता है कि आपने क्या किया (आर्ट का सामान बैग में रखा) और आपने क्या नहीं किया (उसे मेज पर छोड़ दिया)।
- यह AI से पूछता है: "यहाँ इंसान का वास्तविक लक्ष्य क्या है?"
- AI जवाब देता है: "लक्ष्य 'Pack Art Supplies' (कला सामग्री पैक करना) है।"

यह कैसे काम करता है: "शेप-शिफ्टिंग" (रूप बदलने वाला) ट्रिक

एक बार जब GIFT को पता चल जाता है कि लक्ष्य "Pack Art Supplies" है, तो यह एक जादू करता है जिसे Intent-Conditioned Alignment कहा जाता है।

कल्पना कीजिए कि रोबोट एक मेज की ओर देख रहा है जिस पर कई नई वस्तुएं हैं जिन्हें उसने पहले कभी नहीं देखा है: मिट्टी का एक लोथड़ा (clay), एक पेचकस (screwdriver), और एक पेंटब्रश।

GIFT के बिना: रोबोट मिट्टी को देखता है और सोचता है, "मैंने इसे पहले कभी नहीं देखा। मुझे नहीं पता कि क्या करना है।"
GIFT के साथ: रोबोट AI से पूछता है, "'Pack Art Supplies' के नियम के तहत, यह मिट्टी का लोथड़ा किसके तुल्य (equivalent) है?"
- AI कहता है, "आह, उस नियम के तहत, यह मिट्टी (clay) उसी पेंटब्रश के समान है जिसे आपने ट्रेनिंग के दौरान देखा था।"
- AI यह भी कहता है, "पेचकस एक विचलित करने वाली चीज़ (distractor) है; यह आर्ट नहीं है।"

GIFT फिर मिट्टी को उसकी मेमोरी में पेंटब्रश के साथ मानसिक रूप से बदल (swap) देता है। वह रोबोट को बताता है: "इस मिट्टी के साथ बिल्कुल वैसा ही व्यवहार करो जैसा तुमने उस पेंटब्रश के साथ किया था।"

अब, रोबोट आज एक पूरी तरह से नई वस्तु को संभालने के लिए कल सीखी गई सटीक निर्देशों का उपयोग कर सकता है, बिना दोबारा ट्रेनिंग लिए।

वास्तविक दुनिया का परीक्षण

शोधकर्ताओं ने एक वास्तविक रोबोट आर्म (एक फ्रैंका पांडा) और एक कंप्यूटर सिमुलेशन पर इसका परीक्षण किया।

सेटअप: उन्होंने रोबोट को कुछ उदाहरणों का उपयोग करके "आर्ट सप्लाइज़" या "कीमती वस्तुओं" को पैक करना सिखाया।
परीक्षण: उन्होंने रोबोट को ऐसी नई वस्तुएं दीं जिन्हें उसने पहले कभी नहीं देखा था (जैसे मोल्डिंग क्ले या एक विशिष्ट iPhone मॉडल) और इसमें कुछ "ट्रिक" वस्तुएं (जैसे डिश स्क्रबर या पेपर रिंग) मिला दीं।
परिणाम:
- पुराने तरीकों (चित्रों या शब्दों को देखने वाले) को डिश स्क्रबर और पेपर रिंग्स ने चकमा दे दिया।
- GIFT ने सही ढंग से पहचान लिया कि मिट्टी "आर्ट" थी और iPhone "कीमती" था, और उसने उन ट्रिकी वस्तुओं को अनदेखा कर दिया। वह लगभग हर बार खेल जीत गया।

बड़ी सीख

अधिकांश रोबोट उन छात्रों की तरह होते हैं जो किसी विशिष्ट परीक्षा के उत्तर रट लेते हैं। यदि आप प्रश्न थोड़े से भी बदल दें, तो वे विफल हो जाते हैं।

GIFT रोबोट को विषय वस्तु (subject matter) को समझना सिखाता है। यह "2 + 2 = 4" को रटने और जोड़ (addition) की अवधारणा को समझने के बीच का अंतर है। एक बार जब आप अवधारणा को समझ लेते हैं, तो आप "2 + 2" को हल कर सकते हैं भले ही संख्याएँ किसी अलग फॉन्ट में लिखी हों, या यदि आप संख्याओं के बजाय "सेब" को जोड़ रहे हों।

इंसानी इरादे (क्यों) पर ध्यान केंद्रित करके, न कि सतही विशेषताओं (क्या दिखता है) पर, GIFT रोबोट को लचीला, स्मार्ट और वास्तविक दुनिया के लिए तैयार बनाता है।

यहाँ शोध पत्र "GIFT: Generalizing Intent for Flexible Test-Time Rewards" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोट आमतौर पर उपयोगकर्ता के प्रदर्शन (जैसे, इनवर्स रिइन्फोर्समेंट लर्निंग के माध्यम से) से रिवॉर्ड फंक्शन सीखते हैं। हालाँकि, ये सीखे गए रिवॉर्ड्स अक्सर नए वातावरण या परीक्षण के समय (test-time) सामना किए जाने वाले वस्तुओं के प्रति सामान्यीकरण (generalize) करने में विफल रहते हैं।

मुख्य मुद्दा: सीखे गए रिवॉर्ड्स अक्सर प्रशिक्षण डेटा में स्पूरियस कोरिलेशन (spurious correlations) (सतही दृश्य या भाषाई विशेषताओं) पर टिक जाते हैं, न कि उपयोगकर्ता के उच्च-स्तरीय इरादे (high-level intent) पर।
उदाहरण: एक रोबोट जिसे "पेंटब्रश पैक करने" के लिए प्रशिक्षित किया गया है, वह किसी भी ब्रश जैसे दिखने वाले ऑब्जेक्ट (दृश्य समानता) या "ब्रश" शब्द वाले किसी भी ऑब्जेक्ट (भाषाई समानता) को पैक करना सीख सकता है। यह यह पहचानने में विफल रहता है कि यदि इरादा "आर्ट सप्लाई पैक करना" है, तो "मोल्डिंग क्ले" (molding clay) सही वस्तु है, क्योंकि क्ले न तो ब्रश जैसा दिखता है और न ही इसमें "ब्रश" शब्द साझा होता है।
परिणाम: जब वितरण बदलाव (distribution shifts) होते हैं (नए ऑब्जेक्ट्स, लेआउट या संदर्भ), तो रोबोट या तो कार्य के महत्वपूर्ण पहलुओं को अनदेखा कर देता है या अप्रासंगिक पहलुओं पर अत्यधिक ध्यान केंद्रित करता है, जिससे विनाशकारी विफलता होती है। मौजूदा विधियाँ जो दृश्य या शब्दार्थ समानता (semantic similarity) बेसलाइन पर निर्भर करती हैं, वे उन चीज़ों से अलग हो जाती हैं जो मनुष्य वास्तव में कार्य की सफलता के संबंध में महत्वपूर्ण समझते हैं।

2. कार्यप्रणाली: GIFT फ्रेमवर्क (Methodology: The GIFT Framework)

GIFT (Generalizing Intent for Flexible Test-Time rewards) एक ऐसा फ्रेमवर्क है जिसे रिवॉर्ड जनरलाइजेशन को सतही संकेतों के बजाय मानवीय इरादे (human intent) पर आधारित करने के लिए डिज़ाइन किया गया है। यह बिना रिवॉर्ड फंक्शन को पुन: प्रशिक्षित (retraining) किए, LLMs को रीजनिंग इंजन के रूप में उपयोग करते हुए दो मुख्य चरणों में कार्य करता है।

A. उच्च-स्तरीय इरादे का अनुमान लगाना (Inferring High-Level Intent)

इनपुट: सिस्टम एक ही दृश्य से मानव-पसंद प्रदर्शनों ( $D_H$ ) और गैर-पसंद संदर्भ प्रक्षेप पथों ( $D_{\neg H}$ ) के युग्मों को लेता है।
प्रक्रिया: एक LLM ( $J$ $J$ ) को इन व्यवहारों के बीच अंतर करने के लिए प्रॉम्प्ट किया जाता है ताकि उपयोगकर्ता के अंतर्निहित इरादे ( $\hat{\omega}$ $\overset{ω}{^}$ ) का एक प्राकृतिक भाषा सारांश निकाला जा सके।
- उदाहरण: "लैपटॉप पर कॉफी से बचें" के बजाय, LLM "पानी के प्रति संवेदनशील इलेक्ट्रॉनिक्स के पास तरल पदार्थों से बचें" का निष्कर्ष निकालता है।
आउटपुट: एक उच्च-स्तरीय इरादा विवरण जो विशिष्ट ऑब्जेक्ट इंस्टेंस से ऊपर उठकर सार (abstract) रूप में होता है।

B. इरादा-आधारित स्थिति समानता और संरेखण (Intent-Conditioned State Similarity & Alignment)

एक बार जब इरादा $\hat{\omega}$ का अनुमान लग जाता है, तो GIFT इसका उपयोग एक नया 'स्टेट सिमिलैरिटी' (state similarity) परिभाषित करने के लिए करता है।

इरादा-आधारित कर्नेल (Intent-Conditioned Kernel): दृश्य (जैसे, DINO एम्बेडिंग्स) या भाषाई (जैसे, BERT एम्बेडिंग्स) समानता का उपयोग करने के बजाय, GIFT एक निहित समानता फलन (implicit similarity function) $K(s, s' | \hat{\omega})$ के रूप में कार्य करने के लिए एक LLM का उपयोग करता है।
एलाइनमेंट ऑपरेटर ( $f_{\hat{\omega}}$ ): एक नए टेस्ट स्टेट $s'$ $s^{'}$ के लिए, सिस्टम LLM से यह पूछने के लिए क्वेरी करता है कि कौन सा प्रशिक्षण स्टेट $s \in S_{train}$ $s \in S_{t r ain}$ अनुमानित इरादे के तहत व्यवहारगत रूप से समकक्ष (behaviorally equivalent) है।
- यदि टेस्ट स्टेट में कोई ऑब्जेक्ट प्रशिक्षण ऑब्जेक्ट के समान कार्यात्मक भूमिका (functional role) को पूरा करता है (जैसे, "आर्ट सप्लाई पैक करें" के तहत "मोल्डिंग क्ले $\approx$ पेंटब्रश"), तो उसे उस प्रशिक्षण ऑब्जेक्ट पर मैप किया जाता है।
- अप्रासंगिक ऑब्जेक्ट्स को एक "डिस्ट्रैक्टर" क्लास में मैप किया जाता है।
रिवॉर्ड मूल्यांकन (Reward Evaluation): सीखा गया रिवॉर्ड फंक्शन $R_\theta$ $R_{θ}$ (जो $S_{train}$ $S_{t r ain}$ पर प्रशिक्षित है) एलाइन्ड (aligned) टेस्ट प्रक्षेप पथ पर लागू किया जाता है। एलाइनमेंट ऑपरेटर प्रभावी रूप से नवीन अवस्थाओं (novel states) को इरादा-प्रासंगिक आयामों के साथ प्रशिक्षण डोमेन में प्रोजेक्ट करता है।
- फॉर्मूला: $\tilde{R}_\theta(\xi' | \hat{\omega}) \triangleq R_\theta(f_{\hat{\omega}}(\xi'))$ ।

3. प्रमुख योगदान (Key Contributions)

इरादा-आधारित सामान्यीकरण (Intent-Conditioned Generalization): यह पेपर सतही समानता (दृश्य/भाषical) से इरादा-आधारित समानता की ओर एक प्रतिमान परिवर्तन (paradigm shift) का प्रस्ताव करता है। यह प्रदर्शित करता है कि उच्च-स्तरीय इरादा ही मानव-रोबोट कार्यों में स्टेट इक्विवेलेंस (state equivalence) का वास्तविक चालक है।
पुनः प्रशिक्षण के बिना टेस्ट-टाइम अनुकूलन (Test-Time Adaptation without Retraining): GIFT एक LLM के माध्यम से स्टेट्स को एलाइन करके रोबोट को अनदेखे ऑब्जेक्ट्स और लेआउट के प्रति सामान्यीकृत होने में सक्षम बनाता है, जिससे हर नए वातावरण के लिए डेटा एकत्र करने या रिवॉर्ड मॉडल को फिर से प्रशिक्षित करने की आवश्यकता समाप्त हो जाती है।
कन्फाउंडिंग कारकों के प्रति मजबूती (Robustness to Confounding Factors): यह फ्रेमवर्क स्पष्ट रूप से उन "कन्फाउंडिंग" ऑब्जेक्ट्स को संभालता है जो प्रशिक्षण ऑब्जेक्ट्स के साथ दृश्य या भाषाई विशेषताएं साझा करते हैं लेकिन कार्यात्मक रूप से भिन्न होते हैं (जैसे, टूथब्रश बनाम पेंटब्रश)।
वास्तविक दुनिया का सत्यापन (Real-World Validation): इस पद्धति को केवल सिमुलेशन में ही नहीं, बल्कि एक भौतिक 7-DoF फ्रैंका पांडा (Franka Panda) रोबोट पर भी मान्य किया गया है, जो वास्तविक दुनिया के परिवेश में इसकी व्यवहार्यता को सिद्ध करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार टेबलटॉप मैनिपुलेशन कार्यों (Place Mug, Sweep Spill, Pack Backpack, Store Into Drawer) पर 50 से अधिक अनदेखे ऑब्जेक्ट्स का उपयोग करके GIFT का मूल्यांकन किया।

बेसलाइन्स (Baselines): विजुअल सिमिलैरिटी (DINO), लैंग्वेज सिमिलैरिटी (BERT), और बिना इरादा कंडीशनिंग के LLM ( $LM_{No Intent}$ ) के विरुद्ध तुलना की गई।
पेयरवाइज विन रेट (Pairwise Win Rate): GIFT ने सभी कार्यों में मानव प्राथमिकताओं की भविष्यवाणी करने में लगातार उच्चतम विन रेट प्राप्त किया।
- जटिल कार्यों (Pack Backpack, Store Into Drawer) में, GIFT ने अगले सर्वश्रेष्ठ बेसलाइन की तुलना में ~20% का सुधार दिखाया।
- सरल कार्यों में, इसने ~7% का सुधार दिखाया।
स्टेट एलाइनमेंट सटीकता (F1 Score): GIFT ने टेस्ट ऑब्जेक्ट्स को सही प्रशिक्षण समकक्षों के साथ एलाइन करने में बेहतर F1 स्कोर प्राप्त किया।
- विफलता के मोड (Failure Modes): विजुअल और लैंग्वेज बेसलाइन्स में उच्च फॉल्स पॉजिटिव रेट (जैसे, दृश्य/लेक्सिकल समानता के कारण टूथब्रश को पेंटब्रश के रूप में मैप करना) और फॉल्स नेगेटिव रेट (प्रासंगिक आर्ट सप्लाई जैसे क्ले को मैप करने में विफल होना) देखा गया।
- कन्फाउंडिंग सेट्स (Confounding Sets): कन्फाउंडिंग सबसेट्स पर (वे ऑब्जेक्ट्स जो नाम या दिखावट में समान हैं लेकिन कार्य में भिन्न हैं), GIFT ने कम त्रुटि दर बनाए रखी, जबकि बेसलाइन्स काफी विफल रहे।
वास्तविक दुनिया का प्रदर्शन (Real-World Performance): फ्रैंका रोबोट पर प्रयोगों ने पुष्टि की कि GIFT भौतिक प्रदर्शनों से इरादे को सफलतापूर्वक निकाल सकता है और ऐसे व्यवहारों की योजना बना सकता है (जैसे, क्ले पैक करना, आईफोन स्टोर करना) जो मानव प्राथमिकताओं के अनुरूप हों, जबकि बेसलाइन्स स्पूरियस कोरिलेशन के कारण विफल रहे।

5. महत्व और निष्कर्ष (Significance and Conclusion)

सिम-टू-रियल गैप को पाटना (Bridging the Sim-to-Real Gap): GIFT यह प्रदर्शित करता है कि LLMs कॉमन सेंस रीजनिंग का लाभ उठाकर सीमित प्रशिक्षण डेटा और विविध वास्तविक दुनिया के परिनियोजन परिदृश्यों के बीच के अंतर को प्रभावी ढंग से पाट सकते हैं।
रिवॉर्ड मिसस्पेसिफिकेशन को हल करना (Solving Reward Misspecification): इरादे पर ध्यान केंद्रित करके, GIFT रिवॉर्ड मिसस्पेसिफिकेशन की समस्या को कम करता है जहाँ रोबोट वास्तविक लक्ष्य (जैसे, "आर्ट सप्लाई") के बजाय प्रॉक्सी (जैसे, "ब्रश-नेस") के लिए ऑप्टिमाइज़ करते हैं।
भविष्य की दिशाएं (Future Directions): लेखक LLM इन्फरेंस की विश्वसनीयता (Hallucinations, Abstraction levels) और अनिश्चितता-जागरूक (uncertainty-aware) इरादा कर्नेल की आवश्यकता के संबंध में सीमाओं को नोट करते हैं। हालाँकि, यह कार्य लचीले, इरादा-संचालित रोबोट लर्निंग के लिए एक मजबूत आधार स्थापित करता है जो बिना पुनः प्रशिक्षण के वितरण बदलावों (distribution shifts) के अनुकूल हो सकता है।

संक्षेप में, GIFT एक मजबूत तंत्र प्रदान करता है जिससे रोबोट यह समझ सकते हैं कि एक इंसान ने किसी कार्य को क्यों किया, जिससे उन्हें उस समझ को पूरी तरह से नए ऑब्जेक्ट्स और वातावरणों पर लागू करने की अनुमति मिलती है, जिससे गतिशील सेटिंग्स में स्वायत्त एजेंटों की विश्वसनीयता में उल्लेखनीय सुधार होता है।