🤖 machine learning

GRAIL: Goal Recognition Alignment through Imitation Learning

यह शोध पत्र GRAIL को प्रस्तुत करता है, जो एक लक्ष्य पहचान ढांचा (goal recognition framework) है जो संभावित रूप से उप-इष्टतम प्रदर्शनों (suboptimal demonstrations) से लक्ष्य-निर्देशित नीतियों को प्रशिक्षित करने के लिए इमिटेशन लर्निंग का लाभ उठाता है, जिससे उन अनिश्चित वातावरणों में भी मजबूत और सटीक लक्ष्य अनुमान प्राप्त किया जा सके जहाँ पारंपरिक इष्टतम-नीति-आधारित विधियाँ विफल हो जाती हैं।

मूल लेखक: Osher Elhadad, Felipe Meneguzzi, Reuth Mirsky

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Osher Elhadad, Felipe Meneguzzi, Reuth Mirsky

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र GRAIL: Goal Recognition Alignment through Imitation Learning की व्याख्या दी गई है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

बड़ी समस्या: "परफेक्ट रोबोट" का अनुमान (The "Perfect Robot" Assumption)

कल्पना कीजिए कि आप अंदाज़ा लगाने की कोशिश कर रहे हैं कि आपका एक दोस्त कहाँ जा रहा है, उसके चलने के रास्ते को देखकर।

पुराना तरीका (Standard AI): अधिकांश AI सिस्टम यह मान लेते हैं कि हर कोई एक "परफेक्ट रोबोट" है। वे सोचते हैं, "अगर किराने की दुकान जाने का सबसे छोटा रास्ता उत्तर की ओर है, और मेरा दोस्त उत्तर की ओर चल रहा है, तो वह पक्का किराने की दुकान ही जा रहा होगा।"
वास्तविकता: इंसान परफेक्ट रोबोट नहीं होते। हो सकता है कि आपका दोस्त किराने की दुकान जाने के लिए हमेशा उत्तर की ओर ही चलता हो क्योंकि उसे उस तरफ वाला पार्क बहुत पसंद है, भले ही पूर्व वाला रास्ता तकनीकी रूप से उतनी ही दूरी का हो। या शायद वह आज थोड़ा अनाड़ी महसूस कर रहा है और टेढ़ा-मेढ़ा चल रहा है।
विफलता: यदि AI केवल "परफेक्ट" गणित को जानता है, तो वह भ्रमित हो जाता है। वह देखता है कि आपका दोस्त उत्तर की ओर चल रहा है और सोचता है, "खैर, ऑफिस भी उत्तर में ही है, तो शायद वह काम पर जा रहा है?" वह उस बारीकी को नहीं पकड़ पाता कि आपके दोस्त को पार्क वाला रास्ता अधिक पसंद है।

समाधान: GRAIL (द "मिमिक्री डिटेक्टिव" - नकल करने वाला जासूस)

लेखक GRAIL पेश करते हैं, जो एक नया सिस्टम है जो गणित का जीनियस बनने की कोशिश करने के बजाय एक नकलची (mimic) की तरह व्यवहार करना शुरू करता है।

"परफेक्ट" रास्ते की गणना करने के बजाय, GRAIL लोगों के विशिष्ट स्थानों पर जाने के कई उदाहरणों को देखता है और उनकी सटीक आदतों, जिनमें उनकी खामियां, पूर्वाग्रह और गलतियाँ भी शामिल हैं, को कॉपी (copy) करना सीखता है।

इसे इस तरह समझें:

पुराना AI: एक GPS जो केवल सबसे तेज़ रास्ता जानता है।
GRAIL: एक पीछा करने वाला (एक वैज्ञानिक तरीके से) जिसने एक व्यक्ति को किराने की दुकान तक जाते हुए 50 बार देखा है और सीखा है, "ओह, यह व्यक्ति बेकरी के पास से हमेशा बाईं ओर मुड़ता है, भले ही यह रास्ता थोड़ा लंबा हो।"

यह कैसे काम करता है (तीन चरण)

1. प्रशिक्षण चरण (The "Acting Class" - अभिनय कक्षा)

GRAIL हर संभावित लक्ष्य (goal) के लिए एक अलग "अभिनय कक्षा" तैयार करता है।

यदि लक्ष्य "किराने की दुकान", "काम" और "जिम" हैं, तो यह तीन अलग-अलग AI एजेंटों को प्रशिक्षित करता है।
एजेंट A किराने की दुकान जाने वाले लोगों के वीडियो देखता है और बिल्कुल उन्हीं की तरह चलना सीखता है (पार्क वाला रास्ता लेना)।
एजेंट B काम पर जाने वाले लोगों के वीडियो देखता है और काम के रास्ते (हाईवे रूट) की तरह चलना सीखता है।
एजेंट C जिम वाले रास्ते को सीखता है।
मुख्य बिंदु: ये एजेंट केवल मंजिल नहीं सीखते; वे चलने की शैली (style) को भी सीखते हैं, जिसमें उनके "व्यवस्थित पूर्वाग्रह" (जैसे हमेशा सीढ़ियों से बचना) भी शामिल हैं।

2. अवलोकन चरण (The "Spot the Imposter" Game - नकली को पहचानो खेल)

अब, आप एक व्यक्ति को चलते हुए देखते हैं। आप उसकी यात्रा के केवल शुरुआती कुछ कदम ही देख पाते हैं (एक आंशिक प्रक्षेपवक्र/partial trajectory)।

आप एजेंट A से पूछते हैं: "हे, क्या यह चलने की शैली किराने की दुकान जाने वाले व्यक्ति जैसी दिखती है?"
आप एजेंट B से पूछते हैं: "क्या यह काम पर जाने वाले व्यक्ति जैसा लग रहा है?"
आप एजेंट C से पूछते हैं: "क्या यह जिम जाने वाले व्यक्ति जैसा लग रहा है?"

3. निर्णय (The "Score" - स्कोर)

सिस्टम प्रत्येक एजेंट को एक स्कोर देता है कि वह आपके द्वारा देखे जा रहे व्यक्ति की कितनी अच्छी तरह से "नकल" (mimic) कर सकता है।

यदि व्यक्ति उस विशिष्ट "पार्क-प्रेमी" लय के साथ चल रहा है, तो एजेंट A (किराने की दुकान) कहेगा, "अरे, यह मैं हूँ! मैं भी ऐसा ही करता हूँ!" और उसे उच्च स्कोर मिलेगा।
एजेंट B कहेगा, "नहीं, मैं इस तरह नहीं चलता।"
विजेता: जिस लक्ष्य का स्कोर सबसे अधिक होता है, AI का अनुमान वही होता है।

यह बेहतर क्यों है?

लेखकों ने दो दुनियाओं में इसका परीक्षण किया: एक ग्रिड-आधारित वीडियो गेम (MiniGrid) और एक रोबोटिक आर्म सिमुलेशन (PandaReach)।

यह "मानवीय" खामियों को संभालता है: जब लोग पक्षपाती तरीके से चलते हैं (हमेशा सुंदर दृश्य वाले रास्ते को चुनते हैं) या गलतियाँ करते हैं (उप-इष्टतम व्यवहार), तो पुराना "परफेक्ट रोबोट" AI भ्रमित हो जाता है और गलत अनुमान लगाता है। GRAIL इसे सही पहचान लेता है क्योंकि उसने प्रशिक्षण के दौरान उन खामियों को भी सीखा था।
- उपमा: यदि आप किसी को अपने जूतों के फीते से टकराकर लड़खड़ाते हुए देखते हैं, तो एक परफेक्ट रोबोट सोचेगा "यह अजीब है, वे कहीं नहीं जा रहे हैं।" GRAIL सोचेगा, "ओह, यह बॉब है! वह कॉफी शॉप जाने के लिए हर बार अपने फीतों से टकराता है। वह निश्चित रूप से कॉफी शॉप ही जा रहा है।"
यह बहुत तेज़ है:
- पुराने तरीके अक्सर हर बार किसी नए व्यक्ति को देखने पर "सोचने" (जटिल गणितीय सिमुलेशन चलाने) के लिए रुक जाते हैं।
- GRAIL एक रिफ्लेक्स (reflex) की तरह है। यह बस चलने की शैली को देखता है और तुरंत कहता है, "यह किराने की दुकान वाला आदमी है!" इसे गणना करने के लिए रुकने की आवश्यकता नहीं होती; यह पैटर्न को पहचान लेता है।
यह शोर वाले डेटा (Noisy Data) के साथ काम करता है: भले ही व्यक्ति अनियमित रूप से चल रहा हो (शोर या भ्रम के कारण), GRAIL मजबूत रहता है। वह जानता है कि यदि प्रशिक्षण में ऐसा ही देखा गया है, तो "लड़खड़ाता हुआ चलना" भी "किराने की दुकान" के पैटर्न का हिस्सा है।

निष्कर्ष (The Takeaway)

GRAIL "लक्ष्य पहचान" (Goal Recognition - यह अनुमान लगाना कि कोई क्या करना चाहता है) के खेल को बदल देता है।

पहले: हम लक्ष्यों का अनुमान इस धारणा के साथ लगाते थे कि हर कोई एक परफेक्ट, तार्किक गणितज्ञ है।
अब: हम लक्ष्यों का अनुमान वास्तविक, अस्त-व्यस्त, पक्षपाती और कभी-कभी अनाड़ी व्यवहार की नकल (imitate) करके लगाते हैं।

यह एक ऐसे जासूस और एक ऐसे जासूस के बीच का अंतर है जो केवल भौतिकी के नियमों को जानता है (और मानवीय विचित्रताओं से भ्रमित हो जाता है) और उस जासूस के बीच का अंतर है जो संदिग्ध की व्यक्तिगत आदतों को अंदर से अच्छी तरह जानता है। आदर्श व्यवहार के बजाय वास्तविक मानव व्यवहार के साथ AI को संरेखित करके, GRAIL हमें समझने में AI को बहुत बेहतर बनाता है।

यहाँ शोध पत्र "GRAIL: Goal Recognition Alignment through Imitation Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लक्ष्य पहचान (Goal Recognition - GR) एक एजेंट के देखे गए कार्यों के आंशिक अनुक्रम (partial sequence) से उसके अंतर्निहित उद्देश्य का अनुमान लगाने का कार्य है। हालांकि यह मानव-रोबोट संपर्क और मल्टी-एजेंट समन्वय के लिए महत्वपूर्ण है, मौजूदा GR विधियाँ दो प्राथमिक सीमाओं से ग्रस्त हैं:

इष्टतमता की धारणा (The Optimality Assumption): अधिकांश शास्त्रीय और सुदृढीकरण लर्निंग (Reinforcement Learning - RL) आधारित GR दृष्टिकोण यह मानते हैं कि एजेंट इष्टतम रूप से कार्य करते हैं (जैसे, सबसे छोटे पथों का अनुसरण करना या रिवॉर्ड फंक्शन को अधिकतम करना)। यह तब विफल हो जाता है जब एजेंट व्यवस्थित पूर्वाग्रह (systematic biases) प्रदर्शित करते हैं (जैसे, सबसे छोटे पथ के बजाय सुंदर दृश्यों वाले रास्तों को प्राथमिकता देना) या उप-इष्टतम व्यवहार (suboptimal behavior) (शोर, ह्यूरिस्टिक्स, संज्ञानात्मक सीमाएं) दिखाते हैं।
गणना विलंबता (Computational Latency): कई विधियों के लिए इन्फरेंस (inference) के दौरान प्रत्येक संभावित लक्ष्य के लिए एक प्लानर (planner) या RL रोलआउट चलाने की आवश्यकता होती है, जो वास्तविक समय के इंटरैक्टिव अनुप्रयोगों के लिए बाधा उत्पन्न करता है।

शोध पत्र का तर्क है कि वास्तविक दुनिया के एजेंट आदर्श तर्कसंगतता से अनुमानित तरीकों से विचलित होते हैं, और वर्तमान GR सिस्टम इन वास्तविक व्यवहारिक मॉडलों के साथ तालमेल बिठाने में विफल रहते हैं।

2. कार्यप्रणाली: GRAIL फ्रेमवर्क (Methodology: GRAIL Framework)

लेखक GRAIL (Goal Recognition Alignment through Imitation Learning) का प्रस्ताव करते हैं, जो GR को इमिटेशन लर्निंग (Imitation Learning - IL) की समस्याओं के एक संग्रह के रूप में पुनर्गठित करता है। एक रिवॉर्ड फंक्शन या प्लानर सीखने के बजाय, GRAIL प्रदर्शन प्रक्षेपवक्र (demonstration trajectories) से सीधे प्रत्येक संभावित लक्ष्य के लिए एक विशिष्ट पॉलिसी (policy) सीखता है।

मुख्य वर्कफ़्लो (Core Workflow)

यह फ्रेमवर्क दो अलग-अलग चरणों में कार्य करता है:

A. ऑफलाइन पॉलिसी लर्निंग (Offline Policy Learning - Training)
प्रत्येक संभावित लक्ष्य $g \in G$ के लिए, सिस्टम प्रदर्शन डेटासेट ( $D_g$ ) का उपयोग करके एक समर्पित पॉलिसी $\pi_g$ को प्रशिक्षित करता है, जहाँ एक एजेंट लक्ष्य $g$ का पीछा कर रहा था। यह फ्रेमवर्क तीन IL बैकबोन का समर्थन करता है:

बिहेवियरल क्लोनिंग (Behavioral Cloning - BC): विशेषज्ञ कार्यों की संभावना को अधिकतम करने के लिए स्टेट-एक्शन पेयर्स पर सुपरवाइज्ड लर्निंग।
जेनरेटिव एडवरसैरियल इमिटेशन लर्निंग (Generative Adversarial Imitation Learning - GAIL): विशेषज्ञ प्रक्षेपवक्यों के साथ लर्नर की पॉलिसी के ऑक्यूपेंसी डिस्ट्रीब्यूशन को मिलाने के लिए एडवरसैरियल ट्रेनिंग का उपयोग करता है।
एडवरसैरियल इनवर्स रिइन्फोर्समेंट लर्निंग (Adversarial Inverse Reinforcement Learning - AIRL): विशेषज्ञ डेटा की व्याख्या करने के लिए रिवॉर्ड फंक्शन और पॉलिसी को एक साथ सीखता है।

महत्वपूर्ण रूप से, ये पॉलिसियाँ एजेंट के व्यवहार के विशिष्ट "फिंगरप्रिंट" को आत्मसात करती हैं, जिसमें पूर्वाग्रह और उप-इष्टतम विचित्रताएं शामिल हैं, न कि केवल एक सैद्धांतिक इष्टतम पथ को मानती हैं।

B. ऑनलाइन वन-शॉट इन्फरेंस (Online One-Shot Inference - Testing)
जब एक नया आंशिक प्रक्षेपवक्र $\tau_{obs}$ देखा जाता है:

सिस्टम प्रत्येक सीखी गई पॉलिसी $\pi_g$ के विरुद्ध प्रक्षेपवक्र का मूल्यांकन एक सिंगल फॉरवर्ड पास (single forward pass) में करता है।
यह एक नेगेटिव एवरेज मीन स्क्वेर्ड एरर (Negative Average Mean Squared Error - MSE) मीट्रिक का उपयोग करके समानता स्कोर $S_g(\tau_{obs})$ की गणना करता है:
$S_g(\tau_{obs}) = -\frac{1}{T} \sum_{t=0}^{T-1} \|\pi_g(s_t) - a_t\|^2$
(नोट: यह मीट्रिक मापता है कि पॉलिसी का अनुमानित एक्शन प्रत्येक चरण पर देखे गए एक्शन से कितनी अच्छी तरह मेल खाता है।)
उच्चतम स्कोर वाला लक्ष्य चुना जाता है: $\hat{g} = \arg\max_{g \in G} S_g(\tau_{obs})$ ।

प्रमुख नवाचार (Key Innovation): यह दृष्टिकोण इन्फरेंस के समय प्लानर्स, एनवायरनमेंट रोलआउट्स या रिवॉर्ड मॉडलिंग की आवश्यकता को समाप्त कर देता है, जिससे तेज़, "प्लानर-मुक्त" पहचान संभव होती है।

3. प्रमुख योगदान (Key Contributions)

नवीन औपचारिकता (Novel Formulation): GR को इमिटेशन लर्निंग की समस्याओं के सेट के रूप में मानने वाला पहला फ्रेमवर्क, जो सिस्टम को संभावित रूप से उप-इष्टतम या पक्षपाती प्रदर्शनों से सीधे सीखने की अनुमति देता है।
वास्तविक व्यवहार के साथ संरेखण (Alignment with Real Behavior): डेटा से सीधे पॉलिसियों को सीखकर, GRAIL एजेंट के व्यवस्थित पूर्वाग्रहों (जैसे, रूट प्राथमिकताएं) को कैप्चर करता है, जिन्हें इष्टतम-योजना-आधारित विधियाँ छोड़ देती हैं।
दक्षता (Efficiency): इन्फरेंस चरण कम्प्यूटेशनल रूप से हल्का है, जिसके लिए केवल न्यूरल नेटवर्क के माध्यम से एक फॉरवर्ड पास की आवश्यकता होती है, जो इसे वास्तविक समय के अनुप्रयोगों के लिए उपयुक्त बनाता है।
एकीकृत दृष्टिकोण (Unified Approach): यह गोल रिकग्निशन (GR), इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) और इमिटेशन लर्निंग (IL) के बीच के अंतर को पाटता है, यह दिखाते हुए कि स्पष्ट रिवॉर्ड रिकवरी के बिना भी IL एल्गोरिदम को वन-शॉट गोल इन्फरेंस के लिए पुन: उपयोग किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MiniGrid (डिस्क्रीट नेविगेशन) और PandaReach (कंटीन्यूअस रोबोटिक कंट्रोल) डोमेन पर GRAIL का मूल्यांकन किया। उन्होंने GRAIL वेरिएंट्स (BC, GAIL, AIRL) की तुलना अत्याधुनिक बेसलाइन्स: GRAQL (Q-learning आधारित) और DRACO (PPO-आधारित) से की।

प्रदर्शन की मुख्य बातें (Performance Highlights):

व्यवस्थित रूप से पक्षपाती इष्टतम व्यवहार (Systematically Biased Optimal Behavior): उन परिदृश्यों में जहाँ एजेंट इष्टतम पथ लेते हैं लेकिन निरंतर पूर्वाग्रहों के साथ (जैसे, पार्क मार्ग को प्राथमिकता देना), GRAIL ने लगभग पूर्ण F1-स्कोर (1.0) प्राप्त किया, जबकि Q-लर्निंग बेसलाइन (GRAQL) संघर्ष करती रही (F1 $\approx$ 0.3–0.5) क्योंकि उसने समान इष्टतमता को माना था।
उप-इष्टतम व्यवहार (Suboptimal Behavior): शोर या ह्यूरिस्टिक-संचालित व्यवहार के तहत, GRAIL वेरिएंट्स ने बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन किया, जिससे F1-स्कोर में 0.1 से 0.3 का सुधार हुआ। BC-GRAIL विशेष रूप से प्रभावी था, जिसने व्यवस्थित विचलन को आत्मसात किया।
इष्टतम व्यवहार (Optimal Behavior): स्वच्छ, इष्टतम सेटिंग्स में भी, GRAIL प्रतिस्पर्धी बना रहा, और अक्सर RL-आधारित विधियों के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया, विशेष रूप से जैसे-जैसे उम्मीदवार लक्ष्यों की संख्या बढ़ी।
दक्षता (Efficiency):
- प्रशिक्षण (Training): BC-GRAIL ने RL बेसलाइन्स (जैसे, MiniGrid में ~300s के मुकाबले ~5s प्रति लक्ष्य) की तुलना में काफी तेज़ी से प्रशिक्षण लिया।
- इन्फरेंस (Inference): GRAIL इन्फरेंस DRACO की तुलना में नाटकीय रूप से तेज़ था, क्योंकि इसमें किसी एनवायरनमेंट इंटरेक्शन या रोलआउट की आवश्यकता नहीं थी।

5. महत्व और निहितार्थ (Significance and Implications)

वास्तविक डेटा के प्रति मजबूती (Robustness to Real-World Data): GRAIL उस "रियलिटी गैप" को संबोधित करता है जहाँ मानव और एजेंट का व्यवहार शायद ही कभी पूरी तरह से इष्टतम होता है। यह पहला GR सिस्टम है जिसे व्यवस्थित पूर्वाग्रहों और उप-इष्टतमता को शोर (noise) मानने के बजाय उन्हें संभालने के लिए डिज़ाइन किया गया है।
स्केलेबिलिटी (Scalability): "वन-शॉट" इन्फरेंस क्षमता GRAIL को स्वायत्त ड्राइविंग या सहायक रोबोटिक्स जैसे समय-संवेदनशील अनुप्रयोगों के लिए व्यवहार्य बनाती है, जहाँ विलंबता (latency) महत्वपूर्ण है।
नैतिक संरेखण (Ethical Alignment): आदर्श तर्कसंगत मॉडल के बजाय वास्तविक देखे गए व्यवहार के आधार पर लक्ष्यों का अनुमान लगाकर, GRAIL मानव इरादों के साथ AI सिस्टम को संरेखित करने का एक अधिक सटीक और संभावित रूप से सुरक्षित तरीका प्रदान करता है, जिससे मानवीय प्राथमिकताओं को गलत समझने का जोखिम कम हो जाता है।

सीमाएं और भविष्य का कार्य (Limitations & Future Work):
वर्तमान फ्रेमवर्क ज्ञात उम्मीदवार लक्ष्यों के एक बंद सेट (closed set) और स्थिर वातावरण डायनेमिक्स को मानता है। भविष्य के कार्य में ओपन-सेट गोल रिकग्निशन (नए लक्ष्यों की खोज) और गतिशील वातावरण डायनेमिक्स को संभालने के लिए GRAIL का विस्तार करना शामिल है। इसके अतिरिक्त, लेखक नोट करते हैं कि हालांकि वर्तमान अध्ययन सिंथेटिक डेटा का उपयोग करता है, जटिल, धारणा-प्रधान वास्तविक दुनिया के इनपुट पर इसे लागू करना एक चुनौती बनी हुई है।