🤖 machine learning

Nested Training for Mutual Adaptation in Human-AI Teaming

यह शोध पत्र एक इंटरैक्टिव पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (I-POMDP) ढांचे के भीतर एक नेस्टेड प्रशिक्षण शासन का प्रस्ताव करता है ताकि उन एआई एजेंटों को प्रशिक्षित किया जा सके जो अपारदर्शी, सह-प्रशिक्षित-विशिष्ट समन्वय रणनीतियों को विकसित किए बिना उन्हें अनुकूलन योग्य व्यवहारों के संपर्क में लाकर मानव भागीदारों के प्रति प्रभावी ढंग से अनुकूलित हो सकें, जिससे ओवरकुक्ड (Overcooked) जैसे सहकारी परिवेशों में अनदेखे अनुकूलन योग्य भागीदारों के साथ बेहतर सामान्यीकरण और कार्य प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Upasana Biswas, Durgesh Kalwar, Subbarao Kambhampati, Sarath Sreedharan

प्रकाशित 2026-02-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Upasana Biswas, Durgesh Kalwar, Subbarao Kambhampati, Sarath Sreedharan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "नेस्टेड ट्रेनिंग फॉर म्यूचुअल एडेप्टेशन इन ह्यूमन-एआई टीमिंग" (Nested Training for Mutual Adaptation in Human–AI Teaming) पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोजमर्रा के उदाहरणों में तोड़ा गया है।

बड़ी समस्या: "डांस फ्लोर" की दुविधा

कल्पना कीजिए कि आप एक साथी के साथ डांस करना सीख रहे हैं।

पुराना तरीका: अतीत में, एआई शोधकर्ता रोबोट्स को हजारों अलग-अलग स्थिर (static) पार्टनर्स के साथ डांस कराकर प्रशिक्षित करते थे। वे पार्टनर्स अपने मूव्स कभी नहीं बदलते थे। रोबोट हर विशिष्ट पार्टनर के लिए स्टेप्स को याद करना सीख जाता था।
- परिणाम: यदि आप उस रोबोट को एक ऐसे नए व्यक्ति के साथ डांस फ्लोर पर रखते हैं जो वास्तव में रोबोट के कार्यों के आधार पर अपने मूव्स बदलता है, तो रोबोट जम जाता है। वह "स्थिर" स्टेप्स करने की कोशिश करता है, इंसान बदल जाता है, और वे आपस में टकरा जाते हैं।
नया तरीका (यह पेपर): लेखकों ने महसूस किया कि इंसान गतिशील (dynamic) होते हैं। हम अपने पार्टनर को देखते हैं, अपने स्टेप्स को एडजस्ट करते हैं, और फिर वे अपने स्टेप्स को एडजस्ट करते हैं। यह "मैं तुम्हें चलते हुए देखता हूँ, इसलिए मैं चलता हूँ, ताकि तुम फिर से चलो" का एक निरंतर चक्र है। इसे म्यूचुअल एडेप्टेशन (Mutual Adaptation) कहा जाता है।

चुनौती यह है: आप एक रोबोट को उस इंसान के साथ डांस करना कैसे सिखाएं जो खुद भी रोबोट के साथ डांस करना सीख रहा है, बिना इस उलझन में फंसे कि वे किसी अजीब, अदृश्य नियम पर सहमत हो जाएं जो केवल वे ही समझते हों?

समाधान: "नेस्टेड ट्रेनिंग" (रशियन डॉल दृष्टिकोण)

लेखकों ने नेस्टेड ट्रेनिंग (Nested Training) नामक एक विशेष प्रशिक्षण पद्धति बनाई। इसे रूसी नेस्टिंग डॉल्स (Russian nesting dolls) या "एक सिमुलेशन के भीतर एक सिमुलेशन" की तरह समझें।

उन्होंने रोबोट को सीधे इंसान के खिलाफ प्रशिक्षित नहीं किया। उन्होंने सीखने के स्तरों का एक पदानुक्रम (hierarchy) बनाया:

लेवल 0 (फिक्स्ड बेस): कल्पना कीजिए कि रोबकोट्स का एक समूह है जो "मूर्ख" हैं और अपने डांस मूव्स कभी नहीं बदलते। वे आधार (foundation) हैं।
लेवल 1 (ह्यूमन लर्नर): वे एक "ह्यूमन एआई" को उन फिक्स्ड लेवल 0 रोबोट्स के खिलाफ डांस करने के लिए प्रशिक्षित करते हैं। क्योंकि रोबोट्स बदलते नहीं हैं, ह्यूमन एआई रोबोट के अनुकूल होने के लिए अपने मूव्स को ढालना सीख जाता है। यह एक स्मार्ट और लचीला पार्टनर बन जाता है।
लेवल 2 (रोबोट मास्टर): अंत में, वे असली रोबोट (Real Robot) को लेवल 1 ह्यूमन एआई के खिलाफ डांस करने के लिए प्रशिक्षित करते हैं।

यह क्यों चतुर है?
असली रोबोट एक स्थिर, अपरिवर्तित पार्टनर के खिलाफ डांस नहीं कर रहा है। वह एक ऐसे पार्टनर के खिलाफ डांस कर रहा है जो अनुकूलन (adapt) करना जानता है।

ह्यूमन एआई (लेवल 1) कोई भी मूव चुनने से पहले यह देखने का इंतजार करता है कि रोबोट क्या करता है।
असली रोबोट (लेवल 2) उस प्रतीक्षा को भांपना सीख जाता है। वह सीखता है, "आह, मेरा पार्टनर मेरे नेतृत्व (lead) का इंतजार कर रहा है, इसलिए मैं तुरंत नेतृत्व करूँगा।"

यह एक "लेवल-2" विचारक बनाता है। रोबोट न केवल यह समझता है कि इंसान क्या कर रहा है, बल्कि यह भी कि वे ऐसा क्यों कर रहे हैं (क्योंकि वे रोबोट के प्रति प्रतिक्रिया दे रहे हैं)।

उदाहरण: "ओवरकुक्ड" (Overcooked) किचन

शोधकर्ताओं ने ओवरकुक्ड नामक एक गेम में इसका परीक्षण किया, जो एक अराजक किचन सिमुलेशन जैसा है जहाँ दो शेफ को मिलकर सलाद बनाना होता है।

परिदृश्य: तीन प्रकार के सलाद हैं (टमाटर/प्याज, गाजर/लेट्यूस, आलू/ब्रोकोली)। इंसान और रोबोट को एक सलाद बनाने के लिए सहमत होना पड़ता है।
पुराने तरीकों की विफलता:
- मानक रोबोट अक्सर "पिंग-पोंग" प्रभाव में फंस जाते हैं। रोबोट टमाटर चुनता है, इंसान गाजर की ओर स्विच करता है, रोबोट घबराकर आलू की ओर स्विच करता है, इंसान भ्रमित होकर वापस पुराने पर स्विच करता है। वे कभी सहमत नहीं हो पाते और किचन जल जाता है। वे आगे-पीछे झूलते रहते हैं, एक योजना पर स्थिर होने में असमर्थ होते हैं।
नेस्टेड ट्रेनिंग की सफलता:
- नया रोबोट समझ जाता है: "मेरा पार्टनर इसलिए हिचकिचा रहा है क्योंकि वह मेरे द्वारा सलाद चुनने का इंतजार कर रहा है।"
- इंतजार करने के बजाय, रोबोट आत्मविश्वास से एक सलाद चुनता है और उसे काटना शुरू कर देता है।
- इंसान (सिम्युलेटेड) इस आत्मविश्वास को देखता है, हिचकिचाना बंद करता है, और उसी विशिष्ट सलाद में मदद करना शुरू कर देता है।
- परिणाम: वे तुरंत एक लय (rhythm) में बंध जाते हैं और कार्य पूरा कर लेते हैं।

यह क्यों महत्वपूर्ण है

यह पेपर साबित करता है कि एआई को यह समझने के लिए प्रशिक्षित करके कि इंसान कैसे सीखते और अनुकूलित होते हैं, एआई वास्तविक लोगों के साथ काम करने में बहुत बेहतर हो जाता है।

"नाजुक" समझौतों का अंत: पुराने तरीकों से अक्सर रोबोट और इंसान काम करने के एक अजीब, विशिष्ट तरीके पर सहमत हो जाते थे जो केवल उस विशिष्ट जोड़ी के लिए काम करता था। यदि आप इंसान को बदलते थे, तो रोबोट टूट जाता था।
जनरलाइजेशन (Generalization): नई पद्धति रोबोट को लचीला बनाना सिखाती है। यह किसी भी ऐसे इंसान के साथ काम कर सकता है जो अनुकूलित (adapt) होता है, क्योंकि यह अनुकूलन के तंत्र (mechanism) को समझता है, न कि केवल विशिष्ट मूव्स को।

संक्षेप में

इसे एक बच्चे को शतरंज खेलना सिखाने की तरह समझें।

पुराना तरीका: आप बच्चे को एक कंप्यूटर के खिलाफ खेलने के लिए सिखाते हैं जो हमेशा एक ही 10 चालें चलता है। बच्चा उन 10 चालों को रट लेता है। जब वह असली इंसान के साथ खेलता है, तो वह हार जाता है क्योंकि इंसान अलग तरह से खेलता है।
नया तरीका (नेस्टेड ट्रेनिंग): आप बच्चे को एक "स्मार्ट छात्र" के खिलाफ खेलने के लिए सिखाते हैं जो बच्चे को हराने के लिए सीख रहा है। बच्चा छात्र की सीखने की प्रक्रिया का अनुमान लगाना सीख जाता है। अब, जब वह असली इंसान के साथ खेलता है, तो वह किसी भी रणनीति के लिए तैयार रहता है क्योंकि उसने सोचने के बारे में सोचना सीखा है।

परिणामस्वरूप एक ऐसा एआई मिलता है जो केवल आदेशों का पालन नहीं करता या पैटर्न को याद नहीं करता; वह मानव सहयोग के नृत्य को समझता है और किसी के भी साथ तालमेल बिठा सकता है।

यहाँ शोध पत्र "Nested Training for Mutual Adaptation in Human–AI Teaming" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मुख्य चुनौती मानव भागीदारों के साथ पारस्परिक अनुकूलन (mutual adaptation) करने में सक्षम सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एजेंटों को डिजाइन करने की है।

वर्तमान दृष्टिकोणों की सीमाएँ:
- स्थिर भागीदार (Static Partners): मौजूदा विधियाँ अक्सर विविध लेकिन स्थिर सिम्युलेटेड भागीदारों के विरुद्ध प्रशिक्षित होती हैं। हालांकि इससे अनदेखे भागीदारों के प्रति मजबूती (robustness) में सुधार होता है, लेकिन यह इस तथ्य को मॉडल करने में विफल रहती है कि मनुष्य रोबोट के व्यवहार के जवाब में अपनी रणनीतियों को सक्रिय रूप से अनुकूलित करते हैं।
- भंगुर समन्वय (Brittle Coordination): समवर्ती बहु-एजेंट शिक्षण (जहाँ दोनों एजेंट एक ही समय में सीखते हैं) अक्सर "अपारदर्शी समन्वय परंपराओं" (opaque coordination conventions) की ओर ले जाता है। एजेंट विशिष्ट, नाजुक रणनीतियों पर अभिसरित (converge) हो जाते हैं जो केवल विशिष्ट प्रशिक्षण भागीदार के लिए काम करती हैं और नए, अनदेखे अनुकूलनशील भागीदारों के लिए विफल हो जाती हैं।
- एकतरफा अनुकूलन (One-Sided Adaptation): मानक प्रतिमान अनुकूलन को एकतरफा मानते हैं (रोबोट एक निश्चित मानव के अनुकूल होता है), उस संवादात्मक प्रकृति की अनदेखी करते हैं जहाँ मानव भी रोबोट के अनुकूल होता है।

2. कार्यप्रणाली (Methodology)

लेखक इंटरैक्टिव पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (I-POMDP) और एक नवीन नेस्टेड ट्रेनिंग रिजीम (Nested Training Regime) पर आधारित एक ढांचा प्रस्तावित करते हैं।

A. सैद्धांतिक ढांचा: फिनाइटली नेस्टेड I-POMDP (Finitely Nested I-POMDP)

मानव-रोबोट टीमिंग समस्या को एक फिनाइटली नेस्टेड I-POMDP के रूप में मॉडल किया गया है।

लेवल-0: स्थिर, गैर-अनुकूलनशील नीतियां (आधार व्यवहार)।
लेवल-1: एजेंट (मानव) जो लेवल-0 रोबोट नीतियों पर विश्वास (beliefs) बनाए रखते हैं और तदनुसार अनुकूलित होते हैं।
लेवल-2: रोबोट एजेंट लेवल-1 मानव नीतियों पर विश्वास बनाए रखता है (अर्थात, वह तर्क देता है कि मानव उसके अनुकूल हो रहा है)।
मुख्य अंतर्दृष्टि: स्टेट स्पेस के भीतर मानव के अनुकूलन को स्पष्ट रूप से प्रस्तुत करके, रोबट यह तर्क दे सकता है कि मानव रोबोट के कार्यों के आधार पर अपने व्यवहार को कैसे बदलेगा।

B. नेस्टेड ट्रेनिंग रिजीम (Nested Training Regime)

पूर्ण समवर्ती सह-अनुकूलन (simultaneous co-adaptation) की कम्प्यूटेशनल जटिलता के बिना लेवल-2 तर्क को अनुमानित करने के लिए, लेखक एक नेस्टेड प्रशिक्षण प्रक्रिया पेश करते हैं:

लेवल-1 प्रशिक्षण (मानव मॉडल): स्तर-0 की निश्चित रोबोट नीतियों $\{\pi^k_R\}$ के एक परिमित सेट के विरुद्ध मानव नीतियों $\{\pi^j_H\}$ को प्रशिक्षित किया जाता है। ये परिणामी मानव नीतियां "अनुकूलनशील" हैं क्योंकि उन्होंने विशिष्ट रोबोट व्यवहारों के प्रति प्रतिक्रिया करना सीखा है।
लेवल-2 प्रशिक्षण (रोबोट नीति): लक्ष्य रोबोट नीति $\pi_R$ $π_{R}$ को अनुकूलित लेवल-1 मानव नीतियों के सेट के विरुद्ध प्रशिक्षित किया जाता है।
- महत्वपूर्ण तंत्र: रोबोट उन भागीदारों के विरुद्ध प्रशिक्षण लेता है जो पहले से ही निचले स्तर की नीतियों के अनुकूल हैं, लेकिन रोबोट के प्रशिक्षण के दौरान वे भागीदार स्वयं स्थिर रहते हैं। यह "एकल समन्वय परंपरा" में पतन (collapse) को रोकता है (जो समवर्ती प्रशिक्षण का एक सामान्य विफलता मोड है) जबकि फिर भी रोबोट को अनुकूलनशील गतिकी (adaptive dynamics) के संपर्क में लाता है।
लेटेंट एम्बेडिंग (Latent Embedding): इंटरेक्शन इतिहास और पार्टनर प्रकारों को ट्रैक करने की जटिलता को संभालने के लिए, यह विधि एक लेटेंट एम्बेडिंग $z_t = f_\theta(h_t)$ सीखती है जो इंटरेक्शन इतिहास का सारांश देती है। नीति इस एम्बेडिंग पर आधारित होती है ( $a_t \sim \pi_\theta(a|o_t, z_t)$ ), जो पार्टनर प्रकारों पर एम्पोर्टाइज्ड अनिश्चितता (amortized uncertainty) और एंड-टू-एंड ऑप्टिमाइज़ेशन की अनुमति देती है।

3. मुख्य योगदान (Key Contributions)

पारस्परिक अनुकूलन का स्पष्ट मॉडलिंग: यह शोध पत्र मानवों को स्थिर वितरण के रूप में मानने से आगे बढ़कर, I-POMDP ढांचे के भीतर मानव के अनुकूलनशील प्रतिक्रिया को स्पष्ट रूप से मॉडल करता है।
नेस्टेड ट्रेनिंग एल्गोरिदम: एक व्यावहारिक RL रिजीम जो लेवल-2 तर्क को अनुमानित करता है। यह अनुकूलनशील व्यवहारों के संपर्क में आने और भंगुर, पार्टनर-विशिष्ट परंपराओं के उभरने को रोकने के बीच सफलतापूर्वक संतुलन बनाता है।
सैद्धांतिक गारंटी: लेखक एक प्रमाण (थ्योरम A.1) प्रदान करते हैं जो यह दर्शाता है कि इस नेस्टेड रिजीम के तहत, सीखी गई नीति एक एकल संयुक्त समाधान तक सीमित नहीं होती है बल्कि कई संयुक्त नीतियों के साथ संगत बनी रहती है, जिससे सामान्यीकरण (generalization) सुनिश्चित होता है।
लेटेंट स्टेट रिप्रेजेंटेशन: इंटरेक्शन इतिहास को सारांशित करने के लिए सीखे गए लेटेंट एम्बेडिंग का उपयोग करने से एजेंट कई अनुकूलनशील पार्टनर रणनीतियों पर कुशलतापूर्वक तर्क कर पाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन Overcooked डोमेन (एक सहकारी कुकिंग गेम जिसमें सख्त समन्वय की आवश्यकता होती है) में एक "आवश्यक सहयोग" (required-cooperation) वेरिएंट के साथ किया गया जहाँ एजेंटों को एक रेसिपी पर सहमत होना आवश्यक था।

बेसलाइन्स (Baselines): इसकी तुलना LIAM, LILI, PACE, और एक जनरलिस्ट पॉलिसी सहित अत्याधुनिक विधियों के विरुद्ध की गई।
मूल्यांकन सेटअप: एजेंटों का परीक्षण 10 राउंड में 8 अनदेखे अनुकूलनशील भागीदारों के विरुद्ध किया गया (शॉर्ट: 5 एपिसोड/राउंड; एक्सटेंडेड: 25 एपिसोड/राउंड)।
प्रदर्शन मेट्रिक्स:
- सफलता दर (Success Rate): प्रस्तावित पद्धति ने शॉर्ट इवैल्यूएशन में 0.90 का औसत सफलता दर और एक्सटेंडेड इवैल्यूएशन में 0.935 प्राप्त किया।
- तुलना: इसने अगले सर्वश्रेष्ठ बेसलाइन (जनरलिस्ट 0.575/0.65) को काफी पीछे छोड़ दिया। अन्य बेसलाइन्स (PACE, LILI) का प्रदर्शन असंगत था, और LIAM कार्यों को पूरा करने में विफल रहा (0.00 सफलता)।
- स्थिरता (Stability): प्रस्तावित पद्धति ने 8 विभिन्न पार्टनर सीड्स के विरुद्ध उच्च प्रदर्शन बनाए रखा। इसके विपरीत, बेसलाइन्स ने उच्च विचरण (variance) दिखाया, जो केवल विशिष्ट पार्टनर्स के साथ सफल हुए (जो ओवरफिटिंग का संकेत है)।
व्यवहार विश्लेषण (Behavioral Analysis):
- बेसलाइन्स: रेसिपी चयन में निरंतर दोलन (oscillations) प्रदर्शित किए, अनुकूलनशील पार्टनर्स के साथ एक स्थिर परंपरा स्थापित करने में विफल रहे।
- प्रस्तावित विधि: संरचित पारस्परिक अनुकूलन प्रदर्शित किया। लेवल-1 एजेंट (सिम्युलेटेड मानव) रोबोट प्रकारों को समझने के लिए "प्रतीक्षा" (waiting) व्यवहार दिखाते हैं। लेवल-2 रोबोट (प्रस्तावित एजेंट) एक रणनीति के प्रति सक्रिय रूप से प्रतिबद्ध होता है, मानव के प्रतीक्षा व्यवहार का पूर्वानुमान लगाता है, जिससे साझा परंपरा पर तेजी से अभिसरण (convergence) होता है।

5. महत्व और प्रभाव (Significance and Impact)

मजबूत मानव-AI टीमिंग: यह कार्य मानव-AI इंटरेक्शन में "नॉन-स्टेशनैरिटी" (non-stationarity) की समस्या का समाधान प्रदान करता है। यह अनुमान लगाकर कि एक मानव कैसे अनुकूलित होगा, AI संघर्षरत रणनीतियों के लूप में फंसने के बजाय इंटरेक्शन को स्थिर कर सकता है।
सामान्यीकरण (Generalization): यह विधि सिद्ध करती है कि एजेंट अनदेखे अनुकूलनशील भागीदारों के प्रति सामान्यीकरण कर सकते हैं, जो वास्तविक दुनिया की तैनाती के लिए एक महत्वपूर्ण आवश्यकता है जहाँ मानव व्यवहार अप्रत्याशित होता है।
सैद्धांतिक प्रगति: यह सैद्धांतिक I-POMDPs (जो अक्सर कम्प्यूटेशनल रूप से अव्यवहार्य होते हैं) और व्यावहारिक RL के बीच के अंतर को पाटता है, जो मल्टी-एजेंट सिस्टम में उच्च-क्रम की 'थ्योरी ऑफ माइंड' को लागू करने का एक स्केलेबल तरीका प्रदान करता है।
भावी दिशाएं: लेखक उल्लेख करते हैं कि भविष्य के कार्यों में वास्तविक मानव प्रतिभागियों के साथ परीक्षण करना और फ्रेमवर्क को मिश्रित-प्रेरणा (mixed-motive) सेटिंग्स (जहाँ एजेंटों के लक्ष्य परस्पर विरोधी हो सकते हैं) में विस्तारित करना शामिल है।

संक्षेप में, यह शोध पत्र मानव-AI सहयोग के लिए एक मजबूत, सैद्धांतिक रूप से आधारित दृष्टिकोण प्रस्तुत करता है जो अनुकूलन को एक पारस्परिक, संवादात्मक प्रक्रिया के रूप में मानता है, जिसके परिणामस्वरूप वर्तमान अत्याधुनिक विधियों की तुलना में काफी उच्च सफलता दर और अधिक स्थिर समन्वय प्राप्त होता है।