🤖 machine learning

Task diversity produces systematic transfer but inhibits continual reinforcement learning

यह शोध पत्र निरंतर सुदृढीकरण शिक्षण (continual reinforcement learning) के लिए एक GPU-त्वरित बेंचमार्क, बनयान (Banyan) को प्रस्तुत करता है, यह प्रदर्शित करने के लिए कि जबकि मानचित्र, वस्तु और निर्भरता अक्षों के साथ कार्य विविधता व्यक्तिगत वितरण परिवर्तनों (distribution shifts) के माध्यम से व्यवस्थित ज़ीरो-शॉट स्थानांतरण (zero-shot transfer) की सुविधा प्रदान करती है, यह अंततः दीर्घकालिक शिक्षण को बनाए रखने या परिवर्तनों की संख्या बढ़ने के साथ विनाशकारी विस्मृति (catastrophic forgetting) को रोकने में विफल रहती है।

मूल लेखक: Purab Seth, Neil Shah, Kunal Jha, Samuel J. Gershman, Max Kleiman-Weiner, Wilka Carvalho

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Purab Seth, Neil Shah, Kunal Jha, Samuel J. Gershman, Max Kleiman-Weiner, Wilka Carvalho

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "बनयान" (Banyan) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: AI के लिए एक "जिम"

कल्प Imagine कीजिए कि आप एक रोबोट को दुनिया का सबसे बेहतरीन समस्या-समाधानकर्ता (problem-solver) बनने के लिए प्रशिक्षित करना चाहते हैं। आपके पास दो विकल्प हैं:

विशेषज्ञ (The Specialist): इसे केवल एक ही प्रकार की पहेली पर तब तक प्रशिक्षित करें जब तक कि यह उसमें महारत हासिल न कर ले।
सामान्यज्ञ (The Generalist): इसे लाखों अलग-अलग पहेलियों वाले एक जिम में डाल दें, इस उम्मीद में कि यह "सीखना सीखने" का तरीका सीख जाएगा।

यह पेपर बनयान (Banyan) नामक एक नए "जिम" का परिचय देता है। यह एक वीडियो गेम वातावरण है जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या होता है जब आप एक AI को बहुत बड़ी विविधता वाले कार्यों पर प्रशिक्षित करते हैं और फिर अचानक नियम बदल देते हैं।

शोधकर्ताओं जानना चाहते थे: क्या बहुत सारे विविध कार्यों पर प्रशिक्षण लेने से AI को दुनिया बदलने पर नया सीखने में मदद मिलती है, या वास्तव में इससे नुकसान होता है?

सेटअप: मिश्रण करने के तीन तरीके

बनयान में, एक "कार्य" (task) किसी विशिष्ट वस्तु को बनाने की एक रेसिपी की तरह है। शोधकर्ता विविधता पैदा करने के लिए स्वतंत्र रूप से तीन चीजों को बदल सकते हैं:

मैप (लेआउट): कल्पना कीजिए कि घर का फ्लोर प्लान बदलना। दीवारें हिल जाती हैं, दरवाजे नई जगहों पर खुलते हैं, लेकिन लक्ष्य अभी भी रसोई से बेडरूम तक पहुँचना है।
सामग्री (वस्तुएं): कल्पना कीजिए कि रेसिपी वही रहती है, लेकिन आप "मैदा" की जगह "रेत" या "पानी" की जगह "तेल" का उपयोग करते हैं। चरण (steps) वही हैं, लेकिन चीजें अलग हैं।
रेसिपी संरचना (टोपोलॉजी): कल्पना कीजिए कि वास्तविक निर्देशों को बदलना। शायद आपको केक बनाना है, फिर उस पर फ्रॉस्टिंग करनी है, फिर उसे काटना है। या शायद आपको केक बनाना है, फिर उसे फ्रीज करना है, फिर पिघलाना है। चरणों का क्रम और जटिलता बदल जाती है।

शोधकर्ताओं ने इन परीक्षणों के लिए अरबों ऐसे संयोजन बनाए।

अच्छी खबर: "स्मूथ लैंडिंग" प्रभाव

शोधकर्ताओं ने पाया कि यदि उन्होंने AI को पहले बहुत अधिक विविधता पर प्रशिक्षित किया, तो जब उन्होंने कार्यों के एक नए सेट पर स्विच किया, तो कुछ शानदार हुआ।

उपमा: कल्पना कीजिए कि एक संगीतकार जिसने हर संभव की (key) में, हर संभव वाद्य यंत्र के साथ, और हर संभव शैली में अभ्यास किया है। यदि आप अचानक उन्हें एक नया गाना देते हैं जो उन्होंने पहले कभी नहीं देखा, तो वे ठिठकते नहीं हैं। वे लगभग तुरंत उच्च स्तर पर उसे बजाना शुरू कर देते हैं।

पेपर में इसे सिस्टमैटिक ट्रांसफर (Systematic Transfer) कहा गया है।

जब AI को विविध मैप्स, वस्तुओं या रेसिपीज़ पर प्रशिक्षित किया गया, तो कार्य बदलने पर उसे शून्य से "फिर से सीखने" की आवश्यकता नहीं पड़ी।
उसने नए कार्य के साथ एक उच्च स्कोर के साथ शुरुआत की, ठीक वहीं से जहाँ उसने पुराने कार्य को छोड़ा था।
यह तब भी काम कर गया जब AI एक "पॉलिसी" लर्नर (जैसे शतरंज खिलाड़ी) या एक "वैल्यू" लर्नर (जैसे सट्टेबाजी की संभावनाओं का अनुमान लगाने वाला जुआरी) था।

बुरी खबर: "ओवरवेल्म्ड शेफ" (अभिभूत शेफ) प्रभाव

यहाँ एक विरोधाभास है। जबकि विविधता ने AI को नए कार्य को अच्छी तरह से शुरू करने में मदद की, लेकिन बहुत अधिक विविधता ने इसे समय के साथ बेह बेहतर होने से रोक दिया।

उपमा: कल्पना कीजिए कि एक शेफ को हर दिन 1,000 अलग-अलग प्रकार के व्यंजन पकाने के लिए मजबूर किया जाता है।

पहला दिन: वे हर चीज़ में माहिर हैं क्योंकि उन्होंने सब कुछ देखा है।
100वां दिन: वे अभी भी ठीक-ठाक हैं, लेकिन वे किसी भी विशिष्ट व्यंजन में महारत हासिल नहीं कर पा रहे हैं। वे इतालवी, जापानी और मैक्सिकन के बीच स्विच करने के इतने आदी हो गए हैं कि वे किसी नई फ्रांसीसी तकनीक को पूरी तरह से सीखने के लिए गहराई से ध्यान केंद्रित नहीं कर पाते।

प्रयोग में, जब शोधकर्ताओं ने विविधता को अधिकतम स्तर तक बढ़ाया:

AI अभी भी नए कार्य में आसानी से स्विच कर सकता था (वह क्रैश नहीं हुआ)।
लेकिन, वह सुधार करना बंद कर गया। वह एक "सीलिंग" (छत) पर पहुँच गया।
नए कार्यों में बेहतर होने के बजाय, AI उन पुराने कार्यों में बेहतर होता रहा जिन्हें वह भूल चुका था। यह ऐसा था जैसे शेफ उन पुरानी रेसिपीज़ में बेहतर हो रहा है जिन्हें वह पहले से जानता था, लेकिन नई रेसिपीज़ को सीखने में विफल रहा।

निष्कर्ष: ट्रेड-ऑफ (समझौता)

पेपर एक आश्चर्यजनक निष्कर्ष के साथ समाप्त होता है: विविधता एक दोधारी तलवार है।

कम विविधता: AI जब कार्य बदलते हैं तो धीरे-धीरे सीखता है, लेकिन अंततः वह नई चीजों में बहुत अच्छा हो जाता है।
उच्च विविधता: AI नए बदलावों के प्रति तुरंत अनुकूलित हो जाता है (पहले कदम के लिए महान), लेकिन वह "फँस" जाता है और लंबे समय तक चलने वाले बदलावों के क्रम में कौशल को और बेहतर नहीं कर पाता।

शोधकर्ता सुझाव देते हैं कि जब एक AI एक साथ बहुत सारी अलग-अलग चीजें देखता है, तो वह समस्या के "सामान्य आकार" को सीख लेता है लेकिन विशिष्ट विवरणों में विशेषज्ञता हासिल करने में विफल रहता है। वह "सबका थोड़ा-थोड़ा जानकार" (jack-of-all-trades) बन जाता है लेकिन किसी का भी पूर्ण स्वामी (master of none) नहीं, और लंबे समय में, यह उसे नई चुनौतियों में महारत हासिल करने से रोकता है।

सारांश

बनयान (Banyan) अरबों अलग-अलग कार्यों पर AI का परीक्षण करने का एक उपकरण है।
विविधता मदद करती है ताकि AI बिना गिरे किसी भी नई स्थिति में प्रवेश कर सके (सिस्टमैटिक ट्रांसफर)।
बहुत अधिक विविधता AI की नई चुनौतियों की एक लंबी श्रृंखला में सुधार करने की क्षमता को नुकसान पहुँचाती है। यह AI को एक पठार (plateau) पर पहुँचा देती है।

बनाकर बेहतर AI बनाने का सबक केवल यह नहीं है कि "उस पर अधिक डेटा डाल दें।" यह विविधता के सही संतुलन को खोजने के बारे में है ताकि AI खुद को अभिभूत हुए बिना और अपनी वृद्धि को रोके बिना अनुकूलित होना सीख सके।

तकनीकी सारांश: बान्यान (Banyan) – कार्य विविधता के प्रभाव का अध्ययन करने के लिए एक प्रक्रियात्मक रूप से जनरेट किया गया वातावरण

1. समस्या विवरण

निरंतर सुदृढीकरण शिक्षण (Continual Reinforcement Learning - RL) का लक्ष्य ऐसे एजेंट विकसित करना है जो न केवल वर्तमान कार्यों में सुधार करें बल्कि कार्य वितरण (task distributions) में बदलाव आने पर अनुकूलित भी हो सकें। जबकि पिछले शोधों ने स्थापित किया है कि विविध कार्यों पर प्रशिक्षण देने से ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) प्रेरित होता है (जिसे फ्रोजन वेट्स के साथ मूल्यांकित किया जाता है), यह स्पष्ट नहीं है कि क्या कार्य विविधता वितरण परिवर्तन के दौरान वेट अपडेट के माध्यम से सीखने की एजेंट की क्षमता में सुधार करती है। मौजूदा निरंतर RL बेंचमार्क आमतौर पर सैकड़ों कार्यों तक ही सीमित क्रमिक शिक्षण (sequential learning) में शामिल होते हैं, जबकि बड़े पैमाने के प्रक्रियात्मक रूप से जनरेट किए गए वातावरण (जैसे XLand, AdA) में लाखों कार्य होते हैं, लेकिन उनमें नियंत्रित वितरण परिवर्तनों के प्रभाव को अलग करने के लिए आवश्यक नियंत्रण की कमी होती है।

2. कार्यप्रणाली: बान्यान वातावरण

लेखक बान्यान (Banyan) पेश करते हैं, जो एक GPU-त्वरित, प्रक्रियात्मक रूप से जनरेट किया गया डोमेन है जिसे कंपोजिशनल टास्क स्पेस पर निरंतर RL का अध्ययन करने के लिए डिज़ाइन किया गया है। बान्यान एक कार्य $\tau = \langle L, T, O \rangle$ को तीन स्वतंत्र रूप से नियंत्रणीय अक्षों में विभाजित करता है:

लेआउट ( $L$ ): पर्यावरण का मानचित्र, जिसमें दीवारों की संरचना और वस्तुओं का प्रारंभिक स्थान शामिल है, जो नेविगेशन समस्या को परिभाषित करता है।
टास्क-ट्री टोपोलॉजी ( $T$ ): लक्ष्य की अमूर्त संरचना, जो उप-लक्ष्यों (सब-गोल्स) की गहराई, ब्रांचिंग और निर्भरता क्रम (परिवर्तन बनाम संयोजन) को परिभाषित करती है।
ऑब्जेक्ट असाइनमेंट ( $O$ ): टास्क ट्री के नोड्स को सौंपे गए वस्तुओं की वास्तविक पहचान।

कार्य तंत्र (Task Mechanics):

लक्ष्य: एजेंट को ग्रिड में नेविगेट करना होगा, वस्तुओं को उठाना, छोड़ना और मिलाना (या एकल वस्तुओं को बदलना) होगा ताकि टास्क ट्री द्वारा परिभाषित विशिष्ट रूट ऑब्जेक्ट को प्राप्त किया जा सके।
अवलोकन (Observations): एजेंट पूरे ग्रिड और लक्ष्य वस्तु के विवरण को देखता है लेकिन उसे टास्क ट्री संरचना और समाधान अनुक्रम का अनुमान लगाना होता है।
डायनेमिक्स: वस्तुओं के संयोजन और परिवर्तन के नियम स्थिर हैं; केवल स्थानिक लेआउट और वस्तुओं की पहचान बदलती है।
करिकुलम (Curriculum): कार्य गहराई 1 से 6 तक फैले हुए हैं। गहरे कार्य उथले कार्यों के लिए करिकुलम के रूप में कार्य करते हैं, और वितरणات (distributions) नेस्टेड हैं (गहराई-6 के कार्यों में सभी उथले उप-कार्य शामिल हैं)।

प्रायोगिक प्रोटोकॉल:
लेखक दो एल्गोरिदम का मूल्यांकन करते हैं: प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) और पैरेललाइज्ड Q-नेटवर्क (PQN)। वे मापते हैं:

फॉरवर्ड ट्रांसफर (Forward Transfer): वितरण $d_{i-1}$ पर टर्मिनल सफलता दर और $d_i$ पर प्रारंभिक सफलता दर के बीच का "ट्रांसफर गैप" ( $\Delta_i$ )।
बैकवर्ड ट्रांसफर (Backward Transfer): बाद के वितरणों पर प्रशिक्षण के बाद प्रारंभिक वितरण $d_i$ पर प्रदर्शन में परिवर्तन।

3. मुख्य योगदान

बान्यान बेंचमार्क: एक नियंत्रित, कई-कार्य वाला डोमेन जो लेआउट, ऑब्जेक्ट असाइनमेंट या टोपोलॉजी के स्वतंत्र रूप से परिवर्तन की अनुमति देता है, जिससे अरबों संभावित कार्यों पर निरंतर RL का अध्ययन संभव होता है।
व्यवस्थित स्थानांतरण (Systematic Transfer) का प्रमाण: प्रयोगात्मक प्रमाण कि किसी भी अक्ष (लेआउट, ऑब्जेक्ट असाइनमेंट, या टोपोलॉजी) के साथ विविधता बढ़ाने से व्यवस्थित स्थानांतरण प्रेरित होता है, जिससे एजेंट पिछले प्रदर्शन स्तरों के करीब नए वितरणों पर शुरू कर पाते हैं।
विविधता-प्रेरित निषेध (Diversity-Induced Inhibition) का प्रमाण: प्रयोगात्मक प्रमाण कि मध्यम विविधता जहाँ स्थानांतरण में सहायता करती है, वहीं अत्यधिक विविधता दीर्घकालिक निरंतर शिक्षण को बाधित करती है, जिससे एजेंट नए वितरणों पर प्रदर्शन करने के बजाय उन पर स्थिर (plateau) हो जाते हैं।

4. मुख्य परिणाम

A. विविधता व्यवस्थित स्थानांतरण उत्पन्न करती है (एकल शिफ्ट)
$d_1$ से $d_2$ के एकल बदलाव वाले प्रयोगों में:

फॉरवर्ड ट्रांसफर: $d_1$ में लेआउट ( $|L|$ ), ऑब्जेक्ट असाइनमेंट ( $|O|$ ), या टोपोलॉजी ( $|T|$ ) की संख्या बढ़ाने से ट्रांसफर गैप ( $\Delta_2$ ) शून्य की ओर कम हो जाता है। अत्यधिक विविध $d_1$ पर प्रशिक्षित एजेंट $d_2$ पर अपने पिछले प्रदर्शन के स्तर के समान प्रदर्शन के साथ शुरू करते हैं।
बैकवर्ड ट्रांसफर: $|L|$ या $|O|$ बढ़ाने का बैकवर्ड ट्रांसफर पर बहुत कम प्रभाव पड़ा। हालांकि, टोपोलॉजी की संख्या ( $|T|$ ) बढ़ाने से बैकवर्ड ट्रांसफर में महत्वपूर्ण सुधार हुआ, जो बताता है कि कार्यों की संरचनात्मक निर्भरताओं को बदलना पूर्व वितरणों के ज्ञान को बनाए रखने के लिए महत्वपूर्ण है।
तंत्र (Mechanism): $d_1 \to d_2$ सीमा पर PQN के TD-error के विश्लेषण से पता चला कि उच्च विविधता कम प्रारंभिक TD-error और बेहतर प्रारंभिक नीतियों की ओर ले जाती है। यह सुझाव देता है कि विविधता ऐसे वैल्यू फीचर्स को आकार देती है जो आउट-ऑफ-डिस्ट्रीब्यूशन (off-distribution) पर अच्छी तरह से सामान्यीकृत होते हैं।
सामान्यीकरण (Generalizability): इन प्रभावों को एक निरंतर-कंट्रोल "पॉइंट मास" डोमेन में भी दोहराया गया, जो दर्शाता है कि यह घटना केवल डिस्क्रीट ग्रिड-वर्ल्ड कंट्रोल का आर्टिफैक्ट नहीं है।

B. विविधता दीर्घकालिक निरंतर शिक्षण को बाधित करती है (शिफ्ट का क्रम)
दस वितरणों ( $d_1 \dots d_{10}$ ) के क्रम वाले प्रयोगों में:

विरोधाभास (The Paradox): जबकि उच्च विविधता ( $n=256$ अद्वितीय लेआउट/टोपोलॉजी) ने प्रत्येक एकल सीमा पर ट्रांसफर गैप को सफलतापूर्वक बंद कर दिया (एजेंट प्रत्येक नए वितरण पर अपने पिछले शिखर पर शुरू हुए), इसने अनुक्रम के भीतर सुधार करने की एजेंट की क्षमता को स्थिर (plateau) कर दिया।
प्रदर्शन प्रक्षेपवक्र (Performance Trajectory):
- मध्यम विविधता ( $n=16$ ) के साथ, एजेंटों ने सीखना जारी रखा, $d_1$ पर $\approx 0.74$ से $d_{10}$ पर $\approx 0.95$ की सफलता दर में सुधार किया।
- उच्च विविधता ( $n=256$ ) के साथ, सफलता दर सभी दस वितरणों में $\approx 0.80$ के पास सपाट रही। $n=16$ से अधिक विविधता बढ़ने पर $d_{10}$ पर अंतिम प्रदर्शन वास्तव में निरंतर रूप से कम हुआ।
हस्तक्षेप (Interference): उच्च विविधता से मजबूत बैकवर्ड ट्रांसफर हुआ (10 राउंड के बाद $d_1$ पर प्रदर्शन $\approx 0.80$ से $\approx 0.95$ में सुधर गया) लेकिन इसने नए वितरणों पर विशेषज्ञता (specialization) को रोक दिया। लेखक इसका श्रेय हस्तक्षेप को देते हैं: नेटवर्क उन सामान्य कार्य संरचनाओं को सीखता है जो वितरणों में साझा की जाती हैं, लेकिन वह नए वितरणों के लिए आवश्यक विशिष्ट संरचनाओं को सीखने से बाधित हो जाता है।

5. महत्व और दावे

यह पेपर एक महत्वपूर्ण, कुछ हद तक विरोधाभासी निष्कर्ष का दावा करता है: कार्य विविधता निरंतर RL के लिए एक दोधारी तलवार है।

प्रेरणा: विविधता व्यवस्थित स्थानांतरण को प्रेरित करने के लिए आवश्यक है, जिससे एजेंट वितरण परिवर्तनों के प्रति तुरंत अनुकूलित हो पाते हैं और सामान्य कार्य संरचना के विनाशकारी विस्मरण (catastrophic forgetting) से बचते हैं।
सीमा: हालांकि, वही विविधता जो व्यक्तिगत संक्रमणों को सुगम बनाती है, लंबी श्रृंखलाओं पर सीखने के संचय (compounding of learning) को बाधित करती है। लेखक तर्क देते हैं कि "केवल सीखना और स्केल (scale), अकेले पर्याप्त नहीं हो सकते"; सामान्यीकरण (transfer) और विशेषज्ञता (learning new specifics) के बीच का ट्रेड-ऑफ, कई-कार्य (many-task) शासन में वेट-शेयरिंग फंक्शन एप्रोक्सिमेशन की एक अंतर्निहित विशेषता प्रतीत होती है।

यह कार्य वर्तमान RL अनुसंधान में एक महत्वपूर्ण अंतर को उजागर करता है: जबकि विविधता को ज़ीरो-शॉट सामान्यीकरण के लिए सराहा जाता है, यह निरंतर सीखते समय एजेंटों की नए वितरणों पर प्रदर्शन को अनुकूलित करने की क्षमता को सक्रिय रूप से बाधित कर सकती है। लेखक बान्यान को समुदाय के लिए एक उपकरण के रूप में जारी करते हैं ताकि इस ट्रेड-ऑफ की आगे जांच की जा सके और ऐसे एल्गोरिदम विकसित किए जा सकें जो उच्च कार्य विविधता के कारण होने वाले हस्तक्षेप को कम कर सकें।