🤖 machine learning

Can In-Context Learning Support Intrinsic Curiosity?

यह शोध पत्र इस बात की जांच करता है कि क्या इन-कॉन्टेक्स्ट लर्निंग (in-context learning), आंतरिक जिज्ञासा-संचालित डेटा चयन (intrinsic curiosity-driven data selection) के लिए महंगे ग्रेडिएंट अपडेट का स्थान ले सकती है, जो यह सिद्ध करता है कि हालांकि सामान्य मार्कोव निर्णय प्रक्रियाओं (Markov decision processes) में निष्पक्ष लर्निंग प्रोग्रेस अनुमान लगाना असंभव है, लेकिन सक्रिय शिक्षण (active learning) और बेयसियन प्रयोगात्मक डिजाइन (Bayesian experimental design) जैसे गैर-कालिक (non-temporal) परिवेशों में यह संभव और प्रभावी है।

मूल लेखक: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक ऐसे कमरे में रहस्य सुलझाने की कोशिश कर रहे हैं जिसे आपने पहले कभी नहीं देखा है। आपके पास एक नोटबुक है (आपका "वर्ल्ड मॉडल") जिसमें आप लिखते हैं कि आपको क्या लगता है कि क्या हो रहा है। रहस्य सुलझाने में बेहतर होने के लिए, आपको यह तय करने की आवश्यकता है कि अगली बार आपको किस चीज़ को देखना चाहिए।

क्या आपको एक टिमटिमाते हुए बल्ब को घूरना चाहिए जो बेतरतीब ढंग से बदलता रहता है? या आपको एक बंद बॉक्स की जांच करनी चाहिए जिसमें कोई सुराग हो सकता है?

यह पेपर पूछता है: क्या एक सुपर-स्मार्ट AI जिज्ञासु बन सकता है और सही चीजों को चुनने में सक्षम हो सकता है, बिना अपने दिमाग को लगातार दोबारा लिखे (rewrite) किए?

यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. पुराना तरीका: "दिमाग को दोबारा लिखने" की समस्या (The "Rewrite-Your-Brain" Problem)

पारंपरिक रूप से, AI को जिज्ञासु बनाने के लिए शोधकर्ताओं ने "लर्निंग प्रोग्रेस" (सीखने की प्रगति) नामक विधि का उपयोग किया।

विचार: AI किसी चीज़ को देखता है, अपने दिमाग को अपडेट करता है (अपनी नोटबुक को फिर से लिखता है), और फिर जाँचता है: "क्या मैंने इसे देखने के बाद इसे बेहतर समझा?" यदि हाँ, तो उसे एक "क्यूरियोसिटी रिवॉर्ड" (जिज्ञासा पुरस्कार) मिलता है।
समस्या: इसे करने के लिए, AI को रुकना पड़ता है, अपने ही सिर के अंदर एक जटिल गणितीय सिमुलेशन चलाना पड़ता है ताकि अपने दिमाग को अपडेट किया जा सके, और फिर परिणाम की जाँच करनी पड़ती है। यह एक नई भाषा सीखने के लिए हर वाक्य के बाद अपनी पूरी डिक्शनरी को दोबारा लिखने के लिए रुकने जैसा है। बड़े AI मॉडल्स के लिए यह बहुत धीमा और महंगा है।

2. नया टूल: "इन-कॉन्टेक्स्ट लर्निंग" (The Instant Oracle)

लेखक एक विशेष प्रकार के AI का उपयोग करते हैं (जैसे आधुनिक चैटबॉट्स के पीछे वाले) जिसमें इन-कॉन्टेक्स्ट लर्निंग (ICL) होती है।

उपमा: एक ऐसे जीनियस की कल्पना करें जिसने लाइब्रेरी की हर किताब पढ़ ली है। आपको उन्हें कुछ भी नया सिखाने की ज़रूरत नहीं है। इसके बजाय, आप बस उन्हें एक कहानी के कुछ पन्ने (संदर्भ/context) थमा देते हैं, और वे तुरंत जानते हैं कि आगे क्या होगा। उन्हें अपने दिमाग को फिर से लिखने की आवश्यकता नहीं है; वे बस आपके द्वारा दिए गए कहानी का उपयोग भविष्यवाणियां करने के लिए करते हैं।
लक्ष्य: क्या हम इस "इंस्टेंट जीनियस" का उपयोग यह बताने के लिए कर सकते हैं कि हमारे एजेंट को क्या देखना चाहिए, बिना एजेंट को रुककर अपना दिमाग दोबारा लिखे?

3. बड़ी खोज: यह कमरे पर निर्भर करता है (It Depends on the Room)

❌ जाल: "नॉइजी टीवी" (सामान्य वातावरण - The "Noisy TV")

एक अव्यवस्थित, जटिल दुनिया में (जैसे एक सामान्य वीडियो गेम), वह "इंस्टेंट जीनियस" धोखा खा जाता है।

उपमा: कल्पना करें कि कमरे में एक टीवी चल रहा है जिसमें केवल स्टैटिक शोर (static noise) आ रहा है। एक साधारण जिज्ञासा प्रणाली कहती है, "वाह, वह टीवी कितना अप्रत्याशित है! मुझे उसे देखने के लिए बहुत बड़ा इनाम मिलता है!"
परिणाम: AI उस स्टैटिक शोर के सामने हमेशा के लिए बैठा रहता है, कुछ भी उपयोगी सीखे बिना। पेपर यह साबित करता है कि इन अस्त-व्यस्त दुनियाओं में, आप "इंस्टेंट जीनियस" को शोर को अनदेखा करने और असली सुरागों पर ध्यान केंद्रित करने के लिए आसानी से मूर्ख नहीं बना सकते। बिना महंगे ब्रेन-अपडेट के, गणित काम नहीं करता।

✅ सफलता: "नियंत्रित लैब" (बेयसियन एक्सपेरिमेंटल डिज़ाइन - The "Controlled Lab")

हालाँकि, एक विशिष्ट प्रकार के वातावरण में जहाँ आप प्रयोगों की एक श्रृंखला चला रहे हैं (जैसे अलग-अलग दवाओं का परीक्षण करना या कोई कोड तोड़ना), यह ट्रिक पूरी तरह से काम करती है।

उपमा: कल्पना करें कि आप एक लैब में हैं जहाँ आप एक गेंद गिराते हैं और देखते हैं कि वह कहाँ गिरती है। "शोर" (हवा, झटके) "सुराग" (गुरुत्वाकर्षण) से अलग है।
परिणाम: लेखकों ने जिज्ञासा को मापने का एक नया तरीका बनाया (जिसे $r_{sum}$ कहा जाता है) जो "इंस्टेंट जीनियस" का उपयोग करता है।
- यह पूछता है: "यदि मैंने यह विशिष्ट सुराग नहीं देखा होता, तो प्रयोग के बाकी हिस्से के लिए मेरी भविष्यवाणियां कितनी खराब होतीं?"
- यदि उत्तर है "बहुत अधिक," तो AI जानता है कि उसने एक महत्वपूर्ण सुराग ढूंढ लिया है।
- यदि उत्तर है "ज्यादा नहीं," तो वह केवल शोर था।

4. प्रयोग: सिद्धांत का परीक्षण

टीम ने तीन अलग-अलग "कमरों" में इसका परीक्षण किया:

मैप मेकर (गौसियन प्रोसेस - The Map Maker): ऊबड़-खाबड़ इलाके का एक चिकना नक्शा बनाने की कोशिश करना।
- परिणाम: पुराना तरीका (शोर को घूरना) बुरी तरह विफल रहा। नया तरीका ( $r_{sum}$ ) सफलतापूर्वक ऊबड़-खाबड़, शोर वाले हिस्सों को अनदेखा कर सका और चिकने, महत्वपूर्ण हिस्सों पर ध्यान केंद्रित किया।
कोड ब्रेकर (मास्टरमाइंड - The Code Breaker): एक गुप्त रंग कोड का अनुमान लगाने की कोशिश करना।
- परिणाम: जब उन्होंने खेल में "दुष्ट" रैंडम शोर जोड़ा, तो पुराना तरीका भ्रमित हो गया और बेतरतीब ढंग से खेलने लगा। नया तरीका कोड को पूरी तरह से हल करता रहा।
अल्केमिस्ट (अल्केमी - The Alchemist): यह पता लगाने की कोशिश करना कि कौन से अमृत पत्थरों को अन्य पत्थरों में बदलते हैं।
- परिणाम: फिर से, नए तरीके ने नकली, रैंडम प्रतिक्रियाओं को अनदेखा किया और वास्तविक नियमों को सीखा।

मुख्य निष्कर्ष (The Bottom Line)

पेपर दावा करता है कि इन-कॉन्टेक्स्ट लर्निंग "इंट्रिन्सिक क्यूरियोसिटी" (आंतरिक जिज्ञासा) का समर्थन कर सकती है, लेकिन केवल तभी जब आप एक नियंत्रित प्रयोगात्मक सेटिंग में हों।

यह क्या करता है: यह AI को यह समझने में मदद करता है कि एकत्र करने के लिए कौन सा डेटा मूल्यवान है, बिना हर सेकंड अपने दिमाग को फिर से प्रशिक्षित किए।
यह किससे बचता है: यह "नॉइजी टीवी" की समस्या से बचता है जहाँ AI रैंडम अराजकता (chaos) से विचलित हो जाता है।
शर्त: यह सबसे अच्छा तब काम करता है जब AI प्रयोगों की एक श्रृंखला चला रहा होता है (जैसे लैब में एक वैज्ञानिक), न कि आवश्यक रूप से तब जब वह वीडियो गेम या सेल्फ-ड्राइविंग कार जैसी अराजक, निरंतर दुनिया में घूम रहा हो (कम से कम, अभी तक नहीं)।

संक्षेप में: उन्होंने एक "रीड-अहेड" (आगे देख लेने के) ट्रिक का उपयोग करके AI को जिज्ञासु बनाने का एक तरीका खोजा है, लेकिन यह वर्तमान में वैज्ञानिकों के लिए लैब में एक सुपरपावर है, न कि जंगली दुनिया में घूमने वाले खोजकर्ताओं के लिए।

तकनीकी सारांश: क्या इन-कॉन्टेक्स्ट लर्निंग (In-Context Learning) अंतर्निहित जिज्ञासा (Intrinsic Curiosity) का समर्थन कर सकती है?

समस्या विवरण
प्रभावी मशीन लर्निंग न केवल डेटा के मॉडलिंग पर निर्भर करती है, बल्कि डेटा के स्वचालित चयन पर भी निर्भर करती है, जिसे अक्सर "अंतर्निहित जिज्ञासा" (intrinsic curiosity) कहा जाता है। अंतर्निहित जिज्ञासा के लिए सैद्धांतिक स्वर्ण मानक बेयसियन सूचना लाभ (Bayesian Information Gain - BIG) है, जो एक अवलोकन से पर्यावरण के गुप्त मापदंडों ( $\theta$ ) के बारे में अपेक्षित सूचना प्राप्ति को मापता है। हालाँकि, BIG की गणना करना आम तौर पर कठिन (intractable) है क्योंकि इसके लिए एक परिकल्पना स्थान (hypothesis space) पर स्पष्ट बेयसियन अनुमान की आवश्यकता होती है।

पारंपरिक विकल्प, जैसे कि लर्निंग प्रोग्रेस (Learning Progress - LP), एजेंट को नए डेटा प्राप्त करने के बाद उनके वर्ल्ड मॉडल की भविष्य कहने की क्षमता में सुधार के आधार पर पुरस्कृत करते हैं। सैद्धांतिक रूप से सुदृढ़ होने के बावजूद, पारंपरिक LP कार्यान्वयन के लिए प्रत्येक ट्राजेक्टरी स्टेप के लिए वर्ल्ड मॉडल के ग्रेडिएंट डिसेंट अपडेट के महंगे 'इनर लूप्स' की आवश्यकता होती है। यह कम्प्यूटेशनल बाधा LP को बड़े पैमाने के सीक्वेंस मॉडल्स के लिए अव्यवहारिक बना देती है। इस कार्य का केंद्रीय प्रश्न यह है कि क्या इन-कॉन्टेक्स्ट लर्निंग (ICL)—जहाँ सीक्वेंस मॉडल्स अमोर्टाइज्ड (amortized), अपडेट-मुक्त भविष्यवक्ताओं के रूप में कार्य करते हैं—स्पष्ट पैरामीटर अपडेट के बिना BIG का अनुमान लगाकर, BIG को कुशलतापूर्वक कंप्यूट करने के लिए एक व्यवहार्य वर्ल्ड मॉडल के रूप में कार्य कर सकती है।

कार्यप्रणाली (Methodology)
लेखक इसे एक बेयस-एडेप्टिव मार्कोव डिसीजन प्रोसेस (BAMDP) के रूप में औपचारिक रूप देते हैं जहाँ एक पॉलिसी $\pi_\phi$ एक प्रायर $p(\theta)$ से लिए गए वातावरण के साथ इंटरैक्ट करती है। लक्ष्य केवल एक फ्रोजन (frozen), प्री-ट्रेन्ड सीक्वेंस मॉडल $\rho$ (एक इन-कॉन्टेक्स्ट लर्नर) की प्रेडिक्शन एरर का उपयोग करके म्यूचुअल इंफॉर्मेशन $I(s_t; \theta | h_t)$ (BIG) को अधिकतम करना है।

लेखक $\rho$ से प्राप्त तीन प्रकार के अंतर्निहित पुरस्कारों का प्रस्ताव और विश्लेषण करते हैं:

सरप्राइज़ल (Surprisal - $r_{sur}$ ): अवलोकन का नेगेटिव लॉग-लाइक्लीहुड, $-\log \rho(s_t | h_t)$ ।
डिस्क्रिप्शन लेंथ रिडक्शन (Description Length Reduction - $r_{dl}$ ): लॉग-लाइक्लीहुड में सुधार यदि वर्तमान ट्रांजिशन को मॉडल के कॉन्टेक्स्ट में शामिल किया जाए, जिसके लिए सैद्धांतिक रूप से पोस्टीरियर के काउंटरफैक्चुअल अपडेट की आवश्यकता होती है।
समड फ्यूचर इम्प्रूवमेंट (Summed Future Improvement - $r_{sum}$ ): एक नवीन पुरस्कार जो एक ट्राजेक्टरी में सभी भविष्य के स्टेप्स के लिए प्रेडिक्शन एरर सुधार के टेलिस्कोपिंग सम (telescoping sum) को मापता है, यदि वर्तमान स्टेट को देखा गया हो बनाम मास्क किया गया हो। इसे इस प्रकार परिभाषित किया गया है:
$r_{sum}^t := \sum_{t'=t+1}^T [\log \rho(s_{t'} | h_{t'}) - \log \rho(s_{t'} | h_{t' \setminus t})]$
जहाँ $h_{t' \setminus t}$ का अर्थ है $s_t$ को मास्क करने के बाद का इतिहास।

सैद्धांतिक विश्लेषण यह निर्धारित करने के लिए किया जाता है कि क्या ये पुरस्कार सामान्य BAMDPs बनाम प्रतिबंधित बेयसियन एक्सपेरिमेंटल डिज़ाइन (BED) सेटिंग में (जहाँ ट्रांजिशन एक्शन और लेटेंट मापदंडों के दिए होने पर सशर्त रूप से स्वतंत्र होते हैं, जैसे कि एक्टिव लर्निंग) BIG का निष्पक्ष (unbiased) अनुमान लगा सकते हैं।

मुख्य योगदान

सामान्य BAMDPs में सैद्धांतिक सीमाएँ:
लेखक सिद्ध करते हैं कि सामान्य BAMDPs के लिए, इन-कॉन्टेक्स्ट लर्नर के इंटरफेस के माध्यम से लागू की जा सकने वाली कोई भी परिमित-क्षितिज (finite-horizon) रिवॉर्ड BIG का निष्पक्ष अनुमान नहीं हो सकती।

सरप्राइज़ल ( $r_{sur}$ ) को एलियटोरिक एंट्रॉपी (aleatoric entropy) द्वारा बायस्ड दिखाया गया है (जिसे "नॉइजी टीवी" समस्या कहा जाता है), जो सीखने योग्य संरचना के बजाय अनिश्चित शोर (noisy noise) को पुरस्कृत करता है।
लर्निंग प्रोग्रेस ( $r_{dl}$ ) को आमतौर पर ICL के माध्यम से लागू नहीं किया जा सकता है क्योंकि इसके लिए मॉडल के पोस्टीरियर वितरण को संशोधित करने की आवश्यकता होती है, जो एक फ्रोजन सीक्वेंस मॉडल के मानक प्रेडिक्टिव इंटरफेस से बाहर है।
समड इम्प्रूवमेंट ( $r_{sum}$ ) लागू करने योग्य है लेकिन यह एक निरंतर "एबडक्टिव" बायस (abductive bias) (वर्तमान स्टेट और अगले ऑब्जर्वेशन के बीच एक कपलिंग जो $\theta$ द्वारा स्पष्ट नहीं है) और एक अवशेष पद (residual term) से ग्रस्त है जो केवल ट्राजेक्टरी की लंबाई $T \to \infty$ होने पर ही समाप्त होता है।

बेयसियन एक्सपेरिमेंटल डिज़ाइन (BED) में सकारात्मक परिणाम:
BED सेटिंग्स (जहाँ $p(s_t | s_{t-1}, a_{t-1}, \theta) = p(s_t | a_{t-1}, \theta)$ ) में, संरचनात्मक बाधाएं समाप्त हो जाती हैं:

$r_{sum}$ में एबडक्टिव बायस गायब हो जाता है, जिससे यह $T \to \infty$ होने पर BIG का एक एसिम्प्टोटिक रूप से निष्पक्ष (asymptotically unbiased) अनुमानक बन जाता है।
$r_{dl}$ एक काउंटरफैक्चुअल एक्शन कमिटमेंट (एक्शन को पुनः उपयोग करके) के माध्यम से लागू करने योग्य हो जाता है और जेन्सन गैप (Jensen gap) द्वारा सीमित रहते हुए, $t \to \infty$ होने पर BIG की ओर अभिसरित होता है।
लेखक स्थापित करते हैं कि BED सेटिंग्स में $r_{sum}$ और $r_{dl}$ क्रमशः BIG के लोअर और अपर बाउंड प्रदान करते हैं।

अनुभवजन्य सत्यापन (Empirical Validation):
तीन वातावरणों में प्रयोग किए गए: गौसियन प्रोसेस (GP) फंक्शन एस्टीमेशन, मास्टरमाइंड (कोड-ब्रेकिंग), और अल्केमी (रूल डिस्कवरी)।

शोर के प्रति मजबूती (Noise Robustness): इन वातावरणों के नॉइजी वेरिएंट्स में, $r_{sur}$ के साथ प्रशिक्षित पॉलिसियाँ काफी विफल रहीं, अक्सर "नॉइजी टीवी" समस्या के कारण रैंडम बेसलाइन से भी खराब प्रदर्शन किया।
प्रदर्शन: $r_{sum}$ और $r_{dl}$ के साथ प्रशिक्षित पॉलिसियों ने एलियटोरिक शोर को अनदेखा करना और एपिस्टेमिक अनिश्चितता (epistemic uncertainty) पर ध्यान केंद्रित करना सफलतापूर्वक सीखा, जिससे टास्क-विशिष्ट रिवॉर्ड्स ( $r_{task}$ ) के साथ प्रशिक्षित पॉलिसियों के बराबर या उससे बेहतर प्रदर्शन प्राप्त हुआ।
मॉडल दक्षता: प्रयोगों ने प्रदर्शित किया कि प्री-ट्रेन्ड सीक्वेंस मॉडल्स (प्रायर-फिटेड नेटवर्क्स) इन रिवॉर्ड्स के लिए आवश्यक जटिल बेयसियन ओरेकल का प्रभावी ढंग से अनुमान लगा सकते हैं, जो जिज्ञासा के लिए ICL के उपयोग को प्रमाणित करता है।

महत्व और दावे
यह शोध पत्र इन-कॉन्टेक्ट लर्नर्स का उपयोग करते समय प्रेडिक्शन-आधारित अंतर्निहित पुरस्कारों और बेयसियन इंफॉर्मेशन गेन के बीच संबंध का पहला कठोर सैद्धांतिक लक्षण वर्णन प्रदान करने का दावा करता है। यह स्थापित करता है कि जबकि ICL अपने अंतर्निहित पूर्वाग्रहों और इंटरफेस सीमाओं के कारण सामान्य अनुक्रमिक निर्णय लेने की प्रक्रियाओं में BIG की पूर्ण नकल नहीं कर सकता है, यह BED सेटिंग्स में अंतर्निहित जिज्ञासा का सफलतापूर्वक समर्थन करता है।

इसका महत्व यह दिखाने में निहित है कि I-C लर्निंग के माध्यम से जिज्ञासा-संचालित अन्वेषण का एक कम्प्यूटेशनल रूप से कुशल मार्ग उपलब्ध है, जो महंगे ग्रेडिएंट-आधारित वर्ल्ड मॉडल अपडेट की आवश्यकता को समाप्त करता है। यह सिद्ध करके कि $r_{sum}$ और $r_{dl}$ विशिष्ट, प्रासंगिक सेटिंग्स (जैसे एक्टिव लर्निंग) में BIG को एसिम्प्टोटिक रूप से रिकवर कर सकते हैं, यह कार्य सुझाव देता है कि बड़े सीक्वेंस मॉडल्स डेटा संग्रह पॉलिसियों के लिए प्रभावी "वर्ल्ड मॉडल्स" के रूप में कार्य कर सकते हैं, जिससे एजेंट बिना किसी स्पष्ट कार्य परिभाषा या पैरामीटर अपडेट के इष्टतम रूप से अन्वेषण कर सकते हैं। लेखक विनम्र रहते हुए कहते हैं कि टेम्पोरल स्ट्रक्चर वाले सामान्य BAMDPs तक इसे विस्तारित करना एक खुला विषय है जिसके लिए आगे के आर्किटेक्चरल या मेथोडोलॉजिकल नवाचारों की आवश्यकता है।