In-Context Learning Operates as Concept Subspace Learning
यह शोध पत्र इन-कॉन्टेक्स्ट लर्निंग (in-context learning) के लिए एक "कॉन्सेप्ट सबस्पेस" (concept subspace) ढांचे का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि संरचित प्रदर्शन (structured demonstrations) मुख्य रूप से उच्च-आयामी परिवेशी निरूपणों (high-dimensional ambient representations) के बजाय निम्न-आयामी, कार्य-संरेखित सक्रियता उप-क्षेत्रों (low-dimensional, task-aligned activation subspaces) के माध्यम से भविष्यवाणियां प्रेरित करते हैं, जैसा कि उन प्रयोगों से प्रमाणित होता है जो दिखाते हैं कि इन विशिष्ट उप-क्षेत्रों में हेरफेर करना शेष सक्रियताओं की उपेक्षा करते हुए प्रभावी रूप से कार्य प्रदर्शन को पुनः प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो बिना दोबारा ट्रेनिंग लिए, बस कुछ उदाहरणों को पढ़कर नए काम सीख सकता है। इसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है। यदि आप उसे दिखाते हैं "पेरिस फ्रांस के समान है जैसे रोम इटली के समान है," तो वह अनुमान लगा सकता है कि "टोक्यो जापान के समान है।"
लंबे समय तक, वैज्ञानिकों ने सोचा कि यह रोबोट वास्तव में यह कैसे करता है? क्या यह हर एक विवरण को एक विशाल, अराजक तरीके से याद करने की कोशिश कर रहा है? या क्या यह किसी तरह सरल, अंतर्निहित नियम को समझ लेता है?
यह पेपर तर्क देता है कि रोबोट यही दूसरा काम कर रहा है। यह सुझाव देता है कि जब रोबोट सीखता है, तो वह पूरी बिखरी हुई तस्वीर को नहीं देख रहा होता; बल्कि, वह अपने मस्तिष्क के भीतर एक नन्हे, छिपे हुए "कंट्रोल रूम" को खोज लेता है जहाँ वास्तविक नियम निवास करते हैं।
यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
1. बड़ा अस्त-व्यस्त कमरा बनाम छोटा कंट्रोल रूम
रोबोट के मस्तिष्क को एक विशाल, 4,000-आयामी कमरे के रूप में सोचें (कल्पना कीजिए कि एक कमरे में 4,000 अलग-अलग लाइट स्विच हैं)।
- पुराना दृष्टिकोण: वैज्ञानिकों को लगा कि रोबोट उत्तर खोजने के लिए उन सभी 4,000 स्विचों का उपयोग कर रहा होगा, और सब कुछ आपस में मिला रहा होगा।
- नया दृष्टिकोण (यह पेपर): लेखक प्रस्ताव देते हैं कि रोबोट वास्तव में अधिकांश कमरे को अनदेखा कर देता है। वह केवल एक छोटे सबस्पेस (subspace) पर ध्यान केंद्रित करता है—4,000 में से शायद 70 स्विचों का एक छोटा समूह।
- उपमा: कल्पना कीजिए कि आप एक रेडियो ट्यून करने की कोशिश कर रहे हैं। "एम्बिएंट स्पेस" (ambient space) पूरा इलेक्ट्रोमैग्नेटिक स्पेक्ट्रम है (सभी संभावित फ्रीक्वेंसी)। लेकिन "कॉन्सेप्ट सबस्पेस" (concept subspace) केवल वह एक विशिष्ट फ्रीक्वेंसी है जहाँ संगीत बज रहा है। रोबोट उस विशिष्ट फ्रीक्वेंसी पर ट्यून करना सीख जाता है, और बाकी हर जगह के शोर और स्टेटिक को अनदेखा कर देता है।
2. "कॉन्सेप्ट" ही नियम है
यह पेपर इस स्विचों के छोटे समूह को "कॉन्सेप्ट सबस्पेस" (Concept Subspace) कहता है।
- यदि कार्य "देश से राजधानी" का है, तो रोबोट स्विचों का एक विशिष्ट सेट खोज लेता है जो "देश-से-राजधानी लॉजिक" का प्रतिनिधित्व करता है।
- यदि कार्य "फ्रेंच में अनुवाद करें" है, तो वह "फ्रेंच अनुवाद लॉजिक" के लिए स्विचों का एक अलग सेट खोज लेता है।
- रोबोट को एहसास होता है कि समस्या को हल करने के लिए आवश्यक वास्तविक जानकारी इस छोटे क्षेत्र में संकुचित (compressed) है। बाकी 4,000 स्विच केवल "शोर" या पृष्ठभूमि के विवरण हैं जो वास्तव में नियम को नहीं बदलते।
3. प्रयोग: "ब्रेन स्वैप" (मस्तिष्क का आदान-प्रदान)
इसे सिद्ध करने के लिए, शोधकर्ताओं ने रोबोट पर एक चतुर प्रयोग किया, जैसे कि रोबोट पर ब्रेन सर्जरी करना:
- सेटअप: उन्होंने रोबोट को एक "साफ" प्रॉम्प्ट (अच्छे उदाहरण) और एक "करप्टेड" प्रॉम्प्ट (बिखरे हुए, खराब उदाहरण) दिया। करप्टेड प्रॉम्प्ट के साथ रोबोट विफल रहा।
- सर्जरी: उन्होंने "साफ" प्रॉम्प्ट से "ब्रेन स्टेट" (स्विचों का सक्रिय होना) लिया और उसे "करप्टेड" प्रॉम्प्ट में बदल दिया।
- टेस्ट A (पूरा मस्तिष्क): उन्होंने सभी 4,000 स्विचों को बदल दिया। रोबोट बेहतर हो गया।
- टेस्ट B (छोटा कंट्रोल रूम): उन्होंने केवल 70 स्विचों को बदला जो "कॉन्सेप्ट सबस्पेस" में थे। आश्चर्यजनक रूप से, रोबोट लगभग उतना ही अच्छा हो गया! उसने समस्या को हल करने की अपनी क्षमता का लगभग 79% हिस्सा वापस पा लिया।
- टेस्ट C (कमरे का बाकी हिस्सा): उन्होंने अन्य 3,930 स्विचों को बदला (वे जो कॉन्सेप्ट सबस्पेस में नहीं थे)। रोबोध को कोई सुधार नहीं मिला। वह पहले की तरह ही भ्रमित रहा।
निष्कर्ष: इसने सिद्ध किया कि "जादू" पूरे मस्तिष्क में नहीं था; यह उस छोटे, विशिष्ट 70-स्विच वाले कंट्रोल रूम में केंद्रित था।
4. चैनल बदलना
शोधकर्ताओं ने "कॉन्सेप्ट्स को बदलने" का भी प्रयास किया।
- उन्होंने एक कार्य से "फ्रेंच ट्रांसलेशन" वाला कंट्रोल रूम लिया और उसे "स्पेनिश ट्रांसलेशन" कार्य में डाल दिया।
- परिणाम: रोबोट तुरंत स्पेनिश बोलना बंद कर दिया और फ्रेंच बोलने लगा।
- यह दिखाता है कि ये छोटे कंट्रोल रूम ही वे वास्तविक "डायल" हैं जिनका उपयोग रोबोट यह तय करने के लिए करता है कि क्या करना है। यदि आप "फ्रेंच डायल" घुमाते हैं, तो रोबोट फ्रेंच बोलता है।
5. अन्य रोबोट्स के बारे में क्या?
टीम ने दो अलग-अलग रोबोट दिमागों (Llama-3 और Qwen2.5) पर परीक्षण किया। दोनों मामलों में, उन्होंने पाया कि एक ही पैटर्न: एक छोटा, लो-डायमेंशनल "कंट्रोल रूम" कार्य की कुंजी रखता था, जबकि बाकी मस्तिष्क मुख्य तर्क के लिए ज्यादातर अप्रासंगिक था।
सारांश
यह पेपर दावा करता है कि जब ये AI मॉडल उदाहरणों से सीखते हैं, तो वे केवल एक विशाल, जटिल पैटर्न को याद नहीं कर रहे होते हैं। इसके बजाय, वे कार्य को एक छोटे, कुशल "कॉन्सेप्ट सबस्पेस" में संकुचित (compress) कर रहे हैं।
- बड़ी तस्वीर: रोबोट का मस्तिष्क विशाल और अस्त-व्यस्त है।
- रहस्य: वास्तविक "सोच" उस मस्तिष्क के एक छोटे, व्यवस्थित कोने में होती है।
- प्रमाण: यदि आप केवल उस छोटे कोने को ठीक करते हैं, तो रोबोट काम करता है। यदि आप बाकी मस्तिष्क को ठीक करते हैं लेकिन उस कोने को टूटा हुआ छोड़ देते हैं, तो रोबोट विफल हो जाता है।
यह हमें समझने में मदद करता है कि ये मॉडल नियम के सार (essence) को खोजने में आश्चर्यजनक रूप से कुशल हैं, न कि विवरणों में खो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।