On the Emergence and Test-Time Use of Structural Information in Large Language Models
यह शोध पत्र इस बात की जांच करता है कि बड़े भाषा मॉडल अवलोकन संबंधी डेटा से अमूर्त संरचनात्मक जानकारी को कैसे सीखते और लागू करते, यह प्रकट करते हुए कि हालांकि इस तरह के सीखने का उद्भव जटिल तर्क से सह-संबंधित है, मॉडलों की टेस्ट-टाइम कंपोजिशनल जनरेशन (test-time compositional generation) करने की क्षमता सीमित बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) अविश्वसनीय रूप से प्रतिभाशाली शेफ हैं जिन्होंने दुनिया की हर कुकबुक पढ़ रखी है। वे रेसिपी को पूरी तरह से दोहरा सकते हैं और उन सामग्रियों को भी मिला सकते हैं जिन्हें उन्होंने पहले देखा है ताकि नए व्यंजन बनाए जा सकें। लेकिन क्या वे वास्तव में खाना पकाने के तर्क (logic) को समझ सकते हैं? क्या वे एक बुनियादी नियम (जैसे "यदि आप नमक डालते हैं, तो यह नमकीन लगता है") को एक ऐसे बिल्कुल नए घटक पर लागू कर सकते हैं जिसे उन्होंने पहले कभी नहीं देखा, या वे केवल विशिष्ट व्यंजनों को याद करते हैं?
यह शोध पत्र, "On the Emergence and Test-Time Use of Structural Information in Large Language Models," एक वैज्ञानिक रसोई प्रयोग की तरह है जिसे इस प्रश्न का उत्तर देने के लिए डिज़ाइन किया गया है। शोधकर्ता यह देखना चाहते थे कि क्या AI शेफ भाषा के अंतर्निहित "व्याकरण के नियमों" (संरचना) को सीखते हैं या वे केवल उन विशिष्ट वाक्यों को याद करते हैं जिन पर उन्हें प्रशिक्षित किया गया है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. खेल का मैदान: एक "ग्रामर जिम" (Grammar Gym)
मॉडल्स का परीक्षण करने के लिए, शोधकर्ताओं ने केवल उन पर रैंडम वाक्य नहीं फेंके। उन्होंने ट्रांसफॉर्मेशनल ग्रामर नामक अवधारणा पर आधारित एक विशेष "ग्रामर जिम" बनाया।
भाषा को लेगो (Lego) ब्लॉक्स के एक सेट की तरह सोचें।
- डीप स्ट्रक्चर (Deep Structure): वाक्य का मूल विचार (जैसे, "जॉन खुश है")।
- सरफेस स्ट्रक्चर (Surface Structure): हम इसे वास्तव में कैसे कहते हैं (जैसे, "ऐसा लगता है कि जॉन खुश है")।
शोधकर्ताओं ने एक डेटासेट बनाया जहाँ AI को वाक्यों पर विशिष्ट "रूपांतरण" (transformations) करने थे, जैसे कि एक कथन को प्रश्न में बदलना, एक्टिव वॉइस को पैसिव वॉइस में बदलना, या वाक्य के कर्ता (subject) को आगे ले जाना। यह एक शेफ को केक की रेसिपी लेने और तुरंत उसे पाई (pie) की रेसिपी में फिर से लिखने के लिए कहने जैसा है, जो सख्त नियमों का पालन करता है।
2. खोज: AI कब "समझता" है?
शोधकर्ताओं ने AI को प्रशिक्षित होते समय देखा, इसके आंतरिक "मस्तिष्क तरंगों" (गणितीय निरूपण) पर नज़र रखी ताकि यह देखा जा सके कि वह इन नियमों को कब सीखना शुरू करता है।
- "अहा!" वाला क्षण (The "Aha!" Moment): उन्होंने पाया कि AI ने इन नियमों को धीरे-धीरे नहीं सीखा। इसके बजाय, यह एक फेज ट्रांजिशन (phase transition) से गुजरा। एक लाइट स्विच चालू होने की कल्पना करें। प्रशिक्षण के एक निश्चित बिंदु (लगभग 64,000 स्टेप के आसपास) पर, AI ने अचानक विभिन्न प्रकार के वाक्य परिवर्तनों के बीच अंतर करना शुरू कर दिया।
- तर्क से संबंध: दिलचस्प बात यह है कि यह "स्विच" केवल AI को अगला शब्द बेहतर ढंग से अनुमान लगाने में ही मदद नहीं करता था। यह इस बात से भी संबंधित था कि AI जटिल तर्क कार्यों (complex reasoning tasks) में बेहतर होता जा रहा है। यह सुझाव देता है कि कठिन लॉजिक पहेलियों को हल करने के लिए, AI को भाषा की अंतर्निहित संरचना को समझने की आवश्यकता है, न कि केवल शब्दों को।
3. परीक्षण: क्या AI नियमों को मिला सकता है? (द "कंपोजिशन" प्रॉब्लम)
यह प्रयोग का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने पूछा: यदि हम AI को अलग-अलग नियम A और नियम B सिखाते हैं, तो क्या वह नियम A + नियम B को एक ऐसे वाक्य पर करने के लिए मिला सकता है जिसे उसने पहले कभी नहीं देखा है?
- परिणाम: AI संघर्ष करता रहा।
- जब AI को मध्यवर्ती चरण दिया गया (जैसे, "पहले नियम A करें, फिर नियम B करें"), तो इसने अच्छा प्रदर्शन किया।
- लेकिन जब बिना किसी मदद के एक ही बार में पूरी श्रृंखला (chain) करने के लिए कहा गया, तो यह अक्सर विफल रहा।
- उपमा: एक छात्र को अपने बाएं जूते के फीते बांधना और दाएं जूते के फीते बांधना सिखाने की कल्पना करें। यदि आप उनसे बिना चरणों को देखे एक ही समय में दोनों बांधने के लिए कहते हैं, तो वे भ्रमित हो सकते हैं। AI विशिष्ट चरणों के संयोजन को याद करता प्रतीत होता है, न कि स्वतंत्र नियमों को इतनी अच्छी तरह से समझना कि वे उन्हें स्वतंत्र रूप से मिला सकें।
4. मशीन के भीतर: जादू कहाँ होता है?
शोधकर्ताओं ने AI के मस्तिष्क का "सर्जरी" भी किया (जिसे एब्लेशन स्टडीज कहा जाता है) यह देखने के लिए कि कौन से हिस्से भारी काम कर रहे हैं।
- "मांसपेशी" बनाम "मस्तिष्क": उन्होंने पाया कि MLP लेयर्स (इन्हें आप AI की "मांसपेशियां" या भारी गणना करने वाली प्रोसेसिंग यूनिट मान सकते हैं) इन रूपांतरणों में सफलता के लिए लगभग 65% जिम्मेदार थीं। अटेंशन हेड्स (Attention heads) (वह "मस्तिष्क" जो तय करता है कि ध्यान कहाँ केंद्रित करना है) ने केवल 35% योगदान दिया।
- अंतिम परत (The Final Layer): "इस वाक्य को कैसे रूपांतरित किया जाए" का वास्तविक निर्णय मुख्य रूप से नेटवर्क के अंतिम परतों में होता है। यह ऐसा है जैसे AI अपना अधिकांश समय सोचने में बिताता है, और फिर बिल्कुल आखिरी सेकंड में, वह लागू करने के लिए विशिष्ट नियम तय करता है।
5. निचोड़ (The Bottom Line)
पेपर एक अच्छी खबर और एक वास्तविकता की जांच के साथ समाप्त होता है:
- अच्छी खबर: LLMs संरचनात्मक जानकारी सीखते हैं। वे केवल टेक्स्ट को याद नहीं करते; वे विकसित करते हैं कि वाक्य कैसे काम करते हैं, और यह मानचित्र (map) उनके बेहतर तर्क करने के साथ और अधिक स्पष्ट होता जाता है।
- वास्तविकता की जांच: हालाँकि, यह सीखना अभी भी पूर्ण नहीं है। जब बात इन नियमों को मिलाकर नई, जटिल जानकारी को तुरंत उत्पन्न करने (टेस्ट-टाइम कंपोजिशन) की आती है, तो AI अभी भी सीमित है। यह मध्यवर्ती चरणों को देखने पर बहुत अधिक निर्भर करता है और नियमों को स्वतंत्र रूप से लागू करने के लिए उन्हें "अलग करने" (disentangle) में संघर्ष करता है।
संक्षेप में: AI खेल के नियमों को सीख रहा है, लेकिन यह अभी भी एक ऐसे छात्र की तरह है जो गणित के फॉर्मूले तो जानता है लेकिन किसी नए सवाल को खुद से हल करने से पहले उसे चरण-दर-चरण हल किए हुए उदाहरण देखने की आवश्यकता होती है। उन्होंने अभी तक शुद्ध, लचीली रचनात्मकता की कला में महारत हासिल नहीं की है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।