To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning
यह शोधपत्र डिकोडर-ओनली ट्रांसफॉर्मर में एक रिप्रजेंटेशनल कोलैप्स (representational collapse) की पहचान और समाधान करता है, जहाँ अनदेखे टोकन के अनएम्बेडिंग्स (unembeddings) समान वेक्टर्स की ओर अभिसरित हो जाते हैं, जिससे प्रतीकात्मक तर्क सामान्यीकरण (symbolic reasoning generalization) में विफलता उत्पन्न होती है, और इस सीमा को दूर करने के लिए आर्किटेक्चरल संशोधनों, डेटा विविधता और एम्बेडिंग रिसेट रणनीतियों के संयोजन का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"To See the Unseen" पेपर का स्पष्टीकरण, सरल अवधारणाओं और रचनात्मक उपमाओं के साथ।
बड़ी समस्या: "नाम-परिवर्तन" की गड़बड़ी (The "Name-Change" Glitch)
कल्पना कीजिए कि आप एक रोबोट को ताश के पत्तों के एक डेक का उपयोग करके एक लॉजिक गेम खेलना सिखा रहे हैं। आप उसे A, B, और C लेबल वाले कार्ड दिखाते हैं। आप उसे नियम सिखाते हैं: "यदि आप A देखते हैं, तो आपको B कहना चाहिए।" रोबोट इसे पूरी तरह से सीख लेता है।
लेकिन फिर, आप उसे एक नया कार्ड देते हैं जिस पर Z लिखा है (एक ऐसा कार्ड जिसे उसने पहले कभी नहीं देखा) और पूछते हैं, "यदि आप Z देखते हैं, तो क्या होता है?"
अधिकांश आधुनिक AI मॉडल (Transformers) यहाँ बुरी तरह विफल हो जाते हैं। भले ही तर्क (logic) बिल्कुल समान हो, रोबोट भ्रमित हो जाता है। वह या तो कार्ड को अनदेखा कर सकता है, गलत उत्तर का अनुमान लगा सकता है, या पुरानी कार्ड की नामों (A, B, C) को नई स्थिति पर थोपने की कोशिश कर सकता है। ऐसा लगता है जैसे रोबोट खेल के नियमों को समझने के बजाय कार्ड के नामों को रट रहा है।
असली अपराधी: "क्लंपिंग" प्रभाव (The "Clumping" Effect)
इस पेपर के लेखकों ने खोजा कि रोबोट क्यों विफल होता है। यह केवल इसलिए नहीं है कि रोबोट ने वह कार्ड पहले नहीं देखा है; बल्कि इसलिए है क्योंकि रोबोट का आंतरिक "शब्दकोश" (dictionary) अव्यवस्थित हो जाता है।
उपमा: धुंधली फाइलिंग कैबिनेट (The Blurry Filing Cabinet)
AI की मेमोरी को एक विशाल फाइलिंग कैबिनेट के रूप में सोचें जहाँ हर शब्द या प्रतीक का अपना विशिष्ट दराज (drawer) है।
- देखे गए शब्द (A, B, C): ये दराज अलग-अलग हैं। दराज A लाल है, दराज B नीला है, दराज C हरा है। रोबोट जानता है कि कौन सा क्या है।
- अनदेखे शब्द (Z, Q, X): जब रोबोट एक नए शब्द का सामना करता है जिसे उसने ट्रेनिंग के दौरान नहीं देखा, तो कुछ अजीब होता है। हर नए शब्द को अपना अनूठा दराज देने के बजाय, रोबोट की ट्रेनिंग प्रक्रिया गलती से सभी नए दराजों को कमरे के एक ही कोने में धकेल देती है। उन सभी पर एक ही रंग का ग्रे (धूसर) पेंट कर दिया जाता है।
इसे "एम्बेडिंग कोलैप्स" (Embedding Collapse) कहा जाता है। अनदेखे टोकन के लिए गणितीय वेक्टर्स (निर्देशांक) लगभग एक ही स्थान पर सिमट जाते हैं। रोबोट के लिए, नया वेरिएबल "Z" लगभग "Q" जैसा ही दिखता है। चूंकि वह उनके बीच अंतर नहीं कर सकता, इसलिए वह उनके बारे में तर्क (reasoning) नहीं कर सकता।
सैद्धांतिक प्रमाण: कैबिनेट क्यों सिमटता है?
पेपर गणितीय रूप से सिद्ध करता है कि यह सिमटना (clumping) लगभग अपरिहार्य है।
- तंत्र (Mechanism): ट्रेनिंग के दौरान, AI त्रुटियों (errors) को कम करने की कोशिश करता है। यदि कोई शब्द ट्रेनिंग डेटा में कभी दिखाई नहीं देता, तो गणित उसके "दराज" को कमरे के केंद्र की ओर धकेल देता है, जिससे वह अन्य अप्रयुक्त दराजों के साथ मिल जाता है।
- परिणाम: AI विभिन्न अनदेखे वेरिएबल्स के बीच अंतर करने की क्षमता खो देता है। यह एक ऐसी पहेली को हल करने जैसा है जहाँ सभी नए टुकड़े बिल्कुल एक जैसे दिखते हैं।
समाधान: रोबोट को कैसे ठीक करें
लेखकों ने इस बात का परीक्षण किया कि रोबोट को नए नामों से भ्रमित होने से रोकने के तीन मुख्य तरीके क्या हैं।
1. "कॉपी-पेस्ट" टूल (Copy Attention)
- समस्या: मानक AI नए शब्द के लिए उत्तर "गढ़ने" की कोशिश करते हैं, जो तब कठिन होता है जब शब्द अपरिचित हो।
- समाधान: उन्होंने आर्किटेक्चर में एक विशेष "कॉपी हेड" जोड़ा। इसे रोबोट को एक हाइलाइटर और फोटोकॉपी मशीन देने के रूप में सोचें।
- यह कैसे काम करता है: नए शब्द के लिए शून्य से उत्तर बनाने के बजाय, रोबोट को प्रश्न में दिए गए प्रतीक को सीधे देखकर उसे उत्तर में कॉपी करने की अनुमति दी जाती है। यह यह कहने जैसा है, "मुझे नहीं पता कि 'Z' का क्या अर्थ है, लेकिन मैं देख रहा हूँ कि 'Z' यहीं है, इसलिए मैं बस 'Z' लिख दूँगा।"
2. "फ्रीज" रणनीति (Frozen Embeddings)
- समस्या: रोबोट अपनी फाइलिंग कैबिनेट को फिर से व्यवस्थित करने की कोशिश करता रहता है, जिससे नए दराज आपस में सिमट जाते हैं।
- समाधान: दराजों को उनकी जगह पर लॉक कर दें।
- यह कैसे काम करता है: शोधकर्ताओं ने रोबोट को ट्रेनिंग के दौरान शब्दों की परिभाषाओं को बदलने से रोक दिया। उन्होंने नए शब्दों के लिए "दराजों" को उनके मूल, विशिष्ट स्थानों में रखा। क्योंकि रोबमान इसे बिगाड़ नहीं सका, वह उनके बीच अंतर कर सका और सही ढंग से तर्क दे सका।
3. "मेमोरी वाइप" (Active Forgetting)
- समस्या: रोबोट पुराने पैटर्न से बहुत अधिक जुड़ जाता है और भूल जाता है कि नई चीजें भी मौजूद हैं।
- समाधान: समय-समय पर शब्दकोश को रीसेट करें।
- यह कैसे काम करता है: ट्रेनिंग के हर कुछ चरणों के बाद, शोधकर्ता नए शब्दों के लिए स्लेट को साफ कर देते हैं, यानी उनके "दराजों" को वापस उनके मूल, विशिष्ट स्थानों पर रीसेट कर देते हैं। यह उन्हें समय के साथ सिमटने से रोकता है। यह एक शिक्षक को छात्र से यह कहने जैसा है, "अभी जो तुमने याद किया है उसे भूल जाओ; चलो इस नई समस्या को नई दृष्टि से देखते हैं।"
वास्तविक दुनिया का परीक्षण: Gemma 3 मॉडल
लेखकों ने केवल छोटे, काल्पनिक मॉडल पर परीक्षण नहीं किया। उन्होंने Gemma 3 को देखा, जो Google द्वारा जारी किया गया एक बड़ा, वास्तविक दुनिया का AI मॉडल है।
- खोज: इस विशाल, परिष्कृत मॉडल में भी, अप्रयुक्त टोकन (भविष्य के उपयोग के लिए आरक्षित शब्द) सिमटे हुए थे, ठीक वैसे ही जैसे उनके छोटे प्रयोगों में हुआ था।
- परिणाम: जब उन्होंने इन "अप्रयुक्त" टोकन का उपयोग करके Gemma 3 को एक नया लॉजिक गेम सिखाने की कोशिश की, तो इसे सामान्य शब्दों की तुलना में सीखने में 10 गुना अधिक समय लगा। मॉडल नए प्रतीकों के बीच अंतर करने के लिए संघर्ष कर रहा था क्योंकि उनके आंतरिक प्रतिनिधित्व (representations) बहुत धुंधले थे।
मुख्य निष्कर्ष (The Takeaway)
ऐसे AI बनाने के लिए जो वास्तव में नए, अमूर्त विचारों (जैसे कि एक वैज्ञानिक द्वारा नए तत्व की खोज करना या एक प्रोग्रामर द्वारा नए वेरिएबल्स के साथ कोड लिखना) के साथ तर्क कर सके, हमें केवल उसे अधिक डेटा खिलाने की आवश्यकता नहीं है। हमें यह बदलने की आवश्यकता है कि वह जानकारी को कैसे संग्रहीत करता है।
हमें यह सुनिश्चित करने की आवश्यकता है कि:
- AI नए प्रतीकों को सीधे कॉपी कर सके, न कि उनका अनुमान लगाए।
- AI का आंतरिक "शब्दकोश" नए शब्दों को एक धुंधले ढेर में मिलने न दे।
इस "क्लंपिंग" (सिमटने) की समस्या को ठीक करके, हम AI को बेहतर तरीके से सामान्यीकरण (generalizing) करने में सक्षम बना सकते—यानी उन समस्याओं को हल करना जिन्हें उसने पहले कभी नहीं देखा, न कि केवल उन्हें रटना जिन्हें उसने पहले देखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।