Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
यह शोध पत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडल (Large Language Models) की 'इम्प्लिसिट मल्टी-हॉप रीजनिंग' (implicit multi-hop reasoning) में विफलता याद किए गए तथ्यों की कमी के कारण नहीं, बल्कि प्रीट्रेनिंग की कमी के कारण है, क्योंकि कंपोजिशनल रीजनिंग (compositional reasoning) क्षमताएं केवल उन व्यक्तियों (मॉडल्स) में स्थानांतरित होती हैं जो प्रीट्रेनिंग के दौरान स्पष्ट रूप से मल्टी-हॉप संदर्भों के संपर्क में आए होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन (AI) है जिसने जीवनी की एक विशाल लाइब्रेरी को याद कर लिया है।
यदि आप पूछते हैं, "थियरी का जन्म कब हुआ था?", तो लाइब्रेरियन तुरंत उत्तर देता है।
यदि आप पूछते हैं, "ज़िनेदीन का सबसे करीबी दोस्त कौन है?", तो लाइब्रेरियन भी तुरंत उत्तर देता है।
लेकिन यदि आप पूछते हैं, "ज़िनेदीन के सबसे करीबी दोस्त का जन्म कब हुआ था?", तो लाइब्रेरियन जम जाता है। भले ही वह दोनों तथ्यों को पूरी तरह से जानता हो, लेकिन वह उन्हें एक साथ जोड़ नहीं पाता और एक बार में उत्तर नहीं दे पाता। वह टुकड़ों को जानता है, लेकिन वह पहेली को जोड़ नहीं सकता।
यह शोध पत्र इस बात की जांच करता है कि ऐसा क्यों होता है और क्या हम उसे केवल अपने प्रशिक्षण के दौरान पढ़े जाने वाले किताबों को बदलकर यह सिखा सकते हैं।
मुख्य समस्या: "मिसिंग लिंक" (Missing Link)
शोधकर्ता इसे कंपोजिशनैलिटी गैप (Compositionality Gap) कहते हैं। यह एक ऐसे टूलबॉक्स की तरह है जिसमें हथौड़े और कीलें तो एकदम सही हैं, लेकिन आपसे पूछा जाए कि कुर्सी कैसे बनाई जाए, तो आपको नहीं पता। AI तथ्यों को खोज सकता है, लेकिन वह उन्हें "चेन" (एक साथ जोड़) नहीं सकता।
प्रयोग: लोगों के दो समूह
इसका अध्ययन करने के लिए, शोधकर्ताओं ने एक नकली दुनिया बनाई जिसमें 100,000 लोग थे। उन्होंने इन लोगों को दो समूहों में विभाजित किया:
- "एक्सपोज़्ड" (Exposed) समूह: ये लोग प्रशिक्षण वाली किताबों में जटिल कहानियों में दिखाई देते हैं। उदाहरण के लिए, किताबें कह सकती हैं: "मार्कस का दोस्त डेलिया है, और डेलिया का जन्म पेरिस में हुआ था।" यह AI को "मार्कस" को "डेलिया" से और फिर "पेरिस" से जोड़ने के लिए सिखाता है।
- "हेल्ड-आउट" (Held-Out) समूह: ये लोग किताबों में दिखाई तो देते हैं, लेकिन केवल सरल, एकल-तथ्य वाली कहानियों में। किताबें कहती हैं: "मार्कस का जन्म लंदन में हुआ था।" वे कभी भी किसी ऐसे व्यक्ति से जुड़े हुए नहीं दिखाए जाते जो उन्हें दूसरों के साथ संबंधों के जाल में जोड़ सके। वे वे "अजनबी" हैं जिन्हें कभी भी जटिल संबंधों के परिचय में शामिल नहीं किया गया।
इसके बाद शोधकर्ताओं ने AI को इन किताबों पर प्रशिक्षित किया और दोनों समूहों के बारे में सवाल पूछकर उसका परीक्षण किया।
बड़ी खोज: आप वह नहीं सिखा सकते जो आपने देखा ही नहीं
शोधकर्ताओं ने अपने प्रशिक्षण डेटा को "ऑगमेंट" (बढ़ाने या बदलने) करने के नौ अलग-अलग तरीके आजमाए (कहानियों को लिखने का तरीका बदलना, प्राकृतिक भाषा का उपयोग करना, या RDF जैसे संरचित डेटा का उपयोग करना)।
यहाँ उनका निष्कर्ष है:
- "एक्सपोज़्ड" समूह के लिए: जब AI ने प्रशिक्षण के दौरान जटिल कहानियाँ देखीं, तो वह बहु-चरणीय (multi-step) प्रश्नों के उत्तर देने में बहुत बेहतर हो गया। यदि उसने सीखा कि "A, B का मित्र है" और "B का जन्म X में हुआ था," तो वह उत्तर दे सका कि "A के मित्र का जन्म कब हुआ था?"
- "हेल्ड-आउट" समूह के लिए: चाहे उन्होंने प्रशिक्षण डेटा में कितने भी बदलाव किए हों, AI इस समूह के लिए पूरी तरह से विफल रहा। भले ही AI उन तथ्यों को पूरी तरह से जानता था, लेकिन अगर उस विशिष्ट व्यक्ति को प्रशिक्षण के दौरान कभी किसी "जटिल" कहानी में नहीं दिखाया गया था, तो वह उन्हें जोड़ नहीं सका।
उपमा (Analogy):
एक बच्चे को गणित के सवाल हल करना सिखाने की कल्पना करें।
- एक्सपोज़्ड समूह: आप बच्चे को एक समस्या दिखाते हैं: "यदि जॉन के पास 2 सेब हैं और वह 1 मैरी को देता है, तो मैरी के पास कितने सेब होंगे?" आप इसे कई बार करते हैं। बच्चा साझा करने का तर्क (logic) सीख जाता है।
- हेल्ड-आउट समूह: आप एक अलग बच्चे, "बॉब" को दिखाते हैं, लेकिन उससे केवल यही पूछते हैं, "बॉब के पास कितने सेब हैं?" आप कभी भी बॉब के सेब साझा करने के बारे में नहीं पूछते।
- परीक्षण: जब आप पूछते हैं, "यदि बॉब एक सेब एलिस को देता है, तो एलिस के पास कितने सेब होंगे?" तो बच्चा (AI) विफल हो जाता है। वह जानता है कि बॉब के पास सेब हैं, लेकिन क्योंकि उसे कभी भी साझा करने के संदर्भ में नहीं देखा गया, इसलिए वह बॉब के लिए उस तर्क को लागू नहीं कर पाता।
मुख्य बातें
- यह प्रशिक्षण का मुद्दा है, मेमोरी का नहीं: AI इसलिए विफल नहीं हो रहा है क्योंकि वह "मूर्ख" है या उसके पास पर्याप्त मेमोरी नहीं है। वह इसलिए विफल होता है क्योंकि उसे उन विशिष्ट लोगों के लिए इस प्रकार के तर्क के प्रति कभी एक्सपोज़ (प्रशिक्षित) नहीं किया गया था।
- एक्सपोज़र अनिवार्य है: डॉट्स (बिंदुओं) को जोड़ने का तरीका सीखने के लिए, AI को परीक्षण से पहले डॉट्स को आपस में जुड़ते हुए देखना ही होगा। आप AI को उस व्यक्ति के बारे में तर्क करना नहीं सिखा सकते जिसे उसने अपने "स्कूली जीवन" (प्रीट्रेनिंग) के दौरान कभी जटिल संदर्भ में नहीं देखा।
- स्पष्ट बनाम अंतर्निहित (Explicit vs. Implicit): शोधकर्ताओं ने कहानियों को दो तरीकों से लिखा:
- स्पष्ट (Explicit): "मार्कस का मित्र डेलिया पेरिस में पैदा हुई थी।" (मित्र का नाम बताना)।
- अंतर्निहित (Implicit): "मार्कस का मित्र पेरिस में पैदा हुआ था।" (मित्र का नाम छिपाना)।
उन्होंने पाया कि अंतर्निहित (Implicit) तरीका (नाम छिपाना) AI को तर्क करने के लिए सिखाने में वास्तव में बेहतर था, क्योंकि इसने AI को उत्तर को सीधे पढ़ने के बजाय खुद लिंक खोजने के लिए मजबूर किया। हालाँकि, सबसे अच्छा प्रशिक्षण तरीका भी "हेल्ड-आउट" समूह के लिए विफल रहा।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि इम्प्लिसिट मल्टी-हॉप रीजनिंग (Implicit multi-hop reasoning) प्रीट्रेनिंग एक्सपोज़र द्वारा सीमित है।
यदि AI ने किसी विशिष्ट व्यक्ति (या एंटिटी) को अपने सीखने के दौरान "बहु-चरणीय" संदर्भ में नहीं देखा है, तो वह बाद में उस व्यक्ति के बारे में तर्क करने में विफल रहेगा, चाहे मॉडल कितना भी स्मार्ट क्यों न हो या आप उसे कितना भी डेटा क्यों न दें। डॉट्स को जोड़ने की क्षमता कोई सामान्य सुपरपावर नहीं है जिसे AI अपने आप विकसित कर लेता है; यह एक विशिष्ट कौशल है जो वह केवल उन्हीं पात्रों के लिए सीखता है जिनके साथ उसने अभ्यास किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।