Relational reasoning and inductive bias in transformers and large language models
यह शोध पत्र इस बात की जांच करता है कि ट्रांसफॉर्मर ट्रांजिटिव इन्फरेंस (transitive inference) कैसे करते हैं, यह प्रकट करते हुए कि जहाँ इन-वेट्स लर्निंग (in-weights learning) स्वाभाविक रूप से मजबूत सामान्यीकरण के लिए लीनियर एम्बेडिंग्स (linear embeddings) विकसित करता है, वहीं इन-कॉन्टेक्स्ट लर्निंग (in-context learning) आमतौर पर कॉपी रणनीतियों पर निर्भर करती है जब तक कि इसे लीनियर कार्यों पर प्री-ट्रेन न किया गया हो या लीनियर मेंटल मैप्स बनाने के लिए स्पष्ट रूप से प्रॉम्प्ट न किया गया हो, जो इस बात पर प्रकाश डालता है कि दोनों प्रशिक्षण व्यवस्थाएं और प्रतिनिधित्व ज्यामिति (representation geometry) संबंधपरक तर्क क्षमताओं को महत्वपूर्ण रूप से निर्धारित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। आप यह जानना चाहते हैं कि क्या वह यह समझ सकता है कि यदि A, B से बड़ा है, और B, C से बड़ा है, तो A को C से बड़ा होना ही चाहिए। इसे "ट्रांजिटिव इन्फरेंस" (transitive inference) कहा जाता है, जो एक क्लासिक तर्क पहेली है जिसे इंसान और यहाँ तक कि बंदर भी स्वाभाविक रूप से हल कर लेते हैं।
यह शोध पत्र जांच करता है कि AI मॉडल (विशेष रूप से ट्रांसफॉर्मर) में दो अलग-अलग प्रकार की "सीखने" की प्रक्रियाएं इस पहेली को कैसे संभालती हैं। शोधकर्ताओं ने पाया कि रोबोट कैसे सीखता है, इससे यह तय होता है कि वह क्या सीखता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. सीखने की दो शैलियाँ: "हार्ड ड्राइव" बनाम "फ्लैशकार्ड"
अध्ययन दो तरीकों की तुलना करता है जिनसे एक मॉडल सीखता है:
इन-वेट्स लर्निंग (IWL) – "हार्ड ड्राइव" दृष्टिकोण:
कल्पना कीजिए कि आप एक परीक्षा के लिए तथ्यों को तब तक याद कर रहे हैं जब तक वे आपके मस्तिष्क (या हार्ड ड्राइव) में स्थायी रूप से अंकित न हो जाएं। एक बार प्रशिक्षण पूरा हो जाने के बाद, रोबोट नियमों को "जानता" है।- परिणाम: जब रोबोट ने इस तरह से सीखा, तो उसने केवल उन विशिष्ट जोड़ों (A>B, B>C) को याद नहीं किया जिन्हें उसने देखा था। उसने एक मानसिक "संख्या रेखा" (number line) बनाई। वह समझ गया कि हर चीज़ का एक क्रम होता है। क्योंकि उसके पास यह मानसिक मानचित्र था, इसलिए वह उन वस्तुओं के बीच के संबंध का आसानी से अनुमान लगा सका जिन्हें उसने पहले कभी एक साथ नहीं देखा था (जैसे A और C)। उसने एक इंसान या बंदर की तरह काम किया, और जैसे-जैसे सूची में वस्तुएं एक-दूसरे से दूर होती गईं, वह इस पहेली को सुलझाने में बेहतर होता गया।
इन-कॉन्टेक्स्ट लर्निंग (ICL) – "फ्लैशकार्ड" दृष्टिकोण:
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं, लेकिन आपको अपने ठीक सामने रखे एक "चीट शीट" (संदर्भ) को देखने की अनुमति है। आप नियमों को याद नहीं करते; आप बस उस क्षण में दिए गए उदाहरणों को देखते हैं ताकि विशिष्ट प्रश्न को हल किया जा सके।- परिणाम: जब रोबोट ने इस तरह से सीखा, तो वह जो कुछ भी उसने चीट शीट पर देखा, उसकी नकल करने में बहुत चतुर था। यदि चीट शीट कहती थी "A > B," और प्रश्न था "A > B," तो उसने इसे सही बताया। लेकिन यदि प्रश्न "A > C" था (जो शीट पर नहीं था), तो वह विफल रहा। उसने कोई मानसिक मानचित्र नहीं बनाया; उसने बस "मैच एंड कॉपी" (मिलान और नकल) का खेल खेला। उसने पहेली को तभी हल किया जब उत्तर वास्तव में प्रॉम्प्ट में लिखा हुआ था।
2. "आहा!" क्षण: रोबोट को रेखाओं में सोचना सिखाना
शोधकर्ताओं ने पूछा: क्या हम "फ्लैशकार्ड" वाले रोबोट को "हार्ड ड्राइव" वाले रोबोट की तरह सोचने के लिए मजबूर कर सकते हैं?
उन्होंने "फ्लैशकार्ड" वाले रोबोट को एक अलग कार्य पर प्री-ट्रेनिंग दी: लीनियर रिग्रेशन (Linear Regression)। इसे ऐसे समझें जैसे आप रोबोट को बिंदुओं के एक सेट के माध्यम से एक सीधी रेखा खींचना सिखा रहे हैं।
- जादू: एक बार जब रोबोट ने सीधी रेखाएं खींचना सीख लिया (एक रैखिक संबंध), तो वह अचानक ट्रांजिटिव इन्फरेंस पहेली को पूरी तरह से हल करने लगा, भले ही वह "फ्लैशकार्ड" विधि का उपयोग कर रहा हो।
- क्यों? क्योंकि सीधी रेखा खींचने के लिए आपको यह समझने की आवश्यकता होती है कि संख्याओं का एक क्रम (1, 2, 3...) होता है। एक बार जब रोबोट इस "रेखा" की अवधारणा को समझ गया, तो वह इस नए पहेली को लागू कर सका। उसने केवल नकल करना बंद कर दिया और तर्क करना शुरू कर दिया।
3. वास्तविक दुनिया का परीक्षण: बड़े भाषा मॉडलों से पूछना
अंत में, टीम ने इन बड़े, वास्तविक दुनिया के AI मॉडलों (बड़े भाषा मॉडल जैसे कि वे जिनसे आप चैट कर सकते हैं) पर इसका परीक्षण किया। उन्होंने इन मॉडलों को ऐसी तर्क पहेलियाँ दीं जहाँ तथ्य या तो:
- वास्तविकता के अनुकूल थे (जैसे, "व्हेल मछली से बड़ी है")।
- वास्तविकता के विपरीत थे (जैसे, "मछली व्हेल से बड़ी है" – जिससे मॉडल को अपनी स्मृति को अनदेखा करने और केवल नए तथ्यों को देखने के लिए मजबूर किया गया)।
उन्होंने मॉडलों को समस्या को विज़ुअलाइज़ (visualize) करने के लिए एक "संकेत" दिया:
- संकेत A (संख्या रेखा): "कल्पना करें कि ये वस्तुएं सबसे छोटी से सबसे बड़ी तक एक सीधी रेखा पर हैं।"
- संकेत B (वृत्त/सर्कल): "कल्पना करें कि ये वस्तुएं एक वृत्त पर हैं।"
निष्कर्ष:
- जब मॉडलों को एक सीधी रेखा का उपयोग करने के लिए कहा गया, तो उन्होंने तर्क पहेलियों को बहुत बेहतर ढंग से हल किया, विशेष रूप से उन कठिन पहेलियों को जहाँ उन्हें अपने पूर्व ज्ञान को अनदेखा करना था।
- जब उन्हें एक वृत्त के बारे में बताया गया, तो वे संघर्ष करने लगे। क्यों? क्योंकि एक वृत्त पर, "बड़ा है" के नियम टूट जाते हैं (यदि आप वृत्त के चारों ओर जाते हैं, तो A, B से बड़ा हो सकता है, B, C से बड़ा हो सकता है, लेकिन C वापस घूमकर A से बड़ा हो सकता है)। "वृत्त" की ज्यामिति (geometry) ने तर्क को भ्रमित कर दिया।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि ज्यामिति (geometry) मायने रखती है।
- यदि कोई AI मॉडल अपने "मस्तिष्क" (weights) में तथ्यों को संग्रहीत करना सीखता है, तो वह स्वाभाविक रूप से दुनिया का एक सीधी रेखा वाला मानचित्र बनाता है, जिससे वह तार्किक रूप से तर्क कर पाता है।
- यदि कोई AI मॉडल केवल अपने सामने दी गई जानकारी पर निर्भर करता है (context), तो वह तब तक केवल पैटर्न की नकल करता है जब तक कि उसे विशेष रूप से "रेखाओं" में सोचने के लिए प्रशिक्षित न किया जाए।
- विशाल, बुद्धिमान AI मॉडलों के लिए भी, केवल उन्हें "एक सीधी रेखा की कल्पना करें" कहना, उन्हें "एक वृत्त की कल्पना करें" कहने की तुलना में बेहतर तरीके से तर्क करने में मदद करता है।
संक्षेप में: AI को इंसान की तरह तर्क करने योग्य बनाने के लिए, आपको केवल उसे अधिक डेटा देने की आवश्यकता नहीं है; आपको उसे सोचने का सही आकार देने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।