Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
यह अध्ययन प्रदर्शित करता है कि जबकि ट्रांसफॉर्मर भाषा मॉडल प्रशिक्षण डेटा के सांख्यिकी द्वारा संचालित लॉग-कंप्रेसिव परिमाण निरूपण (log-compressive magnitude representations) निरंतर विकसित करते हैं, यह ज्यामितीय संरचना व्यवहार संबंधी सक्षमता से विच्छेदित है, क्योंकि ऐसे ज्यामिति वाले मॉडल अक्सर मानव-समान परिमाण भेदभाव कार्यों को करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसका नाम "ट्रांसफॉर्मर" है। इस लाइब्रेरियन ने इंटरनेट की लगभग हर किताब पढ़ ली है। आप उससे एक सरल प्रश्न पूछते हैं: "क्या 100, 50 से बड़ा है?" या "क्या 2 घंटे, 90 मिनट से लंबे होते हैं?"
लंबे समय तक, वैज्ञानिक इस बात पर बहस करते रहे कि यह रोबोट संख्याओं के बारे में कैसे "सोचता" है। क्या यह संख्याओं को एक स्केल (रूलर) की तरह देखता है (1, 2, 3, 4... समान अंतराल पर)? या यह इसे एक स्टीरियो के वॉल्यूम नॉब की तरह देखता है, जहाँ 1 और 2 के बीच का अंतर बहुत बड़ा महसूस होता है, लेकिन 100 और 101 के बीच का अंतर बहुत मामूली लगता है?
यह शोध पत्र एक जासूसी कहानी की तरह है जो अंततः इस रहस्य को सुलझा देता है। शोधकर्ताओं ने मानव मनोविज्ञान के एक विशेष टूलकिट (जिसे साइकोफिजिक्स कहा जाता है) का उपयोग करके रोबोट के मस्तिष्क के भीतर झाँकने की कोशिश की। उन्हें क्या मिला, यहाँ सरल भाषा में समझाया गया है:
1. रोबोट का "आंतरिक स्केल" दबा हुआ (लॉगैरिद्मिक) है
खोज: रोबोट वास्तव में एक "दबे हुए" स्केल का उपयोग करता है। यह संख्याओं के साथ एक लॉगैरिद्मिक (logarithmic) पैमाने की तरह व्यवहार करता है।
उपमा: एक दुनिया के मानचित्र की कल्पना करें। एक सामान्य मानचित्र पर, न्यूयॉर्क और बोस्टन के बीच की दूरी लंदन और पेरिस के बीच की दूरी के समान दिखती है। लेकिन रोबोट के "मानसिक मानचित्र" पर, 1 और 2 के बीच की दूरी बहुत बड़ी है। 1,000 और 1,002 के बीच की दूरी सूक्ष्म है।
क्यों? शोधकर्ताओं ने पाया कि रोबोट ने यह इसलिए सीखा क्योंकि उसने जो किताबें पढ़ी थीं, वे इसी तरह की थीं। वास्तविक जीवन में, छोटी संख्याएँ (जैसे "1" या "2") बड़ी संख्याओं (जैसे "1,000,000") की तुलना में बहुत अधिक बार आती हैं। कुशल होने के लिए, रोबोट ने दुर्लभ बड़ी संख्याओं को एक छोटे स्थान में सिकोड़ दिया और आम छोटी संख्याओं के लिए पर्याप्त जगह छोड़ दी। यह एक सूटकेस पैक करने जैसा है: आप भारी और दुर्लभ चीजों को एक छोटे कोने में रखते हैं और आम, हल्की चीजों को मुख्य स्थान में रखते हैं।
2. नक्शा होने का मतलब यह नहीं है कि आप रास्ता खोज सकते हैं
खोज: सिर्फ इसलिए कि रोबोट के दिमाग में यह "दबा हुआ स्केल" है, इसका मतलब यह नहीं है कि वह वास्तव में सवालों के जवाब देने के लिए इसका उपयोग कर सकता है।
उपमा: कल्पना करें कि आपके दिमाग में एक शहर का एकदम सटीक और विस्तृत GPS मैप है। लेकिन यदि आपकी आँखों पर पट्टी बंधी हो और कोई आपसे उत्तर दिशा की ओर इशारा करने को कहे, तो भी आप गलत हो सकते हैं।
- रोबोट के "Llama" संस्करण के पास वह नक्शा था और वह उसका उपयोग कर सकता था। जब संख्याओं की तुलना करने के लिए पूछा गया, तो उसने इंसानों की तरह व्यवहार किया, जिसे अंतर बताने के लिए लगभग 20% के अंतर की आवश्यकता होती है।
- रोबोट के "Mistral" संस्करण के पास उसके दिमाग में बिल्कुल वही नक्शा था, लेकिन जब संख्याओं की तुलना करने के लिए पूछा गया, तो उसने केवल तुक्का लगाया। उसके पास आंतरिक संरचना थी लेकिन निर्णय लेने के लिए वह नक्शे को "पढ़" नहीं सका।
- समय और स्थान का परीक्षण: जब शोधकर्ताओं ने समय के बारे में पूछा ("क्या 3 घंटे, 150 मिनट से लंबे हैं?") या दूरी के बारे में पूछा, तो रोबोटों के पास नक्शा तो था, लेकिन वे परीक्षण में पूरी तरह विफल रहे। वे तुलना नहीं कर सके।
3. "मस्तिष्क की परतें" का रहस्य: शुरुआती कर्मचारी बनाम सजावट करने वाले
खोज: शोधकर्ताओं ने रोबोट के मस्तिष्क की विशिष्ट परतों को बदलकर (जैसे एक डायल घुमाकर) यह देखने की कोशिश की कि कौन सा हिस्सा वास्तव में काम करता है।
उपमा: एक फैक्ट्री की कल्पना करें जिसमें 32 मंजिलें हैं।
- मंजिल 1–10 (शुरुआती परतें): ये कर्मचारी (workers) हैं। जब शोधकर्ताओं ने इन मंजिलों में बदलाव किया, तो रोबोट के जवाब तुरंत बदल गए। यहीं पर संख्याओं के बारे में वास्तविक "सोच" होती है।
- मंजिल 20–30 (बाद की परतें): ये सजावट करने वाले (decorators) हैं। इन मंजिलों के पास सबसे सुंदर, सटीक और व्यवस्थित "दबा हुआ स्केल" वाले नक्शे थे। लेकिन जब शोधकर्ताओं ने इन मंजिलों में बदलाव किया, तो रोबोट के जवाबों में कोई बदलाव नहीं आया। नक्शा वहाँ था, लेकिन उसका उपयोग समस्या को हल करने के लिए नहीं किया जा रहा था। वह बस वहाँ सुंदर दिखने के लिए बैठा था।
4. "प्रशिक्षण" (Training) बनाम "ट्यूशन" (Tutoring) का अंतर
खोज: रोबोट ने किताबों को पढ़कर (Pre-training) "दबा हुआ स्केल" सीखा। लेकिन उसने उस स्केल का उपयोग प्रश्नों के उत्तर देने के लिए तभी सीखा जब एक मानव शिक्षक ने उसे विशिष्ट निर्देश दिए (Instruction Tuning)।
उपमा:
- Pre-training एक बच्चे द्वारा लाइब्रेरी की हर किताब पढ़ने जैसा है। वे स्वाभाविक रूप से दुनिया के पैटर्न को आत्मसात करते हैं।
- Instruction Tuning एक शिक्षक द्वारा यह कहने जैसा है, "ठीक है, अब जब तुम संख्याओं को जान गए हो, तो यहाँ बताया गया है कि 'कौन बड़ा है?' का खेल कैसे खेला जाता है।"
- अध्ययन में पाया गया कि बिना शिक्षक वाले रोबोट (Base model) के पास सटीक नक्शा था लेकिन वह खेल नहीं खेल सका। शिक्षक वाले रोबोट के पास क्षमता थी, लेकिन केवल तभी जब शिक्षक ने उसे सही नियम सिखाए।
मुख्य निष्कर्ष
यह शोध पत्र AI के एक बड़े विवाद को सुलझाता है। यह सिद्ध करता है कि AI मॉडल स्वाभाविक रूप से संख्याओं को देखने का एक "मानव जैसा" तरीका (लॉगैरिद्मिक) विकसित कर लेते हैं, जो बिना किसी जैविक मस्तिष्क के, केवल सामान्य टेक्स्ट पढ़कर संभव है।
हालाँकि, मानव जैसा मस्तिष्क संरचना होने का मतलब यह नहीं है कि AI मानव जैसा व्यवहार करेगा।
- संरचना (नक्शा) उस डेटा से आती है जो वह पढ़ता है।
- व्यवहार (खेल खेलना) इस बात से आता है कि उसे उस डेटा का उपयोग करने के लिए कैसे सिखाया गया है।
यह किसी व्यक्ति को बेहतरीन आँखें (ज्यामिति) देने जैसा है लेकिन उसे कार चलाना नहीं सिखाना (व्यवहार)। वे सड़क देख सकते हैं, लेकिन यदि उन्हें सड़क के नियम नहीं पता, तो भी वे दुर्घटनाग्रस्त हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।