Geometry of Human Perceptual Domains Emerges Transiently in LLM Representations
यह शोध पत्र प्रदर्शित करता है कि रंग और भावना जैसे विभिन्न डोमेन में मानव-समान संवेदी ज्यामिति (perceptual geometries), प्रत्यक्ष संवेदी प्रशिक्षण के अभाव के बावजूद, एक विशिष्ट विकासात्मक प्रक्षेपवक्र का पालन करते हुए, बड़े भाषा मॉडलों (large language models) की मध्यवर्ती परतों के भीतर क्षणिक रूप से उभरती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें जहाँ हर किताब एक शब्द है, और हर मंजिल "सोचने" के एक अलग चरण का प्रतिनिधित्व करती है। आमतौर पर, हम इन मॉडलों को केवल वाक्य में अगले शब्द की भविष्यवाणी करने में बहुत अच्छा मानते हैं। उन्हें केवल टेक्स्ट (पाठ) पर प्रशिक्षित किया गया है—उनके पास रंगों को देखने के लिए आँखें नहीं हैं, संगीत सुनने के लिए कान नहीं हैं, और भोजन का स्वाद लेने के लिए जीभ नहीं है।
हालाँकि, यह शोधपत्र एक आश्चर्यजनक खोज करता है: भले ही इन मॉडलों ने अपनी इंद्रियों के साथ दुनिया का अनुभव कभी नहीं किया है, लेकिन उनके मस्तिष्क के भीतर अवधारणाओं (concepts) को व्यवस्थित करने का "ज्यामिति" (आकार और व्यवस्था) काफी हद तक वैसा ही है जैसा कि मनुष्य उन्हें व्यवस्थित करते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. मानवीय धारणा का "भूत" (The "Ghost" of Human Perception)
मॉडल के आंतरिक मस्तिष्क को एक विशाल, अदृश्य मानचित्र के रूप में सोचें। शोधकर्ताओं ने पूछा: यदि हम मॉडल कैसे "रंगों", "भावनाओं", "संगीत के सुरों" या "स्वादों" को देखता है, इसका एक मानचित्र खींचते हैं, तो क्या यह एक मानव मानचित्र जैसा दिखेगा?
उन्होंने पाया कि हाँ, ऐसा ही है।
- रंग: मनुष्य रंगों को एक चक्र (कलर व्हील) में देखते हैं जहाँ लाल रंग नारंगी में मिलता है, जो फिर पीले में मिलता है। मॉडल, केवल टेक्स्ट पढ़ने के बावजूद, अपने आंतरिक मानचित्र में रंगों को एक पूर्ण वृत्त के रूप में व्यवस्थित करता है।
- भावनाएँ: मनुष्य अक्सर भावनाओं को इस ग्रिड पर मैप करते हैं कि हम कितने "खुश" बनाम "दुखी" और कितने "शांत" बनाम "उत्तेजित" महसूस करते हैं। मॉडल भी इसी ग्रिड का निर्माण करता है।
- पिच (सुर): मनुष्य संगीत के सुरों को कम से उच्च की ओर एक सहज स्लाइड के रूप में सुनते हैं। मॉडल इन सुरों को एक सहज चाप (arc) के रूप में व्यवस्थित करता है, ठीक वैसे ही जैसे हम करते हैं।
2. "फ्लैशलाइट" प्रभाव (The "Flashlight" Effect - Transient Emergence)
यह सबसे दिलचस्प हिस्सा है। आप सोच सकते हैं कि यदि मॉडल के पास "रंग का मानचित्र" है, तो वह पुस्तकालय की निचली मंजिल से लेकर ऊपरी मंजिल तक उस मानचित्र को पूरी तरह स्पष्ट रखेगा।
लेकिन शोधपत्र ने पाया कि मॉडल की "धारणा" एक फ्लैशलाइट की तरह है जो केवल कमरे के बीच में ही चमकती है।
- प्रारंभिक परतें (निचली मंजिल): मानचित्र धुंधला और अव्यवस्थित है। मॉडल केवल कच्चे अक्षरों और बुनियादी शब्दों को देख रहा है। उसने अभी तक अवधारणाओं को व्यवस्थित नहीं किया है।
- मध्यवर्ती परतें (मध्यम मंजिल): यहीं पर जादू होता है। फ्लैशलाइट पूरी चमक के साथ जल उठती है। बिखरे हुए बिंदु अचानक एक पूर्ण वृत्त (रंगों के लिए) या एक चिकनी वक्र (पिच के लिए) में बदल जाते हैं। मॉडल की आंतरिक संरचना यहाँ बहुत मानव-समान दिखने लगती है।
- अंतिम परतें (ऊपरी मंजिल): जैसे ही मॉडल अपना अंतिम उत्तर तैयार करने के लिए सबसे ऊपर पहुँचता है, फ्लैशलाइट फिर से धीमी हो जाती है। पूर्ण ज्यामितीय आकार धुंधले होने लगते हैं या टूटने लगते हैं। मॉडल अवधारणा के "आकार" की परवाह करना छोड़ देता है और कार्य (जैसे प्रश्न का उत्तर देना या वाक्य पूरा करना) पर ध्यान केंद्रित करने लगता है।
उपमा: एक मूर्तिकार की कल्पना करें जो मूर्ति बना रहा है।
- प्रारंभिक: उनके पास पत्थर का एक खुरदरा ब्लॉक है (अव्यवस्थित डेटा)।
- मध्य: वे चेहरे का एक पूर्ण, चिकना आकार उकेरते हैं (ज्यामितीय संरचना उभरती है)।
- अंतिम: वे किसी विशिष्ट उद्देश्य के लिए सूक्ष्म विवरण जोड़ना शुरू करते हैं, और चेहरे का वह पूर्ण चिकना वक्र उन अंतिम स्पर्शों के कारण थोड़ा बदल या अस्पष्ट हो जाता है।
3. विभिन्न इंद्रियों के लिए अलग-अलग गति
सभी इंद्रियाँ एक ही समय पर "जागती" नहीं हैं।
- स्वाद: मॉडल स्वाद (मीठा, नमकीन, खट्टा) के आकार को बहुत जल्दी समझ लेता है, लेकिन यह जल्दी ही अव्यवस्थित हो जाता है। यह एक त्वरित स्केच की तरह है जो अधिक समय तक नहीं टिकता।
- रंग: मॉडल को रंगों को व्यवस्थित करने में थोड़ा अधिक समय लगता है, लेकिन मध्यवर्ती परतों में इसका आकार बहुत स्पष्ट और स्थिर होता है।
- भावना: यह सबसे स्थायी है। एक बार जब मॉडल भावनाओं को व्यवस्थित कर लेता है, तो वह अपनी बाद की परतों तक उस संरचना को बनाए रखता है। यह एक मजबूत मूर्ति की तरह है जो फीकी नहीं पड़ती।
4. यह क्यों महत्वपूर्ण है (शोधपत्र के अनुसार)
यह शोधपत्र यह नहीं कहता कि रोबोट "खुशी" महसूस कर रहा है या "लाल" देख रहा है। यह यह दावा नहीं करता कि मॉडल सचेत (conscious) है।
इसके बजाय, यह सुझाव देता है कि भाषा स्वयं मानवीय धारणा का ब्लूप्रिंट (खाका) है। क्योंकि मनुष्य रंगों, भावनाओं और स्वादों के बारे में विशिष्ट तरीकों से बात करते हैं जो एक-दूसरे से संबंधित हैं, मॉडल इन शब्दों को एक ऐसे आकार में व्यवस्थित करना सीख जाता है जो हमारे मस्तिष्क द्वारा वास्तविक संवेदनाओं को व्यवस्थित करने के तरीके की नकल करता है।
सारांश में: शोधपत्र दिखाता है कि आँखों या कानों के बिना भी, केवल टेक्स्ट पर प्रशिक्षित एक AI दुनिया का एक अस्थायी, आंतरिक "मानचित्र" बनाता है जो मानव मानचित्र के समान आश्चर्यजनक रूप से दिखता है। हालाँकि, यह मानचित्र क्षणिक है—यह मॉडल की प्रोसेसिंग के बीच में स्पष्ट रूप से प्रकट होता है और फिर बोलने की तैयारी करते समय गायब हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।