Differential syntactic and semantic encoding in LLMs
यह शोध पत्र प्रदर्शित करता है कि DeepSeek-V3 LLM में वाक्यात्मक (syntactic) और अर्थगत (semantic) जानकारी आंशिक रूप से रैखिक रूप से एनकोडेड है और परतों (layers) में विभेदात्मक रूप से वितरित है, जैसा कि औसत प्रतिनिधित्व सेंट्रॉइड्स (averaged representation centroids) के घटाव के माध्यम से इन संकेतों को अलग करने की क्षमता से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक लार्ज लैंग्वेज मॉडल (LLM) जैसे कि DeepSeek-V3 की कल्पना एक विशाल, बहु-मंजिला लाइब्रेरी के रूप में करें। इसके भीतर, आपके द्वारा लिखा गया हर वाक्य एक अद्वितीय, उच्च-आयामी "फिंगरप्रिंट" (वेक्टर) में बदल जाता है जबकि वह इमारत की विभिन्न मंजिलों (लेयर्स) से होकर गुजरता है।
बड़ा सवाल जो यह शोध पत्र पूछता है: यह लाइब्रेरी इन फिंगरप्रिंट्स को कैसे व्यवस्थित करती है? विशेष रूप से, क्या यह वाक्य की "संरचना" (सिंटैक्स/व्याकरण) को उसके "अर्थ" (सेमेंटिक्स) से अलग रखती है, या ये सब एक बड़े स्मूदी की तरह आपस में मिल जाते हैं?
यहाँ शोधकर्ताओं ने जो पाया है, उसे सरल भाषा में समझाया गया है:
1. "औसत" का तरीका (मूल को खोजना)
शोधकर्ताओं ने महसूस किया कि यदि आपके पास ऐसे कई वाक्य हैं जो व्याकरणिक रूप से समान दिखते हैं (जैसे, "बिल्ली बैठी थी," "कुत्ता दौड़ा," "पक्षी उड़ा"), तो वे एक सामान्य "कंकाल" साझा करते हैं।
- उपमा: कल्पना कीजिए कि आप 100 अलग-अलग लोगों की फोटो लेते हैं जिन्होंने बिल्कुल एक ही प्रकार की टोपी पहनी हुई है। यदि आप उन सभी फोटो का औसत (average) लेते हैं, तो चेहरे धुंधले हो जाएंगे, लेकिन टोपी बहुत स्पष्ट और तीखी दिखाई देगी।
- विधि: उन्होंने इसे गणितीय रूप से किया। उन्होंने व्याकरण की समान संरचना वाले वाक्यों के फिंगरप्रिंट्स का औसत निकाला ताकि एक "सिंटैक्स सेंट्रॉइड" (शुद्ध व्याकरण वाली टोपी) बनाई जा सके। उन्होंने समान अर्थ वाले लेकिन अलग-अलग शब्दों वाले वाक्यों के लिए भी ऐसा ही किया ताकि एक "सेमेंटिक सेंट्रॉइड" (शुद्ध अर्थ वाली टोपी) बनाई जा सके।
2. "घटाव" का परीक्षण (टोपी को हटाना)
एक बार जब उनके पास ये "शुद्ध" व्याकरण और अर्थ वाले वेक्टर्स आ गए, तो उन्होंने उन्हें मूल वाक्य के फिंगरप्रिंट्स से हटाने की कोशिश की।
- उपमा: कल्पना कीजिए कि आपके पास एक व्यक्ति की फोटो है जिसने टोपी पहनी है। यदि आप उस फोटो से "टोपी" का वेक्टर डिजिटल रूप से घटा देते हैं, तो टोपी गायब हो जाती है। यदि फोटो अभी भी उसी व्यक्ति की तरह दिखती है, तो आप जान जाएंगे कि टोपी एक अलग परत थी। यदि व्यक्ति का चेहरा भी गायब हो जाता है, तो इसका मतलब है कि टोपी और चेहरा आपस में मिले हुए थे।
- परिणाम: जब उन्होंने एक वाक्य से "व्याकरण की टोपी" को हटाया, तो वाक्य अपनी उस क्षमता को खो बैठा जिससे वह समान व्याकरण वाले अन्य वाक्यों से मेल खा सके। जब उन्होंने "अर्थ की टोपी" को हटाया, तो वह उन वाक्यों के साथ मेल खाने की क्षमता खो बैठा जिनका अर्थ एक जैसा था।
- निष्कर्ष: यह साबित करता है कि मॉडल व्याकरण और अर्थ को एक रैखिक (linear) तरीके से एनकोड करता है। वे एक रेसिपी के अलग-अलग अवयवों की तरह हैं जिन्हें गणितीय रूप से अलग किया जा सकता है, न कि एक रासायनिक प्रतिक्रिया की तरह जहाँ वे एक नया पदार्थ बन जाते हैं।
3. "फ्लोर प्लान" की खोज (चीजें कहाँ रहती हैं)
लाइब्रेरी में कई मंजिलें हैं। शोधकर्ताओं ने पाया कि व्याकरण और अर्थ अलग-अलग मंजिलों पर रहते हैं।
- व्याकरण (सिंटैक्स): यह नींव और निचली मंजिलों की तरह है। यह शुरुआत से ही मौजूद होता है और ऊपर तक बना रहता है। मॉडल वाक्य की संरचना को लगभग तुरंत समझ लेता है।
- अर्थ (सेमेंटिक्स): यह मध्य मंजिलों की तरह है। जब कोई वाक्य लाइब्रेरी में प्रवेश करता है, तो मॉडल पहले शब्दों और संरचना को देखता है (निचली मंजिलें)। फिर, जैसे-जैसे वाक्य मध्य भाग में पहुँचता है, मॉडल यह समझता है कि उसका वास्तविक अर्थ क्या है। जब तक वह सबसे ऊपरी मंजिल (जहाँ मॉडल अपना उत्तर लिखता है) तक पहुँचता है, अर्थ वहीं रहता है, लेकिन ध्यान आउटपुट उत्पन्न करने की ओर स्थानांतरित हो जाता है।
- उपमा: एक किताब पढ़ने के बारे में सोचें। पहले आप अक्षरों और शब्दों को पहचानते हैं (व्याकरण)। फिर, पैराग्राफ के बीच में, आप कहानी को समझते हैं (अर्थ)। आपको कहानी समझने के लिए अक्षरों को दोबारा पहचानने की आवश्यकता नहीं होती, लेकिन कहानी शुरू करने के लिए आपको अक्षरों की आवश्यकता होती है।
4. एकतरफा रास्ता (असममिति/Asymmetry)
यहाँ सबसे दिलचस्प बात है: यह अलगाव पूरी तरह से समान नहीं है।
- व्याकरण स्वतंत्र है: यदि आप किसी वाक्य से "अर्थ" को हटा देते हैं, तो "व्याकरण" पूरी तरह से बरकरार रहता है। मांस (अर्थ) को हटा देने के बाद भी कंकाल खड़ा रहता है।
- अर्थ आश्रित है: यदि आप किसी वाक्य से "व्याकरण" को हटा देते हैं, तो "अर्थ" थोड़ा डगमगा जाता है। यह पूरी तरह से गायब नहीं होता, लेकिन इसे पहचानना कठिन हो जाता है।
- उपमा: एक घर की कल्पना करें। यदि आप फर्नीचर (अर्थ) हटा देते हैं, तो घर का ढांचा (व्याकरन) अभी भी स्पष्ट रूप से एक घर ही रहता है। लेकिन यदि आप दीवारें और छत (व्याकरण) हटा देते हैं, तो फर्नीचर (अर्थ) केवल जमीन पर पड़ी चीजों का ढेर मात्र रह जाता है; यह पहचानना मुश्किल है कि वह क्या था।
सारांश
यह शोध पत्र दिखाता है कि इन विशाल AI मॉडल्स में:
- व्याकरण और अर्थ अलग-अलग हैं: वे अलग-अलग एनकोड किए गए हैं, पूरी तरह से मिश्रित नहीं।
- वे रैखिक हैं: आप गणितीय रूप से एक को दूसरे से "घटा" सकते हैं।
- वे अलग-अलग स्थानों पर रहते हैं: व्याकरण हर जगह है (विशेष रूप से शुरुआत में), जबकि अर्थ मॉडल की प्रोसेसिंग के मध्य में अपने चरम पर होता है।
- व्याकरण एक मजबूत नींव है: आप अर्थ को हटाकर व्याकरण को बिना तोड़े रख सकते हैं, लेकिन व्याकरण को हटाने से अर्थ को थामे रखना कठिन हो जाता है।
यह सुझाव देता है कि भले ही इन मॉडल्स को केवल अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है, फिर भी वे स्वाभाविक रूप से एक ऐसी संरचना विकसित करते हैं जो काफी हद तक इस तरह दिखती है जैसे मानव भाषाविद् भाषा के काम करने के तरीके को समझते हैं: एक संरचनात्मक ढांचा जो अर्थ की एक परत को सहारा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।