Divergent large language model predictions from convergent representations in ambiguous word pairs
यह अध्ययन प्रकट करता है कि डिकोडर-ओनली ट्रांसफॉर्मर (decoder-only transformers) अपनी आंतरिक प्रस्तुतियों (internal representations) को प्रारंभ में विचलित करने और फिर बाद की परतों में आंशिक रूप से पुनर्संयोजित करने के माध्यम से शाब्दिक अस्पष्टता (lexical ambiguity) को हल करते हैं, जिससे एक ऐसा विच्छेद उत्पन्न होता है जहाँ अर्थ संबंधी अंतर बने रहते हैं ताकि विशिष्ट भविष्यवाणियों को संचालित किया जा सके, भले ही वे मानक एम्बेडिंग समानता मापों (standard embedding similarity measures) के लिए अदृश्य हो जाएं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, डिजिटल मस्तिष्क पढ़ना कैसे सीखता है। इस मस्तिष्क को 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है, जो उन चैटबॉट्स और स्मार्ट असिस्टेंट के पीछे की तकनीक है जिनका हम रोज़ाना उपयोग करते हैं। दुनिया को समझने के लिए, ये मॉडल केवल शब्दों को रटते नहीं हैं; वे हर शब्द को एक गणितीय "फिंगरप्रिंट" में बदल देते हैं जिसे एम्बेडिंग (embedding) कहा जाता है। इस फिंगरप्रिंट को एक विशाल, बहु-आयामी मानचित्र (map) में एक निर्देशांक (coordinate) के रूप में सोचें। यदि दो शब्दों का अर्थ समान है, तो उनके निर्देशांक एक-दूसरे के करीब होने चाहिए, जैसे किसी शहर में पड़ोसी। यदि वे अलग हैं, तो उन्हें दूर होना चाहिए।
वर्षों से, वैज्ञानिकों ने इस मानचित्र पर भरोसा किया है। उनका मानना था कि यदि आप किसी शब्द के लिए मॉडल द्वारा बनाए गए अंतिम फिंगरप्रिंट को देखते हैं, तो आप सटीक रूप से बता सकते हैं कि मॉडल उस शब्द के बारे में क्या सोचता है। यह विचार उन कई उपकरणों की रीढ़ है जिनका हम आज उपयोग करते हैं, जैसे कि खोज इंजन (search engines) जो दस्तावेज़ ढूंढते हैं या ऐप जो समान विचारों को एक साथ समूहबद्ध करते हैं। लेकिन इसमें एक पेंच है: भाषा जटिल है। "बैंक" (bank) जैसे कुछ शब्द, जिनका अर्थ पैसा रखने की जगह भी हो सकता है या नदी का किनारा भी। इन्हें अस्पष्ट शब्द (ambiguous words) कहा जाता है। बड़ा सवाल जो शोधकर्ताओं ने पूछा है वह यह है: क्या मॉडल का अंतिम फिंगरप्रिंट वास्तव में इन दोनों अर्थों के बीच के अंतर को दिखाता है, या अंत में मानचित्र धुंधला और भ्रमित करने वाला हो जाता है?
यह शोध पत्र उस रहस्य की गहराई में उतरता है कि कैसे तीन अलग-अलग AI मॉडल—एक छोटा, एक मध्यम और एक बहुत बड़ा—परत दर परत (layer by layer) अस्पष्ट शब्दों को प्रोसेस करते हैं। शोधकर्ताओं ने कुछ आश्चर्यजनक और विरोधाभासी पाया। जैसे-जैसे मॉडल "बैंक" जैसे शब्द को प्रोसेस करता है, नेटवर्क के बीच में दोनों अर्थों ("नदी" का अर्थ और "पैसे" का अर्थ) के बीच की गणितीय दूरी वास्तव में बढ़ती जाती है, और फिर अंतिम परतों में वापस सिमट जाती है। ऐसा लगता है जैसे मॉडल का आंतरिक मानचित्र अस्थायी रूप से दोनों अर्थों को अलग करता है, फिर बोलने से ठीक पहले उन्हें एक ही पड़ोस में वापस रखने का निर्णय लेता है।
हालाँकि, यहाँ एक मोड़ है: भले ही अंतिम फिंगरप्रिंट बहुत समान दिखते हों (लग लगभग एक ही पड़ोस में वापस आने की तरह), मॉडल के अनुमान (predictions) पूरी तरह से अलग होते हैं। जब मॉडल से अगला शब्द बताने के लिए कहा जाता है, तो वह जानता है कि किस "बैंक" के बारे में बात की जा रही है। अध्ययन से पता चलता है कि अंतिम परत ही अर्थ का रहस्य रखती है, लेकिन यह इसे इस तरह से छिपाती है कि मानक मापने के उपकरण (जैसे सरल दूरी की जाँच) इसे देख नहीं पाते। मॉडल भ्रमित नहीं है; यह बस अंतिम परत में एक गुप्त कोड का उपयोग कर रहा है जो समानता जैसा दिखता है लेकिन अंतर की तरह कार्य करता है। यह सुझाव देता है कि केवल अंतिम "फिंगरप्रिंट" पर निर्भर रहकर यह समझना कि एक AI क्या सोचता है, भ्रामक हो सकता है, क्योंकि सबसे महत्वपूर्ण अंतर उस तरह से होते हैं जो देखने में गायब हो गए लगते हैं, भले ही वे अभी भी मॉडल के व्यवहार को संचालित कर रहे हों।
बदलते मानचित्र की कहानी
यह समझने के लिए कि यह कैसे काम करता है, कल्पना कीजिए कि AI मॉडल 64 जासूसों (सबसे बड़े मॉडल, Qwen2.5 के लिए) की एक टीम है जो एक लंबी रेखा में एक गुप्त नोट आगे बढ़ा रहे हैं। प्रत्येक जासूस मॉडल की एक "परत" (layer) का प्रतिनिधित्व करता है। जब नोट में "bank" लिखा होता है, तो पहले कुछ जासूस केवल शब्द के आकार को देखते हैं। वे अभी तक नहीं जानते कि यह नदी का किनारा है या पैसे का बैंक, इसलिए उनके नोट्स लगभग एक जैसे दिखते हैं।
जैसे ही नोट मध्यम जासूसों तक पहुँचता है, कुछ जादुगत होता है। ये जासूस संदर्भ (context) पर ध्यान देना शुरू करते—"bank" के पहले और बाद के शब्द। एक जासूस पास में "river" देखता है और नोट पर एक बड़ा लाल बिंदु लगा देता है। दूसरा "money" देखता है और एक नीला तारा लगा देता है। इस मध्य चरण में, दोनों अर्थों के लिए नोट्स दिन और रात की तरह अलग होते हैं। यदि आप यहाँ उनके बीच की दूरी मापते, तो वे बहुत दूर होते।
लेकिन फिर, नोट अंतिम जासूसों तक पहुँचता है। यहीं पर कहानी में रोमांच आता है। अंतिम जासूस उन विशिष्ट लाल बिंदुओं और नीले तारों को वापस एक बहुत ही समान दिखने वाले नोट में मोड़ देते हैं। यदि आप "river bank" और "money bank" के लिए अंतिम नोट्स के बीच की दूरी मापते, तो वे फिर से लगभग एक जैसे दिखते। ऐसा लगता है जैसे जासूसों ने तय किया, "आइए हम अपनी अंतिम रिपोर्ट को एक जैसा बनाएं ताकि हम बॉस को भ्रमित न करें।"
हालाँकि, बॉस (मॉडल का आउटपुट) मूर्ख नहीं बनता। भले ही अंतिम नोट एक जैसे दिखते हों, जासूसों ने अंतर को इस तरह से गुप्त रूप से कोड किया है जो अंतिम उत्तर को बदल देता है। जब मॉडल अगले शब्द की भविष्यवाणी करता है, तो वह पैसे के संदर्भ में "river" नहीं कहता, भले ही अंतिम नोट नदी के लिए उपयुक्त लगे।
शोधकर्ताओं ने "स्विचरो (switcheroo)" का खेल खेलकर इसे सिद्ध किया। उन्होंने "river" के संदर्भ से अंतिम नोट लिया और उसे "money" के संदर्भ में बदल दिया। जब उन्होंने ऐसा किया, तो मॉडल ने पूरी तरह से अपना मन बदल लिया और नदी से संबंधित शब्दों की भविष्यवाणी करने लगा। इसने साबित कर दिया कि अंतिम परत में अंतर मौजूद है, भले ही यह देखने में ऐसा लगे कि दोनों अर्थ आपस में मिल गए हैं। अंतर अभी भी वहीं है, लेकिन यह अगले कदम के निर्देशों में छिपा हुआ है, न कि नोट के आकार में।
मानचित्र भ्रामक क्यों है
यह खोज एक जादूगर के करतब की तरह है। यदि आप केवल जादू के अंत में जादूगर के हाथों को देखते हैं, तो वे खाली और एक जैसे दिखते हैं। लेकिन यदि आपने पूरा प्रदर्शन देखा होता, तो आप देखते कि जादूगर पूरे समय दो अलग-अलग गेंदों के साथ करतब दिखा रहा था। शोधकर्ताओं ने पाया कि अस्पष्ट शब्दों के लिए, "करतब" मध्य परतों में होता है, जहाँ अर्थ स्पष्ट रूप से अलग होते हैं। लेकिन जब तक जादू खत्म होता है, गेंदें फिर से छिप जाती हैं, और हाथ एक जैसे दिखते हैं।
शोध पत्र ने तीन मॉडलों पर इसका परीक्षण किया: GPT-2 (117 मिलियन पैरामीटर) नामक एक छोटा मॉडल, Llama-3.2 (3 बिलियन पैरामीटर) नामक एक मध्यम मॉडल, और Qwen2.5 (32 बिलियन पैरामीटर) नामक एक बड़ा मॉडल। उनके विभिन्न आकार और संरचनाओं के बावजूद, उन सभी ने एक ही काम किया। उन्होंने बीच में अर्थों को अलग किया, फिर उन्हें अंत में वापस एक साथ लाया, जबकि वे बिल्कुल जानते थे कि किस अर्थ का उपयोग करना है।
शोधकर्ताओं ने यह भी जांचा कि क्या यह केवल वाक्य में शब्दों की स्थिति के कारण हुई कोई आकस्मिक घटना थी। उन्होंने वाक्यों में शब्दों का क्रम बदला (जैसे "The cat chased the mouse" को "The mouse chased the cat" में बदलना) और पाया कि मॉडल का व्यवहार अभी भी अर्थ से प्रेरित था, न कि केवल शब्द क्रम से। इसने पुष्टि की कि मॉडल वास्तव में अस्पष्टता को समझ रहा था।
भविष्य के लिए इसका क्या अर्थ है
बड़ी बात यह है कि हम शायद मानचित्र के गलत हिस्से को देख रहे थे। लंबे समय से, लोगों ने यह मान लिया है कि यदि दो चीजें अंतिम परत में समान दिखती हैं, तो उनका अर्थ एक ही है। यह शोध पत्र सुझाव देता है कि यह हमेशा सच नहीं होता है। अंतिम परत एक भीड़ भरे कमरे जैसी दिख सकती है जहाँ हर कोई एक-दूसरे के करीब खड़ा है, लेकिन यदि आप उनकी बातों को सुनते हैं (उनकी भविष्यवाणियों को), तो आप महसूस करेंगे कि वे वास्तव में पूरी तरह से अलग विषयों पर बहस कर रहे हैं।
इसका मतलब यह नहीं है कि AI खराब है। इसका मतलब सिर्फ यह है कि जिस तरह से यह जानकारी संग्रहीत करता है, वह एक साधारण दूरी चार्ट से कहीं अधिक जटिल है। शोधकर्ता सुझाव देते हैं कि यदि हम खोजने या जानकारी को व्यवस्थित करने के लिए बेहतर उपकरण बनाना चाहते हैं, तो हमें मध्य परतों को देखने की आवश्यकता हो सकती है जहाँ अर्थ स्पष्ट रूप से अलग होते हैं, या हमें केवल उनके फिंगरप्रिंट की निकटता मापने के बजाय मॉडल द्वारा की जाने वाली भविष्यवाणियों को सुनने की आवश्यकता है।
इस अध्ययन ने कोई जादुई समाधान या मॉडल बनाने का नया तरीका नहीं खोजा, लेकिन इसने इस पहेली को सुलझा दिया कि ये मॉडल कैसे सोचते हैं। इसने दिखाया कि "अर्थ स्पष्ट करने" (disambiguation) का जादू अंतिम परत में खो नहीं गया है; यह बस सामने ही छिपा हुआ है, बस हमें सही सुरागों को देखने की प्रतीक्षा है। शोधकर्ता इन परिणामों के प्रति आश्वस्त हैं क्योंकि उन्होंने कई मॉडलों और विभिन्न प्रकार के अस्पष्ट शब्दों का उपयोग किया, और यह पैटर्न हर बार कायम रहा। यह हमें याद दिलाता है कि AI की दुनिया में, चीजें हमेशा वैसी नहीं होतीं जैसी वे दिखती हैं, और कभी-कभी सबसे महत्वपूर्ण अंतर वे होते हैं जिन्हें आप एक पैमाने (ruler) से नहीं देख सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।