Production and Perception in LLMs: A Token Probability Approach
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल अपने टोकन संभाव्यता वितरणों में एक विशिष्ट उत्पादन-प्रत्यक्षण विषमता प्रदर्शित करते हैं, जहाँ केवल प्रॉम्प्ट फ्रेमिंग ही पुन: मूल्यांकित पाठ की तुलना में उत्पन्न पाठ के लिए काफी भिन्न संभावनाओं को प्रेरित करती है, एक ऐसी घटना जो विविध मॉडल आर्किटेक्चरों में पुनरावृत्त होती है और जैसे-जैसे अनुक्रम संदर्भ संचित होता है वैसे ही क्षय होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट कवि है। आप उससे एक साही (hedgehog) के बारे में कविता लिखने को कहते हैं, और वह लिख देता है। लेकिन इसमें एक ट्विस्ट है: यह रोबोट इंसानों की तरह केवल "सोचता" और फिर "बोलता" नहीं है। यह आपके द्वारा लिखे गए शब्दों को पढ़ने और अपने शब्द वापस लिखने के लिए बिल्कुल एक ही मस्तिष्क सर्किटरी (brain circuitry) का उपयोग करता है। यह एकतरफा सड़क की तरह है जहाँ कार दोनों दिशाओं में जाने के लिए एक ही इंजन का उपयोग करती है।
इस कारण से, वैज्ञानिकों ने सोचा: क्या इस रोबट के लिए "लिखने" और "पढ़ने" के बीच वास्तव में कोई अंतर है? या क्या यह केवल उल्टा किया गया वही प्रक्रिया है?
बड़ी खोज: "भूमिका निभाने" का प्रभाव (The "Role-Play" Effect)
शोधकर्ताओं ने पाया कि हाँ, रोबोट वास्तव में अलग तरह से व्यवहार करता है, लेकिन इसलिए नहीं कि उसमें भावनाएं या इरादे हैं। यह उसके व्यवहार को प्रॉम्ट (prompt) के आधार पर बदलता है—यानी जिस विशिष्ट तरीके से आप उसे कुछ करने के लिए कहते हैं।
रोबोट को एक 'मेथड एक्टर' की तरह समझें।
- परिदृश्य A (उत्पादन/Production): आप कहते हैं, "कृपया साही के बारे में एक कविता लिखें।" रोबोट "लेखक" वाली टोपी पहन लेता है। वह शब्द बनाना शुरू करता है, और प्रत्येक शब्द को चुनने के लिए एक निश्चित स्तर का आत्मविश्वास (संभावना/probability) निर्धारित करता है।
- परिदृश्य B (अनुभूति/Perception): आप रोबोट द्वारा अभी लिखी गई वही कविता लेते हैं, और कहते हैं, "यह साही के बारे में एक कविता है। कृपया इसे रेट करें।" रोबोट "पाठक/आलोचक" वाली टोपी पहन लेता है। वह नए शब्द नहीं बना रहा है; इसके बजाय, वह अभी देखे गए शब्दों का पुनर्मूल्यांकन कर रहा है।
अध्ययन ने मापा कि दोनों परिदृश्यों के बीच रोबोट का "आत्मविश्वास" प्रत्येक शब्द में कितना बदला।
परिणाम: जब रोबोट ने "लेखक" मोड से "पाठक" मोड में स्विच किया, तो शब्दों में उसका आत्मविश्वास काफी बदल गया। यह अंतर बहुत बड़ा था। वास्तव में, रोबोट ने कविता कैसे "लिखी" और उसने कविता को कैसे "पढ़ा", उसके बीच का अंतर दो अलग-अलग तरीकों से कविता लिखने के बीच के अंतर से लगभग 1.8 गुना अधिक था।
संख्याओं में देखें तो:
- जब रोबोट को थोड़े अलग तरीकों से लिखने के लिए कहा गया (जैसे, "एक कविता लिखें" बनाम "मैं चाहूंगा कि आप एक कविता लिखें"), तो उसके शब्दों के चुनाव में अंतर बहुत कम था (लगभग 0.010)।
- लेकिन जब उसने लिखने से पढ़ने की ओर स्विच किया, तो यह अंतर उछलकर 0.034 हो गया।
यह सुझाव देता है कि अनुरोध के "फ्रेमिंग" (framing) को बदलना ही—उसे निर्माता बनाम आलोचक बनने के लिए कहना—उसके आंतरिक गणित को काम करने के तरीके को बदलने के लिए पर्याप्त है, भले ही वह दोनों कार्यों के लिए एक ही मस्तिष्क के हिस्सों का उपयोग कर रहा हो।
रोबोट क्या नहीं कर रहा है
यह शोध पत्र इस बारे में बहुत स्पष्ट है कि यह क्या नहीं है।
- यह इसलिए नहीं है क्योंकि रोबोट में अचानक मानवीय इरादे या आत्मा आ गई है। रोबोट वास्तव में लिखने या पढ़ने की "इच्छा" नहीं रखता।
- यह इसलिए नहीं है क्योंकि वह एक कार्य में दूसरे की तुलना में बेहतर है।
- यह केवल प्रॉम्ट में उपयोग किए गए विशिष्ट शब्दों के कारण होने वाली कोई गड़बड़ी (glitch) नहीं है। शोधकर्ताओं ने इसका परीक्षण करने के लिए कविता मांगने के चार अलग-अलग तरीकों और रेटिंग मांगने के तीन अलग-अलग तरीकों का उपयोग किया। प्रभाव हर बार हुआ, चाहे उन्होंने अनुरोध को कैसे भी व्यक्त किया हो।
"पहली छाप" का नियम (The "First Impression" Rule)
एक और दिलचस्प विवरण यह है कि यह कब होता है। "लिखने" और "पढ़ने" के बीच का अंतर कविता की शुरुआत में सबसे मजबूत होता है।
कल्पना कीजिए कि प्रॉम्ट एक दौड़ की शुरुआत में निर्देश चिल्लाने वाली एक तेज़ आवाज़ है।
- शुरुआत में (टोकन 1–10): "पाठक" की आवाज़ बहुत तेज़ होती है, और रोबोट का आत्मविश्वास बहुत बदल जाता है।
- जैसे-जैसे कविता आगे बढ़ती है: रोबोट अपने ही शब्दों को पढ़ना शुरू कर देता है। वह जो कहानी सुना रहा है (संदर्भ/context), वह मूल निर्देश को दबाने लगता है। "लेखक" और "पाठक" मोड के बीच का अंतर जैसे-जैसे कविता लंबी होती जाती है, छोटा होता जाता है।
शोधकर्ताओं ने इस क्षय (decay) को मॉडल किया और पाया कि प्रॉम्ट का प्रारंभिक "झटका" धीरे-धीरे कम हो जाता है, लेकिन अंत में भी थोड़ा सा अंतर बना रहता है।
वे कितने सुनिश्चित हैं?
टीम ने केवल अनुमान नहीं लगाया; उन्होंने 1,089 अलग-अलग कविताओं (लगभग 93,000 शब्द) पर पाँच अलग-अलग रोबोट मॉडलों (Llama-3.1-8B, EuroLLM-9B और अन्य सहित) पर गणना चलाई।
- उन्होंने इस प्रभाव को सभी पाँचों मॉडलों में पाया, जिसमें "रॉ" (raw) बेस मॉडल और सहायक के रूप में प्रशिक्षित मॉडल दोनों शामिल थे।
- यह प्रभाव इतना सुसंगत था कि "लिखने" और "पढ़ने" के परिणामों की रेंज आपस में बिल्कुल भी नहीं मिली।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह एक कार्यात्मक अंतर को सुझाता है, न कि यह कि रोब मॉडल के पास मानव जैसा मन है। वे नोट करते हैं कि हालांकि यह अंतर सांख्यिकीय रूप से वास्तविक और मापने योग्य है, हम अभी तक यह नहीं जानते कि क्या यह इतना "बड़ा" है कि इसका मतलब यह हो कि रोबोट वास्तव में एक इंसान की तरह सोच रहा है जो बोलने और सुनने के बीच अंतर करता है।
निचोड़ (The Bottom Line)
यह अध्ययन दिखाता है कि भले ही लार्ज लैंग्वेज मॉडल्स (LLMs) पढ़ने और लिखने दोनों के लिए एक ही, सममित इंजन (symmetrical engine) का उपयोग करते हैं, आप उनसे कैसे बात करते हैं, यह उनके शब्दों को प्रोसेस करने के तरीके को बदल देता है।
यदि आप रोबोट को कवि बनने के लिए कहते हैं, तो वह एक तरह से सोचता है। यदि आप उसे आलोचक बनने के लिए कहते हैं, तो वह दूसरी तरह से सोचता है। यह एक गिरगिट की तरह है: रोबोट के आंतरिक "रंग" (उसकी संभाव्यता वितरण/probability distributions) उस भूमिका के अनुरूप बदल जाते हैं जो आप उसे देते हैं, जिससे यह सिद्ध होता है कि बातचीत का संदर्भ उतना ही महत्वपूर्ण है जितने कि स्वयं शब्द।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।