← नवीनतम पेपर
💬 NLP

Markovian Generation Chains in Large Language Models

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की पुनरावृत्ति अनुमान प्रक्रिया (iterative inference process) को मार्कोवियन जनरेशन चेन्स के रूप में परिभाषित करता है और प्रयोगों एवं मॉडलिंग के माध्यम से यह प्रदर्शित करता है कि ऐसी प्रक्रियाएं तापमान (temperature) और प्रारंभिक इनपुट जैसे कारकों के आधार पर वाक्य विविधता को या तो बढ़ा सकती हैं या कम कर सकती हैं, जिसके परिणाम एक आवर्ती सेट (recurrent set) में अभिसरण (convergence) से लेकर नवीन वाक्यों के उत्पादन तक विस्तृत हैं।

मूल लेखक: Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau

प्रकाशित 2026-03-13
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Mingmeng Geng, Amr Mohamed, Guokan Shang, Michalis Vazirgiannis, Thierry Poibeau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई, थोड़ा सनकी अनुवादक है जिसका नाम "द इको" (The Echo) है। आप इसे एक वाक्य देते हैं, और यह उसे थोड़ा अलग संस्करण में वापस फुसफुसाता है। फिर, आप उस नए संस्करण को लेते हैं, उसे वापस "द इको" को देते हैं, और उससे एक और संस्करण मांगते हैं। आप इसे बार-बार करते रहते हैं।

50 राउंड के बाद वाक्य का क्या होता है? क्या यह वही रहता है? क्या यह और अजीब हो जाता है? क्या यह अंततः निरर्थक (gibberish) बन जाता है, या यह एक लूप में फंस जाता है?

यह शोध पत्र, जिसका शीर्षक "मार्कोवियन जनरेशन चेन्स इन लार्ज लैंग्वेज मॉडेल्स" (Markovian Generation Chains in Large Language Models) है, मूल रूप से इस बात का अध्ययन है कि जब हम AI के साथ इस "टेलीफोन गेम" को खेलते हैं, तो क्या होता है, लेकिन एक वैज्ञानिक मोड़ के साथ। लेखक AI को केवल एक उपकरण के रूप में नहीं, बल्कि संयोग के खेल में एक पात्र के रूप में देखते हैं।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. मुख्य अवधारणा: "बिना याददाश्त वाला" खेल

आमतौर पर, जब हम AI से बात करते हैं, तो हमारी एक बातचीत होती है। AI को याद रहता है कि हमने पाँच मिनट पहले क्या कहा था।
इस प्रयोग में, लेखक AI की याददाश्त छीन लेते हैं। हर बार जब वे पुनर्गठन (rewrite) के लिए कहते हैं, तो वे केवल AI को तत्काल पिछला वाक्य और निर्देशों का एक सेट (जैसे "इसे फिर से लिखें") देते हैं। वे AI को मूल वाक्य या बातचीत का इतिहास नहीं देखने देते।

  • उपमा: "टेलीफोन" के एक खेल की कल्पना करें जहाँ बीच वाला व्यक्ति आँखों पर पट्टी बांधे हुए है और उसे स्मृति लोप (amnesia) है। वह केवल अपने ठीक बगल वाले व्यक्ति को सुनता है, उसे दोहराता है, और फिर बाकी सब कुछ भूल जाता है। शोध पत्र इसे मार्कोवियन जनरेशन चेन (Markovian Generation Chain) कहता है। यह घटनाओं की एक ऐसी श्रृंखला है जहाँ भविष्य केवल वर्तमान पर निर्भर करता है, अतीत पर नहीं।

2. खेल के दो मोड: रोबोट बनाम जुआरी

लेखकों ने दो अलग-अलग तरीकों का परीक्षण किया कि AI तय करता है कि आगे क्या कहना है।

  • ग्रीडी डिकोडिंग (The Robot - रोबोट): AI हमेशा सबसे स्पष्ट, सांख्यिकीय रूप से सबसे संभावित अगले शब्द को चुनता है।

    • क्या होता है: वाक्य बहुत जल्दी अटक जाता है। यह एक गेंद की तरह है जो एक ढलान से लुढ़ककर एक छोटे छेद में गिर जाती है। एक बार जब यह नीचे पहुँच जाती है, तो यह बस वहीं रहती है, या दो बहुत समान स्थानों के बीच आगे-पीछे घूमती रहती है।
    • परिणाम: टेक्स्ट दोहराव वाला हो जाता है। कुछ ही दौरों के बाद, आपको बिल्कुल वही वाक्य मिलता है, या दो वाक्य जो अनंत काल तक आपस में अदल-बदल कर चलते रहते हैं। "विविधता" मर जाती है।
  • सैंपलिंग-आधारित डिकोडिंग (The Gambler - जुआरी): AI को जोखिम लेने की अनुमति है। यह संभावना के आधार पर शब्द चुनता है, लेकिन कभी-कभी यह विविधता जोड़ने के लिए कम सामान्य शब्द चुनता है (जिसे "टेम्परेचर" सेटिंग द्वारा नियंत्रित किया जाता है)।

    • क्या होता है: वाक्य बदलता रहता है। यह एक भूलभुलैया में चलते हुए एक नशे में धुत व्यक्ति की तरह है। वे अंततः एक लूप में फंसने से पहले, नए रास्तों की खोज करने के लिए लंबे समय तक भटक सकते हैं।
    • परिणाम: टेक्स्ट बहुत लंबे समय तक नया बना रहता है। आपको वाक्य के कई अनूठे संस्करण मिलते हैं इससे पहले कि वह अंततः दोहराने लगे।

3. "ड्रिफ्ट" (Drift) और "लूप" (Loop)

शोध पत्र ने दो मुख्य व्यवहारों की खोज की:

  1. लूप (पुनरावृत्ति सेट - Recurrent Set): अंततः, लगभग हर वाक्य दोहराया जाएगा। AI अंततः कहेगा, "हम एक प्रस्तावना के साथ शुरू करते हैं," फिर "हम एक प्रस्तावना के साथ शुरू करते हैं," और फिर वापस "हम एक प्रस्तावना के साथ शुरू करते हैं।" यह एक छोटे चक्र में फंस जाता है।
  2. ड्रिफ्ट (क्षणिक चरण - Transient Phase): फंसने से पहले, वाक्य भटकता है। यदि आप "जुआरी" मोड का उपयोग करते हैं, तो वाक्य मूल अर्थ से बहुत दूर जा सकता है, या यह और अधिक विस्तृत होता जा सकता है।

टेम्परेचर (तापमान) की उपमा:
"टेम्परेचर" सेटिंग को कमरे में गर्मी की तरह समझें।

  • कम गर्मी (ठंडा): अणु (शब्द) धीरे चलते हैं। वे जल्दी ही एक व्यवस्थित, कठोर पैटर्न में स्थिर हो जाते हैं। (ग्रीडी डिकोडिंग)।
  • उच्च गर्मी (गर्म): अणु बेतहाशा उछल रहे हैं। वे शांत होने से पहले अधिक अराजकता और विविधता पैदा करने के लिए लंबे समय तक भटकते हैं।

4. यह क्यों मायने रखता है?

आप पूछ सकते हैं, "इससे किसे फर्क पड़ता है कि AI 50 प्रयासों के बाद खुद को दोहराता है?"

लेखक बताते हैं कि यह बिल्कुल वैसा ही है जैसा वास्तविक दुनिया में होने लगा है:

  • भविष्य का "टूटा हुआ टेलीफोन": कल्पना कीजिए कि एक AI द्वारा लिखा गया समाचार लेख, फिर एक अलग दर्शक वर्ग के लिए दूसरे AI द्वारा पुनर्गठित किया गया, फिर तीसरे AI द्वारा सारांशित किया गया, और इसी तरह। यदि इन AI के पास मूल स्रोत की स्मृति नहीं है, तो कहानी धीरे-धीरे बदल सकती है, अपना अर्थ खो सकती है, या बेतुकेपन के एक अजीब लूप में फंस सकती है।
  • मल्टी-एजेंट सिस्टम: हम ऐसे सिस्टम बना रहे हैं जहाँ AI एजेंट अन्य AI एजेंटों से बात करते हैं। यदि एजेंट A, एजेंट B से बात करता है, और एजेंट B, एजेंट C से बात करता है, और वे सभी मूल संदर्भ को भूल जाते हैं, तो बातचीत तेजी से खराब हो सकती है।

5. बड़ा निष्कर्ष

यह शोध पत्र सिद्ध करता है कि AI आउटपुट को बार-बार AI इनपुट में फीड करना जोखिम भरा है।

  • यदि आप निरंतरता और सुरक्षा चाहते हैं, तो आप "ग्रीडी" मोड का उपयोग करते हैं, लेकिन आप जोखिम उठाते हैं कि टेक्स्ट उबाऊ हो जाएगा और एक लूप में फंस जाएगा।
  • यदि आप रचनात्मकता और विविधता चाहते हैं, तो आप "सैंपलिंग" मोड का उपयोग करते हैं, लेकिन टेक्स्ट मूल अर्थ से भटक सकता है या स्थिर होने में बहुत लंबा समय ले सकता है।

संक्षेप में:
यह शोध पत्र AI के भविष्य के लिए एक चेतावनी लेबल है। यह हमें बताता है कि यदि हम तथ्यों की जांच के लिए मानव हस्तक्षेप के बिना AI को खुद से बात करने देते हैं, तो बातचीत या तो एक उबाऊ लूप में फंस जाएगी या भ्रम (hallucination) की ओर भटक जाएगी। यह इस बात का अध्ययन है कि सूचना कैसे क्षय होती है (या विकसित होती है) जब उसे ऐसी मशीन के माध्यम से पारित किया जाता है जिसे यह याद नहीं रहता कि वह कहाँ से शुरू हुई थी।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →