💬 NLP

Self-Training Doesn't Flatten Language -- It Restructures It: Surface Markers Amplify While Deep Syntax Dies

यह शोध पत्र इस धारणा को चुनौती देता है कि स्व-प्रशिक्षण (self-training) केवल भाषा को सपाट बनाता है, बल्कि यह प्रदर्शित करता है कि इसके बजाय यह एक विषम पतन (asymmetric collapse) के माध्यम से इसे पुनर्गठित करता है जहाँ गहरे वाक्य संरचनात्मक लक्षण क्षय होते हैं जबकि सतही संकेतक प्रवर्धित होते हैं, एक ऐसी घटना जिसे संरचनात्मक गहराई परिकल्पना (Structural Depth Hypothesis) के रूप में औपचारिक रूप दिया गया है।

मूल लेखक: Ming Liu

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ming Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Self-Training Doesn't Flatten Language — It Restructures It" (सेल्फ-ट्रेनिंग भाषा को सपाट नहीं करती — यह इसे पुनर्गठित करती है) नामक शोध पत्र का सरल भाषा और उपमाओं का उपयोग करते हुए स्पष्टीकरण दिया गया है।

बड़ी गलतफहमी: "फ्लैटनिंग" (सपाट होने) का मिथक

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली कहानीकार (एक लैंग्वेज मॉडल) है। यदि आप उनसे एक कहानी सुनाने के लिए कहते हैं, फिर उस कहानी को ले लेते हैं, उन्हें वापस देते हैं, और उनसे उसी पहली कहानी के आधार पर एक नई कहानी सुनाने के लिए कहते हैं, और इस प्रक्रिया को बार-बार दोहराते हैं, तो क्या होता है?

अधिकांश शोधकर्ताओं का मानना था कि कहानीकार अंततः उबाऊ हो जाएगा। उन्हें लगा कि कहानियाँ "सपाट" होती जाएँगी—कम विविध, दोहराव वाली और सरल, जैसे कि एक फोटोकॉपी की फोटोकॉपी जो विवरण खोती जा रही है। इसे "मॉडल कोलैप्स" (model collapse) कहा जाता है।

यह शोध पत्र कहता है कि यह पूरी तरह सही नहीं है। कहानियाँ केवल सरल नहीं होतीं; वे अजीब तरह से पुनर्गठित हो जाती हैं। कहानीकार अपनी सारी जटिलता नहीं खोता; वह कठिन जटिलता को खो देता है जबकि अनजाने में आसान जटिलता में बेहतर हो जाता है।

जटिलता के दो प्रकार

क्या हो रहा है इसे समझने के लिए, लेखक भाषाई विशेषताओं को दो श्रेणियों में विभाजित करता है:

सतही मार्कर (सजावट - The "Decorations"): ये आकर्षक, आसानी से जोड़ने वाली चीजें हैं जैसे कि "हालांकि" (However), "इसके अलावा" (Moreover), "शायद" (Maybe), या एम्-डैश (—) का उपयोग करना। ये वाक्य के ऊपर बैठते हैं और इन्हें जोड़ने के लिए बहुत अधिक दिमागी शक्ति की आवश्यकता नहीं होती है।
गहरी सिंटैक्स (कंकाल - The "Skeleton"): ये भाषा की कठिन संरचनात्मक हड्डियाँ हैं। जैसे कि सवाल पूछना ("आपने ऐसा क्यों किया?"), पैसिव वॉइस का उपयोग करना ("गेंद फेंकी गई थी"), या सबजंक्टिव मूड का उपयोग करना ("यदि मैं आपकी जगह होता...")। इनके लिए आवश्यक है कि वाक्य कई विचारों को एक विशिष्ट, नेस्टेड क्रम में थामे रखे।

प्रयोग: "कॉपी-पेस्ट" लूप

लेखक ने पाँच अलग-अलग AI मॉडलों (GPT-2 सहित) को एक 11-चरणों वाले "कॉपी-पेस्ट" लूप के माध्यम से चलाया:

AI टेक्स्ट लिखता है।
AI को उस टेक्स्ट पर प्रशिक्षित (train) किया जाता है।
AI उस प्रशिक्षण के आधार पर नया टेक्स्ट लिखता है।
इसे 11 बार दोहराया जाता है।

परिणाम: "सतही जटिलता का विरोधाभास" (The "Superficial Complexity Paradox")

यहाँ वह चौंकाने वाला मोड़ है जो इस शोध पत्र ने खोजा:

1. सजावट विस्फोट (वे "समृद्ध" हो जाते हैं)
AI ने बहुत अधिक "हालांकि," "शायद," और एम्-डैश का उपयोग करना शुरू कर दिया। 11वीं पीढ़ी तक, टेक्स्ट अधिक "निबंध जैसा," अधिक औपचारिक और अधिक जुड़ा हुआ दिखने लगा। यदि आप केवल इन शब्दों को गिनते, तो आप सोचते कि AI अधिक स्मार्ट और जटिल हो रहा है।

उपमा: कल्पना कीजिए कि एक घर है जो लगातार अधिक बरामदे के स्तंभ, फैंसी पेंट और सजावटी झाड़ियाँ जोड़ रहा है। बाहर से देखने पर, यह भव्य और विस्तृत दिखता है।

2. कंकाल ढह जाता है ( "गहरा" हिस्सा मर जाता है)
जबकि सजावट बढ़ी, कठिन संरचनात्मक हड्डियाँ गायब हो गईं।

प्रश्न 92% तक गायब हो गए।

कोष्ठक में विचार (वाक्य के बीच में साइड कमेंट्स) 57% तक गिर गए।
पैसिव वॉइस और जटिल क्रिया काल (verb tenses) 50% से अधिक गिर गए।

उपमा: जबकि घर में झाड़ियाँ बढ़ गईं, लेकिन इसका नींव और भार वहन करने वाली दीवारें टूटने लगीं। घर भव्य दिखता है, लेकिन यह अब दूसरा तल संभालने के लायक नहीं रह गया है।

विरोधाभास: टेक्स्ट अधिक जटिल दिखता है (लंबे शब्द, अधिक "फैंसी" संयोजक), लेकिन वास्तविक वाक्य संरचना वास्तव में उथली और सरल होती जा रही है।

ऐसा क्यों होता है? "डेप्थ हाइपोथीसिस" (गहराई का सिद्धांत)

लेखक एक नियम प्रस्तावित करता है जिसे स्ट्रक्चरल डेप्थ हाइपोथीसिस कहा जाता है।

मान लीजिए कि भाषाई विशेषताओं का एक "डेप्थ स्कोर" (गहराई का स्कोर) है:

डेप्थ 0 (सतही): बस एक शब्द जोड़ना जैसे "हालांकि"। आसान।
डेप्थ 2 (गहरा): एक प्रश्न या पैसिव वाक्य बनाना। कठिन।

नियम:

आसान चीजें बढ़ती हैं: क्योंकि AI को उसके अपने आउटपुट पर प्रशिक्षित किया जाता है, वह "हालांकि" को बहुत बार देखता है। वह सोचता है, "ओह, मुझे 'हालांकि' का अधिक उपयोग करना चाहिए!" यह एक फीडबैक लूप बन जाता है जहाँ AI इन आसान सजावटों को पसंद करता है।
कठिन चीजों को दंडित किया जाता है: एक जटिल वाक्य (जैसे कि एक प्रश्न) बनाने के लिए, AI को सही निर्णयों की एक श्रृंखला बनानी पड़ती है। यदि वह एक भी कदम चूक जाता है, तो वाक्य टूट जाता है। "कॉपी-पेस्ट" लूप में, AI उन लंबे निर्णय श्रृंखलाओं को बनाने में खराब होता जाता है। वह उन्हें बनाना बंद कर देता है क्योंकि केवल एक सजावट जोड़ना आसान होता है।

"फ्रीक्वेंसी" (आवृत्ति) का मिथक:
पुराने सिद्धांतों ने कहा कि दुर्लभ चीजें इसलिए मर जाती हैं क्योंकि AI उन्हें पर्याप्त बार नहीं देखता। यह पेपर कहता है नहीं। यह इस बारे में नहीं है कि शब्द कितना दुर्लभ है; यह इस बारे में है कि वह संरचनात्मक रूप से कितना गहरा (structurally deep) है। भले ही एक जटिल वाक्य आम हो, यदि वह "गहरा" है, तो वह मर जाएगा। यदि एक सरल शब्द दुर्लभ है, तो भी वह जीवित रह सकता है यदि वह "उथला" (shallow) है।

"विस्मयादिबोधक चिह्न" (!) का अपवाद

एक अजीब मामला विस्मयादिबोधक चिह्न (!) का है। ये "उथले" (डेप्थ 0) हैं, इसलिए आप उम्मीद करेंगे कि ये बढ़ेंगे। लेकिन ये मर गए (99% तक गिर गए)।

क्यों? AI का "डिफ़ॉल्ट मोड" (जब वह रचनात्मक नहीं हो रहा होता) विस्मयादिबोधक चिह्नों का उपयोग शायद ही कभी करता है। भले ही वे जोड़ने में आसान हैं, लेकिन AI ने अपने "सपनों" में उन्हें वास्तव में कभी देखा ही नहीं था। इसलिए, उन्हें कभी भी "रिच-get-रैचर" (अमीर और अमीर होना) का बढ़ावा नहीं मिला। यह नियम सिद्ध करता है: यह केवल उथला होने के बारे में नहीं है; आपको यह भी चाहिए कि आप इतने सामान्य हों कि लूप शुरू हो सके।

वास्तविक दुनिया के लिए सबक

यह पेपर हमें AI को मापने के तरीके के बारे में चेतावनी देता है।

वर्तमान डिटेक्टर "एग्रीगेट फिंगरप्रिंट्स" (जैसे: "क्या टेक्स्ट लंबा है? क्या इसमें बहुत सारे अलग-अलग शब्द हैं?") को देखते हैं।
समस्या: सेल्फ-ट्रेनिंग के तहत, ये संख्याएँ बढ़ती हैं। इसलिए, एक डिटेक्टर एक टूटे हुए, उथले AI टेक्स्ट को देख सकता है और कह सकता है, "वाह, यह बहुत जटिल और मानव जैसा दिखता है!"
वास्तविकता: टेक्स्ट वास्तव में एक खोखला खोल है। इसमें एक जटिल निबंध की सजावट है लेकिन इसमें कोई संरचनात्मक अखंडता नहीं है।

संक्षेप में: सेल्फ-ट्रेनिंग AI को मूर्ख नहीं बनाती; यह इसे सतही तौर पर फैंसी लेकिन संरचनात्मक रूप से खोखला बना देती है। यह घर को सजाना सीख जाता है जबकि दीवारों को बनाना भूल जाता है।

तकनीकी सारांश: स्व-प्रशिक्षण भाषा को समतल नहीं करता — यह इसे पुनर्गठित करता है

समस्या विवरण

भाषा मॉडलों (LLMs) पर क्रमिक स्व-प्रशिक्षण (self-training) का प्रचलित लक्षण "समतलीकरण" (flattening) या "मॉडल कोलैप्स" (model collapse) का है, जहाँ विविधता गिरती है, वितरण संकुचित होता है, और पाठ एक निम्न-एन्ट्रॉपी अट्रैक्टर (low-entropy attractor) की ओर अभिसरित होता है। इसके साथ ही, LLM भाषाई फिंगरप्रिंट पर साहित्य यह देखता है कि मशीन-जनित पाठ मानव आधार रेखाओं (baselines) की तुलना में विशिष्ट सतही मार्करों (डिस्कोर्स कनेक्टिव्स, हेजेस, एम-डैश) में सांख्यिकीय रूप से समृद्ध होता है। हालाँकि, किसी भी साहित्य ने इस वितरण संबंधी विचलन (distributional drift) के तंत्र का सही ढंग से वर्णन नहीं किया है। प्रमुख सैद्धांतिक विवरण इस गिरावट को एक आवृत्ति-आधारित तंत्र (frequency-based mechanism) का परिणाम मानता है: दुर्लभ घटनाओं का नमूना कम लिया जाता है और वे समाप्त हो जाती हैं। यह शोध पत्र तर्क देता है कि यह लक्षण वर्णन अपूर्ण है और इस घटना को समान समतलीकरण के बजाय एक संरचनात्मक द्विभाजन (structural bifurcation) के रूप में बेहतर वर्णित किया जा सकता है।

कार्यप्रणाली

लेखकों ने तीन आर्किटेक्चर परिवारों के पाँच मॉडलों (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B, और OPT-1.3B) में नियंत्रित स्व-प्रशिक्षण प्रयोग किए।

प्रोटोकॉल: प्रत्येक मॉडल ने 11 पीढ़ियों के शुद्ध स्व-प्रशिक्षण से गुजरने के लिए डिज़ाइन किया गया था। एक जारी किए गए चेकपॉइंट से शुरू करते हुए, मॉडल ने न्यूक्लियस सैंपलिंग ( $p=0.95, T=0.9$ ) का उपयोग करके 3,000 पाठ (प्रत्येक 256 टोकन) उत्पन्न किए, और परिणामी कॉर्पस का उपयोग मॉडल को एक इपॉक (epoch) के लिए फाइन-ट्यून करने के लिए किया गया। यह चक्र बिना मानव डेटा मिलाए दोहराया गया।
विशेषता चयन (Feature Selection): सत्रह भाषाई विशेषताओं को पूर्व निर्धारित रूप से चुना गया और संरचनात्मक गहराई ( $d(\phi)$ $d (ϕ)$ ) द्वारा वर्गीकृत किया गया, जिसे एक वाक्य में विशेषता को लाइसेंस देने के लिए आवश्यक न्यूनतम नेस्टेड सिंटैक्टिक डिपेंडेंसी (nested syntactic dependencies) की संख्या के रूप में परिभाषित किया गया है:
- $d=0$ (सतही/लेक्सिकल): डिस्कोर्स मार्कर, हेजेस, एम-डैश, विस्मयादिबोधक चिह्न।
- $d=1$ (स्थानीय सिंटैक्स): नियमित भूतकाल ($V+ed$), वाक्य-आरंभिक संयोजन, सरल समन्वय (simple coordination)।
- $d=2$ (क्लॉज संरचना): प्रश्न, पैरेंथेटिकल्स (parentheticals), पैसिव वॉइस, अनियमित भूतकाल, रिलेटिव/एडवर्बियल क्लॉज़।
- $d=3$ (क्रॉस-क्लॉज़ल/मूड): सबजंक्टिव (subjunctive) रचनाएँ।
विश्लेषण: लेखकों ने पीढ़ियों के माध्यम से इन विशेषताओं की सापेक्ष आवृत्ति को ट्रैक किया। उन्होंने OLS रिग्रेशन के माध्यम से प्रति-विशेषता क्षय दर ( $\lambda$ ) की गणना की और संरचनात्मक गहराई ( $d$ ) और आधार रेखा आवृत्ति ( $f$ ) के विरुद्ध सहसंबंधों का परीक्षण किया। डेटा की नेस्टेड संरचना ( $N=85$ फीचर-मॉडल जोड़े) को ध्यान में रखने के लिए एक मिक्स-इफेक्ट्स मॉडल का उपयोग किया गया।

मुख्य योगदान

स्ट्रक्चरल डेप्थ हाइपोथेसिस (SDH) का औपचारिककरण: यह शोध पत्र प्रस्तावित करता है कि एक भाषाई विशेषता की प्रति-पीढ़ी ड्रिफ्ट दर मुख्य रूप से उसकी संरचनात्मक गहराई ( $d$ ) द्वारा अनुमानित होती है और द्वितीयक रूप से उसके सैंपलिंग स्टोकास्टिसिटी ( $\sigma$ ) पर निर्भरता द्वारा। यह परिकल्पना एक प्रतिस्पर्धा का प्रस्ताव करती है: एक "डेप्थ पेनल्टी" (गहरी संरचनाएं मल्टीप्लिकेटिव प्रोबेबिलिटी लागत के कारण क्षय होती हैं) और एक "सैंपलिंग-डिपेंडेंस बोनस" (सतही मार्कर 'रिच-गेट-रिचर' डायनेमिक्स के कारण प्रवर्धित होते हैं)।
"सतही जटिलता विरोधाभास" (Superficial Complexity Paradox) का दस्तावेजीकरण: लेखक प्रदर्शित करते हैं कि जबकि स्व-प्रशिक्षण के दौरान कुल "जटिलता" प्रॉक्सी (डिपेंडेंसी-ट्री डेप्थ, टाइप-टोकन अनुपात, औसत शब्द लंबाई) बढ़ते हैं, अंतर्निहित क्लॉज-स्ट्रक्चरल विशेषताएं (प्रश्न, पैसिव वॉइस, सबऑर्डिनेशन) ढह जाती हैं। यह मानक स्टाइलोमेट्रिक विश्लेषणों में द्विभाजन को छिपा देता है।
क्रॉस-मॉडल सत्यापन: यह अध्ययन पाँच मॉडलों और तीन आर्किटेक्चर परिवारों में नियंत्रित साक्ष्य प्रदान करता है, जो दिखाता है कि डेप्थ-ग्रेडिएंट प्रभाव आर्किटेक्चरल अंतरों और प्रशिक्षण कॉर्पस के प्रति सुदृढ़ (robust) है।
केवल आवृत्ति-आधारित स्पष्टीकरणों का खंडन: हेड-टू-हेड सांख्यिकीय परीक्षण के माध्यम से, यह शोध पत्र प्रदर्शित करता है कि संरचनात्मक गहराई, आधार रेखा आवृत्ति की तुलना में विशेषता क्षय का एक महत्वपूर्ण रूप से मजबूत भविष्यवक्ता है।

मुख्य परिणाम

विशेषताओं का द्विभाजन: सतही मार्कर ( $d=0$ ) काफी बढ़ गए (उदाहरण के लिए, डिस्कोर्स मार्कर +126% बढ़े, हेजेस +44% बढ़े), जबकि गहरी सिंटैक्टिक संरचनाएं ( $d \ge 2$ ) ढह गईं (उदाहरण के लिए, प्रश्न चिह्न 92% गिरे, पैसिव वॉइस 56% गिरा, सबजंक्टिव 53% गिरा)।
मोनोटोनिसिटी (Monotonicity): प्रति-पीढ़ी औसत परिवर्तन संरचनात्मक गहराई के साथ मोनोटोनिक रूप से घटता है:
- $d=0$ : +24.9%
- $d=1$ : -10.0%
- $d=2$ : -47.2%
- $d=3$ : -52.7%
सांख्यिकीय महत्व:
- पाँच मॉडलों ( $N=85$ ) में संकलित (pooled) रूप से, संरचनात्मक गहराई और क्षय दर के बीच स्पीयरमैन सहसंबंध $\rho = 0.540$ ( $p < 10^{-6}$ ) था।
- इसके विपरीत, आधार रेखा आवृत्ति और क्षय दर के बीच सहसंबंध कमजोर और गैर-महत्वपूर्ण था ( $\rho = 0.225, p = 0.039$ )।
- एक मिक्स-इफेक्ट्स मॉडल ने पुष्टि की कि डेप्थ गुणांक अत्यधिक महत्वपूर्ण था ( $p < 0.001$ ), जबकि आवृत्ति नहीं थी।
"अपवाद जो नियम सिद्ध करता है": विस्मयादिबोधक चिह्न ( $d=0$ ) 99.3% तक गिर गए। लेखक इसे SDH समीकरण के कारण बताते हैं: हालांकि वे उथले ( $d=0$ ) हैं, न्यूक्लियस सैंपलिंग के तहत उनकी आधार रेखा दर इतनी कम थी कि "रिच-get-रिचर" प्रवर्धन लूप को ट्रिगर करने के लिए पर्याप्त नहीं थी, जिससे उनकी गहराई के बावजूद क्षय हुआ।
नियंत्रक प्रयोग: एक मैच किया गया कंट्रोल जहाँ मॉडलों को स्व-जनित टेक्स्ट के बजाय मानव टेक्स्ट (OpenWebText) पर फाइन-ट्यून किया गया था, ने लगभग शून्य सहसंबंध ( $\rho = 0.039, p = 0.88$ ) दिया, जिससे पुष्टि हुई कि डेप्थ ग्रेडिएंट स्व-प्रशिक्षण शासन (regime) के लिए विशिष्ट है।

महत्व और दावे

यह शोध पत्र दो अलग-अलग साहित्यों को पुनः परिभाषित करने का दावा करता है:

मॉडल कोलैप्स: यह केवल सांख्यिकीय नहीं बल्कि एक संरचनात्मक अकाउंट प्रदान करता है। यह तर्क देता है कि कोलैप्स केवल दुर्लभ टोकन की हानि नहीं है, बल्कि गहरी सिंटैक्टिक मशीनरी का व्यवस्थित क्षरण है, जो ऑटोरिग्रेसिव जनरेशन में नेस्टेड डिपेंडेंसी को पार करने की मल्टीप्लिकेटिव प्रोबेबिलिटी पेनल्टी द्वारा संचालित होता है।
LLM फिंगरप्रिंट: यह एक यांत्रिक स्पष्टीकरण प्रदान करता है कि कैनोनिकल मशीन-टेक्स्ट मार्कर (डिस्कोर्स कनेक्टिव्स, हेजेस) वास्तव में वे क्यों हैं जो वे हैं: वे डेप्थ-ग्रेड कोलैप्स के उत्तरजीवी और प्रवर्धित (survivors and amplifiers) हैं।
पद्धतिगत चेतावनी: यह शोध पत्र तर्क देता है कि एग्रीगेट फिंगरप्रिंट मेट्रिक्स (जैसा कि स्टाइलोमेट्री में मानक है) पर निर्भर रहना व्यवस्थित रूप से स्व-प्रशिक्षण के तहत भाषा के द्विभाजन को छिपा देता है। इसके प्रशिक्षण-डेटा क्यूरेशन (यह सुझाव देते हुए कि क्लॉज-स्ट्रक्चरली समृद्ध पाठ को प्राथमिकता देने की आवश्यकता है) और डिटेक्शन (यह सुझाव देते हुए कि एग्रीगेट जटिलता पर निर्भर डिटेक्टर मॉडल के रिकर्सिव प्रशिक्षण के दौरान विफल हो सकते हैं) के लिए प्रत्यक्ष निहितार्थ हैं।

लेखक बड़े मॉडलों (7B+) के लिए विशिष्ट थ्रेशोल्ड के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनके प्रयोग 124M से 2.8B पैरामीटर्स तक फैले हुए हैं, लेकिन यह दावा करते हैं कि डेप्थ ग्रेडिएंट की दिशा और क्रम परीक्षण किए गए सभी स्केल्स में सुसंगत है। वे यह भी नोट करते हैं कि निष्कर्ष वर्तमान में अंग्रेजी और विशिष्ट प्रॉम्प्ट वितरणों तक सीमित हैं।