🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

यह शोध पत्र सैद्धांतिक और अनुभवजन्य रूप से यह प्रदर्शित करता है कि जनरेटिव मॉडल्स को कच्चे टोकन के बजाय अपने स्वयं के लेटेंट रिप्रेजेंटेशन्स (latent representations) की भविष्यवाणी करने के लिए प्रशिक्षित करना, पदानुक्रमित गहराई (hierarchical depth) के सापेक्ष निरंतर सैंपल जटिलता (constant sample complexity) प्राप्त करता है, जिससे पारंपरिक सुपरवाइज्ड या टोकन-स्तरीय सेल्फ-सुपरवाइज्ड लर्निंग की तुलना में एक महत्वपूर्ण डेटा-दक्षता लाभ मिलता है।

मूल लेखक: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: "डेटा का भूखा" (The Data Glutton)

कल्पना कीजिए कि आप एक रोबोट को अंग्रेजी समझना सिखाने की कोशिश कर रहे हैं। इसके लिए, आप उसे अब तक लिखी गई हर किताब, वेबसाइट और ट्वीट (खरबों शब्द) खिलाते हैं। वर्तमान एआई मॉडल (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) इसी तरह सीखते हैं। वे व्यक्तिगत शब्दों ("टोकन") को देखते हैं और अगले शब्द का अनुमान लगाने की कोशिश करते हैं।

हालाँकि, एक मानव बच्चा बहुत कम डेटा के साथ धाराप्रवाह बोलना सीख जाता है। उन्हें इंटरनेट का पूरा हिस्सा पढ़ने की ज़रूरत नहीं होती; उन्हें बस अपने माता-पिता और दोस्तों से बात करने की ज़रूरत होती है।

यह शोध पत्र पूछता है: एआई डेटा के लिए इतना भूखा क्यों है? लेखक सुझाव देते हैं कि ऐसा इसलिए है क्योंकि एआई गलत चीज़ें सीखने की कोशिश कर रहा है। वह उन अंतर्निहित अवधारणाओं (लेटेंट्स/latents) को समझने के बजाय, कच्चे "पिक्सेल" या "अक्षरों" (टोकन) को घूर रहा है जो उन अक्षरों का प्रतिनिधित्व करते हैं।

उपमा: रूसी नेस्टिंग डॉल्स (The Russian Nesting Dolls)

अपनी थ्योरी को समझाने के लिए, लेखक एक मॉडल का उपयोग करते हैं जिसे रैंडम हाइरार्की मॉडल (RHM) कहा जाता है। इसे रूसी नेस्टिंग डॉल्स (एक के अंदर एक रखी जाने वाली गुड़िया) या एक फैमिली ट्री के रूप में सोचें।

पत्तियाँ (Leaves/Tokens): सबसे नीचे, आपके पास व्यक्तिगत अक्षर या ध्वनियाँ हैं।
मध्य परतें (Middle Layers/Latents): ये अक्षर मिलकर शब्द बनाते हैं, जो वाक्यांश बनाते हैं, जो वाक्यों का निर्माण करते हैं। प्रत्येक स्तर एक "लेटेंट" (एक छिपा हुआ विचार/अवधारणा) है।
शीर्ष (Root): अंतिम अर्थ या पूरे ढांचे का "जनक" (parent)।

पुराना तरीका (टोकन-स्तरीय सीखना):
कल्पना कीजिए कि आप इस फैमिली ट्री की संरचना को समझने की कोशिश कर रहे हैं, लेकिन आपको केवल निचली परत (पत्तियों) को देखने की अनुमति है। यह समझने के लिए कि परदादाओं का आपस में क्या संबंध है, आपको पत्तियों तक नीचे जाने और फिर वापस ऊपर आने का रास्ता ट्रेस करना होगा।

समस्या: जैसे-जैसे पेड़ गहरा होता जाता है (अर्थ के अधिक स्तर), सिग्नल कमजोर और कमजोर होता जाता है। यह एक गगनचुंबी इमारत के शीर्ष से नीचे खड़े होकर फुसफुसाहट सुनने की कोशिश करने जैसा है; शोर उसे दबा देता है।
लागत: इस तरह से एक गहरे पदानुक्रम (hierarchy) को सीखने के लिए, आपको घातांकीय (exponential) मात्रा में डेटा की आवश्यकता होती है। यदि पेड़ में 4 स्तर हैं, तो आपको लाखों उदाहरणों की आवश्यकता हो सकती है। यदि 10 स्तर हैं, तो आपको ब्रह्मांड में मौजूद डेटा से भी अधिक डेटा की आवश्यकता हो सकती है।

नया तरीका (अपने स्वयं के लेटेंट्स से सीखना):
अब, कल्पना कीजिए कि आपको पेड़ की मध्य परतों को देखने की अनुमति है। अगले अक्षर का अनुमान लगाने के बजाय, आप अगले अवधारणा (concept) का अनुमान लगाते हैं।

समाधान: यदि आप स्तर 2 पर हैं, तो आप स्तर 3 की भविष्यवाणी करते हैं। आपको पत्तियों तक नीचे जाने की आवश्यकता नहीं है। सिग्नल मजबूत और स्पष्ट है क्योंकि आप पदानुक्रम में अपने "पड़ोसियों" के साथ काम कर रहे हैं।
परिणाम: आप पूरे ढांचे को स्थिर (constant) मात्रा में डेटा के साथ सीख सकते हैं, चाहे पेड़ कितना भी गहरा क्यों न हो। आपको लाखों उदाहरणों की आवश्यकता नहीं है; आपको बस पैटर्न को एक या दो बार देखने की आवश्यकता है।

तीन प्रयोग

लेखकों ने केवल गणित नहीं किया; उन्होंने यह साबित करने के लिए तीन चीजें बनाईं कि यह काम करता है:

क्लस्टरिंग एल्गोरिदम (जासूस):
उन्होंने एक सरल कंप्यूटर प्रोग्राम बनाया जो एक जासूस की तरह काम करता है। यह शब्दों के समूहों को देखता है, देखता है कि कौन से शब्द समान व्यवहार करते हैं (पर्यायवाची), और उन्हें अगले पदानुक्रम स्तर को बनाने के लिए एक साथ समूहित करता है।
- परिणाम: इसने बहुत कम डेटा का उपयोग करके पूरे फैमिली ट्री को सफलतापूर्वक फिर से बनाया, जिससे यह सिद्ध हुआ कि यदि आप सही स्तर पर देखते हैं, तो काम आसान है।
स्टैक्ड न्यूरल नेटवर्क (सीढ़ी):
उन्होंने एक गहरा न्यूरल नेटवर्क बनाया जहाँ प्रत्येक परत एक छोटी टीम है। पहली टीम कच्चे अक्षरों को शब्दों में समूहित करती है। दूसरी टीम उन शब्दों को वाक्यांशों में समूहित करती है। प्रत्येक टीम अगली टीम को सिखाती है।
- परिणाम: इस नेटवर्क ने उसी दक्षता के साथ सीखा जैसे कि सरल जासूस एल्गोरिदम ने। इसने साबित किया कि गहरे नेटवर्क पदानुक्रम को कुशलतापूर्वक सीख सकते हैं, यदि उन्हें अपने आंतरिक प्रतिनिधित्व (internal representations) की भविष्यवाणी करने के लिए संरचित किया गया हो।
"Data2vec" विश्लेषण (छिपा हुआ जीनियस):
उन्होंने Data2vec नामक एक लोकप्रिय एआई पद्धति का विश्लेषण किया। यह पद्धति पहले से ही अपने स्वयं के आंतरिक प्रतिनिधित्व की भविष्यवाणी करने का प्रयास करती है। लेखकों ने दिखाया कि Data2vec उन्हीं चीज़ों को कर रहा है जो उनका "लेडर" (सीढ़ी) नेटवर्क करता है।
- परिणाम: Data2vec पहले से ही एक पदानुक्रमित शिक्षार्थी (hierarchical learner) है! इसे अन्य हालिया सिद्धांतों की तरह जटिल तरीके से स्टैक करने की आवश्यकता नहीं है; यह स्वाभाविक रूप से पदानुक्रम के स्तरों की खोज करता है। इसका मतलब है कि हमें जटिल नए आर्किटेक्चर बनाने की आवश्यकता नहीं है; हमें बस उन तरीकों का उपयोग करने की आवश्यकता है जो पहले से मौजूद हैं, लेकिन हम यह समझें कि वे क्यों काम करते हैं।

मुख्य निष्कर्ष

शोध पत्र का दावा है कि कच्चे डेटा (टोकन) की भविष्यवाणी करना अक्षम है क्योंकि लंबी दूरी के कारण सिग्नल पतला हो जाता है। अपने स्वयं के आंतरिक विचारों (लेटेंट्स) की भविष्यवाणी करना कुशल है क्योंकि सिग्नल मजबूत रहता है।

टोकन लर्निंग: मेज पर जमी धूल को देखकर 1,000 टुकड़ों वाली पहेली को हल करने की कोशिश करने जैसा है। सही टुकड़ा खोजने के लिए आपको लाखों प्रयासों की आवश्यकता होगी।
लेटेंट लर्निंग: पहेली के डिब्बे पर बनी तस्वीर को देखने जैसा है। आप कुछ ही प्रयासों के साथ इसे हल कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि जैविक शिक्षार्थियों (जैसे मनुष्य) के इतने डेटा-कुशल होने का कारण संभवतः यह है कि हमारे मस्तिष्क लगातार दुनिया के अपने आंतरिक मॉडल की भविष्यवाणी कर रहे होते हैं, न कि केवल कच्चे संवेदी इनपुट को याद कर रहे होते हैं। एआई प्रशिक्षण को "अपने स्वयं के लेटेंट्स से सीखने" पर ध्यान केंद्रित करने की ओर स्थानांतरित करके, हम संभावित रूप से बहुत कम डेटा के साथ सीखने वाला स्मार्ट एआई बना सकते हैं।

तकनीकी सारांश: अपने स्वयं के लेटेंट्स (latents) से सीखें, टोकन से नहीं: एक सैंपल-कॉम्प्लेक्सिटी सिद्धांत

समस्या विवरण

जेनरेटिव मॉडल, जिनमें डिफ्यूजन मॉडल और लार्ज लैंग्वेज मॉडल्स (LLMs) शामिल हैं, ने उल्लेखनीय अनुभवजन्य सफलता प्राप्त की है, लेकिन वे उस प्रशिक्षण डेटा पर निर्भर करते हैं जो जैविक शिक्षार्थियों की आवश्यकता से कई गुना अधिक बड़ा है। फ्रंटियर LLMs को $10^{13}$ – $10^{14}$ टोकन पर प्रशिक्षित किया जाता है, जो एक बच्चे के वयस्क स्तर की क्षमता तक पहुँचने के लिए आवश्यक एक्सपोज़र से कहीं अधिक है। जबकि मल्टीमोडैलिटी और ग्राउंडिंग जैसे परिकल्पनाओं का प्रस्ताव दिया गया है, यह कार्य इस परिकल्पना की जांच करता है कि सीखना कच्चे टोकन (raw tokens) के स्तर पर नहीं, बल्कि एक अमूर्त लेटेंट स्पेस (abstract latent space) में अधिक कुशल है।

विशेष रूप से, यह शोध पत्र उन सेल्फ-सुपरवाइज्ड लर्निंग (SSL) विधियों के बीच के सैद्धांतिक अंतर को संबोधित करता है जो अपने स्वयं के लेटेंट रिप्रेजेंटेशन की भविष्यवाणी करते हैं (जैसे, data2vec, JEPA) बनाम वे जो कच्चे टोकन की भविष्यवाणी करते हैं (जैसे, मास्क लैंग्वेज मॉडलिंग, डिफ्यूजन)। मुख्य प्रश्न हैं:

अपने स्वयं के लेटेंट्स की भविष्यवाणी करना, टोकन-स्तर की भविष्यवाणी की तुलना में डेटा दक्षता में कितना सुधार करता है?
क्या ऐसी विधियों को मल्टी-स्केल पदानुक्रमों (जैसे, H-JEPA) में स्पष्ट रूप से स्टैक करने का कोई सैद्धांतिक लाभ है?

इनका उत्तर देने के लिए, लेखक रैंडम हायरार्की मॉडल (RHM) का उपयोग करते हैं, जो एक सरलीकृत प्रोबेबिलिस्टिक कॉन्टेक्स्ट-फ्री ग्रामर (PCFG) है जो $L$ गहराई वाले हिडन लेटेंट वेरिएबल्स के एक ट्री के माध्यम से दृश्य टोकन उत्पन्न करता है। RHM कंपोजिशनल स्ट्रक्चर के सुलभ सैंपल-कॉम्प्लेक्सिटी विश्लेषण की अनुमति देता है।

कार्यप्रणाली

लेखक RHM के लेटेंट पदानुक्रम (latent hierarchy) को सीखने के तीन अलग-अलग दृष्टिकोणों का विश्लेषण करते हैं:

इटरेटिव लेटेंट क्लस्टरिंग (ILC): एक एल्गोरिद्मिक दृष्टिकोण जहाँ मॉडल स्तर-दर-स्तर पदानुक्रम को रिकवर करता है। प्रत्येक स्तर $\ell$ पर, एल्गोरिदम टोकन के टुपल्स (tuples) के लिए एम्पिरिकल कॉन्टेक्स्ट वेक्टर्स का अनुमान लगाता है और सिनोनिम्स (समान पैरेंट साझा करने वाले टुपल्स) की पहचान करने के लिए उन्हें क्लस्टर करता है। यह स्तर $\ell+1$ के लिए लेटेंट लेबल्स का निर्माण करता है, जो फिर अगले स्तर के लिए इनपुट के रूप में कार्य करते हैं।
स्टैक्ड लेटेंट-क्लस्टरिंग (SLC) नेटवर्क: एक डिफरेंशिएबल, एंड-टू-एंड न्यूरल आर्किटेक्चर जो ILC एल्गोरिदम की नकल करता है। इसमें $L-1$ मॉड्यूल का एक स्टैक होता है, जिसमें प्रत्येक में एक प्रेडिक्टर (जो कॉन्टेक्स्ट वेक्टर्स का अनुमान लगाने के लिए कज़िन टोकन्स की भविष्यवाणी करता है) और एक क्लस्टरर (जो कॉन्टेक्टिव ऑब्जेक्टिव्स के माध्यम से प्रेडिक्शन वेक्टर्स को डिस्क्रीट लेटेंट कोड्स में मैप करता है) होता है। नेटवर्क को ग्रेडिएंट डिसेंट के माध्यम से प्रशिक्षित किया जाता है, जिसमें ग्लोबल बैकप्रोपैगेशन या लोकल लर्निंग रूल्स (मॉड्यूल्स के बीच स्टॉप-ग्रेडिएंट्स) के विकल्प होते हैं।
data2vec का सैद्धांतिक विश्लेषण: लेखक लोकप्रिय SSL विधि data2vec का विश्लेषण करते हैं, जो मास्क किए गए इनपुट्स के लेटेंट रिप्रेजेंटेशन की भविष्यवाणी करने के लिए एक टीचर-स्टूडेंट सेटअप का उपयोग करता है। वे एक ऐसा सैद्धांतिक ढांचा प्रस्तावित करते हैं जहाँ टीचर के टारगेट्स में निहित रूप से सीखा गया लेटेंट सूचना होती है, जिससे स्टूडेंट इंडक्टिवली (inductively) पदानुक्रमित लेटेंट भविष्यवाणी करने में सक्षम होता है।

मुख्य योगदान और परिणाम

1. सैंपल कॉम्प्लेक्सिटी बाउंड्स

यह शोध पत्र टोकन-लेवल ऑब्जेक्टिव्स और लेटेंट-प्रेडिक्शन ऑब्जेक्टिव्स के बीच सैंपल कॉम्प्लेक्सिटी में एक कठोर अलगाव स्थापित करता है:

टोकन-लेवल SSL (सुपरवाइज्ड या मास्क): $L$ गहराई के लेटेंट ट्री को रिकवर करने के लिए, टोकन-लेवल ऑब्जेक्टिव्स को $P \sim m^{L+1}$ के रूप में स्केल करने वाले नमूनों (samples) की आवश्यकता होती है (जहाँ $m$ प्रति सिंबल प्रोडक्शन रूल्स की संख्या है)। यह $L$ की गहराई में घातीय (exponential) है क्योंकि सिग्नल को पूरे पदानुक्रम के माध्यम से प्रसारित होना चाहिए, जहाँ प्रत्येक अनसुलझा नियम सहसंबंध सिग्नल को $m$ के कारक से कम कर देता है।
लेटेंट प्रेडिक्शन (ILC, SLC, data2vec): लेखक सिद्ध करते हैं कि अपने स्वयं के लेटेंट्स की भविष्यवाणी करने से सैंपल कॉम्प्लेक्सिटी घटकर $P \sim m^3$ $P \sim m^{3}$ हो जाती है (लॉगैरिथमिक फैक्टर्स तक)। यह स्केलिंग $L$ $L$ की गहराई के संबंध में स्वतंत्र है।
- तंत्र (Mechanism): एक बार जब एक स्तर रिकवर हो जाता है, तो कंडीशनिंग ऑब्जेक्ट और प्रेडिक्शन टारगेट दोनों को उस लेटेंट स्तर पर ऊपर उठाया जाता है। प्रत्येक आगामी स्तर पर समस्या एक स्थानीय सिनोनिम-क्लस्टरिंग समस्या बन जाती है जिसकी सांख्यिकीय शक्ति पहले चरण के समान होती है, जिससे शोर (noise) का घातीय संचय टल जाता है।

2. एल्गोरिद्मिक और न्यूरल वैलिडेशन

ILC: संख्यात्मक प्रयोग पुष्टि करते हैं कि इटरेटिव क्लस्टरिंग एल्गोरिदम $m^3$ के रूप में स्केल होने वाली सटीकता के साथ पूर्ण नॉन-रूट पदानुक्रम को रिकवर करता है, जो $L$ से स्वतंत्र है।
SLC: एक एंड-टू-एंड प्रशिक्षित SLC नेटवर्क भी समान $m^3$ स्केलिंग प्राप्त करता है। विशेष रूप से, लेखक दिखाते हैं कि यह स्केलिंग सख्त स्थानीय लर्निंग रूल्स (मॉड्यूल्स के बीच स्टॉप-ग्रेडिएंट्स और कोई ग्लोबल बैकप्रोपैगेशन नहीं) का उपयोग करने पर भी बनी रहती है, जो जैविक संभाव्यता (biological plausibility) का सुझाव देती है।
data2vec: लेखक data2vec का पहला सैंपल-कॉम्प्लेक्सिटी विश्लेषण प्रदान करते हैं। अनुभवजन्य परिणाम दिखाते हैं कि RHM पर data2vec भी $m^3$ के रूप में स्केल करता है। सैद्धांतिक रूप से, वे तर्क देते हैं कि data2vec स्पष्ट रूप से पदानुक्रमित लेटेंट भविष्यवाणी करता है: जैसे-जैसे टीचर अपने वेट्स को अपडेट करता है, स्टूडेंट के लिए टारगेट्स प्रगतिशील रूप से उच्च-स्तरीय लेटेंट रिप्रेजेंटेशन को शामिल करते हैं, जो प्रभावी रूप से पदानुक्रम में ऊपर की ओर जाने के कार्य को लिफ्ट करता है, बिना किसी स्पष्ट आर्किटेक्चरल स्टैकिंग के।

3. पदानुक्रमित स्टैकिंग के निहितार्थ

परिणाम बताते हैं कि लेटेंट-प्रेडिक्शन मॉड्यूल्स का स्पष्ट स्टैकिंग (जैसा कि H-JEPA में है) काफी हद तक रेडंडेंट (redundant) है। एक एकल लेटेंट-प्रेडिक्शन मॉड्यूल (जैसे data2vec) मल्टी-स्केल पदानुक्रमित संरचनाओं को स्पष्ट रूप से खोजने और उपयोग करने में सक्षम है, जो जटिल, मैन्युअल रूप से स्टैक किए गए आर्किटेक्चर की आवश्यकता के बिना इष्टतम $m^3$ सैंपल कॉम्प्लेक्सिटी प्राप्त करता है।

महत्व

यह शोध पत्र इस अंतर्ज्ञान को कि "टोकन-लेवल प्रेडिक्शन उप-इष्टतम (suboptimal) है" एक ठोस मात्रात्मक आधार प्रदान करता है। यह प्रदर्शित करके कि अपने स्वयं के लेटेंट्स से सीखना टोकन-लेवल ऑब्जेक्टिव्स की तुलना में घातीय (exponential) लाभ दे सकता है, यह कार्य जेनरेटिव मॉडलिंग में लेटेंट-स्पेस प्रेडिक्शन की ओर बदलाव के लिए एक सैद्धांतिक औचित्य प्रदान करता है।

इसके अलावा, data2vec का विश्लेषण बताता है कि वर्तमान अत्याधुनिक सेल्फ-सुपरवाइज्ड मेथड्स पहले से ही स्पष्ट रूप से पदानुक्रमित हो सकते हैं, जो स्पष्ट पदानुक्रमित पर्यवेक्षण योजनाओं की आवश्यकता को चुनौती देते हैं। लेखक निष्कर्ष निकालते हैं कि प्राकृतिक भाषा और छवियों तक स्केल करने से पहले नए आर्किटेक्चर को डिजाइन करने और सैद्धांतिक रूप से समझने के लिए RHM जैसे सिंथेटिक डेटा मॉडल विकसित करना महत्वपूर्ण है।

यह कार्य इस बात पर भी प्रकाश डालता है कि जैविक रूप से संभावित लर्निंग रूल्स (लोकल अपडेट्स, प्रेडिक्टिव कोडिंग) इष्टतम सैंपल कॉम्प्लेक्सिटी प्राप्त कर सकते हैं, जो मशीन लर्निंग दक्षता और जैविक लर्निंग बाधाओं के बीच के अंतर को पाटते हैं।