← नवीनतम पेपर
🤖 machine learning

Next-Latent Prediction Transformers Learn Compact World Models

यह शोध पत्र नेक्स्ट-लेटेंट प्रेडिक्शन (NextLat) को प्रस्तुत करता है, जो एक सरल सहायक प्रशिक्षण उद्देश्य (auxiliary training objective) है जो ट्रांसफॉर्मर्स को लेटेंट स्पेस में स्व-पर्यवेक्षित भविष्यवाणियों को लागू करके संक्षिप्त, भविष्य कहने वाले लेटेंट वर्ल्ड मॉडल सीखने के लिए बाध्य करता है, जिससे मॉडल की वास्तुकला (architecture) को बदले बिना सामान्यीकरण, प्रतिनिधित्व संपीड़न (representation compression) और अनुमान गति (inference speed) में सुधार होता है।

मूल लेखक: Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

प्रकाशित 2026-05-25
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Next-Latent Prediction Transformers Learn Compact World Models" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "लाइब्रेरी" बनाम "डायरी"

कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं। आपके पास सीखने के दो तरीके हैं:

  1. लाइब्रेरी दृष्टिकोण (स्टैंडर्ड ट्रांसफॉर्मर्स): आप जितनी भी किताबें पढ़ी हैं, उनकी एक विशाल लाइब्रेरी रखते हैं। जब आपको अगला वाक्य लिखने की ज़रूरत होती है, तो आप अपने पिछले कुछ शब्दों के आधार पर सही शब्द खोजने के लिए अपनी पूरी लाइब्रेरी में सर्च इंजन चलाते हैं। यह शक्तिशाली है, लेकिन जैसे-जैसे आप अधिक पढ़ते हैं, आपकी लाइब्रेरी अनंत रूप से बड़ी होती जाती है। आप वास्तव में जो सीखा है उसे कभी "संक्षेप" (summarize) नहीं करते; आप बस चीज़ों को खोजते रहते हैं।
  2. डायरी दृष्टिकोण (रिकरेंट मॉडल्स): आप एक छोटी डायरी रखते हैं। हर दिन, आप समाचार पढ़ते हैं, जो हुआ उसका एक संक्षिप्त सारांश अपनी डायरी में लिखते हैं, और फिर केवल उस डायरी के आधार पर अगले दिन की प्रविष्टि (entry) लिखते हैं। चाहे आप कितने भी साल जी लें, आपकी डायरी का आकार समान रहता है।

समस्या: आधुनिक AI (ट्रांसफॉर्मर्स) "लाइब्रेरी दृष्टिकोण" का उपयोग करता है। यह अविश्वसनीय रूप से तेज़ और स्मार्ट है, लेकिन क्योंकि इसके पास सब कुछ एक छोटी डायरी में संक्षेप करने की आवश्यकता नहीं है, इसलिए यह अक्सर "शॉर्टकट" सीख लेता है। यह दुनिया के अंतर्निहित नियमों को वास्तव में समझे बिना, केवल ट्रेनिंग डेटा में विशिष्ट पैटर्न को याद कर सकता है। यह आगे की योजना बनाने या उन नई स्थितियों को संभालने में खराब होता है जिन्हें इसने पहले नहीं देखा है।

समाधान: नेक्स्ट-लेटेंट प्रेडिक्शन (NextLat)

शोधकर्ताओं ने नेक्स्ट-लेटेंट प्रेडिक्शन (NextLat) नामक एक नया प्रशिक्षण तरीका पेश किया है। इसे ऐसे समझें जैसे "लाइब्रेरी" वाले AI को किताबें पढ़ने का तरीका बदले बिना एक "डायरी" रखने के लिए मजबूर करना।

यह इस प्रकार काम करता है:

  1. मानक कार्य: AI अभी भी एक वाक्य में अगले शब्द का अनुमान लगाने की कोशिश करता है (जैसे सामान्य रूप से होता है)।
  2. नया तरीका: AI को यह भी अनुमान लगाने के लिए मजबूर किया जाता है कि अगला शब्द देखने से पहले, उसका अपना "आंतरिक विचार" (हिडन स्टेट) अगले चरण में क्या होगा।

उदाहरण: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं।

  • सामान्य AI: आप स्क्रीन देखते हैं, एक राक्षस देखते हैं, और हमला करने के लिए बटन दबाते हैं। फिर आप अगले कदम के लिए स्क्रीन को फिर से देखते हैं।
  • NextLat AI: आप स्क्रीन देखते हैं, और गेम के अपडेट होने से पहले ही सटीक भविष्यवाणी करते हैं कि आपके चरित्र का "आंतरक स्टेटस बार" (स्वास्थ्य, ऊर्जा, स्थिति) कैसे बदलेगा। आप केवल यह नहीं सीख रहे कि कौन सा बटन दबाना है, बल्कि आप गेम की दुनिया के "भौतिक विज्ञान" (physics) को सीख रहे हैं।

अगले "विचारों" (thoughts) की भविष्यवाणी करने के लिए मजबूर करके, यह AI को अपने द्वारा देखे गए पूरे इतिहास को एक संक्षिप्त, सुसंगत सारांश (बलीफ स्टेट) में संकुचित करने के लिए मजबूर करता है। यह केवल शब्दों के जुड़ाव की सूची के बजाय एक "वर्ल्ड मॉडल" (दुनिया का मानसिक मानचित्र) सीखता है।

उन्होंने क्या पाया?

पेपर का दावा है कि यह सरल तकनीक AI को चार विशिष्ट क्षेत्रों में बहुत स्मार्ट बनाती है:

1. बेहतर मानचित्र (वर्ल्ड मॉडलिंग)

  • परीक्षण: उन्होंने मैनहट्टन में टैक्सी यात्राओं पर AI को प्रशिक्षित किया।
  • परिणाम: एक सामान्य AI अगले सड़क के नाम की सटीक भविष्यवाणी कर सकता था लेकिन उसका "भ्रमित" (hallucinated) मानचित्र ऐसा था जहाँ सड़कें इमारतों के बीच से निकल रही थीं या लूप्स तर्कहीन थे। NextLat AI ने एक ऐसा मानचित्र सीखा जो वास्तव में मैनहट्टन जैसा दिखता था। वह समझ गया कि यदि आप बाएं मुड़ते हैं, तो अब आप एक अलग सड़क पर हैं, और उसने अपने स्थान को तार्किक रूप से ट्रैक रखा।

2. बेहतर गणित और तर्क (रीज़निंग)

  • परीक्षण: "काउंटडाउन" नामक एक पहेली जहाँ आपको एक लक्ष्य संख्या तक पहुँचने के लिए गणित का उपयोग करना होता है।
  • परिणाम: सामान्य AI अक्सर अंत में फंस जाते हैं और गलती करते हैं, लक्ष्य से मेल खाने के लिए गलत उत्तर को जबरदस्ती थोपने की कोशिश करते हैं। NextLat AI ने बेहतर योजना बनाई, जिससे वे भविष्य की योजना बना सके और "पछतावे वाले समझौतों" से बच सके, जिससे पहेली को अधिक सटीकता से हल किया जा सका।

3. बेहतर नेविगेशन (प्लानिंग)

  • परीक्षण: एक जटिल भूलभुलैया (Path-Star graph) के माध्यम से रास्ता खोजना।
  • परिणाम: सामान्य AI अक्सर ऐसे शॉर्टकट लेते हैं जो एक कदम के लिए अच्छे दिखते हैं लेकिन डेड एंड (बंद रास्ते) की ओर ले जाते हैं। NextLat AI ने काफी आगे तक देखा, पूरी संरचना को समझा, और लगभग 100% सफलता के साथ इसे हल किया।

4. तेज़ पढ़ना (लैंग्वेज मॉडलिंग)

  • परीक्षण: टेक्स्ट जेनरेट करना।
  • परिणाम: क्योंकि NextLat AI के पास भविष्य का एक अच्छा "मानसिक मॉडल" है, इसलिए यह उच्च विश्वास के साथ कई शब्द पहले ही अनुमान लगा सकता है। यह इसे "अनुमान" लगाने और तेज़ी से पढ़ने/लिखने की अनुमति देता है। पेपर का दावा है कि यह AI को टेक्स्ट जेनरेट करने में सामान्य मॉडल की तुलना में 3.3 गुना तेज़ बना सकता है।

यह विशेष क्यों है?

आमतौर पर, AI को बेहतर योजना बनाने के लिए सक्षम बनाने के लिए, आपको इसके आर्किटेक्चर को बदलना पड़ता है (इसे धीमा या अधिक जटिल बनाना) या इसे भारी मात्रा में डेटा पर प्रशिक्षित करना पड़ता है।

NextLat विशेष है क्योंकि:

  • यह एक "प्लग-इन" है: आपको AI को फिर से बनाने की आवश्यकता नहीं है। आप बस प्रशिक्षण के दौरान एक छोटा, सरल "सहायक" कार्य जोड़ देते हैं।
  • यह गति बनाए रखता है: यह AI अभी भी पहले की तरह ही तेज़ी से प्रशिक्षित और चलता है।
  • यह सैद्धांतिक रूप से सुदृढ़ है: गणित यह सिद्ध करता है कि यह विधि AI को एक "सफीशिएंट स्टैटिस्टिक" (sufficient statistic) बनाने के लिए मजबूर करती है—जो अतीत का एक आदर्श, संक्षिप्त सारांश है जिसकी भविष्य की भविष्यवाणी के लिए आवश्यकता होती है।

सारांश

पेपर का तर्क है कि ट्रांसफॉर्मर्स को उनके अपने भविष्य के "विचारों" (लेटेंट स्टेट्स) की भविष्यवाणी करना सिखाकर, हम उन्हें दुनिया का एक संक्षिप्त, तार्किक मानचित्र बनाने के लिए मजबूर करते हैं। यह उन्हें योजना बनाने, तर्क करने और जटिल संरचनाओं को समझने में बेहतर बनाता है, और साथ ही उन्हें चलाने में तेज़ भी बनाता है। यह एक छात्र को न केवल पाठ्यपुस्तक रटने, बल्कि अंतर्निहित सिद्धांतों को समझने के लिए शिक्षित करने जैसा है ताकि वे उन समस्याओं को हल कर सकें जिन्हें उन्होंने पहले कभी नहीं देखा है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →