🤖 machine learning

Language Modeling with Hyperspherical Flows

यह शोध पत्र $\mathbb{S}$ -FLM को प्रस्तुत करता है, जो एक हाइपरस्फेरिक लेटेंट फ्लो लैंग्वेज मॉडल है जो एक हाइपरस्फीयर पर वेक्टर रोटेशन के माध्यम से अनुक्रमों (sequences) को उत्पन्न करके पिछले फ्लो-आधारित दृष्टिकोणों की स्केलेबिलिटी और अर्थ संबंधी सीमाओं को दूर करता है, जिससे बड़े-शब्दावली वाले तर्क कार्यों (large-vocabulary reasoning tasks) पर प्रदर्शन में महत्वपूर्ण सुधार होता है और मास्क किए गए डिफ्यूजन मॉडल्स के साथ अंतर कम होता है।

मूल लेखक: Justin Deschenaux, Caglar Gulcehre

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Justin Deschenaux, Caglar Gulcehre

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: AI के साथ लिखने का एक नया तरीका

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना या गणित की समस्या हल करना सिखाने की कोशिश कर रहे हैं। वर्तमान में, सबसे अच्छे रोबोट (जिन्हें ऑटोरेग्रेसिव मॉडल कहा जाता है) एक व्यक्ति की तरह टाइपराइटर पर लिखते हैं: वे एक बार में एक अक्षर लिखते हैं, बाएं से दाएं। वे आगे नहीं देख सकते, और उन्हें अगला शब्द शुरू करने से पहले एक शब्द पूरा करना पड़ता है। यह धीमा है।

अन्य शोधकर्ताओं ने ऐसे रोबोट बनाने की कोशिश की जो पूरे वाक्य को एक साथ लिख सकें, जैसे एक चित्रकार कैनवास को भरता है। इन्हें डिफ्यूजन मॉडल कहा जाता है। हालांकि, टेक्स्ट के लिए इनके शुरुआती प्रयासों में दो बड़ी समस्याएं थीं:

वे बहुत भारी थे: उन्होंने हर शब्द को संख्याओं की एक विशाल, अलग सूची (जैसे एक विशाल स्प्रेडशीट) के रूप में माना, जिससे उन्हें प्रशिक्षित करना धीमा और महंगा हो गया।
वे भ्रमित हो जाते थे: जब वे एक अव्यवस्थित वाक्य को "साफ" करने की कोशिश करते थे, तो उन्हें समझ नहीं आता था कि किस दिशा में जाना है क्योंकि उनके द्वारा उपयोग किया जाने वाला गणित शब्दों के लिए तर्कसंगत नहीं था।

यह पेपर S-FLM (हाइपरस्फेरिकल फ्लो लैंग्वेज मॉडल) पेश करता है। यह रोबोट को लिखने सिखाने का एक नया तरीका है जो तेज़ है, हल्का है, और "शोर" (noise) से "अर्थ" (meaning) तक पहुँचने के मामले में अधिक समझदार है।

पुराने तरीके के साथ समस्या: "वन-हॉट" सूटकेस

कल्पना कीजिए कि आपके पास 50,000 शब्दों का शब्दकोश है।

पुराना तरीका (FLMs): "Cat" शब्द को दर्शाने के लिए, पुराने मॉडलों ने 50,000 स्लॉट वाला एक सूटकेस इस्तेमाल किया। उन्होंने "Cat" वाले स्लॉट में एक मार्बल रखा और बाकी 49,999 स्लॉट खाली छोड़ दिए। "Dog" को दर्शाने के लिए, वे मार्बल को "Dog" वाले स्लॉट में ले जाते थे।
- समस्या: हर एक शब्द के लिए 50,000 स्लॉट वाला सूटकेस ले जाना अविश्वसनीय रूप से भारी और धीमा है। साथ ही, गणितीय रूप से, इस प्रणाली में "Cat" और "Dog" उतने ही दूर हैं जितने "Cat" और "Zebra", जो कि तर्कसंगत नहीं है क्योंकि कुछ शब्द दूसरों की तुलना में अधिक समान होते हैं।

S-FLM समाधान: "हाइपरस्फीयर" डांस फ्लोर

लेखकों ने उन विशाल सूटकेसों का उपयोग करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने सभी शब्दों को एक विशाल, बहु-आयामी डांस फ्लोर (जिसे हाइपरस्फीयर कहा जाता है) पर रख दिया।

रूपक (Metaphor): एक विशाल गेंद की कल्पना करें जहाँ उसकी सतह पर प्रत्येक बिंदु एक शब्द का प्रतिनिधित्व करता है। "Cat" सतह पर एक बिंदु है। "Dog" पास का एक अन्य बिंदु है। "Zebra" उससे दूर है।
यह कैसे काम करता है: उस विशाल सूटकेस को ले जाने के बजाय, मॉडल बस इस गेंद पर एक एकल बिंदु को थामे रहता है। शब्द बदलने के लिए, वह मार्बल को बदलता नहीं है; बल्कि वह गेंद की सतह पर बिंदु को घुमाता (rotate) है।
यह बेहतर क्यों है:
- हल्का (Lightweight): अब आपको 50,000-स्लॉट वाले भारी सूटकेस की आवश्यकता नहीं है। आपको बस एक छोटा समन्वय तंत्र (जैसे अक्षांश और देशांतर) चाहिए जिससे आप बिंदु की स्थिति बता सकें। इससे प्रशिक्षण बहुत तेज़ और सस्ता हो जाता है।
- बेहतर गणित: इस डांस फ्लोर पर, बिंदुओं के बीच की दूरी स्वाभाविक रूप से शब्दों की समानता से मेल खाती है। "Cat" और "Dog" पास हैं; "Cat" और "Airplane" दूर हैं। यह टेक्स्ट को "साफ" करने के गणित को बहुत सहज बनाता है।

मॉडल कैसे सीखता है: "डिनोइजिंग" (Denoising) गेम

कल्पना कीजिए कि रोबोट "चित्र पहचानने" का खेल खेल रहा है।

सेटअप: आप रोबोट को एक "बिल्ली" की स्पष्ट तस्वीर दिखाते हैं।
शोर (Noise): आप धीरे-धीरे तस्वीर को धुंधला करते हैं जब तक कि वह स्टैटिक स्नो (रैंडम शोर) जैसा न दिखने लगे।
कार्य: रोबोट को उस स्टैटिक स्नो से सीखना होगा कि डांस फ्लोर पर बिंदु को कैसे घुमाना है ताकि वह वापस "बिल्ली" वाले स्थान पर पहुँच सके।

अतीत में, जब रोबोट शोर को ठीक करने की कोशिश करता था, तो वह कभी-कभी गलत दिशा में घूम जाता था क्योंकि "शोर" का कोई स्पष्ट अर्थ नहीं होता था।

S-FLM ट्रिक: क्योंकि मॉडल डांस फ्लोर (हाइपरस्फीयर) पर रहता है, यह शोर को वापस सही शब्द की ओर घुमाने (rotate) के लिए सीखता है, ठीक वैसे ही जैसे रेडियो स्टेशन ट्यून करने के लिए डायल घुमाया जाता है। यह एक विशिष्ट "वेलोसिटी फील्ड" सीखता है—एक मानचित्र कि सही शब्द तक पहुँचने के लिए किस दिशा में घूमना है।

गुप्त नुस्खा (Secret Sauce): शोर को कम करना

लेखकों ने इस खेल में "शोर" के बारे में कुछ दिलचस्प खोजा।

समस्या: यदि आप रोबोट को तब सुधारना सिखाते हैं जब तस्वीर लगभग साफ होती है (बहुत थोड़ा सा शोर बचा हो), तो रोबोट भ्रमित हो जाता है। यह घास के ढेर में सुई खोजने जैसा है जब घास का ढेर लगभग खाली हो; रोबोट ज़रूरत से ज़्यादा सोचने लगता है।
समाधान: लेखकों ने महसूस किया कि उन्हें रोबोट को तब सिखाना बंद कर देना चाहिए जब तस्वीर बहुत साफ हो। उन्होंने प्रशिक्षण को "ट्रंकेट" (truncate) किया, यानी वे केवल तब सिखाते हैं जब तस्वीर बहुत धुंधली होती है।
परिणाम: आसान, लगभग-साफ हिस्सों को अनदेखा करके, रोबोट कठिन पहेलियों को सुलझाने में बहुत बेहतर हो गया। इसने उन्हें गणितीय समस्याओं (GSM8K) और सुडोकू पहेलियों को पहले के प्रयासों की तुलना में बहुत बेहतर तरीके से हल करने में मदद की।

परिणाम: उन्होंने क्या हासिल किया?

पेपर ने इस नए रोबोट का तीन चीजों पर परीक्षण किया:

सुडोकू (Sudoku): इसने मौजूदा सर्वश्रेष्ठ मॉडलों के लगभग बराबर प्रदर्शन किया, लेकिन बहुत हल्के आर्किटेक्चर के साथ।
गणित की समस्याएँ (GSM8K): पिछले "फ्लो" मॉडल गणित में बहुत खराब थे (1% से भी कम सही)। S-FLM ने एक विशिष्ट डिकोडिंग ट्रिक (सबसे अच्छे पथ को चुनना) का उपयोग करके लगभग 18% सही उत्तर दिए। यह एक बड़ी छलांग है, हालांकि यह अभी भी बहुत अच्छे "टाइपराइटर" मॉडलों (जो ~63% प्राप्त करते हैं) से पीछे है।
कहानियाँ लिखना (OpenWebText): इसने टेक्स्ट को उतना ही अच्छा लिखा जितना कि मौजूदा सर्वश्रेष्ठ मॉडल, लेकिन इसने पुराने तरीकों के भारी बोझ के बिना ऐसा किया।

सारांश

S-FLM को एक रोबोट लेखक को एक भारी-भरकम निर्माण श्रमिक (शब्दों के विशाल सूटकेस ले जाने वाले) से एक कुशल नर्तक (एक गोले पर बिंदुओं को घुमाने वाले) में अपग्रेड करने के रूप में देखें।

यह प्रशिक्षित करने में तेज़ है क्योंकि यह हल्का है।
यह अधिक समझदार है क्योंकि गोले की ज्यामिति (geometry) शब्दों के संबंधों से मेल खाती है।
यह तर्क संबंधी कार्यों पर बेहतर काम करता है क्योंकि लेखकों ने ठीक से समझा कि रोबोट को कितने "शोर" के साथ अभ्यास करने की आवश्यकता है।

हालाँकि यह जटिल गणित के लिए सबसे बेहतरीन "टाइपराइटर" मॉडलों को अभी तक नहीं हरा पाया है, लेकिन यह साबित करता है कि यह नया "डांस फ्लोर" दृष्टिकोण AI लेखकों के अगले पीढ़ी के निर्माण के लिए एक शक्तिशाली और कुशल तरीका है।

तकनीकी सारांश: हाइपरस्फेरिकल फ्लो के साथ लैंग्वेज मॉडलिंग (S-FLM)

समस्या विवरण (Problem Statement)

ऑटोरेग्रेसिव (AR) मॉडल अपनी स्केलेबिलिटी और तेज़ लाइकलीहुड इवैल्यूएशन के कारण लैंग्वेज मॉडलिंग में हावी हैं, लेकिन वे इन्फरेंस के दौरान अनुक्रमिक जनरेशन (sequential generation) और द्विदिश संदर्भ (bidirectional context) की कमी से जूझते हैं। डिस्क्रीट डिफ्यूजन मॉडल समानांतर जनरेशन और द्विदिश संदर्भ प्रदान करते हैं, लेकिन वे ट्रैक्टेबिलिटी बाधाओं द्वारा सीमित हैं जो उन्हें फैक्टराइज्ड मार्जिनल्स से सैंपल करने के लिए मजबूर करती हैं, जिससे AR मॉडलों की तुलना में उनकी अभिव्यक्ति (expressiveness) कम हो जाती है।

हालिया फ्लो लैंग्वेज मॉडल्स (FLMs) निरंतर फ्लो को भाषा पर लागू करके इस अंतर को पाटने का प्रयास करते हैं, जो डेटा को एक नियतात्मक ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) के माध्यम से शोर (noise) से डेटा में रूपांतरित करते हैं। हालांकि, मौजूदा FLMs दो महत्वपूर्ण कमियों का सामना करते हैं:

कंप्यूटेशनल लागत: वे टोकन को $|V|$ (वोकैबुलरी आकार) आयाम के वन-हॉट वेक्टर्स के रूप में दर्शाते हैं। 100k–200k जैसे बड़े वोकैबुलरी के लिए, इसके लिए उच्च-आयामी वेक्टर्स को स्टोर और मैनिपुलेट करने की आवश्यकता होती है, जिससे प्रशिक्षण डिस्क्रीट डिफिफ्यूजन या AR मॉडलों की तुलना में काफी धीमा हो जाता है।
सिमेंटिक अस्पष्टता: वन-हॉट एम्बेडिंग्स में गॉसियन शोर जोड़ने का कोई स्पष्ट सिमेंटिक अर्थ नहीं है। छवियों के विपरीत, जहाँ शोर संरचना को धीरे-धीरे कम करता है, समदूरस्थ (equidistant) वन-हॉट एम्बेडिंग्स में गॉसियन शोर जोड़ने का कोई सहज ज्यामितीय अर्थ नहीं है।

कार्यप्रणाली (Methodology)

लेखक हाइपरस्फेरिकल फ्लो लैंग्वेज मॉडल (S-FLM) का प्रस्ताव करते हैं, जो एक यूनिट हाइपरस्फीयर $S^{d-1}$ पर परिभाषित एक रीमानियन फ्लो मॉडल है, न कि यूक्लिडियन स्पेस या डिस्क्रीट स्टेट स्पेस पर।

मुख्य तंत्र (Core Mechanics)

हाइपरस्फेरिकल लेटेंट स्पेस: वन-हॉट वेक्टर्स के बजाय, टोकन को यूनिट-नॉर्म एम्बेडिंग्स $\hat{e}_v \in S^{d-1}$ में मैप किया जाता है। फॉरवर्ड प्रोसेस गोलाकार लीनियर इंटरपोलेशन (SLERP) के माध्यम से स्वच्छ एम्बेडिंग्स को स्फीयर पर एक समान प्रायर (uniform prior) की ओर ले जाता है, न कि गॉसियन शोर के साथ लीनियर इंटरपोलेशन के माध्यम से।
रीमानियन फ्लो मैचिंग: मॉडल $S^{d-1}$ मैनिफोल्ड पर एक वेलोसिटी फील्ड $u_t$ सीखता है जो एक ODE को परिभाषित करता है। कंडीशनल वेलोसिटी को स्फीयर पर लॉगरिदमिक मैप का उपयोग करके व्युत्पन्न किया जाता है:
$u_{t|1}(z_t | z_1) = \frac{\dot{\alpha}_t}{1-\alpha_t} \log_{z_t}(z_1)$
जहाँ $z_1$ स्वच्छ एम्बेडिंग है और $z_t$ शोर वाला लेटेंट है।
प्रशिक्षण उद्देश्य (Training Objective): डैनोइज़र $p_\theta^{1|t}$ को शोर वाले लेटेंट $z_t$ के दिए जाने पर स्वच्छ टोकन $x_\ell$ की भविष्यवाणी करने के लिए क्रॉस-एन्ट्रॉपी (CE) का उपयोग करके प्रशिक्षित किया जाता है। यह उस ट्रिवियल मिनिममम को रोकता है जहाँ सभी एम्बेडिंग्स एक बिंदु पर कोलैप्स हो जाती हैं, जो कि लर्न करने योग्य एम्बेडिंग्स के विरुद्ध वेलोसिटीज को सीधे रिग्र्रेस करने का एक जोखिम है।
सैंपलिंग: इन्फरेंस के समय, मॉडल स्फीयर पर यूनिफॉर्म नॉइज़ से डेटा मैनिफोल्ड तक सीखे गए वेलोसिटी फील्ड को इंटीग्रेट करता है। वेलोसिटी फील्ड को प्रत्येक स्वच्छ एम्बेडिंग की ओर इशारा करने वाले टेंजेंट वेक्टर्स पर मार्जिनलाइज़ करके कंप्यूट किया जाता है, जो पोस्टीरियर $p_\theta^{1|t}$ $p_{θ}^{1∣ t}$ द्वारा भारित (weighted) होते हैं।
- एक्सैक्ट वेलोसिटी (Exact Velocity): पूरी वोकैबुलरी पर योग करता है (कंप्यूटेशनल रूप से महंगा)।
- टॉप-k वेलोसिटी (Top-k Velocity): सबसे संभावित शीर्ष- $k$ टोकन तक योग को सीमित करता है। टॉप-1 डिकोडिंग ग्रीडी डिकोडिंग के अनुरूप है।
- स्टोकेस्टिक डिकोडिंग (Stochastic Decoding): वेलोसिटी दिशा को परिभाषित करने के लिए पोस्टीरियर से एक एकल टोकन को सैंपल करता है।

आर्किटेक्चरल और ट्रेनिंग इनोवेशन

S-arch (हाइपरस्फेरिकल बैकबोन): एक ट्रांसफॉर्मर वेरिएंट जहाँ इंटरमीडिएट एक्टिवेशन्स को $S^{d-1}$ पर प्रतिबंधित किया जाता है। यह एडिटिव रेसिडुअल्स को नॉर्मलाइज्ड इंटरपोलेशन से बदल देता है और अटेंशन/MLP लेयर्स को रोटेशन के रूप में पैरामीटराइज़ करता है। यह आर्किटेक्चर को इनपुट मैनिफोल्ड के साथ संरेखित करता है, जिससे सैंपल क्वालिटी में सुधार होता है।
नॉइज़ शेड्यूल ट्रंकेशन (Noise Schedule Truncation): लेखक उच्च-आयामी ज्यामिति के आधार पर एक सैद्धांतिक बाउंड $\alpha^\star(\delta)$ व्युत्पन्न करते हैं। वे दिखाते हैं कि उच्च आयामों में, शोर का स्तर एक निश्चित थ्रेशोल्ड से नीचे गिरने पर पोस्टीरियर एक वन-हॉट डिस्ट्रीब्यूशन में कोलैप्स हो जाता है। ट्रेनिंग को इस बाउंड के ऊपर के शोर स्तरों तक ट्रंकेट किया जाता है ताकि ट्रिवियल डैनोइसिंग कार्यों से सीखना टाला जा सके।
एडाप्टिव नॉइज़ शेड्यूल (Adaptive Noise Schedule): InfoNoise से प्रेरित होकर, ट्रेनिंग शेड्यूल को उन शोर स्तरों पर अधिक सैंपल आवंटित करने के लिए अनुकूलित किया गया है जहाँ लॉस ग्रेडिएंट सबसे तीव्र होता है, जिससे ट्रेनिंग दक्षता में सुधार होता है।

प्रमुख योगदान (Key Contributions)

S-FLM फ्रेमवर्क: एक फ्लो-आधारित लैंग्वेज मॉडल जो $d$ -आयामी एम्बेडिंग्स पर हाइपरस्फीयर पर काम करता है, जो $|V|$ -आयामी वन-हॉट वेक्टर्स को बनाने की आवश्यकता को समाप्त करता है। यह प्रशिक्षण लागत को डिस्क्रीट डिफ्यूजन मॉडल्स के तुलनीय बना देता है।
S-arch बैकबोन: एक नवीन आर्किटेक्चर जो एक्टिवेशन्स को हाइपरस्फीयर पर बनाए रखता है, जिससे रीजनिंग टास्क (GSM8K) और लैंग्वेज मॉडलिंग (OpenWebText) पर मानक DiT बैकबोन की तुलना में बेहतर प्रदर्शन मिलता है।
थ्योरेटिकल नॉइज़ ट्रंकेशन: वोकैबुलरी साइज और एम्बेडिंग डायमेंशन के आधार पर नॉइज़ शेड्यूल को ट्रंकेट करने के लिए एक सिद्धांत आधारित ह्यूरिस्टिक, जो रीजनिंग टास्क पर प्रदर्शन में महत्वपूर्ण सुधार करता है।
प्रदर्शन लाभ (Performance Gains): S-FLM पिछले निरंतर फ्लो मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है। GSM8K पर, यह टॉप-1 डिकोडिंग के साथ ~18% सटीकता प्राप्त करता है (पिछले FLMs के <1% की तुलना में), जो स्टैंडर्ड टेम्परेचर ( $T=1$ ) पर मास्कड डिफ्यूजन मॉडल्स (MDLM, Duo) के अंतर को पाटता है।

प्रयोगात्मक परिणाम (Experimental Results)

सुडोकू रीजनिंग (Sudoku Reasoning): S-FLM पिछले FLMs और डिस्क्रीट डिफ्यूजन मॉडल्स (Duo) के तुलनीय प्रदर्शन प्राप्त करता है, जिसमें ट्रंकेशन और एडेप्टिव शेड्यूल्स का उपयोग करने पर आसान पहेलियों पर सर्वश्रेष्ठ निरंतर डिफ्यूजन परिणाम 94.8% सटीकता तक पहुँचते हैं।
GSM8K (गणितीय तर्क):
- पिछले निरंतर मॉडल्स (FLM, CANDI) ने <1% सटीकता प्राप्त की।
- S-FLM टॉप-1 डिकोडिंग के साथ 18.0% सटीकता तक पहुँचता है, जो $T=1$ पर MDLM और Duo के प्रदर्शन से मेल खाता है।
- लो-टेम्परेचर ( $T=0.1$ ) पर एक प्रदर्शन अंतराल बना हुआ है, जहाँ डिस्क्रीट मॉडल्स (Duo, MDLM) 33–36% तक पहुँचते हैं, जबकि S-FLM लगभग 18% पर स्थिर रहता है।
OpenWebText (लैंग्वेज मॉडलिंग): S-FLM उच्च NFE (Number of Function Evaluations) पर पिछले FLMs के जेनेरेटिव पर्प्लेक्सिटी (Gen. PPL) / एंट्रॉपी फ्रंटियर से मेल खाता है और कम NFE पर उन्हें पीछे छोड़ देता है, जहाँ पिछले निरंतर मॉडल अस्थिर फ्रंटियर प्रदर्शित करते थे।
प्रशिक्षण दक्षता (Training Efficiency): S-FLM, FLMs (जो वन-हॉट वेक्टर्स का उपयोग करते हैं) की तुलना में तेज़ी से प्रशिक्षित होता है और डिस्क्रीट डिफ्यूजन मॉडल्स की गति के तुल्य है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि S-FLM पिछले दृष्टिकोणों की स्केलेबिलिटी और सिमेंटिक इंटरप्रिटेशन समस्याओं को संबोधित करके निरंतर फ्लो लैंग्वेज मॉडल्स के लिए एक महत्वपूर्ण कदम है। हाइपरस्फीयर पर काम करके, मॉडल उच्च-आयामी वन-हॉट वेक्टर्स के कंप्यूटेशनल बॉटलनेक से बचता है और एक ज्यामितीय रूप से सुसंगत शोर इंजेक्शन तंत्र प्रदान करता है।

लेखक नोट करते हैं कि हालांकि S-FLM जेनेरेटिव पर्प्लेक्सिटी और रीजनिंग सटीकता के मामले में डिस्क्रीट डिफ्यूजन और AR मॉडल्स के अंतर को कम करता है, फिर भी लो-टेम्परेचर डिकोडिंग में एक बड़ा अंतर बना हुआ है। इस कार्य को एक मेथोडोलॉजिकल एडवांसमेंट के रूप में प्रस्तुत किया गया है जो निरंतर फ्लो मॉडल्स को बड़े-वोकैबुलरी लैंग्वेज मॉडलिंग के लिए अधिक व्यवहार्य बनाता है, हालांकि लेखक सत्यापन योग्य डोमेन में स्टेट-ऑफ-द-आर्ट ऑटोरेग्रेसिव मॉडल्स की तुलना में शेष प्रदर्शन अंतराल के प्रति विनम्र बने हुए हैं।