💬 NLP

GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models

GeoBlock एक प्रशिक्षण-मुक्त ढांचा है जो डिफ्यूजन लैंग्वेज मॉडल्स में अटेंशन-व्युत्पन्न डिपेंडेंसी ज्योमेट्री का विश्लेषण करके ब्लॉक ग्रैनुलैरिटी को गतिशील रूप से अनुकूलित करता है ताकि समानांतर डिकोडिंग दक्षता और ऑटोरेग्रेसिव विश्वसनीयता के बीच संतुलन बनाया जा सके।

मूल लेखक: Lipeng Wan, Junjie Ma, Jianhui Gu, Zeyang Liu, Xuyang Lu, Xuguang Lan

प्रकाशित 2026-03-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lipeng Wan, Junjie Ma, Jianhui Gu, Zeyang Liu, Xuyang Lu, Xuguang Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

AI लेखन के लिए "ट्रैफिक पुलिस": GeoBlock का परिचय

कल्पना कीजिए कि आप एक लंबी कहानी लिखने की कोशिश कर रहे हैं, लेकिन एक इंसान की तरह एक-एक शब्द लिखने के बजाय, आपके पास संपादकों की एक जादुई टीम है जो एक साथ कई शब्दों को ठीक कर सकती है। "डिफ्यूजन लैंग्वेज मॉडल्स" (Diffusion Language Models) इसी तरह काम करते हैं। वे शब्दों के एक उलझे हुए ढेर से शुरुआत करते हैं और धीरे-धीरे उन्हें एक आदर्श वाक्य में परिष्कृत करते हैं, वह भी समानांतर (parallel) रूप से।

हालाँकि, एक समस्या है: टीम एक समय में कितने शब्दों को ठीक करनी चाहिए?

यदि वे बहुत कम शब्द ठीक करते हैं: तो प्रक्रिया सुरक्षित है, लेकिन बहुत धीमी है।
यदि वे बहुत अधिक शब्द ठीक करते हैं: तो वे एक ऐसे शब्द को बदल सकते हैं जो किसी ऐसे शब्द पर निर्भर है जिसे उन्होंने अभी तक ठीक नहीं किया है, जिससे वाक्य का कोई अर्थ नहीं रह जाएगा (जैसे घर की दीवारें बनने से पहले उसकी छत पेंट करने की कोशिश करना)।

लंबे समय तक, AI शोधकर्ताओं ने एक "एक ही नियम सबके लिए" (one-size-fits-all) वाला नियम इस्तेमाल किया या इस आधार पर अनुमान लगाया कि AI किसी विशिष्ट शब्द के बारे में कितना "आत्मविश्वासी" महसूस करता है। लेकिन इस पेपर के लेखकों ने, GeoBlock के माध्यम से, महसूस किया कि असली उत्तर आत्मविश्वास के बारे में नहीं है—यह ज्यामिति (geometry - शब्दों के बीच के संबंधों का आकार) के बारे में है।

यहाँ उनके समाधान का सरल विवरण दिया गया है:

1. समस्या: "कठोर ब्लॉक" बनाम "बहती नदी"

एक वाक्य को एक नदी की तरह समझें।

कुछ हिस्से एक संकीरी, तेज़ बहती धारा की तरह होते हैं। यहाँ, पानी की हर बूंद (शब्द) पूरी तरह से अपने ठीक पहले वाले शब्द पर निर्भर करती है। आप आगे नहीं कूद सकते। यदि आप यहाँ एक साथ तीन शब्द ठीक करने की कोशिश करेंगे, तो आपकी नाव टकरा जाएगी। यह कारण संबंधी निर्भरता (causal dependency) है (जैसे गणित का सवाल: $2 + 2 = 4$ ; जब तक आप संख्याओं को नहीं जानते, आप उत्तर नहीं जान सकते)।
अन्य हिस्से एक चौड़ी, शांत झील की तरह होते हैं। यहाँ, पानी आपस में जुड़ा हुआ है। आप बिना क्रम की चिंता किए झील के एक पूरे हिस्से को एक साथ ठीक कर सकते हैं। यह अर्थपूर्ण सामंजस्य (semantic cohesion) है (जैसे विशेषणों की एक सूची: "बड़ी, लाल, चमकदार, तेज़ कार।" आप उन सभी विशेषणों को एक साथ ठीक कर सकते हैं)।

पुराने तरीकों ने पूरी नदी के साथ एक जैसा व्यवहार किया, या तो हर जगह धीरे चले या हर जगह तेज़। इससे अक्सर "संकीर्ण धारा" वाले हिस्सों में गलतियाँ हुईं या "चौड़ी झील" वाले हिस्सों में समय बर्बाद हुआ।

2. समाधान: GeoBlock (स्मार्ट ट्रैफिक पुलिस)

लेखकों ने GeoBlock बनाया है, जो AI की लेखन प्रक्रिया के लिए एक स्मार्ट ट्रैफिक पुलिस की तरह काम करता है। अनुमान लगाने के बजाय, GeoBlock शब्दों के बीच के संबंधों के मानचित्र (जिसे "अटेंशन ज्योमेट्री" कहा जाता है) को देखता है।

यह कैसे काम करता है, एक सरल उदाहरण के साथ:

"ग्रुप हग" (Group Hug) टेस्ट

कल्पना कीजिए कि AI यह तय करने की कोशिश कर रहा है कि क्या वह शब्दों के एक समूह (एक "ब्लॉक") को एक साथ ठीक कर सकता है। GeoBlock उस समूह के बारे में तीन प्रश्न पूछता है:

क्या वे एक साथ जुड़े हुए हैं? (आंतरिक जुड़ाव - Internal Coupling)
- उदाहरण: क्या ये शब्द मजबूती से हाथ पकड़े हुए हैं? यदि समूह के भीतर के शब्द एक-दूसरे से मजबूती से जुड़े हैं, तो उन्हें एक साथ ठीक करना सुरक्षित है।
क्या वे अतीत से बंधे हैं? (अतीत की शर्त - Past Conditioning)
- उदाहरण: क्या यह समूह उन शब्दों से मजबूती से बंधा है जिन्हें हम पहले ही पूरा कर चुके हैं? यदि हाँ, तो वे स्थिर हैं।
क्या वे भविष्य की ओर देख रहे हैं? (भविष्य का रिसाव - Future Leakage)
- उदाहरण: क्या ये शब्द आगे देख रहे हैं और कह रहे हैं, "रुको, मैं अभी ठीक नहीं हो सकता क्योंकि मुझे आगे क्या होने वाला है यह जानने की ज़रूरत है"? यदि समूह बहुत दूर के अधूरे भविष्य की ओर बढ़ रहा है, तो GeoBlock कहता है, "रुक जाओ! इस समूह को छोटे टुकड़ों में तोड़ दो।"

3. यह कैसे निर्णय लेता है (द "राइट-शिफ्ट" नियम)

GeoBlock टेक्स्ट को स्कैन करता है और हर संभावित समूह के आकार के लिए एक "स्थिरता स्कोर" (Stability Score) की गणना करता है।

यदि किसी समूह का स्कोर उच्च है (मजबूत आंतरिक बंधन, भविष्य की ओर खिंचाव नहीं), तो यह ग्रीन लाइट है।
यदि स्कोर गिरता है (क्योंकि समूह भविष्य की ओर बढ़ रहा है), तो यह रेड लाइट है।

चतुर तकनीक: GeoBlock केवल परफेक्ट स्थान नहीं चुनता। यह उस सबसे बड़े संभव समूह की तलाश करता है जो अभी भी सुरक्षित है। यह एक "राइट-शिफ्ट" (Right-Shift) नियम का उपयोग करता है: यदि एक समूह 95% सुरक्षित है, तो यह अधिक गति प्राप्त करने के लिए समूह को थोड़ा और आगे बढ़ाएगा, लेकिन यह असुरक्षित होने से पहले रुक जाएगा।

4. यह क्यों महत्वपूर्ण है (परिणाम)

इस "ज्यामिति" दृष्टिकोण का उपयोग करके, GeoBlock एक आदर्श संतुलन प्राप्त करता है:

जटिल, तार्किक भागों में (जैसे गणित या कोडिंग), यह एक सख्त शिक्षक की तरह काम करता है, सटीकता सुनिश्चित करने के लिए शब्दों को एक-एक करके या छोटे समूहों में ठीक करता है।
वर्णनात्मक, आसान भागों में (जैसे कहानी सुनाना या सूचियाँ), यह एक स्पीड डेमन (तेज़ रफ्तार) की तरह काम करता है, टेक्स्ट के बड़े हिस्सों को एक साथ ठीक करता है।

परिणाम:

तेज़: यह कार्यों को तेज़ी से पूरा करता है क्योंकि यह वहां सावधानी बरतने में समय बर्बाद नहीं करता जहाँ इसकी आवश्यकता नहीं है।
स्मार्ट: यह कम गलतियाँ करता है क्योंकि यह कठिन हिस्सों में खुद से आगे नहीं निकल जाता।
कोई प्रशिक्षण आवश्यक नहीं: सबसे अच्छी बात? आपको AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस इस "ट्रैफिक पुलिस" को मौजूदा सिस्टम में जोड़ सकते हैं, और यह तुरंत काम करने लगता है।

सारांश

GeoBlock ऐसा है जैसे AI को एक्स-रे चश्मे दे दिए गए हों। यह अंदाजे से यह अनुमान लगाने के बजाय कि वह कितनी तेज़ी से लिख सकता है, शब्दों के बीच के अदृश्य संबंधों के जाल को देखता है। इसे पता है कि कब तेज़ होना है और कब धीमा होना है, जिससे यह सुनिश्चित होता है कि AI अपने पैरों में उलझे बिना तेज़ी से लिखे।

यहाँ शोध पत्र "GeoBlock: Inferring Block Granularity from Dependency Geometry in Diffusion Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन लैंग्वेज मॉडल्स (DiffLMs) ऑटोरिग्रेसिव (AR) जनरेशन के विकल्प के रूप में समानांतर टोकन रिफाइनमेंट (parallel token refinement) को सक्षम करते हैं। ब्लॉक डिफ्यूजन (Block diffusion) इसे निरंतर टोकन ब्लॉक्स को समानांतर में अपडेट करके और ब्लॉक्स के बीच कॉज़ल ऑर्डरिंग (causal ordering) बनाए रखते हुए आगे बढ़ाता है। हालाँकि, एक महत्वपूर्ण बाधा मौजूद है: ब्लॉक आकार का चयन (block size selection)।

वर्तमान सीमाएँ: मौजूदा रणनीतियाँ निश्चित शेड्यूल्स या ह्यूरिस्टिक संकेतों (जैसे टोकन कॉन्फिडेंस, एंट्रॉपी, या वोलैटिलिटी) पर निर्भर करती हैं। ये विधियाँ ब्लॉक आकार को एक हाइपरपैरामीटर या स्थानीय अनिश्चितता के फलन (function) के रूप में मानती हैं।
मुख्य मुद्दा: ये ह्यूरिस्टिक्स टेक्स्ट की डिपेंडेंसी ज्योमेट्री (dependency geometry) को ध्यान में रखने में विफल रहते हैं।
- कॉज़ल क्षेत्र (Causal Regions): कुछ टेक्स्ट सेगमेंट में मजबूत अनुक्रमिक निर्भरताएँ होती हैं (जैसे तार्किक तर्क के चरण), जिनमें छोटे, क्रमिक अपडेट की आवश्यकता होती है।
- पैरलेल क्षेत्र (Parallel Regions): अन्य सेगमेंट अर्थपूर्ण रूप से सुसंगत होते हैं जिनमें सघन आपसी अंतःक्रियाएँ होती हैं, जो बड़े समानांतर अपडेट की अनुमति देते हैं।
अंतराल (The Gap): यूनिफॉर्म या कॉन्फिडेंस-आधारित ब्लॉक आकार का उपयोग करने से अक्सर कॉज़ल क्षेत्रों में समयपूर्व रिफाइनमेंट (premature refinement) (जिससे त्रुटियाँ होती हैं) या समानांतर क्षेत्रों में अक्षम छोटे अपडेट हो सकते हैं। शोध पत्र का तर्क है कि ब्लॉक ग्रैनुलैरिटी (granularity) टोकन की व्यक्तिगत अनिश्चितता के बजाय उनके अंतर्निहित संरचनात्मक निर्भरता द्वारा निर्धारित होनी चाहिए।

2. कार्यप्रणाली: GeoBlock

लेखक GeoBlock का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री (training-free), ज्योमेट्री-अवेयर फ्रेमवर्क है जो मॉडल के आंतरिक अटेंशन पैटर्न के आधार पर डिकोडिंग के दौरान डायनेमिक रूप से ब्लॉक सीमाओं का अनुमान लगाता है।

A. सैद्धांतिक आधार: डिपेंडेंसी ज्योमेट्री (Dependency Geometry)

GeoBlock डिकोडिंग प्रक्रिया को डिपेंडेंसी ज्योमेट्री के लेंस से देखता है। यह प्रतिपादित करता है कि समानांतर रिफाइनमेंट के लिए एक वैध ब्लॉक एक स्व-निहित निर्भरता इकाई (self-contained dependency unit) होनी चाहिए।

मजबूत आंतरिक जुड़ाव (Strong Internal Coupling): ब्लॉक के भीतर के टोकन एक-दूसरे पर भारी निर्भर होने चाहिए।
पास्ट एंकरिंग (Past Anchoring): टोकन पहले से हल हो चुके इतिहास (history) पर आधारित होने चाहिए।
न्यूनतम फ्यूचर लीकेज (Minimal Future Leakage): टोकन अनसुलझे भविष्य के टोकनों पर अत्यधिक निर्भर नहीं होने चाहिए।

B. एल्गोरिदम

GeoBlock एक "फ्रंटियर" स्थिति $y$ पर कार्य करता है (जहाँ टोकन $1:y$ आंशिक रूप से रिफाइंड हैं और $y+1:L$ मास्क किए गए हैं)। यह एक कैंडिडेट ब्लॉक $C = \{x+1, \dots, y\}$ को परिभाषित करने के लिए कैंडिडेट स्प्लिट पॉइंट्स $x < y$ का मूल्यांकन करता है।

डिपेंडेंसी प्रॉक्सी के रूप में अटेंशन: यह विधि निर्भरता संरचना के अवलोकन योग्य प्रॉक्सी के रूप में मॉडल के सेल्फ-अटेंशन मैट्रिक्स $A$ का उपयोग करती है।
फ्यूज्ड अटेंशन (Fused Attention): मजबूती सुनिश्चित करने के लिए, GeoBlock चयनित लेयर्स और हेड्स (आमतौर पर मिड-टू-हाई सिमेंटिक लेयर्स) से अटेंशन को एक एकीकृत अटेंशन मैप में एकत्रित करता है।
क्लोजर स्कोर गणना (Closure Score Calculation): एक कैंडिडेट ब्लॉक $C$ के लिए, यह संचित अटेंशन मास के आधार पर तीन मेट्रिक्स की गणना करता है:
- $S_{C \to C}$ : ब्लॉक के भीतर आंतरिक जुड़ाव।
- $S_{C \to H}$ : इतिहास (अतीत) पर निर्भरता।
- $S_{C \to F}$ : भविष्य (अनसुलझे टोकन) के प्रति निर्भरता का रिसाव (leakage)।
क्लोजर स्कोर को इस प्रकार परिभाषित किया गया है:
$\text{Score}(x) = \frac{S_{C \to C} + \alpha S_{C \to H}}{S_{C \to C} + \alpha S_{C \to H} + S_{C \to F}}$
जहाँ $\alpha$ आंतरिक सामंजस्य और पास्ट एंकरिंग के बीच संतुलन बनाता है। एक उच्च स्कोर इंगित करता है कि ब्लॉक संरचनात्मक रूप से स्व-निहित है और संयुक्त रूप से अपडेट करने के लिए सुरक्षित है।
बाउंड्री सिलेक्शन (राइट-शिफ्ट नियम): सख्त अधिकतम स्कोर चुनने के बजाय (जो शोर के कारण बहुत रूढ़िवादी हो सकता है), GeoBlock सबसे दाहिने (rightmost) कैंडिडेट बाउंड्री $x^*$ को चुनता है जहाँ $\text{Score}(x^*) \geq \text{Score}_{\max} - \delta$ हो। यह इष्टतम संरचनात्मक स्थिरता की सहनशीलता के भीतर रहते हुए अधिकतम समानांतरता (parallelism) की अनुमति देता है।

C. कम्प्यूटेशनल दक्षता

ट्रेनिंग-फ्री: इसके लिए किसी अतिरिक्त मॉडल ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता नहीं है।
जीरो फॉरवर्ड पास ओवरहेड: यह मानक डिकोडिंग चरण के दौरान पहले से ही गणना किए गए अटेंशन मैट्रिसेस पर पूरी तरह से कार्य करता है।
लीनियर कॉम्प्लेक्सिटी: निर्भरता गणनाएँ एक सीमित फ्रंटियर विंडो के भीतर की जाती हैं, जिससे नगण्य कम्प्यूटेशनल लागत (लगभग 11% अतिरिक्त NFE) जुड़ती है।

3. मुख्य योगदान

स्ट्रक्चरल-जियोमेट्रिक परिप्रेक्ष्य: ब्लॉक डिफ्यूजन डिकोडिंग को केवल एक ह्यूरिस्टिक शेड्यूलिंग समस्या से बदलकर डिपेंडेंसी ज्योमेट्री पर आधारित एक स्ट्रक्चरल इन्फरेंस समस्या के रूप में पुनर्गठित करता है।
GeoBlock फ्रेमवर्क: अटेंशन-व्युत्पन्न निर्भरता संरचनाओं से सीधे एडेप्टिव ब्लॉक बाउंड्रीज को अनुमानित करने के लिए एक नया, ट्रेनिंग-फ्री तरीका पेश करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करता है कि कॉन्फिडेंस-आधारित ह्यूरिस्टिक्स की तुलना में डिपेंडेंसी ज्योमेट्री ब्लॉक चयन के लिए एक बेहतर सिद्धांत है, जो स्टेट-ऑफ-द-आर्ट सटीकता-दक्षता ट्रेड-ऑफ प्राप्त करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने LLaDA-1.5 और Dream-v0-Base-7B पर चार बेंचमार्क: GSM8K (मैथ), MATH, IFEval (इंस्ट्रक्शन फॉलोइंग), HumanEval, और MBPP (कोड) पर GeoBlock का मूल्यांकन किया।

सटीकता बनाम दक्षता (Accuracy vs. Efficiency): GeoBlock ने वैनिला फिक्स्ड-ब्लॉक डिकोडिंग और डायनेमिक कॉन्फिडेंस-आधारित बेसलाइन्स (जैसे AdaBlock) को लगातार पछाड़ दिया।
- GSM8K और IFEval पर, GeoBlock ने तुलनीय या थोड़े बढ़े हुए NFE के साथ उच्चतम सटीकता प्राप्त की।
- HumanEval और MBPP पर, इसने प्रतिस्पर्धी या बेहतर प्रदर्शन दिखाया, विशेष रूप से मध्यम ब्लॉक साइज के शासन (regimes) में जहाँ विश्वसनीय मल्टी-टोकन कमिटमेंट महत्वपूर्ण होता है।
ब्लॉक साइज डायनेमिक्स: GeoBlock ने कार्य के अनुसार अनुकूलित होते हुए औसतन 13–19 टोकन के बीच ब्लॉक साइज का स्वाभाविक रूप से अनुमान लगाया। इसने तर्क-प्रधान अनुक्रमों में छोटे ब्लॉक और अर्थपूर्ण रूप से सुसंगत क्षेत्रों में बड़े ब्लॉक बनाए।
एब्लेशन स्टडीज (Ablation Studies):
- एंकरिंग ( $\alpha$ ): स्थिरता के लिए पास्ट कंडीशनिंग ( $\alpha > 0$ ) को शामिल करना महत्वपूर्ण था।
- टॉलरेंस ( $\delta$ ): एक मध्यम राइट-शिफ्ट टॉलरेंस ( $\delta=0.1$ ) ने सबसे अच्छा ट्रेड-ऑफ प्रदान किया, जिससे संरचनात्मक स्थिरता से समझौता किए बिना ब्लॉक विस्तार संभव हुआ।
- लेयर सिलेक्शन: मिड-टू-हाई सिमेंटिक लेयर्स ने सबसे विश्वसनीय डिपेंडेंसी सिग्नल प्रदान किए।

5. महत्व और प्रभाव

पैराडाइम शिफ्ट: यह क्षेत्र को ब्लॉक आकार को एक स्थिर हाइपरपैरामीटर या टोकन अनिश्चितता के फलन के रूप में मानने के बजाय, एक स्ट्रक्चर-अवेयर (structure-aware) दृष्टिकोण की ओर ले जाता है।
विश्वसनीयता: भाषा की कॉज़ल ज्योमेट्री का सम्मान करके, GeoBlock "समयपूर्व रिफाइनमेंट" त्रुटियों को रोकता है जो डिफ्यूजन मॉडल्स में आम हैं, जिससे वे जटिल तर्क कार्यों के लिए अधिक व्यवहार्य बनते हैं।
व्यावहारिकता: एक ट्रेनिंग-फ्री, ड्रॉप-इन रिप्लेसमेंट के रूप में, यह आर्किटेक्चरल बदलावों के बिना डिफ्यूजन लैंग्वेज मॉडल्स की दक्षता और गुणवत्ता में सुधार करने का एक तत्काल मार्ग प्रदान करता है।

संक्षेप में, GeoBlock सिद्ध करता है कि टोकन निर्भरताओं की "ज्योमेट्री", जिसे अटेंशन मैकेनिज्म के माध्यम से देखा जा सकता है, डिफ्यूजन लैंग्वेज मॉडल्स में कुशल और सटीक समानांतर डिकोडिंग को अनलॉक करने की कुंजी है।