🤖 machine learning

Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models

यह शोध पत्र सेल्फ-अवेयर शेड्यूलिंग (SAS) प्रस्तुत करता है, जो एक सिद्धांतगत ढांचा है जो डिकोडिंग मिसमैच (decoding mismatch) पर एक सुलभ ऊपरी सीमा (tractable upper bound) प्राप्त करके एक हल्के नीति (lightweight policy) को प्रशिक्षित करता है ताकि मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स में टोकन अनमास्किंग क्रम को अनुकूलित किया जा सके, जिससे सुडोकू और गणितीय तर्क जैसे कार्यों पर ह्यूरिस्टिक शेड्यूल्स की तुलना में जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: रोबोट कैसे "सोचता" है, यह मायने रखता है

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन आप डिब्बे पर बनी तस्वीर को नहीं देख सकते। आपको अंदाजा लगाना होगा कि हर टुकड़ा कहाँ जाएगा।

अधिकांश AI मॉडल (जैसे वे जो निबंध या कोड लिखते हैं) एक किताब पढ़ने वाले व्यक्ति की तरह काम करते हैं: वे एक शब्द लिखते हैं, फिर अगला, फिर अगला, एक सीधी रेखा में बाएं से दाएं। इसे ऑटोरेग्रेसिव (Autoregressive) जनरेशन कहा जाता है।

हालाँकि, एक नया प्रकार का AI जिसे डिफ्यूजन मॉडल (Diffusion Model) कहा जाता है, अलग तरह से काम करता है। कल्पना कीजिए कि आपके पास एक पहेली है जहाँ हर टुकड़े को एक काले वर्ग (एक "मास्क") से ढका गया है। AI का काम इन टुकड़ों को एक-एक करके तब तक उजागर करना है जब तक कि पूरी तस्वीर सामने न आ जाए।

समस्या: AI के पास एक विकल्प होता है। वह टुकड़ों को किसी भी क्रम में उजागर कर सकता है।

वह कोने के टुकड़ों से शुरू कर सकता है (आसान)।
वह बीच के टुकड़ों से शुरू कर सकता है (कठिन)।
वह बस यादृच्छिक (randomly) रूप से टुकड़े चुन सकता है।

अतीत में, वैज्ञानिकों ने AI को सरल नियमों के आधार पर टुकड़े चुनने के लिए कहा, जैसे "हमेशा उस टुकड़े को चुनें जो अभी सबसे अधिक निश्चित दिख रहा है।" शोध पत्र इन नियमों को ह्यूरिस्टिक शेड्यूल्स (Heuristic Schedules) कहता है। लेखक तर्क देते हैं कि ये नियम "मायोपिक" (दूरदर्शिता की कमी वाले) हैं। वे पहले आसान टुकड़ों को चुनते हैं, लेकिन इससे बाद में पहेली को हल करना और भी कठिन हो सकता है।

समाधान: "सेल्फ-अवेयर शेड्यूलिंग" (SAS)

लेखकों ने एक नई विधि बनाई जिसे सेल्फ-अवेयर शेड्यूलिंग (Self-Aware Scheduling - SAS) कहा जाता है। एक कठोर नियम का पालन करने के बजाय, AI अपना स्वयं का "सोचने का क्रम" सीखता है।

इसे एक छात्र द्वारा परीक्षा देने के समान समझें:

पुराना तरीका (Heuristic): छात्र परीक्षा को देखता है और तुरंत उन सभी प्रश्नों के उत्तर देता है जिनके बारे में वह 100% सुनिश्चित है, कठिन प्रश्नों को अंत के लिए छोड़ देता है। यदि आसान प्रश्न कठिन प्रश्नों के लिए पर्याप्त संकेत नहीं देते हैं, तो वे फंस जाते हैं।
SAS तरीका: छात्र पूरी परीक्षा को देखता है और पूछता है, "यदि मैं पहले प्रश्न 5 का उत्तर देता हूँ, तो क्या यह मुझे प्रश्न 10 को हल करने के लिए आवश्यक संकेत देगा?" छात्र उस प्रश्न को चुनना सीखता है जो बाकी परीक्षा को पूरा करना सबसे आसान बना देता है, भले ही वह प्रश्न अभी हल करने के लिए सबसे आसान न हो।

यह कैसे काम करता है (इसका "सीक्रेट सॉस")

पेपर में कुछ जटिल गणित का उपयोग किया गया है, लेकिन अवधारणा सरल है:

"सेल्फ-अवेयर" रिवॉर्ड: AI के पास एक "मस्तिष्क" (मॉडल) है जो पहले से प्रशिक्षित है। नया हिस्सा एक "मैनेजर" (पॉलिसी) है जो क्रम तय करता है।
परीक्षण: मैनेजर पहेली को उजागर करने के विभिन्न क्रमों को आजमाता है।
स्कोर: अंत तक प्रतीक्षा करने के बजाय कि पहेली हल हुई या नहीं (जो धीमा और दुर्लभ है), मैनेजर यह जाँचता है: "मेरे द्वारा चुने गए क्रम के आधार पर मेरा मस्तिष्क अभी उत्तर को कितनी अच्छी तरह समझा पा रहा है?"
- यदि क्रम मस्तिष्क को आत्मविश्वासी और तार्किक बनाता है, तो मैनेजर को उच्च स्कोर मिलता है।
- यदि क्रम मस्तिष्क को भ्रमित करता है, तो स्कोर कम होता है।
सीखना: मैनेजर इस स्कोर का उपयोग यह सीखने के लिए करता है कि कौन से क्रम सबसे अच्छा काम करते हैं। यह एक कोच की तरह है जो खिलाड़ी से कहता है, "सिर्फ तेज़ मत दौड़ो; उस दिशा में दौड़ो जो पूरी टीम को जिताने में मदद करे।"

उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने तीन अलग-अलग प्रकार की पहेलियों पर इसका परीक्षण किया:

सुडोकू (तर्क पहेलियाँ):
- उन्होंने 1-बिलियन-पैरामीटर वाले AI का उपयोग किया।
- पुराना तरीका: सबसे अच्छा "नियम-आधारित" तरीका लगभग 82% पहेलियों को हल कर सका।
- SAS तरीका: AI ने अपना क्रम सीखा और 91.8% पहेलियों को हल किया।
- आश्चर्य: एक मानव विशेषज्ञ का "तार्किक" क्रम (सबसे पहले आसान नंबरों को हल करना) भी उस क्रम से खराब था जो AI ने सीखा था! AI ने एक अलग रास्ता खोजा जो उसके विशिष्ट "मस्तिष्क" के लिए बेहतर काम करता था।
गणित की समस्याएँ (GSM8K):
- उन्होंने 8 बिलियन पैरामीटर वाले बड़े AI का उपयोग किया।
- पुराना तरीका: समस्याओं को 64% सही ढंग से हल किया।
- SAS तरीका: 76% समस्याओं को सही ढंग से हल किया।
कोडिंग (MBPP):
- पुराना तरीका: समस्याओं का 39.5% हल किया।
- SAS तरीका: 41% हल किया।

"सेकंड स्टेज" बोनस

पेपर में यह भी पाया गया कि एक बार जब AI सोचने का सबसे अच्छा क्रम सीख लेता है, तो आप AI को विशेष रूप से उस पथ पर थोड़ा अतिरिक्त प्रशिक्षण दे सकते हैं।

यह एक संगीतकार की तरह है जो एक गाने का अभ्यास करने का सबसे अच्छा तरीका सीखता है, और फिर उसे मास्टर करने के लिए केवल उसी तरीके का अभ्यास करता है।
सुडोकू पर, इस अतिरिक्त चरण ने सटीकता को 91.8% से बढ़ाकर 97.5% कर दिया।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि AI कैसे सोचता है (सूचना को प्रकट करने का क्रम) उतना ही महत्वपूर्ण है जितना कि वह क्या जानता है। AI को उसके सोचने के पथ की योजना बनाने के लिए सिखाकर, न कि उसे एक कठोर नियम का पालन करने के लिए मजबूर करके, हम इसे गणित, तर्क और कोडिंग जैसी जटिल समस्याओं को हल करने में बहुत अधिक स्मार्ट बना सकते हैं।

संक्षेप में: यह पेपर AI को केवल "अगले शब्द का अनुमान लगाने" के बजाय "उत्तर के लिए सबसे अच्छे पथ की योजना बनाना" सिखाता है।

तकनीकी सारांश: शेड्यूलिंग संबंधी विचार (SAS)

1. समस्या विवरण

मास्क्ड डिफ्यूजन मॉडल्स (MDMs) डिस्क्रीट सीक्वेंस को बार-बार अनमास्किंग (unmasking) के माध्यम से जेनरेट करते हैं, जो ऑटोरिग्रेसिव मॉडल्स के फिक्स्ड लेफ्ट-टू-राइट फैक्टराइजेशन (left-to-right factorization) का एक लचीला विकल्प प्रदान करता है। हालाँकि, यह लचीलापन एक महत्वपूर्ण स्वतंत्रता (degree of freedom) पेश करता है: विचारों का क्रम (the order of thought - अनमास्किंग शेड्यूल)।

वर्तमान दृष्टिकोण ह्यूरिस्टिक शेड्यूल्स (जैसे, स्थानीय विश्वास, मार्जिन या एंट्रॉपी के आधार पर टोकन चुनना) पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये ह्यूरिस्टिक्स "मायोपिक" (myopic - अदूरदर्शी) हैं: वे वैश्विक डिकोडिंग प्रक्षेपवक्र (global decoding trajectory) के बजाय केवल अगले तत्काल चरण को अनुकूलित करते हैं। फलस्वरूप, वे अक्सर ऐसे "आसान" टोकन चुनते हैं जो स्थानीय रूप से तो निश्चित होते हैं, लेकिन भविष्य के चरणों के लिए बाधाओं (constraints) को प्रभावी ढंग से प्रसारित करने में विफल रहते हैं। इसके अलावा, विशेषज्ञ-डिजाइन किए गए तार्किक क्रम (जैसे, मानव सुडोकू हल करने की रणनीतियाँ) भी एक विशिष्ट प्री-ट्रेन्ड डिफ्यूजन मॉडल के लिए उप-इष्टतम (suboptimal) हो सकते हैं, क्योंकि मॉडल के कंडीशनल प्रेडिक्शन उन पथों पर अधिक विश्वसनीय हो सकते हैं जो मानव तर्क से भिन्न हों।

मुख्य समस्या एक इष्टतम अनमास्किंग ऑर्डर को सीखने की है जो बेस डिफ्यूजन मॉडल को फिर से प्रशिक्षित किए बिना जनरेशन की गुणवत्ता को अधिकतम करता है, जो $n!$ संभावित ऑर्डर्स के ऊपर सर्च करने की जटिलता (intractability) को संबोधित करता है।

2. कार्यप्रणाली: सेल्फ-अवेयर शेड्यूलिंग (SAS)

यह पेपर सेल्फ-अवेयर शेड्यूलिंग (SAS) प्रस्तावित करता है, जो एक हल्का ऑर्डर पॉलिसी ( $v_\phi$ ) सीखता है, जबकि बेस डिफ्यूजन मॉडल ( $p_\theta$ ) को फ्रीज (frozen) रखा जाता है।

सैद्धांतिक आधार

लेखक डिफ्यूजन डिकोडिंग को एक लेटेंट-ऑर्डर जेनेरेटिव प्रोसेस के रूप में फ्रेम करते हैं। उनका लक्ष्य वास्तविक डेटा वितरण $\pi(x)$ और डिकोडिंग प्रक्रिया द्वारा प्रेरित वितरण $P^{seq}_{\theta,\phi}(x)$ के बीच क्लैब-लिबलर (Kullback–Leibler - KL) डाइवर्जेंस को कम करना है।

इंट्रैक्टेबिलिटी (Intractability): इस KL डाइवर्जेंस को सीधे कम करना कठिन है क्योंकि इसमें सभी $n!$ डिकोडिंग ऑर्डर्स का औसत लेना आवश्यक है।
ट्रैक्टेबल बाउंड (Tractable Bound): लेखक इस मिसमैच पर एक ट्रैक्टेबल अपर बाउंड प्राप्त करते हैं। वे दिखाते हैं कि KL डाइवर्जेंस को कम करना, डेटा-पॉलिसी जॉइंट डिस्ट्रीब्यूशन और मॉडल-पॉलिसी जॉइंट डिस्ट्रीब्यूशन के बीच एक जॉइंट KL मिसमैच को कम करने के समतुल्य है।
सेल्फ-अवेयर रिवॉर्ड: यह व्युत्पत्ति एक सघन (dense), मॉडल-सेल्फ-अवेयर रिवॉर्ड फंक्शन प्रदान करती है जो फ्रीज किए गए डिनोइज़र के तहत टारगेट सीक्वेंस का पाथवाइज लॉग-लाइक्लीहुड (pathwise log-likelihood) है:
$R_\theta(x, \sigma) = \log p_\theta(x | \sigma) = \sum_{t=1}^n \log p_{i_t}^\theta(x_{i_t} | \tilde{x}^{(t-1)}(\sigma))$
यह रिवॉर्ड प्रत्येक रिवील निर्णय को इस आधार पर क्रेडिट देता है कि यदि मॉडल को उस विशिष्ट क्रम में टोकन दिखाने के लिए मजबूर किया जाए, तो वह डेटा की कितनी अच्छी तरह व्याख्या कर सकता है।

एल्गोरिदम

पॉलिसी पैरामीट्राइजेशन: ऑर्डर पॉलिसी $v_\phi$ एक हल्का न्यूरल नेटवर्क (जैसे, MLP या ट्रांसफॉर्मर) है जो वर्तमान में मास्क किए गए स्थानों पर एक कैटेगोरिकल डिस्ट्रीब्यूशन आउटपुट करता है।
ऑप्टिमाइजेशन: पॉलिसी को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है। इस प्रक्रिया को एक फाइनाइट-होराइजन मार्कोव डिसीजन प्रोसेस (MDP) के रूप में तैयार किया गया है:
- स्टेट (State): आंशिक रूप से रिवील किया गया सीक्वेंस।
- एक्शन (Action): अगले इंडेक्स को अनमास्क करना।
- रिवॉर्ड (Reward): वर्तमान कॉन्टेक्स्ट के आधार पर ग्राउंड-ट्रुथ टोकन का लॉग-लाइक्लीहुड (टीचर-फोर्स्ड)।
दो-चरणीय ढांचा:
1. ऑर्डर लर्निंग: $\theta$ को फ्रीज रखते हुए $\phi$ को अनुकूलित करना ताकि मौजूदा मॉडल के लिए सबसे अच्छा प्रक्षेपवक्र पाया जा सके।
2. द्वितीय चरण का फाइन-ट्यूनिंग: वैकल्पिक रूप से, सीखे गए ऑर्डर पॉलिसी को फ्रीज करें और सीखे गए प्रक्षेपवड़ों के साथ डिफ्यूजन मॉडल $\theta$ को और अधिक फाइन-ट्यून करें।

3. मुख्य योगदान

सिद्धांत (Theory): पेपर एक ट्रैक्टेबल अपर बाउंड निकालता है जो डिकोडिंग मिसमैच (KL डाइवर्जेंस) को डिनोइज़र के संचयी पाथवाइज लॉग-लाइक्लीहुड से जोड़ता है। यह ऑर्डर चयन के लिए मॉडल के अपने ही लाइक्लीहुड को एक सघन रिवॉर्ड के रूप में उपयोग करने का सैद्धांतिक औचित्य स्थापित करता है।
एल्गोरिदम (SAS): GRPO के माध्यम से एक अनमास्किंग-ऑर्डर पॉलिसी सीखने वाला एक प्लग-एंड-प्ले फ्रेमवर्क पेश करता है। यह किसी भी-ऑर्डर (any-order) Sequential Decoding और सेमी-ऑटोरिग्रेसिव (ब्लॉक) डिकोडिंग दोनों के लिए लागू है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध रीजनिंग कार्यों (सुडोकू, गणित, कोड) और विभिन्न मॉडल स्केल्स (1B से 8B पैरामीटर्स) पर ह्यूरिस्टिक और विशेषज्ञ शेड्यूल्स की तुलना में व्यवस्थित सुधार प्रदर्शित करता है।

4. प्रायोगिक परिणाम

सुडोकू (1B मॉडल)

प्रदर्शन: SAS ने पज़ल सटीकता को 82.0% (सर्वश्रेष्ठ ह्यूरिस्टिक: कॉन्फिडेंस) से बढ़ाकर 91.8% कर दिया।
तुलना: सीखा गया पॉलिसी मानव विशेषज्ञ क्रम (76.6%) से काफी बेहतर रहा, जो यह सुझाव देता है कि अपूर्ण डिफ्यूजन मॉडल्स के लिए, इष्टतम पथ आवश्यक रूप से मानव तार्किक पथ नहीं होता है।
विश्लेषण: विज़ुअलाइज़ेशन से पता चला कि पॉलिसी एक "ईज़ी-टू-हार्ड" (आसान से कठिन) करिकुलम अपनाती है, जो बाधाओं को प्रसारित करने के लिए उच्च-निश्चितता वाले टोकन (naked singles) को पहले हल करती है, लेकिन जहाँ फायदेमंद हो वहाँ मानव तर्क से अलग हो जाती है।
दूसरा चरण: सीखे गए प्रक्षेपवड़ों के साथ मॉडल को फाइन-ट्यून करने से सटीकता बढ़कर 97.5% हो गई।

गणितीय तर्क (LLaDA-8B)

GSM8K: Pass@1 64% से सुधरकर 76% हो गया।
MBPP (कोड): Pass@1 39.5% से सुधरकर 41% हो गया।
सामान्यीकरण (Generalization): सीखा गया पॉलिसी विभिन्न जनरेशन लेंथ (128 से 512) और ब्लॉक साइज़ (सेमी-ऑटोरिग्रेसिव डिकोडिंग) के बीच मजबूत बना रहा, और लेफ्ट-टू-राइट ह्यूरिस्टिक्स सहित बेसलाइन्स को लगातार पछाड़ता रहा।

क्रॉस-डोमेन ट्रांसफर

गणित कार्यों पर प्रशिक्षित पॉलिसियाँ कोड कार्यों में प्रभावी ढंग से स्थानांतरित हुईं (और इसके विपरीत), जो सभी परीक्षण सेटिंग्स में सबसे मजबूत ह्यूरिस्टिक बेसलाइन्स से बेहतर प्रदर्शन करती हैं। यह दर्शाता है कि पॉलिसी कार्य-विशिष्ट पैटर्न को याद करने के बजाय सूचना घनत्व (information density) के संबंध में हस्तांतरणीय शेड्यूलिंग सिद्धांतों को सीखती है।

रिवॉर्ड तुलना

एक स्पार्स 0/1 टर्मिनल रिवॉर्ड (सही/गलत उत्तर) की तुलना में, सघन सेल्फ-अवेयर रिवॉर्ड ने अधिक स्थिर और अक्सर बेहतर प्रदर्शन प्रदान किया, जो स्पार्स टर्मिनल फीडबैक के बजाय सघन, मॉडल-संगत संकेतों के लाभ को उजागर करता है।

5. महत्व और दावे

यह पेपर डिकोडिंग ऑर्डर को एक नियंत्रणीय और अनुकूलन योग्य "रीजनिंग प्रिमिटिव" (reasoning primitive) के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि क्या जेनरेट करना है, इसके अलावा, यह भी सीखा जा सकता है कि प्रत्येक जानकारी के लिए कब प्रतिबद्ध (commit) होना है।

सिद्धांतिक अनुकूलन: ह्यूरिस्टिक शेड्यूल्स के विपरीत जो स्थानीय अनिश्चितता को अनुकूलित करते हैं, SAS वैश्विक प्रक्षेपवक्र लाइक्लीहुड के लिए अनुकूलित करता है, जिससे डिकोडिंग पथ मॉडल की भविष्य कहने वाली शक्तियों के अनुरूप हो जाता है।
दक्षता: यह दृष्टिकोण कम्प्यूटेशनल रूप से कुशल है, जिसमें पूरे डिफ्यूजन बैकबोन पर महंगे सुदृढीकरण लर्निंग (reinforcement learning) अपडेट के बजाय केवल एक हल्के पॉलिसी के प्रशिक्षण की आवश्यकता होती है।
स्व-सुधार (Self-Improvement): यह फ्रेमवर्क शेड्यूलिंग और मॉडल रिफाइनमेंट के माध्यम से स्व-सुधारने वाले डिफ्यूजन LLMs के लिए एक व्यावहारिक मार्ग का सुझाव देता है, जहाँ मॉडल अपने स्वयं के सबसे विश्वसनीय तर्क पथों को सीखता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें टीचर-फोर्स्ड ट्रेनिंग और फ्री-रनिंग इन्फरेंस के बीच संभावित अंतर, और पॉलिसी लर्निंग के लिए प्रति-कार्य (per-task) प्रशिक्षण पर वर्तमान निर्भरता शामिल है, यह नोट करते हुए कि क्रॉस-डोमेन ट्रांसफर आशाजनक है लेकिन अभी पूरी तरह से चरित्रित नहीं किया गया है।