🤖 machine learning

Coarse-to-Fine Compositional Diffusion for Long-Horizon Planning

यह शोध पत्र कोर्स-टू-फाइन कंपोजिशनल डिफ्यूजन (CoFi) का प्रस्ताव करता है, जो एक इन्फरेंस-टाइम सैंपलर है जो स्थानीय योजनाओं को संरेखित करने के लिए पहले एक वैश्विक संरचनात्मक मचान (ग्लोबल स्ट्रक्चरल स्कैफोल्ड) स्थापित करके और फिर उन्हें परिष्कृत करके दीर्घकालिक नियोजन (लॉन्ग-होराइजन प्लानिंग) को बढ़ाता है, जिससे मौजूदा विधियों की तुलना में काफी कम कम्प्यूटेशनल मूल्यांकनों के साथ बेहतर वैश्विक सुसंगतता और स्थानीय गुणवत्ता प्राप्त होती है।

मूल लेखक: Byoungwoo Park, Utkarsh A. Mishra, Jaemoo Choi, Juho Lee, Yongxin Chen

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Byoungwoo Park, Utkarsh A. Mishra, Jaemoo Choi, Juho Lee, Yongxin Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जंगल का एक विशाल, 100-फुट लंबा भित्तिचित्र (mural) पेंट करने की कोशिश कर रहे हैं। आपके पास एक बहुत ही प्रतिभाशाली कलाकार (AI मॉडल) है, लेकिन वह एक बार में केवल एक छोटा 5-फुट का वर्गाकार हिस्सा ही उच्च गुणवत्ता के साथ पेंट कर सकता है। यदि आप उसे एक बार में पूरा चित्र बनाने के लिए कहते हैं, तो वह भ्रमित हो जाता है या गुणवत्ता गिर जाती है। इसलिए, आप उसे नौ अलग-अलग 5-फुट के वर्ग पेंट करने और फिर उन्हें आपस में जोड़ने का निर्णय लेते हैं।

समस्या: "पैचवर्क" ग्लिच (The "Patchwork" Glitch)
करने का पुराना तरीका (जिसे "कंपोजिशनल जनरेशन" कहा जाता था) यह था कि आप कलाकारों को बताते थे: "सुनिश्चित करें कि आपके वर्ग का किनारा उसके पड़ोसी के किनारे से मेल खाता हो।"

परिणाम: किनारे पूरी तरह से मेल खाते हैं। बाईं ओर के पेड़ दाईं ओर के पेड़ों से सुचारू रूप से जुड़ जाते हैं।
दोष: भले ही किनारे मेल खाते हों, लेकिन पूरी तस्वीर अजीब लग सकती है। शायद पहला वर्ग एक धूप वाला जंगल है, बीच का वर्ग एक बर्फीला पहाड़ है, और अंतिम वर्ग एक रेगिस्तान है। कलाकारों ने एक-दूसरे से "बड़ी तस्वीर" (big picture) के बारे में बात नहीं की। उन्होंने बस यह सुनिश्चित किया कि उनके तात्कालिक पड़ोसी ठीक दिखें। अंतिम भित्तिचित्र में कोई तार्किक कहानी या सुसंगत शैली नहीं होती है।

समाधान: CoFi (कोर्स-टू-फाइन)
यह पेपर एक नया तरीका पेश करता है जिसे CoFi (कोर्स-टू-फाइन कंपोजिशनल डिफ्यूजन) कहा जाता है। इसे एक "प्रोजेक्ट मैनेजर" की तरह काम करने वाली दो-चरणीय प्रक्रिया के रूप में समझें।

चरण 1: "रफ स्केच" (Coarse Stage)

पुराने तरीके में केवल किनारों को मिलाने के बजाय, CoFi पहले कलाकारों से पूरे 100-फुट लंबे भित्तिचित्र का एक रफ, धुंधला स्केच बनाने के लिए कहता है।

कल्पना कीजिए कि सभी कलाकार अपनी आँखें सिकोड़कर एक सामान्य आकार पर सहमत होते हैं: "ठीक है, यह एक जंगल है, सूरज बाईं ओर है, और रास्ता नीचे-बाएँ से ऊपर-दाएँ की ओर जाता है।"
वे पूरे चित्र के लिए एक "स्कैफोल्ड" (ढांचा या कंकाल) बनाते हैं। यह सुनिश्चित करता है कि प्रत्येक वर्ग को पता हो कि वह व्यापक योजना में कहाँ फिट बैठता है।
समझौता (Trade-off): यह रफ स्केच थोड़ा धुंधला होता है और इसमें बारीक विवरण (जैसे छाल की बनावट) की कमी होती है, लेकिन इसकी संरचना एकदम सही होती है।

चरण 2: "डिटेल वर्क" (Fine Stage)

अब जब कलाकारों के पास एक आदर्श ढांचा है, तो CoFi कहता है: "ठीक है, एक पल के लिए रफ स्केच को भूल जाइए। आइए इसमें फिर से शोर (noise) जोड़ें और विवरणों को फिर से पेंट करें, लेकिन इस बार, हम पेड़ों और पत्तियों को भरने के लिए आपकी मूल प्रतिभा का उपयोग करेंगे।"

वे उस सटीक ढांचे को लेते हैं, उसमें थोड़ा सा "स्टैटिक" (शोर) जोड़ते हैं, और कलाकारों को फिर से उस पर पेंट करने देते हैं।
क्योंकि ढांचा पहले से ही मौजूद है, कलाकार पेड़ों और पत्तियों को यथertistic बनाने और पानी को चमकदार बनाने पर ध्यान केंद्रित कर सकते हैं, बिना रास्ते से भटकने की चिंता किए।
परिणाम यह है कि भित्तिचित्र में रफ स्केच की तार्किक संरचना होती है और मूल कलाकार की उच्च-गुणवत्ता वाले विवरण होते हैं।

यह बेहतर क्यों है?

पेपर का दावा है कि यह तरीका दो कारणों से "विन-विन" (दोनों तरफ से जीत) है:

यह बेहतर दिखता है: अंतिम छवि (या रोबोट योजना, या वीडियो) शुरू से अंत तक तर्कसंगत होती है। रोबोट गोल-गोल नहीं घूमता; वीडियो का पात्र अचानक किसी दूसरे व्यक्ति में नहीं बदल जाता; पैनोरमिक फोटो दिन से रात में नहीं बदलती।
यह तेज़ है: पुराने तरीके "बड़ी तस्वीर" की समस्या को हल करने के लिए हर एक ब्रशस्ट्रोक के दौरान कलाकारों को आपस में बार-बार बात कराने की कोशिश करते थे। इसमें बहुत समय लगता था। CoFi एक बार में "बड़ी तस्वीर" की योजना बनाता है, और फिर केवल विवरणों को भरता है। पेपर कहता है कि यह प्रक्रिया को 2 से 8 गुना तेज़ (कम कंप्यूटर गणनाओं की आवश्यकता) बनाता है और बेहतर परिणाम भी देता है।

उन्होंने इसका परीक्षण कहाँ किया?

लेखकों ने इस "प्रोजेक्ट मैनेजर" दृष्टिकोण का परीक्षण तीन विशिष्ट चीजों पर किया:

रोबोट प्लानिंग: छोटी गतिविधियों को जोड़कर एक विशाल भूलभुलैया के माध्यम से एक रोबोट को निर्देशित करना। CoFi ने रोबोट को लक्ष्य तक पहुँचने के लिए रास्ता खोजने में मदद की।
पैनोरमिक इमेजेस: एक विशाल, चौड़ी फोटो बनाने के लिए 9 छोटी छवियों को जोड़ना। CoFi ने सुनिश्चित किया कि पूरी चौड़ाई में आकाश और पेड़ सुसंगत दिखें।
लंबे वीडियो: छोटे क्लिप्स को जोड़कर एक लंबा वीडियो बनाना। CoFi ने पूरे वीडियो के दौरान मुख्य पात्र को एक जैसा बनाए रखा, जिससे वह किसी और में बदलने (morphing) से बच गया।

संक्षेप में, CoFi AI को विवरणों में खो जाने से रोकता है क्योंकि यह उसे पहले बड़ी तस्वीर पर सहमत होने के लिए मजबूर करता है, फिर उसे विवरणों के साथ काम करने देता है, और यह सब करते हुए यह भारी मात्रा में कंप्यूटिंग पावर भी बचाता है।

तकनीकी सारांश: लॉन्ग-होरिज़न प्लानिंग के लिए कोर्स-टू-फाइन कंपोजिशनल डिफ्यूजन (Coarse-to-Fine Compositional Diffusion)

समस्या विवरण

डिफ्यूजन मॉडल स्ट्रक्चर्ड डेटा जेनरेट करने में उत्कृष्ट हैं, लेकिन वे आमतौर पर शॉर्ट-होरिज़न स्केल पर प्रशिक्षित होते हैं। कई वास्तविक दुनिया के कार्यों, जैसे कि लंबी दूरी की रोबोटिक नेविगेशन, पैनोरमिक इमेज सिंथेसिस, या लॉन्ग वीडियो जनरेशन के लिए ऐसे आउटपुट की आवश्यकता होती है जो इन मॉडल्स के ट्रेनिंग स्केल से अधिक हों। ऐसे लॉन्ग-होरिज़न आउटपुट के लिए मॉडल्स को सीधे प्रशिक्षित करना अक्सर डेटा की कमी और सीक्वेंस लेंथ या स्पेशियल एक्सटेंट के साथ बढ़ती मॉडलिंग लागत के कारण अव्यावहारिक होता है।

कंपोजिशनल जनरेशन एक समाधान प्रदान करता है, जो एक प्री-ट्रेन्ड शॉर्ट-होरिज़न प्रायर (prior) से ओवरलैपिंग लोकल प्लान्स को एक सिंगल लॉन्ग-होरिज़न आउटपुट में असेंबल करता है। हालाँकि, मानक कंपोजिशनल दृष्टिकोण मुख्य रूप से लोकल कंसिस्टेंसी (ओवरलैप में पड़ोसी स्थानीय योजनाओं के बीच सहमति) को लागू करते हैं, बिना ग्लोबल स्ट्रक्चर को स्पष्ट रूप से निर्दिष्ट किए। परिणामस्वरूप, स्थानीय रूप से सुसंगत योजनाएं एक प्रशंसनीय वैश्विक मार्ग, कार्य अनुक्रम, या टेम्पोरल इवोल्यूशन बनाने में विफल हो सकती हैं। मौजूदा तरीके स्थानीय निरंतरता संकेतों को बार-बार प्रसारित करके या इंफरेंस-टाइम ऑप्टिमाइजेशन (जैसे, इटरेटिव सर्च या पॉपुलेशन-बेस्ड प्रूनिंग) जोड़कर वैश्विक सामंजस्य में सुधार करने का प्रयास करते हैं। प्रभावी होने के बावजूद, ये प्रक्रियाएं तब कम्प्यूटेशनल रूप से महंगी हो जाती हैं जब स्थानीय योजनाओं की संख्या या उनकी डाइमेंशनलिटी बढ़ जाती है।

कार्यप्रणाली: कोर्स-टू-फाइन कंपोजिशनल डिफ्यूजन (CoFi)

लेखक CoFi का प्रस्ताव करते हैं, जो एक इंफरेंस-टाइम सैंपलर है जो ग्लोबल स्ट्रक्चर फॉर्मेशन को लोकल डिटेल रिफाइनमेंट से अलग करता है। उन तरीकों के विपरीत जो बार-बार मैसेज पासिंग या महंगे इनर-लूप ऑप्टिमाइजेशन पर निर्भर करते हैं, CoFi दो विशिष्ट चरणों में कार्य करता है:

1. कोर्स ग्लोबल स्कैफोल्ड कंस्ट्रक्शन (Coarse Global Scaffold Construction)

पहला चरण एक साझा कोर्स स्ट्रक्चर के आसपास स्थानीय डीनॉइज़्ड एस्टीमेट्स को संरेखित करने के उद्देश्य से है ताकि ग्लोबल कोहेरेंस स्थापित किया जा सके।

स्कैफोल्ड अलाइनमेंट: प्रत्येक डीनॉइजिंग स्टेप $t$ के लिए, यह विधि प्रत्येक लोकल प्लान के लिए एक "ट्वीडी एस्टीमेट" $\hat{X}^i_{0|t}$ की गणना करती है। ग्लोबल अलाइनमेंट को लागू करने के लिए, यह एक सरलीकृत ऑप्टिमाइजेशन ऑब्जेक्टिव को हल करता है जो लोकल फिडेलिटी और एक साझा ग्लोबल कंपोनेंट के बीच संतुलन बनाता है। इससे एक क्लोज्ड-फॉर्म सॉल्यूशन प्राप्त होता है जहाँ प्रत्येक लोकल एस्टीमेट को एक साझा स्कैफोल्ड मीन $\bar{X}_{0|t}$ की ओर सिकोड़ा जाता है:
$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$
यहाँ, $\lambda_t$ एक शेड्यूल-डिपेंडेंट कोएफिशिएंट है जो ट्रेड-ऑफ को नियंत्रित करता है। डिफ्यूजन प्रक्रिया की शुरुआत में, $\lambda_t$ छोटा होता है, जिससे स्थानीय योजनाओं को ग्लोबल स्कैफोल्ड के साथ मजबूती से संरेखित होने के लिए मजबूर किया जाता है। जैसे-जैसे $t$ घटता है, $\lambda_t$ बढ़ता है, जिससे स्थानीय विवरण उभरने की अनुमति मिलती।
गाइडेड अपडेट: रिवर्स डिफ्यूजन स्टेप को इस अलाइन्ड एस्टीमेट का उपयोग करके अपडेट किया जाता है, जो ग्लोबल कोहेरेंट लेकिन लोकली कोर्स स्कैफोल्ड की ओर बायस्ड होता है:
$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$
पहला टर्म ग्लोबल अलाइनमेंट को लागू करता है, जबकि दूसरा टर्म (लोकल गाइडेंस) आसन्न सेगमेंट के बीच बाउंड्री कंसिस्टेंसी सुनिश्चित करता है।

2. स्ट्रक्चर-प्रिजर्विंग रिफाइनमेंट (Structure-Preserving Refinement)

दूसरा चरण उन सूक्ष्म स्थानीय विवरणों को बहाल करता है जिन्हें कोर्स स्टेज के दौरान दबा दिया गया था, जबकि स्थापित ग्लोबल स्ट्रक्चर को सुरक्षित रखता है।

री-नॉइजिंग (Re-noising): कोर्स ग्लोबल प्लान $Y^c_0$ को एक साझा शोर (shared noise) रियलाइजेशन का उपयोग करके एक इंटरमीडिएट नॉइज़ लेवल $t^*$ तक फॉरवर्डली डिफ्यूज किया जाता है। यह महत्वपूर्ण है; स्थानीय योजनाओं पर स्वतंत्र शोर लागू करने से पहले चरण में प्राप्त अलाइनमेंट टूट जाएगा।
$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$
रिफाइनमेंट: $t^*$ से शुरू होकर, सैंपलर उसी प्री-ट्रेन्ड लोकल प्रायर और लोकल गाइडेंस का उपयोग करके दूसरा रिवर्स डिफ्यूजन पास करता है। यह चरण हाई-फ्रीक्वेंसी लोकल डिटेल्स और टेक्सचर को रिकवर करता है जबकि ग्लोबल स्कैफोल्ड समग्र संरचना को एंकर करता है।

मुख्य योगदान

डिकपल्ड डिज़ाइन: CoFi ग्लोबल स्ट्रक्चर फॉर्मेशन को लोकल डिटेल रिफाइनमेंट से अलग करता है, जिससे पिछले कंपोजिशनल तरीकों में उपयोग किए जाने वाले महंगे इटरेटिव मैसेज पासिंग या सर्च-आधारित ऑप्टिमाइजेशन की आवश्यकता नहीं होती।
शेयर्ड स्कैफोल्ड मैकेनिज्म: एक साझा स्कैफोल्ड पर लोकल एस्टीमेट्स को प्रोजेक्ट करने वाले एक कोर्स अलाइनमेंट स्टेज को पेश करके, यह विधि यह सुनिश्चित करती है कि लॉन्ग-रेंज कोहेरेंस बनी रहे, जिसके लिए हाई-डायमेंशनल स्पेस के लिए कठिन-से-डिज़ाइन किए जाने वाले जटिल रिवॉर्ड फंक्शन्स की आवश्यकता नहीं होती।
स्ट्रक्चर-प्रिजर्विंग रिफाइनमेंट: री-नॉइजिंग स्टेप के दौरान साझा शोर रियलाइजेशन का उपयोग यह सुनिश्चित करता है कि रिफाइंड लोकल प्लान्स एक ही ग्लोबल ऑब्जेक्ट के कॉम्पैटिबल व्यू बने रहें, जिससे लॉन्ग-होरिज़न जनरेशन में दिखने वाले "ड्रिफ्ट" को रोका जा सके।
दक्षता (Efficiency): यह विधि उन बेसलाइन्स की तुलना में काफी कम डीनॉइज़र इवैलुएशन (NFE) की मांग करता है जो इनर इटरेशन या पॉपुलेशन सर्च पर निर्भर करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने तीन डोमेन पर CoFi का मूल्यांकन किया: लॉन्ग-होरिज़न रोबोटिक प्लानिंग, पैनोरमिक इमेज जनरेशन, और लॉन्ग वीडियो जनरेशन।

रोबोटिक प्लानिंग (OGBench): चुनौतीपूर्ण "Giant" और "Scene-Play" कार्यों पर, CoFi ने 96% (PointMaze-Giant) और 63% (Scene-Play) की सफलता दर हासिल की, जो पिछले स्टेट-ऑफ-द-आर्ट CDGS (क्रमशः 82% और 51%) से बेहतर है। स्कैफोल्ड स्टेज को भूलभुलैया जैसे ट्रैजेक्टरीज में लॉन्ग-रेंज विसंगतियों को हल करने के लिए महत्वपूर्ण पाया गया।
पैनोरमिक इमेज जनरेशन: CoFi ने Multi-Diffusion, SyncDiffusion और CDGS जैसे बेसलाइन्स की तुलना में सभी मेट्रिक्स (Intra-LPIPS, Intra-Style loss, और CLIP score) में सर्वश्रेष्ठ स्कोर प्राप्त किया। इसने ऐसे पैनोरमा बनाए जिनमें ग्लोबल स्टाइल अधिक स्थिर था और पैच बाउंड्रीज के बीच कम अचानक बदलाव थे।
लॉन्ग वीडियो जनरेशन: 50-फ्रेम प्रायर से 273-फ्रेम वीडियो जेनरेट करने में, CoFi ने सब्जेक्ट कंसिस्टेंसी (94.11 बनाम CDGS के लिए 91.67) और एस्थेटिक क्वालिटी में सुधार किया, जो नेटिव शॉर्ट-होरिज़न जनरेशन की गुणवत्ता के करीब है। इसने लॉन्ग टेम्पोरल होराइजन्स पर सब्जेक्ट ड्रिफ्ट को प्रभावी ढंग से रोका।
कम्प्यूटेशनल दक्षता: CoFi ने सैंपल क्वालिटी बनाए रखते हुए या उसमें सुधार करते हुए, CDGS की तुलना में फंक्शन इवैल्यूएशन (NFE) में 2–8× की कमी प्रदर्शित की। यह इटरेटिव सर्च को सिंगल कोर्स-टू-फाइन पास से बदलने के कारण है।

महत्व और दावे

पेपर का दावा है कि CoFi एक सरल और प्रभावी इंफरेंस-टाइम सैंपलर प्रदान करता है जो मौजूदा तरीकों के कम्प्यूटेशनल ओवरहेड के बिना स्थानीय निरंतरता और वैश्विक सामंजस्य दोनों को संतुष्ट करता है। ग्लोबल स्कैफोल्ड कंस्ट्रक्शन को लोकल रिफाइनमेंट से अलग करके, CoFi उस सीमा को संबोधित करता है जहाँ केवल लोकल कंसिस्टेंसी एक प्रशंसनीय ग्लोबल स्ट्रक्चर की गारंटी देने में विफल रहती है। लेखक इसे रोबोटिक्स, विजन और वीडियो में लॉन्ग-होरिज़न कार्यों के लिए शॉर्ट-होरिज़न प्रायर को स्केल करने के लिए एक व्यावहारिक विकल्प के रूप में देखते हैं, जो प्रदर्शन और कम्प्यूटेशनल लागत के बीच एक अनुकूल ट्रेड-ऑफ प्रदान करता है।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं: आउटपुट की गुणवत्ता प्री-ट्रेन्ड लोकल प्रायर की एक्सप्रेसिवनेस द्वारा सीमित है, और हाइपरपैरामीटर्स (स्कैफोल्ड शेड्यूल $\lambda_t$ और रिफाइनमेंट डेप्थ $t^*$ ) के लिए प्रति-डोमेन चयन की आवश्यकता होती है। इसके अतिरिक्त, वर्तमान कंसेंसस मैकेनिज्म सभी लोकल प्लान्स पर यूनिफॉर्म वेटिंग लागू करता है, जो सब-ऑप्टिमल हो सकता है यदि सेगमेंट स्ट्रक्चरल महत्व में भिन्न होते हैं।