🤖 machine learning

x-Prediction Is All You Need:Training-Free Accelerated Generation via Endpoint Decodability

यह शोध पत्र 'ट्रेनिंग-फ्री एक्सीलरेटेड जनरेशन वाया एंडपॉइंट डिकोडेबिलिटी' पेश करता है, जो 'ट्रंकेटेड जंप सैंपलिंग' (TJS) नामक एक विधि है जो मानक प्रायिकता पथों (प्रोबेबिलिटी पाथ्स) में अंतर्निहित $x_0$ जानकारी का लाभ उठाकर ODE सैंपलिंग के दौरान स्वच्छ नमूनों को जल्दी डिकोड करती है, जिससे बिना किसी पुनरप्रशिक्षण या संरचनात्मक परिवर्तन के विभिन्न डिफ्यूजन और फ्लो मैचिंग मॉडलों में न्यूरल फंक्शन इवैल्यूएशन को 20–70% तक कम किया जा सकता है।

मूल लेखक: Xin Peng, Ang Gao

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Peng, Ang Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: लंबी, धीमी पैदल यात्रा

कल्पना कीजिए कि आप संगमरमर के एक ब्लॉक से एक सुंदर मूर्ति तराशने की कोशिश कर रहे हैं। वर्तमान में, जो AI मॉडल इमेज जनरेट करते हैं (जैसे Stable Diffusion), वे एक बहुत ही सतर्क और धीरे चलने वाले मूर्तिकार की तरह काम करते हैं।

एक स्पष्ट छवि प्राप्त करने के लिए, AI शुद्ध 'स्टैटिक नॉइज़' (जैसे टीवी पर दिखने वाली बर्फ जैसी झिलमिलाहट) के एक ब्लॉक से शुरुआत करता है और नीचे छिपी तस्वीर को प्रकट करने के लिए धीरे-धीरे, कदम-दर-कदम, उसे तराशता है।

पुराना तरीका: एक उच्च-गुणवत्ता वाली मूर्ति पाने के लिए, इस मूर्तिकार को इसे सही करने के लिए 30 से 100 छोटे, सावधानीपूर्ण प्रहार (steps) करने पड़ते हैं।
लागत: प्रत्येक प्रहार के लिए AI को एक भारी मानसिक गणना (calculation) करनी पड़ती है। इसे 100 बार करने में बहुत समय और बहुत अधिक कंप्यूटर पावर लगता है।

नया विचार: "क्रिस्टल बॉल" का शॉर्टकट

इस पेपर के लेखकों ने AI के अपने प्रशिक्षण के भीतर छिपे एक गुप्त नुस्खे की खोज की है। उन्होंने महसूस किया कि AI न केवल शोर को हटाने का तरीका जानता है; बल्कि वह वास्तव में यह भी जानता है कि प्रक्रिया के लगभग हर चरण में अंतिम मूर्ति कैसी दिखेगी।

इसे इस तरह समझें:

मानक प्रक्रिया: आप शिखर तक पहुँचने के लिए एक अंधेरे, घुमावदार पहाड़ी रास्ते पर चल रहे हैं। ऊपर पहुँचने के लिए आपको 100 छोटे कदम उठाने होंगे।
पेपर की खोज: स्टेप 20, स्टेप 40, या यहाँ तक कि स्टेप 10 पर भी, AI के पास वास्तव में एक क्रिस्टल बॉल है जो शिखर की एक एकदम स्पष्ट और पूर्ण तस्वीर दिखाती है। बस बात यह है कि मानक निर्देश AI को उस क्रिस्टल बॉल को अनदेखा करने और तब तक चलते रहने के लिए कहते हैं जब तक कि वह शारीरिक रूप से ऊपर न पहुँच जाए।

समाधान: "ट्रंकेटेड जंप सैंपलिंग" (TJS)

लेखक ट्रंकेटेड जंप सैंपलिंग (TJS) नामक एक नई रणनीति का प्रस्ताव देते हैं।

AI को पहाड़ के शीर्ष तक 100 कदम चलने के लिए मजबूर करने के बजाय, TJS कहता है:

AI को बस कुछ ही कदम चलने दें (मान लीजिए 20 कदम)।
रुकें।
उस क्रिस्टल बॉल (एंडपॉइंट डिकोडर) को देखें जो AI ने पकड़ी हुई है।
सीधे उस इमेज पर कूद जाएँ जो क्रिस्टल बॉल में दिखाई दे रही है।

परिणाम: आपको 100 स्टेप्स के बजाय 20 स्टेप्स में एक लगभग उत्तम इमेज मिल जाती है। आपने 80% समय और ऊर्जा बचा ली, और तस्वीर लगभग बिल्कुल वैसी ही दिखती है।

यह क्यों काम करता है (जादुई गणित)

पेपर दो मुख्य बातें सिद्ध करता है जो इसे संभव बनाती हैं:

नक्शा पहले से ही बना हुआ है: AI को हर क्षण अंतिम इमेज की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था। भले ही इमेज अभी बहुत धुंधली (प्रक्रिया के शुरुआती चरण में) हो, AI के अंदर का गणित स्पष्ट तस्वीर को तुरंत "डिकोड" करने के लिए पर्याप्त जानकारी रखता है। यह एक ऐसे GPS की तरह है जो जानता है कि आपकी मंजिल क्या है जैसे ही आप गाड़ी चलाना शुरू करते हैं, भले ही आप अभी ट्रैफिक में फंसे हों।
आपको सीधे रास्ते की आवश्यकता नहीं है: पिछले तरीकों ने पहाड़ी रास्ते को पूरी तरह से सीधा बनाने की कोशिश की ताकि AI बड़े कदम उठा सके। यह पेपर दिखाता है कि आपको सीधे रास्ते की आवश्यकता नहीं है। भले ही रास्ता घुमावदार और टेढ़ा-मेढ़ा हो, "क्रिस्टल बॉल" (डिकोडर) अभी भी काम करता है। आप अंत में कूद सकते हैं और फिनिश लाइन तक पहुँच सकते हैं, चाहे रास्ता कितना भी घुमावदार क्यों न हो।

इसका आपके लिए क्या मतलब है

पुनः प्रशिक्षण (Retraining) की आवश्यकता नहीं: यह कोई नया AI मॉडल नहीं है जिसे शून्य से सिखाने की आवश्यकता है। यह उन मॉडलों पर काम करता है जो लोगों के पास पहले से मौजूद हैं (जैसे SDXL या SD3.5)। यह एक ऐसे ड्राइवर को नए निर्देश देने जैसा है जिसे आप पहले से जानते हैं, बजाय इसके कि आप एक नई कार खरीदें।
मुफ्त गति (Free Speed): इसके लिए शून्य अतिरिक्त प्रशिक्षण, शून्य अतिरिक्त पैसा और AI के आर्किटेक्चर में शून्य बदलाव की आवश्यकता है। AI की दुनिया में यह एक "फ्री लंच" की तरह है।
स्वीट स्पॉट (Sweet Spot): अधिकांश छवियों के लिए, आप प्रक्रिया को तब रोक सकते हैं जब वह लगभग 30% से 70% पूरी हो चुकी हो और आपको एक ऐसा परिणाम मिलेगा जो पूरी प्रक्रिया के समान ही होगा।

"बहुत जल्दी" के बारे में एक नोट

पेपर यह भी चेतावनी देता है कि यदि आप बहुत जल्दी रुक जाते हैं (जैसे स्टेप 1 या 2 पर), तो क्रिस्टल बॉल अभी भी बहुत धुंधली होती है। इमेज एक अस्पष्ट, धुंधले मलबे जैसी दिख सकती है। लेकिन एक बार जब आप एक निश्चित सीमा (आमतौर पर जटिल छवियों के लिए स्टेप 10-15 के आसपास) को पार कर लेते हैं, तो गुणवत्ता तेजी से सुधरती है, और आप सुरक्षित रूप से फिनिश लाइन की ओर कूद सकते हैं।

सारांश

पेपर कहता है: "पूरी राह चलने की जरूरत नहीं है। AI पहले से ही मंजिल जानता है। बस उससे पूछें, और वह आपको बता देगा।"

यह महसूस करके कि AI अपने पास हर चरण में अंतिम इमेज का उत्तर रखता है, हम यात्रा के उबाऊ और धीमे हिस्से को छोड़ सकते हैं और परिणाम तुरंत प्राप्त कर सकते हैं।

तकनीकी सारांश: x-Prediction Is All You Need

समस्या विवरण (Problem Statement)

डिफ्यूजन और फ्लो मैचिंग मॉडल ने जनरेटिव कार्यों में अत्याधुनिक प्रदर्शन स्थापित किया है, लेकिन वे उच्च अनुमान लागत (inference costs) से ग्रस्त हैं, जिसमें आमतौर पर प्रति नमूना दस से सैकड़ों न्यूरल फंक्शन इवैल्यूएशन (NFEs) की आवश्यकता होती है। मौजूदा त्वरण रणनीतियाँ—जैसे कि ट्रेजेक्टरी रेक्टिफिकेशन (Rectified Flow), डिस्टिलेशन (प्रोग्रेसिव, कंसिस्टेंसी-आधारित, बूटस्ट्रैपिंग), और उन्नत ODE सॉल्वर—आमतौर पर प्रशिक्षण रेसिपी, मॉडल आर्किटेक्चर, या ट्रेजेक्टरी में संशोधन की मांग करती हैं। फलस्वरूप, ये विधियाँ मौजूदा प्रीट्रेंड चेकपॉइंट्स (जैसे SDXL, SD3.5M, FLUX) के साथ संगत नहीं हैं क्योंकि इनके लिए पुन: प्रशिक्षण लागत (retraining costs) आती है। क्षेत्र में एक ऐसी 'ट्रेनिंग-फ्री' त्वरण रणनीति का अभाव है जो मॉडल्स पर "जैसा है वैसा ही" (as they are) काम कर सके।

कार्यप्रणाली: ट्रंकेटेड जंप सैंपलिंग (TJS)

यह शोध पत्र ट्रंकेटेड जंप सैंपलिंग (TJS) प्रस्तावित करता है, जो एंडपॉइंट डिकोडेबिलिटी (endpoint decodability) की अवधारणा पर आधारित एक ट्रेनिंग-फ्री इन्फरेंस रणनीति है।

मुख्य अंतर्दृष्टि: एंडपॉइंट डिकोडेबिलिटी (Endpoint Decodability)

लेखक यह औपचारिक रूपते हैं कि किसी भी नॉन-डीजेनरेट एफ़ाइन प्रोबेबिलिटी पाथ (डिफ्यूजन और फ्लो मैचिंग मॉडल्स के लिए मानक संरचना, जिसे $x_t = \alpha_t x_0 + \sigma_t \epsilon$ के रूप में परिभाषित किया गया है) के लिए, क्लीन सैंपल $x_0$ को किसी भी मध्यवर्ती अवस्था $x_t$ और उसके पाथ वेलोसिटी $u_t$ से एक क्लोज्ड-फॉर्म डिकोडर के माध्यम से विशिष्ट रूप से रिकवर किया जा सकता है।

एल्जेब्रिक रिकवरी: स्थिति (position) और वेग (velocity) के युग्मित रैखिक तंत्र (coupled linear system) को देखते हुए, $x_0$ को $x_0 = (\sigma_t u_t - \dot{\sigma}_t x_t) / \Delta_t$ के रूप में रिकवर किया जाता है, जहाँ $\Delta_t$ पाथ डिटरमिनेंट है।
इष्टतमता (Optimality): मानक $\ell_2$ ट्रेनिंग ऑब्जेक्टिव के तहत, यह एल्जेब्रिक डिकोडर मिनिमम मीन स्क्वायर एरर (MMSE) एस्टिमेटर $E[x_0 | x_t]$ के अनुरूप होता है। इसका तात्पर्य है कि मानक प्रीट्रेंड मॉडल्स प्रत्येक टाइमस्टेप पर अंत बिंदु $x_0$ की भविष्यवाणी करने के लिए आंतरिक रूप से प्रशिक्षित होते हैं, भले ही उन्हें नॉइज़ या वेलोसिटी की भविष्यवाणी करने के लिए प्रशिक्षित किया गया हो।
कर्वेचर स्वतंत्रता (Curvature Independence): महत्वपूर्ण रूप से, इस एंडपॉइंट प्रेडिक्शन की त्रुटि केवल मॉडल की अनुमान सटीकता और अवस्था $x_t$ की अपरिहार्य अनिश्चितता पर निर्भर करती है, न कि ट्रेजेक्टरी के कर्वेचर ( $\|\ddot{x}_t\|$ ) पर। यह प्रचलित धारणा को चुनौती देता है कि सटीक कम-चरणों वाली जनरेशन (few-step generation) के लिए सीधी ट्रेजेक्टरीज (जैसे Rectified Flow में) आवश्यक हैं।

एल्गोरिदम

TJS इस अंतर्दृष्टि को संचालित करता है, जिसमें ODE इंटीग्रेशन को समय $t^*$ पर जल्दी रोक दिया जाता है और $t=0$ तक जारी रखने के बजाय तुरंत डिकोडेड $x_0$ को आउटपुट किया जाता है।

आंशिक इंटीग्रेशन (Partial Integration): मॉडल कुल चरणों के एक अंश $\gamma$ के लिए ODE को इंटीग्रेट करता है ( $k^* = \lceil \gamma K \rceil$ )।
अर्ली एग्जिट (Early Exit): चरण $k^*$ पर, एल्गोरिदम सीखे गए वेलोसिटी फील्ड और क्लोज्ड-फॉर्म डिकोडर का उपयोग करके एंडपॉइंट एस्टिमेट $\hat{x}_0$ की गणना करता है।
समाप्ति (Termination): प्रक्रिया रुक जाती है, और $\hat{x}_0$ को अंतिम सैंपल के रूप में वापस करती है।

यह दृष्टिकोण शून्य पुन: प्रशिक्षण (zero retraining), शून्य डिस्टिलेशन, और शून्य आर्किटेक्चर परिवर्तन की आवश्यकता रखता है। यह किसी भी ODE सॉल्वर, नॉइज़ शेड्यूल, क्लासिफायर-फ्री गाइडेंस (CFG) स्केल, या मौजूदा चेकपॉइंट के साथ संगत है।

मुख्य योगदान

सैद्धांतिक औपचारिकता: पेपर एंडपॉइंट डिकोडेबिलिटी (थ्योरम 5) को एफ़ाइन पाथ्स के एक सार्वभौमिक गुण के रूप में स्थापित करता है। यह सिद्ध करता है कि प्रेरित डिकोडर MMSE-ऑप्टिमल एस्टिमेटर है (थ्योरम 6) और त्रुटि अपघटन (error decomposition) ट्रेजेक्टरी कर्वेचर से स्वतंत्र है (थ्योरम 9)।
ट्रेजेक्टरी स्ट्रेटनिंगिंग को चुनौती: लेखक सिद्ध करते हैं कि सटीक एंडपॉइंट प्रेडिक्शन के लिए सीधी ट्रेजेक्टरीज पर्याप्त तो हैं लेकिन अनिवार्य नहीं हैं (प्रपोजिशन 12)। यह इन्फरेंस त्वरण को ट्रेजेक्टरी रेक्टिफिकेशन की आवश्यकता से अलग करता है, जिससे यह एक सैद्धांतिक आधार मिलता है कि क्यों TJS उन घुमावदार (curved) पाथ्स पर भी काम करता है जहाँ यूलर इंटीग्रेशन विफल हो जाता है।
ट्रेनिंग-फ्री एल्गोरिदम (TJS): एक व्यावहारिक सैंपलर जो मॉडल या ट्रेनिंग डेटा को संशोधित किए बिना विविध मॉडल परिवारों में NFEs को 20-70% तक कम कर देता है।
व्यापक अनुभवजन्य सत्यापन (Empirical Validation): छह मॉडल परिवारों (SDXL, SD3.5M, Z-Image-Turbo, ImageNet-256, CIFAR-10, MNIST) पर व्यापक प्रयोग दर्शाते हैं कि TJS पूर्ण ODE ट्रेजेक्टरीज की तुलना में समान या बेहतर गुणवत्ता प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने क्लास-कंडीशनल और टेक्स्ट-टू-इमेज बेंचमार्क पर TJS का मूल्यांकन किया:

NFE में कमी: TJS लगभग समान गुणवत्ता बनाए रखते हुए NFEs को 20–70% तक कम कर देता है।
- SDXL/SD3.5M: लगभग 37–40% NFE बचत (30 चरणों में से $k^* \approx 18$ पर रुककर) के साथ पूर्ण ODE गुणवत्ता का 95% (ImageReward द्वारा मापा गया) प्राप्त करता है।
- Z-Image-Turbo: एक डिस्टिल्ड 10-स्टेप मॉडल पर, TJS 70% अतिरिक्त बचत (कुल 3 NFEs, यानी $k^*=2$ पर रुककर) के साथ 95% गुणवत्ता रिटेंशन प्राप्त करता है, जो दर्शाता है कि एंडपॉइंट डिकोडेबिलिटी डिस्टिल्ड ट्रेजेक्टरीज में भी बनी रहती है।
- क्लास-कंडीशनल: MNIST और CIFAR-10 पर, TJS कभी-कभी पूर्ण ODE से बेहतर प्रदर्शन करता है (जिसे "ओवरशूट" घटना कहा जाता है) क्योंकि यह यूलर इंटीग्रेशन के अंतिम चरणों में संचित होने वाली डिस्क्रीटाइजेशन त्रुटियों से बचता है।
मेट्रिक पदानुक्रम (Metric Hierarchy): प्रयोग एक अभिसरण पदानुक्रम (convergence hierarchy) प्रकट करते हैं जहाँ सिमेंटिक कंटेंट (CLIP, PickScore) जल्दी हल हो जाता है (अक्सर $k^* \approx 12$ तक), जबकि सूक्ष्म सौंदर्य संबंधी विवरण (ImageReward, AES) गहन इंटीग्रेशन की मांग करते हैं।
मजबूती (Robustness): TJS का प्रदर्शन ODE सॉल्वर (DDIM, DPM++, UniPC, आदि), नॉइज़ शेड्यूल (Beta, Karras, आदि), और CFG स्केल के चयन के प्रति अपरिवर्तनीय है, जो इसके मौजूदा इन्फरेंस घटकों के साथ ऑर्थोगोनल होने की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि मध्यम कुछ-चरणों वाला त्वरण (moderate few-step acceleration) के लिए ट्रेजेक्टरी स्ट्रेटनिंग, डिस्टिलेशन या ट्रेनिंग रीडिज़ाइन की आवश्यकता नहीं है। इसका महत्व इस बात को पहचानने में निहित है कि एंडपॉइंट डिकोडेबिलिटी एफ़ाइन पाथ्स पर जनरेटिव मॉडल्स का एक अंतर्निहित संरचनात्मक गुण है।

व्यावहारिक प्रभाव: TJS समुदाय के मौजूदा फाइन-ट्यून किए गए चेकपॉइंट्स के लिए एक तत्काल, शून्य-लागत त्वरण पथ प्रदान करता है, जिन्हें अक्सर पुन: प्रशिक्षित या डिस्टिल करना असंभव होता है।
सैद्धांतिक बदलाव: यह सिद्ध करके कि एंडपॉइंट प्रेडिक्शन के लिए सीधी ट्रेजेक्टरीज आवश्यक नहीं हैं, यह कार्य इन्फरेंस त्वरण के संबंध में Rectified Flow और कंसिस्टेंसी मॉडल्स के मौलिक प्रेरणा को चुनौती देता है।
पूरक प्रकृति: लेखक TJS को डिस्टिलेशन के ऑर्थोगोनल के रूप में देखते हैं। जबकि डिस्टिलेशन कुल ट्रेजेक्टरी की लंबाई को संकुचित करता है, TJS शेष बची हुई ट्रेजेक्टरी के अनावश्यक हिस्से को समाप्त कर देता है, जिससे योगात्मक त्वरण (additive acceleration) संभव होता है (जैसे Z-Image-Turbo जैसे डिस्टिल्ड मॉडल पर TJS लागू करना)।

पेपर यह निष्कर्ष निकालता है कि इस गुण को पहचानना "कुछ भी खर्च नहीं करता" और इसे अनदेखा करना प्रदर्शन को सीमित करना है, जो उत्पन्न नमूने की गुणवत्ता से समझौता किए बिना इंटीग्रेशन गहराई और इन्फरेंस गति के बीच व्यापार करने का एक सिद्धांत आधारित तरीका प्रदान करता है।