🤖 machine learning

TMPDiff: Temporal Mixed-Precision for Diffusion Models

यह शोध पत्र TMPDiff को प्रस्तुत करता है, जो एक टेम्पोरल मिक्स्ड-प्रिसिजन फ्रेमवर्क है जो डिफ्यूजन मॉडल्स में विभिन्न डिनोइजिंग टाइमस्टेप्स को अनुकूल रूप से अलग-अलग न्यूमेरिक प्रिसिज़न असाइन करता है ताकि यूनिफॉर्म-प्रिसिजन बेसलाइन्स की तुलना में धारणात्मक गुणवत्ता (perceptual quality) को बनाए रखते हुए या उसमें सुधार करते हुए इन्फरेंस लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Basile Lewandowski, Simon Kurz, Aditya Shankar, Robert Birke, Jian-Jia Chen, Lydia Y. Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक बहुत ही जटिल, बेहतरीन केक (एक इमेज जेनरेट करना) बनाने की कोशिश कर रहे हैं, जिसके लिए एक बहुत ही महंगे और धीमे ओवन (एक विशाल AI मॉडल) का उपयोग किया जा रहा है।

समस्या यह है कि इस केक को पकाने में बहुत समय लगता है क्योंकि इसे हर एक स्टेप पर बैटर को चेक करने और तापमान को एडजस्ट करने के लिए 20 अलग-अलग चरणों (stages) से गुजरना पड़ता है। यदि आप इसे तेज करने के लिए गर्मी कम करने की कोशिश करते हैं (लोअर प्रिसिजन मैथ का उपयोग करके), तो केक जल सकता है या उसमें गांठें पड़ सकती हैं। यदि आप पूरी अवधि के दौरान गर्मी को उच्च (फुल प्रिसिजन) रखते हैं, तो इसमें बहुत अधिक समय लगेगा।

TMPDiff एक नया "स्मार्ट ओवन टाइमर" है जो इस समस्या को हल करता है क्योंकि यह समझता है कि: आपको बेकिंग के हर एक मिनट के लिए हाई-हीट सेटिंग की आवश्यकता नहीं है।

यह कैसे काम करता है, इसका विवरण यहाँ सरल उपमाओं (analogies) के माध्यम से दिया गया है:

1. समस्या: "सब कुछ या कुछ भी नहीं" वाला दृष्टिकोण

वर्तमान में, अधिकांश AI इमेज जेनरेटर ऐसे शेफ की तरह हैं जो निर्णय लेते हैं: "मैं या तो पूरे 20 मिनट के लिए सुपर-प्रिसिजन, धीमे ओवन का उपयोग करूँगा, या मैं पूरे 20 मिनट के लिए तेज़, रफ (rough) ओवन का उपयोग करूँगा।"

धीमा ओवन (Full Precision): एक सुंदर केक बनाता है, लेकिन इसमें घंटों लगते हैं।
तेज़ ओवन (Quantization): यह केक को जल्दी बनाता है, लेकिन अक्सर यह थोड़ा "अजीब" या धुंधला दिखता है क्योंकि रफ ओवन ने शुरुआत में ऐसी गलतियाँ कीं जिसने अंतिम परिणाम को खराब कर दिया।

2. अंतर्दृष्टि: सभी स्टेप्स एक समान नहीं होते

शोधकर्ताओं ने कुछ बहुत ही दिलचस्प खोजा है कि ये "बेकिंग" स्टेप्स कैसे काम करते हैं:

शुरुआती स्टेप्स (नींव): बेकिंग के पहले कुछ मिनट बहुत महत्वपूर्ण होते हैं। यह वह समय है जब केक का आकार और संरचना बनती है। यदि आप यहाँ गलती करते हैं, तो पूरा केक बर्बाद हो जाता है। इन स्टेप्स के लिए हाई-प्रिसिजन ओवन की आवश्यकता होती है।
बाद के स्टेप्स (डिटेल्स): आखिरी कुछ मिनट केवल फ्रॉस्टिंग को स्मूथ करने या थोड़ा रंग जोड़ने के बारे में होते हैं। यदि आप यहाँ फास्ट ओवन का उपयोग करते हैं, तो भी केक शानदार दिखता है क्योंकि कठिन काम पहले ही हो चुका होता है।

पुराना तरीका इसे अनदेखा कर देता था। इसने हर मिनट को समान महत्व दिया। TMPDiff कहता है, "आइए हम महत्वपूर्ण शुरुआती चरणों के लिए फैंसी ओवन का उपयोग करें, और आसान फिनिशिंग चरणों के लिए फास्ट ओवन का उपयोग करें।"

3. जादू का नुस्खा: "एडिटिव एरर" थ्योरी

AI को कैसे पता चलता है कि कौन से स्टेप्स महत्वपूर्ण हैं?

शोधकर्ताओं ने एक थ्योरी विकसित की जिसे एडitive Error Model कहा जाता है। कल्पना कीजिए कि हर बार जब आप "फास्ट ओवन" का उपयोग करते हैं, तो आप बैटर में मिट्टी का एक छोटा सा कण गिरा देते हैं।

यदि आप शुरुआत में एक कण गिराते हैं, तो वह पूरे केक में मिल जाता है और बनावट (texture) को खराब कर देता है।
यदि आप अंत में एक कण गिराते हैं, तो वह बस ऊपर पड़ा रहता है और उसे आसानी से पोंछा जा सकता है।

उन्होंने साबित किया कि ये "कण" (गलतियाँ/errors) एक अनुमानित तरीके से जुड़ते हैं। प्रत्येक विशिष्ट मिनट पर एक "कण" कितना नुकसान पहुँचाता है, इसे मापकर, वे एक प्रायोरिटी लिस्ट (Priority List) बना सकते हैं। उन्होंने पाया कि शुरुआती स्टेप्स की गलतियाँ बहुत बड़ी होती हैं, जबकि बाद के स्टेप्स की गलतियाँ बहुत छोटी होती हैं।

4. समाधान: TMPDiff (स्मार्ट शेड्यूलर)

हर संभव "फास्ट बनाम स्लो" ओवन के संयोजन को आज़माने के बजाय (जिसमें लाखों साल लग सकते हैं), TMPDiff एक चतुर Adaptive Bisection रणनीति का उपयोग करता है।

इसे घास के ढेर में सुई खोजने जैसा समझें, लेकिन आप जानते हैं कि सुई भारी है।

आप घास के हर एक टुकड़े की जाँच नहीं करते।
आप बीच का, शुरुआत का और अंत का हिस्सा देखते हैं।
आप देखते हैं कि "वजन" (त्रुटि की संभावना) कहाँ सबसे अधिक है।
आप उन भारी क्षेत्रों पर ज़ूम करते हैं जिन्हें "स्लो ओवन" की आवश्यकता है।
आप हल्के क्षेत्रों को "फास्ट ओवन" के लिए छोड़ देते हैं।

यह सिस्टम को सेकंडों में यह पता लगाने की अनुमति देता है कि कौन से स्थान "स्लो ओवन" के लिए सही हैं, बजाय इसके कि इसमें कई दिन लगें।

5. परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

जब उन्होंने प्रसिद्ध AI मॉडल्स (जैसे FLUX और Stable Diffusion) पर इसका परीक्षण किया:

स्पीड: उन्हें हाई-क्वालिटी वर्जन की तुलना में 2.5 गुना तेज़ इमेज मिली।
क्वालिटी: इमेज स्टैंडर्ड "फास्ट" वर्जन की तुलना में 10-20% बेहतर थी।
द स्वीट स्पॉट (The Sweet Spot): FLUX मॉडल पर, उन्हें एक ऐसी इमेज मिली जो स्लो वर्जन जितनी 90% परफेक्ट थी, लेकिन आधे से भी कम समय में।

सारांश

TMPDiff AI इमेज जनरेशन के लिए एक स्मार्ट ट्रैफिक कंट्रोलर की तरह है। यह हर सेकंड की प्रक्रिया को एक समान मानने के बजाय, यह जानता है कि कब धीमा होना है और ध्यान देना है (High Precision) और कब तेज़ होना है और बस आगे बढ़ना है (Low Precision)। यह हमें उच्च गुणवत्ता वाली इमेज बहुत तेज़ी से प्राप्त करने में मदद करता है बिना कंप्यूटर के भ्रमित हुए या इमेज के खराब हुए।

यहाँ शोध पत्र "TMPDiff: Temporal Mixed-Precision for Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

डिफ्यूजन मॉडल, विशेष रूप से टेक्स्ट-टू-इमेज (T2I) जनरेशन के लिए, अपने अरबों पैरामीटर्स वाले पुनरावृत्ति डिनोइजिंग (iterative denoising) कार्यों के कारण उच्च इन्फरेंस लेटेंसी (inference latency) से जूझते हैं। जबकि क्वांटाइजेशन (बिटविड्थ को FP16/BF16 से INT4/INT8 में कम करना) इन्फरेंस को तेज करने का एक मानक तरीका है, मौजूदा दृष्टिकोण सभी डिनोइजिंग टाइमस्टेप्स पर एक फिक्स्ड प्रिसिजन (निश्चित परिशुद्धता) लागू करते हैं।

लेखक एक महत्वपूर्ण अंतर की पहचान करते हैं:

स्पेशियल मिक्स्ड-प्रिसिजन (मॉडल लेयर्स के बीच भिन्न परिशुद्धता) अच्छी तरह से खोजा गया है लेकिन रनटाइम पर स्थिर (static) रहता है।
टेम्पोरल सेंसिटिविटी (सामयिक संवेदनशीलता) को नजरअंदाज किया गया है। शोध पत्र यह परिकल्पना करता है कि विभिन्न डिनोइजिंग टाइमस्टेप्स में क्वांटाइजेशन त्रुटियों के प्रति अलग-अलग संवेदनशीलता होती है। शुरुआती चरण (ग्लोबल लेआउट स्थापित करना) बाद के चरणों (विवरणों को परिष्कृत करना) की तुलना में अधिक संवेदनशील हो सकते हैं, या इसके विपरीत।
चुनौती: प्रत्येक $T$ टाइमस्टेप के लिए अनुकूलतम परिशुद्धता (फुल-प्रिसिजन बनाम क्वांटाइज्ड) का निर्धारण करना एक कॉम्बिनेटोरियल सर्च समस्या ( $2^T$ ) है, जो बड़े $T$ के लिए गणनात्मक रूप से अव्यवहार्य (intractable) है।

2. कार्यप्रणाली: TMPDiff फ्रेमवर्क (Methodology: TMPDiff Framework)

लेखक TMPDiff प्रस्तावित करते हैं, जो एक एडिटिव एरर मॉडल (Additive Error Model) के आधार पर विभिन्न डिनोइजिंग टाइमस्टेप्स को अलग-अलग संख्यात्मक परिशुद्धता आवंटित करता है।

A. सैद्धांतिक आधार: एडिटिव एरर मॉडल (Theoretical Foundation: Additive Error Model)

मुख्य सैद्धांतिक योगदान यह व्युत्पत्ति है कि क्वांटाइजेशन त्रुटियाँ टाइमस्टेप्स के माध्यम से लगभग योगात्मक (additively) रूप से संचित होती हैं।

त्रुटि प्रसार (Error Propagation): DDIM अपडेट नियम के फर्स्ट-ऑर्डर टेलर एक्सपेंशन का उपयोग करते हुए, लेखक लेटेंट स्पेस में अंतिम संचित विचलन ( $\delta_0$ ) के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति व्युत्पन्न करते हैं।
द एंसेट (The Ansatz): वे प्रस्तावित करते हैं कि एक मिक्स्ड-प्रिसिजन शेड्यूल $Z$ (जहाँ $z_t=1$ फुल-प्रिसिजन है और $z_t=0$ क्वांटाइज्ड है) के लिए, अंतिम त्रुटि प्रति-टाइमस्टेप त्रुटियों का एक भारित योग (weighted sum) है:
$\boldsymbol{\delta}_0(Z) \approx \sum_{t=1}^{T} \left( \prod_{j=1}^{t-1} \mathbf{A}_j \right) B_t \boldsymbol{\epsilon}_t (1 - z_t)$
इसका तात्पर्य यह है कि किसी विशिष्ट टाइमस्टेप को क्वांटाइज़ करने का प्रभाव अन्य टाइमस्टेप्स के प्रिसिजन विकल्पों से स्वतंत्र है, जिससे इस समस्या को विघटित (decompose) करना संभव हो जाता है।

B. अनुभवजन्य सत्यापन (Empirical Validation)

लेखकों ने इस एडिटिव धारणा को प्रयोगात्मक रूप से सत्यापित किया:

सिंगल-टाइमस्टेप विश्लेषण: उन्होंने "अपकास्टिंग गेन" (एक चरण को FP में बदलकर त्रुटि कम करना) और "डाउनकास्टिंग लॉस" (एक चरण को INT में बदलकर त्रुटि बढ़ाना) को मापा। उन्होंने इन मेट्रिक्स के बीच एक मजबूत रैखिक सहसंबंध ( $R^2 > 0.88$ , पियर्सन $r > 0.94$ ) पाया, जो पुष्टि करता है कि त्रुटियाँ योगात्मक रूप से संचित होती हैं।
मल्टी-टाइमस्टेप भविष्यवाणी: उन्होंने प्रदर्शित किया कि एक जटिल शेड्यूल की कुल त्रुटि को चयनित टाइमस्टेप्स के व्यक्तिगत गेन/लॉस को जोड़कर भविष्यवाणी किया जा सकता है, जिसमें उच्च रैंक-ऑर्डर सहमति (Spearman $\rho > 0.99$ ) देखी गई।

C. TMPDiff एल्गोरिदम (Adaptive Bisection)

एक फिक्स्ड लेटेंसी बजट $K$ फुल-प्रिसिजन स्टेप्स के लिए त्रुटि को न्यूनतम करने वाली अनुकूलतम समस्या को हल करने हेतु (व्यापक खोज के बिना):

लेटेंसी बजट: एम्डाहल के नियम (Amdahl's Law) का उपयोग करके लक्षित स्पीडअप के आधार पर अनुमत फुल-प्रिसिजन स्टेप्स ( $K$ ) की संख्या निर्धारित करें।
स्पार्स सैंपलिंग (Sparse Sampling): सभी $T$ $T$ टाइमस्टेप्स का मूल्यांकन करने के बजाय, एल्गोरिदम एक एडैप्टिव बाइसैक्शन रणनीति का उपयोग करता है:
- एंकर पॉइंट्स (शुरुआत, मध्य, अंत) से शुरू करें।
- पुनरावृत्ति के माध्यम से उस सेगमेंट की पहचान करें जिसमें उच्चतम औसत संभावित गेन हो।
- उस सेगमेंट के मिडपॉइंट को सैंपल करें।
- तब तक दोहराएं जब तक कि सैंपलिंग बजट समाप्त न हो जाए।
**ग्रीडी सिलेक्शन (Greedy Selection): सेलेक्ट किए गए अनसैंपलड टाइमस्टेप्स के लिए गेन्स का इंटरपोलेशन करें और उच्चतम त्रुटि-न्यूनीकरण क्षमता वाले शीर्ष $K$ टाइमस्टेप्स को फुल प्रिसिजन में चलाने के लिए चुनें।
जटिलता: यह खोज को एक्सपोनेंशियल ( $2^T$ ) से लीनियर टाइम ( $O(T)$ या $O(B)$ जहाँ $B$ सैंपलिंग बजट है) में बदल देता है।

3. मुख्य योगदान (Key Contributions)

एडिटिव एरर मॉडल: सैद्धांतिक व्युत्पत्ति और अनुभवजन्य सत्यापन कि डिफ्यूजन मॉडल में क्वांटाइजेशन त्रुटियाँ योगात्मक रूप से संचित होती हैं, जो टाइमस्टेप संवेदनशीलता को अलग करने में सक्षम बनाती हैं।
TMPDiff फ्रेमवर्क: एक नया टेम्पोरल मिक्स्ड-प्रिसिजन शेड्यूलिंग फ्रेमवर्क जो इन्फरेंस के दौरान डायनेमिक रूप से फुल-प्रिसिजन और क्वांटाइज्ड मॉडल्स के बीच स्विच करता है।
कुशल अनुकूलन (Efficient Optimization): एक एडैप्टिव बाइसैक्शन एल्गोरिदम जो लीनियर इवैल्यूएशन कॉम्प्लेक्सिटी के साथ अनुकूलतम प्रिसिजन शेड्यूल पाता है, जिससे ब्रूट-फोर्स सर्च से बचा जा सकता है।
सामान्यीकरण (Generality): प्रदर्शित किया गया कि टेम्पोरल सेंसिटिविटी स्कोरिंग न केवल क्वांटाइजेशन, बल्कि विभिन्न आकार के मॉडल्स को मिलाने (जैसे, असंवेदनशील चरणों के लिए छोटा मॉडल और संवेदनशील चरणों के लिए बड़ा मॉडल उपयोग करना) पर भी लागू होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन चार स्टेट-ऑफ-द-आर्ट मॉडल्स (FLUX.1-dev, PixArt- $\Sigma$ , Sana, StableDiffusion XL) और तीन डेटासेट्स (COCO, DCI, MJHQ) पर किया गया।

यूनिफॉर्म बेसलाइन्स के विरुद्ध प्रदर्शन:
- मैच की गई स्पीडअप पर, TMPDiff ने यूनिफॉर्म-प्रिसिजन बेसलाइन्स (दोनों फुल-प्रिसिजन और यूनिफॉर्मली क्वांटाइज्ड) को लगातार पीछे छोड़ दिया।
- गुणवत्ता सुधार: इसने परसेप्चुअल क्वालिटी मेट्रिक्स (SSIM, PSNR, LPIPS) में 10% से 20% का सुधार हासिल किया।
- FLUX.1-dev परिणाम: फुल-प्रिसिजन मॉडल के सापेक्ष 90% SSIM प्राप्त किया, जबकि 16-बिट इन्फरेंस की तुलना में 2.5 $\times$ स्पीडअप प्रदान किया। यह न्यूनतम गुणवत्ता गिरावट के साथ 60% लेटेंसी में कमी को दर्शाता है।
- SDXL परिणाम: इसने TensorRT 8-बिट बेसलाइन को काफी बेहतर प्रदर्शन किया, 1.33 $\times$ स्पीडअप पर 0.42 SSIM के मुकाबले 0.85 SSK प्राप्त किया।
पारेटो फ्रंटियर (Pareto Frontier): TMPDiff सफलतापूर्वक उच्च-गुणवत्ता/धीमी फुल-प्रिसिजन पाइपलाइन और निम्न-गुणवत्ता/तेज क्वांटाइज्ड पाइपलाइन के बीच के अंतर को भरता है, जो एक ट्यूनेबल ट्रेड-ऑफ प्रदान करता है।
मॉडल मिक्सिंग: जब इसे Sana (1.6B) और Sana (600M) मॉडल्स को मिलाने के लिए लागू किया गया, तो TMPDiff ने कम कंप्यूटेशनल लागत के साथ ह्यूरिस्टिक और इवोल्यूशनरी सर्च विधियों (DDSM) को पछाड़ दिया।

5. महत्व और प्रभाव (Significance and Impact)

नया ऑप्टिमाइजेशन एक्सिस: TMPDiff मौजूदा "स्पेशियल मिक्स्ड-प्रिसिजन" (लेयर-वाइज) तकनीकों के पूरक के रूप में "टेम्पोरल मिक्स्ड-प्रिसिजन" को एक नए ऑप्टिमाइजेशन एक्सिस के रूप में पेश करता है।
व्यावहारिक परिनियोजन (Practical Deployment): खोज जटिलता को एक्सपोनेंशियल से लीनियर में बदलकर, TMPDiff बड़े पैमाने के डिफ्यूजन मॉडल्स के लिए डायनेमिक प्रिसिजन शेड्यूलिंग को उत्पादन (production) के लिए व्यवहार्य बनाता है।
दक्षता: यह उपयोगकर्ताओं को फुल-प्रिसिजन के करीब की गुणवत्ता के साथ काफी कम इन्फरेंस लेटेंसी प्राप्त करने की अनुमति देता है, जो वास्तविक समय के अनुप्रयोगों (real-time applications) में डिफ्यूजन मॉडल के अपनाने में मुख्य बाधा को दूर करता है।
भविष्य का कार्य: लेखक नोट करते हैं कि प्रिसिजन स्विचिंग और वेट ऑफलोडिंग रणनीतियों के लिए कुशल कर्नेल-लेवल इंटीग्रेशन और अधिक परिनियोजन अनुकूलन आवश्यक हैं।

संक्षेप में, TMPDiff जनरेशन प्रक्रिया के टेम्पोरल आयाम (temporal dimension) में कंप्यूटेशनल संसाधनों (परिशुद्धता) को बुद्धिमानी से आवंटित करके डिफ्यूजन मॉडल्स को तेज करने के लिए एक सिद्धांतपूर्ण, गणितीय रूप से आधारित और अनुभवजन्य रूप से सत्यापित तरीका प्रदान करता है।