← नवीनतम पेपर
💻 computer science

PISA: Piecewise Sparse Attention Is Wiser for Efficient Diffusion Transformers

यह शोध पत्र PISA पेश करता है, जो एक ट्रेनिंग-फ्री पीसवाइज स्पार्स अटेंशन मैकेनिज्म है जो नॉन-क्रिटिकल ब्लॉक्स को हटाने के बजाय ब्लॉक-वाइज टेलर एक्सपेंशन के माध्यम से उन्हें अनुमानित करके डिफ्यूजन ट्रांसफॉर्मर्स में सब-क्वाड्रेटिक कॉम्प्लेक्सिटी प्राप्त करता है, जिससे उच्च जनरेशन गुणवत्ता बनाए रखते हुए महत्वपूर्ण गति मिलती है।

मूल लेखक: Haopeng Li, Shitong Shao, Wenliang Zhong, Zikai Zhou, Lichen Bai, Hui Xiong, Zeke Xie

प्रकाशित 2026-02-04
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Haopeng Li, Shitong Shao, Wenliang Zhong, Zikai Zhou, Lichen Bai, Hui Xiong, Zeke Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कलाकारों की एक टीम का उपयोग करके एक विशाल, अविश्वसनीय रूप से विस्तृत भित्ति चित्र (जैसे कि एक हाई-डेफिनिशन वीडियो या छवि) बनाने की कोशिश कर रहे हैं। AI की दुनिया में, यह "टीम" एक डिफ्यूजन ट्रांसफॉर्मर (Diffusion Transformer) है, और "चित्रण" की प्रक्रिया में अगला स्ट्रोक (ब्रश का निशान) तय करने के लिए हर एक ब्रशस्ट्रोक (टोकन) को देखना शामिल है।

समस्या क्या है? इन AI टीमों के काम करने का वर्तमान तरीका एक कठोर नियम की तरह है: "अगला कदम उठाने के लिए पूरे भित्ति चित्र के हर एक ब्रशस्ट्रोक को देखो।" जैसे-जैसे भित्ति चित्र बड़ा होता जाता है (उच्च रिज़ॉल्यूशन या लंबे वीडियो), यह असंभव हो जाता है। कलाकार अभिभूत हो जाते हैं, प्रक्रिया धीमी हो जाती है, और कंप्यूटर की ऊर्जा समाप्त हो जाती है। यह वह "क्वाड्रैटिक कॉम्प्लेक्सिटी" (quadratic complexity) की बाधा है जिसका उल्लेख पेपर में किया गया है।

इसे ठीक करने के लिए, पिछले तरीकों ने एक "रखो या छोड़ो" (Keep or Drop) रणनीति आजमाई। उन्होंने कहा, "ठीक है, चलो 80% ब्रशस्ट्रोक को अनदेखा कर देते हैं और केवल सबसे महत्वपूर्ण 20% को देखते हैं।"

  • दोष: यह एक चेहरा पेंट करने की कोशिश करने जैसा है लेकिन आँखों और मुँह को इसलिए अनदेखा कर देना क्योंकि वे आपकी "टॉप 20%" सूची में नहीं थे। परिणाम अक्सर धुंधला, ग्लिच वाला या महत्वपूर्ण विवरणों से रहित होता है।

नया विचार: PISA (पिस - Piecewise Sparse Attention)

इस पेपर के लेखक PISA नामक एक स्मार्ट तरीका प्रस्तावित करते हैं। "अनमहत्वपूर्ण" हिस्सों को केवल अनदेखा करने के बजाय, PISA भित्ति चित्र के साथ एक पिसवाइज पज़ल (टुकड़ों वाली पहेली) की तरह व्यवहार करता है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए यहाँ दिया गया है:

1. "सटीक बनाम अनुमानित" रणनीति (Exact vs. Approximate Strategy)

कल्पना कीजिए कि आप भीड़ के लिए एक विशाल सूप बना रहे हैं एक शेफ हैं।

  • पुराना तरीका (Dense Attention): आप सही स्वाद पाने के लिए सूप के हर एक चम्मच को चखते हैं। यह सटीक है लेकिन इसमें बहुत समय लगता है।
  • "छोड़ने" वाला तरीका (Standard Sparse Attention): आप केवल सूप के पहले 20% को चखते हैं और बाकी को अनदेखा कर देते हैं। सूप का स्वाद अजीब हो जाता है क्योंकि आपने पीछे रखे नमक को मिस कर दिया।
  • PISA का तरीका:
    • क्रिटिकल ब्लॉक्स (The "Exact" Part): आप सबसे महत्वपूर्ण सामग्रियों (जैसे मुख्य मसाले या मांस) की पहचान करते हैं। आप इन्हें सटीक रूप से और सावधानी से चखते हैं।
    • नॉन-क्रिटिकल ब्लॉक्स (The "Approximate" Part): बाकी के सूप (पानी, शोरबा, सब्जियां) के लिए, आपको हर एक बूंद को चखने की आवश्यकता नहीं है। इसके बजाय, आप उस सेक्शन के औसत स्वाद के आधार पर स्वाद का अनुमान लगाने के लिए एक गणितीय शॉर्टकट (टेलर एक्सपेंशन) का उपयोग करते हैं।

2. यह "बुद्धिमानी भरा" क्यों है?

पेपर में पता चला है कि AI के ध्यान (attention) के "अनमहत्वपूर्ण" हिस्से (नॉन-क्रिटिकल ब्लॉक्स) वास्तव में बहुत पूर्वानुमान योग्य (predictable) होते हैं। वे एक सुचारू, शांत पैटर्न का पालन करते हैं।

  • क्योंकि वे पूर्वानुमान योग्य हैं, आपको उन्हें फेंकने की आवश्यकता नहीं है। आप अंतिम छवि के "स्वाद" को खोए बिना उन्हें बहुत तेज़ी से अनुमानित (approximate) कर सकते हैं।
  • यह कमरे के तापमान का अनुमान लगाने जैसा है—हर एक इंच हवा को मापने के बजाय कोनों के औसत तापमान को मापना।

3. परिणाम: बलिदान के बिना गति (Speed Without Sacrifice)

महत्वपूर्ण हिस्सों के लिए सटीक गणनाओं और बाकी के लिए स्मार्ट अनुमानों को जोड़कर, PISA दो चीजें हासिल करता है:

  • गति: यह वर्तमान सर्वोत्तम तरीकों की तुलना में 2x से 2.5x तेज़ चलता है। पेपर के परीक्षणों में, एक वीडियो जिसे बनाने में 26 मिनट लगते थे, अब 11 मिनट में बन जाता है।
  • गुणवत्ता: छवियां और वीडियो उतने ही अच्छे दिखते हैं जितने कि "परफेक्ट" (धीमी) संस्करण। वास्तव में, कुछ परीक्षणों में, PISA ने अन्य "फास्ट" तरीकों की तुलना में बेहतर परिणाम दिए जो केवल जानकारी को हटा देते हैं।

पर्दे के पीछे का "जादू"

पेपर में कुछ तकनीकी ट्रिक्स का उल्लेख है जो इसे बिना AI को फिर से प्रशिक्षित (retrain) किए संभव बनाते हैं:

  • पुनः प्रशिक्षण की आवश्यकता नहीं: क्योंकि PISA मूल "परफेक्ट" तरीके के सोचने के तरीके की बहुत बारीकी से नकल करता है, आप इसे मौजूदा AI मॉडल (जैसे Wan2.1 या FLUX.1) में प्लग कर सकते हैं और यह बस काम करता है। आपको AI को एक नई भाषा सिखाने की ज़रूरत नहीं है।
  • "हाइब्रिड" कर्नल (The "Hybrid" Kernel): लेखकों ने एक कस्टम कंप्यूटर प्रोग्राम (कर्नल) बनाया है जो "सटीक रूप से चखने" और "अनुमान लगाने" के बीच तुरंत स्विच करता है, ताकि कंप्यूटर भ्रमित न हो और धीमा न पड़े।

सारांश

PISA को एक AI आर्ट स्टूडियो के स्मार्ट मैनेजर के रूप में सोचें।

  • पुराने मैनेजर: "80% काम को अनदेखा कर दो!" (परिणाम: खराब कला)।
  • PISA मैनेजर: "उन विवरणों पर 100% प्रयास केंद्रित करें जो मायने रखते हैं, और बैकग्राउंड के शोर के लिए एक त्वरित, स्मार्ट अनुमान का उपयोग करें।" (परिणाम: तेज़, उच्च गुणवत्ता वाली कला)।

पेपर यह सिद्ध करता है कि यह "अनुमान लगाना" कोई आलसी शॉर्टकट नहीं है; यह मास्टरपीस को बरकरार रखते हुए समय बचाने का एक गणितीय रूप से ठोस तरीका है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →