← नवीनतम पेपर
💻 computer science

ScalePredictor: Instance-aware Scale Learning for Accurate Quantization of Vision Transformers

यह शोध पत्र ScalePredictor प्रस्तुत करता है, जो विजन ट्रांसफॉर्मर्स के लिए एक गतिशील पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है, जो शैलो-लेयर एक्टिवेशन रेंज और डीपर-लेयर ऑप्टिमल स्केल्स के बीच एक छिपे हुए सहसंबंध का लाभ उठाता है ताकि कुशलतापूर्वक इंस्टेंस-अवेयर क्वांटाइजेशन पैरामीटर्स उत्पन्न किए जा सकें, जिससे न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ स्टैटिक विधियों की तुलना में सटीकता में उल्लेखनीय सुधार होता है।

मूल लेखक: Changjun Li, Runqing Jiang, Lian Xu, Ye Zhang, Qingyong Hu, Yulan Guo

प्रकाशित 2026-06-23
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Changjun Li, Runqing Jiang, Lian Xu, Ye Zhang, Qingyong Hu, Yulan Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ScalePredictor पेपर का विवरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी समस्या: एक ही आकार सबके लिए सही नहीं होता (One Size Does Not Fit All)

कल्पना कीजिए कि आप लोगों की एक विशाल भीड़ के लिए सूट सिल रहे हैं।

  • पुराना तरीका (Static Quantization): वर्तमान के अधिकांश AI मॉडल (विशेष रूप से विज़न ट्रांसफॉर्मर) एक ऐसे दर्जी की तरह काम करते हैं जो सभी के लिए एक ही सिंगल सूट साइज बनाता है। वे भीड़ की औसत ऊँचाई देखते हैं और उसी के अनुसार कपड़े काटते हैं।
    • परिणाम: लंबे लोगों के सूट बहुत छोटे हो जाते हैं, और छोटे लोगों के सूट बहुत ढीले हो जाते हैं। AI की दुनिया में, यह त्रुटियों (errors) का कारण बनता है क्योंकि हर इमेज (हर "व्यक्ति") में अलग-अलग विवरण और चमक (brightness) होती है।
  • "डायनेमिक" तरीका (वर्तमान Dynamic Quantization): कुछ स्मार्ट तरीके हर व्यक्ति को सूट देने से ठीक पहले उसे नापने की कोशिश करते हैं। वे चलते-फिरते हर इंच को इंची टेप से नापते हैं।
    • परिणाम: सूट एकदम फिट बैठता है! लेकिन यह प्रक्रिया अविश्वसनीय रूप से धीमी है। कल्पना कीजिए कि एक दर्जी कपड़े का एक टुकटा काटने से पहले 1,000 लोगों को व्यक्तिगत रूप से नापने के लिए रुक जाता है। लाइन इतनी धीमी चलती है कि दुकान का उपयोग करना बेकार हो जाता है।

समाधान: ScalePredictor

इस पेपर के लेखकों ने ScalePredictor नामक एक नई विधि बनाई है। यह बिना धीमे मापन के, एक "शॉर्टकट" ढूंढकर समस्या को हल करता है जो आपको एक परफेक्ट फिट देता है।

1. गुप्त संबंध (The "Shallow" Insight)

शोधकर्ताओं ने एक छिपा हुआ नियम खोजा है: आपको यह जानने के लिए पूरे व्यक्ति को नापने की ज़रूरत नहीं है कि उसे किस साइज की आवश्यकता है।

  • उदाहरण: यदि आप किसी के जूतों को देखते हैं (दुकान में प्रवेश करते समय पहनी जाने वाली सबसे पहली चीज़), तो आप वास्तव में उनकी ऊँचाई और शरीर के आकार का सटीक अनुमान लगा सकते हैं। आपको उनकी कमर, बांह और गर्दन को अलग-अलग नापने की आवश्यकता नहीं है।
  • पेपर में: उन्होंने पाया कि AI मॉडल के बिल्कुल शुरुआत में (जिसे "पैच एम्बेडिंग" लेयर कहते हैं, जैसे जूते) मौजूद "एक्टिवेशन रेंज" (डेटा का फैलाव), गहरी (deep) परतों (बाकी का सूट) के लिए सबसे अच्छे सेटिंग्स की भविष्यवाणी करने में सक्षम है।

2. "रोबस्ट रेंज" (शोर को अनदेखा करना)

जब "जूतों" (पहली लेयर) को देखते हैं, तो कभी-कभी कुछ अजीब आउटलियर्स (outliers) हो सकते—जैसे कि इमेज में कोई बहुत चमकीला धब्बा जो मुख्य तस्वीर का हिस्सा नहीं है। यदि आप उस एक चमकीले धब्बे के आधार पर माप लेते हैं, तो आपका अनुमान गलत हो जाएगा।

  • उदाहरण: भीड़ में सबसे ऊँचे या सबसे छोटे व्यक्ति को देखने के बजाय, शोधकर्ता छोटे समूहों के औसत (average) को देखते हैं। वे डेटा को टुकड़ों में काटते हैं, प्रत्येक टुकड़े का हाई और लो (high and low) पाते हैं, और उनका औसत निकालते हैं। यह अजीब आउटलियर्स को सुचारू (smooth) कर देता है और एक "रोबस्ट" (विश्वसनीय) अनुमान देता है।

3. "जादुई फॉर्मूला" (Taylor-Motivated Polynomial)

एक बार जब उनके पास यह विश्वसनीय "जूता साइज" (रोबस्ट रेंज) आ जाता है, तो उन्हें और कुछ भी नापने की आवश्यकता नहीं होती। वे तुरंत AI की हर लेयर के लिए परफेक्ट सूट साइज की गणना करने के लिए एक पूर्व-निर्धारित गणितीय सूत्र (पॉलीनोमियल) का उपयोग करते हैं।

  • उदाहरण: एक ऐसी मशीन की कल्पना करें जो एक नंबर (जूते का साइज) लेती है और तुरंत उस विशिष्ट व्यक्ति के लिए एक पूरी तरह से टेलर-मेड सूट प्रिंट कर देती है। इसे रुककर मापने की आवश्यकता नहीं है; यह बस फॉर्मूले का उपयोग करती है।
  • यह तेज़ क्यों है: एक साधारण गणितीय सूत्र की गणना करना तुरंत होता है। यह पूरे शरीर को इंची टेप से नापने की तुलना में बहुत तेज़ है।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर का परीक्षण ImageNet (तस्वीरों का एक विशाल पुस्तकालय) नामक एक मानक बेंचमार्क पर किया गया।

  • सटीकता (Accuracy): नया तरीका पुराने "एक-साइज-सबके-लिए" वाले तरीके की तुलना में "सूट" को बहुत बेहतर तरीके से फिट करता है। कुछ मामलों में (बहुत कम बिट सेटिंग्स में), इसने सटीकता में 10% से अधिक का सुधार किया। AI की दुनिया में यह एक बहुत बड़ी छलांग है।
  • गति (Speed): भले ही यह हर व्यक्ति के लिए कस्टम सूट बनाता है, फिर भी यह पुराने "एक-साइज" वाले तरीके जितना ही तेज़ है।
    • पुराने "हर किसी को नापने" वाले तरीके ने काम को 19% से 154% तक धीमा कर दिया था।
    • नए ScalePredictor ने केवल 0.6% की देरी की। यह लगभग अदृश्य है।

सारांश

ScalePredictor एक जीनियस दर्जी की तरह है जो समझ जाता है कि यदि वह केवल आपके जूतों को देख ले, तो वह आपके पूरे शरीर के आकार का अनुमान लगा सकता है। वह आपके लिए तुरंत परफेक्ट सूट काटने के लिए एक त्वरित गणितीय ट्रिक का उपयोग करता है।

  • पुराना स्टैटिक तरीका: खराब फिट, तेज़।
  • पुराना डायनेमिक तरीका: परफेक्ट फिट, कष्टदायक रूप से धीमा।
  • ScalePredictor: परफेक्ट फिट, लगभग स्टैटिक तरीके जितना ही तेज़।

यह शक्तिशाली AI मॉडल्स को उनकी शार्पनेस या गति खोए बिना, छोटे और रोज़मर्रा के उपकरणों (जैसे फोन या एज डिवाइसेस) पर चलने की अनुमति देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →