← नवीनतम पेपर
🤖 machine learning

CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training

यह शोध पत्र CAGE को प्रस्तुत करता है, जो एक नवीन क्वांटाइजेशन-अवेयर ट्रेनिंग विधि है जो स्ट्रेट-थ्रू एस्टीमेटर को मल्टी-ऑब्जेक्टिव ऑप्टिमाइजेशन फ्रेमवर्क से प्राप्त एक कर्वेचर-अवेयर करेक्शन टर्म के साथ संवर्धित करती है, जिससे लो-बिट क्वांटाइज्ड मॉडल्स और फुल-प्रिसिजन ट्रेनिंग के बीच सटीकता के अंतर को महत्वपूर्ण रूप से कम किया जाता है और साथ ही मजबूत सैद्धांतिक अभिसरण गारंटी भी प्रदान की जाती है।

मूल लेखक: Soroush Tabesh, Mher Safaryan, Andrei Panferov, Alexandra Volkova, Dan Alistarh

प्रकाशित 2026-06-19
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Soroush Tabesh, Mher Safaryan, Andrei Panferov, Alexandra Volkova, Dan Alistarh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, नाजुक मूर्ति (एक विशाल AI मॉडल) को एक छोटे, कठोर शिपिंग क्रेट (लो-बिट क्वांटाइजेशन) में पैक करने की कोशिश कर रहे हैं ताकि जगह और शिपिंग लागत बचाई जा सके।

सामान्य तरीका, जिसे STE (स्ट्रेट-थ्रू एस्टिमेटर) कहा जाता है, यह मानने जैसा है कि आप मूर्ति को क्रेट में जबरदस्ती फिट कर रहे हैं और इस बात को नजरअंदाज कर रहे हैं कि क्रेट की दीवारें सख्त हैं। आप ऐसा व्यवहार करते हैं जैसे दीवारें नरम और लचीली हों ताकि आप धक्का देना जारी रख सकें। लेकिन क्योंकि दीवारें वास्तव में नरम नहीं हैं, इसलिए मूर्ति फंस जाती है, डगमगा जाती है, या थोड़ी टूटी हुई आकृति में समाप्त होती है। इससे एक ऐसा मॉडल मिलता है जो काम तो करता है, लेकिन मूल मॉडल जितना अच्छा नहीं होता।

यह पेपर एक नई विधि पेश करता है जिसे CAGE (कर्वेचर-अवेयर ग्रेडिएंट एस्टिमेशन) कहा जाता है, जो इसे ठीक करती है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "ऊबड़-खाबड़" परिदृश्य (The "Bumpy" Landscape)

कल्पना कीजिए कि AI मॉडल एक घाटी के सबसे निचले बिंदु (सर्वश्रेष्ठ समाधान) को खोजने की कोशिश कर रहा है। हालाँकि, क्योंकि हम इसे एक छोटे से क्रेट में फिट करने के लिए मजबूर कर रहे हैं, घाटी का फर्श चिकना नहीं है; यह छोटे, कठोर कदमों के ग्रिड से ढका हुआ है।

  • पुराना तरीका (STE): मॉडल नीचे की ओर जाने की कोशिश करता है, लेकिन जब वह एक कदम (step) से टकराता है, तो वह बस यह मान लेता है कि वह कदम वहां है ही नहीं और उसी दिशा में आगे बढ़ता रहता है। यह अक्सर कदमों के बीच इधर-उधर उछलने या भटक जाने के कारण फंस जाता है।
  • नया तरीका (CAGE): CAGE यह समझता है कि "कदम" (क्वांटाइजेशन) घाटी के आकार को बदल रहे हैं। यह केवल यह नहीं देखता कि नीचे जाने का रास्ता कौन सा है; यह कर्वेचर (जमीन कितनी ढालू और ऊबड़-खाबड़ है) को देखता है और मॉडल की गति में एक छोटा सा "धक्का" (nudge) जोड़ता है ताकि उसे क्रेट के अंदर सबसे अच्छी जगह पर स्थिर होने में मदद मिल सके।

2. गुप्त मंत्र: "पारेटो" संतुलन (The "Pareto" Balance)

लेखक इस समस्या को दो लक्ष्यों के बीच खींचतान के रूप में वर्णित करते हैं:

  1. लक्ष्य A: मॉडल को यथासंभव स्मार्ट बनाना (त्रुटि को कम करना)।
  2. लक्ष्य B: मॉडल को छोटे क्रेट के भीतर रखना (क्वांटाइजेशन नियमों का पालन करना)।

आमतौर पर, एक को सुधारने से दूसरे को नुकसान पहुँचता है। CAGE एक आदर्श संतुलन बिंदु (जिसे "पारेटो-ऑप्टिमल" समाधान कहा जाता है) खोजता है। यह मूर्ति को क्रेट में यथासंभव मजबूती से पैक करने के साथ-साथ बिना तोड़े फिट करने के लिए सही स्थान खोजने जैसा है। CAGE एक विशेष "सुधार शब्द" (correction term) की गणना करता है जो मॉडल को इस संतुलन की ओर धकेलता है, प्रभावी रूप से मॉडल को बताता है: "सिर्फ पहाड़ी के नीचे मत जाओ; पहाड़ी के नीचे जाते समय क्रेट की दीवारों से सटकर भी चलो।"

3. यह व्यवहार में कैसे काम करता है

  • "मौन" अवधि (The "Silence" Period): प्रशिक्षण के बिल्कुल शुरुआत में, मॉडल बेतहाशा इधर-उधर घूम रहा होता है। यदि आप बहुत जल्दी इसे क्रेट में डालने की कोशिश करेंगे, तो यह भ्रमित हो जाएगा। CAGE तब तक इंतजार करता है जब तक कि मॉडल थोड़ा स्थिर न हो जाए (प्रशिक्षण के लगभग 80-90% के दौरान) और फिर यह अपना विशेष "धक्का" लगाना शुरू करता है।
  • "डिकपल्ड" धक्का (The "Decoupled" Nudge): AI के मुख्य इंजन (ऑप्टिमाइज़र) के साथ छेड़छाड़ करने के बजाय, CAGE अपने सुधार को इंजन अपना काम करने के बाद जोड़ता है। इसे एक ऐसे GPS की तरह समझें जो आपको मोड़-दर-मोड़ निर्देश देता है, और फिर एक मिलनसार सह-पायलट जो स्टीयरिंग व्हील को थोड़ा घुमाता है ताकि आप लेन में बने रहें। यह प्रशिक्षण को स्थिर और तेज़ रखता है।

4. परिणाम: कम में अधिक पैक करना

इस पेपर ने विशाल AI मॉडलों (जैसे Llama) पर इसका परीक्षण किया और पाया:

  • बेहतर सटीकता: CAGE मॉडल को पहले की तुलना में बहुत कम आकार (3-बिट या यहाँ तक कि 2-बिट) में बिना उसकी बुद्धिमत्ता खोए कंप्रेस करने की अनुमति देता है।
  • सर्वश्रेष्ठ को पछाड़ना: कुछ परीक्षणों में, CAGE का उपयोग करके एक 3-बिट में कंप्रेस किया गया मॉडल, पिछले सर्वोत्तम तरीकों का उपयोग करने वाले 4-बिट मॉडल के समान प्रदर्शन करता है।
  • कोई अतिरिक्त लागत नहीं: यह "धक्का" इतना हल्का है कि यह प्रशिक्षण प्रक्रिया को धीमा नहीं करता है। यह कार में एक छोटे, स्मार्ट सेंसर को जोड़ने जैसा है जो बिना कोई वजन बढ़ाए ईंधन दक्षता में सुधार करता है।

सारांश

संक्षेप में, CAGE AI मॉडलों को छोटे डिजिटल बक्सों में सिकोड़ने का एक स्मार्ट तरीका है। उन्हें अंधाधुंध जबरदस्ती अंदर डालने के बजाय, यह समस्या के आकार के आधार पर एक गणितीय "धक्के" का उपयोग करता है ताकि यह सुनिश्चित हो सके कि मॉडल पूरी तरह से फिट हो जाए और स्मार्ट बना रहे, और यह सब बिना प्रक्रिया को धीमा किए किया जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →