🤖 machine learning

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

यह शोध पत्र CAQ-ZO को प्रस्तुत करता है, जो एक ज़ीरो-ऑर्डर ऑप्टिमाइज़ेशन विधि है जो एंडपॉइंट-राउंडिंग अवशेषों (endpoint-rounding residuals) को समाप्त करने और लो-बिट मॉडल्स पर फाइन-ट्यूनिंग प्रदर्शन को बेहतर बनाने के लिए ट्रांसफ़ॉर्मड लेटेंट स्पेस में परटर्बेशन्स (perturbations) करके क्वेरी ज्योमेट्री को नॉन-यूनिफॉर्म कम्पैंडिंग क्वांटाइज़र्स के साथ संरेखित करती है।

मूल लेखक: Yao Shu, Zilin Zhu

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao Shu, Zilin Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल, हाई-टेक रेडियो (एक बड़ा AI मॉडल) को सबसे स्पष्ट सिग्नल प्राप्त करने के लिए ट्यून करने की कोशिश कर रहे हैं। आप इसके आंतरिक नॉब्स या डायल को देख नहीं सकते; आप केवल ध्वनि (loss) को सुन सकते हैं और यह अनुमान लगा सकते हैं कि ध्वनि को बेहतर बनाने के लिए नॉब को किस दिशा में घुमाना है। इसे Zeroth-Order Optimization कहा जाता है।

आमतौर पर, यह पता लगाने के लिए कि नॉब को किस दिशा में घुमाना है, आप उसे अपने मन में थोड़ा सा बाएँ और दाएँ हिलाते हैं (wiggle), ध्वनि में अंतर सुनते हैं, और फिर उस दिशा में नॉब को घुमाते हैं जिससे ध्वनि में सुधार होता है।

समस्या: "लो-बिट" रेडियो

अब, कल्पना कीजिए कि यह रेडियो एक विशेष, मेमोरी-बचाने वाली बाधा के साथ बनाया गया है: यह केवल "लो-रेजोल्यूशन" सेटिंग्स को समझता है। यह ऐसा है जैसे रेडियो का एक डिजिटल डायल है जिसमें केवल कुछ विशिष्ट "क्लिक्स" या "स्टेप्स" हैं, न कि एक सुचारू, निरंतर रोटेशन।

पुराने तरीके में (जिसे पेपर में Weight-Space Queries कहा गया है), आप:

अपने मन में नॉब को थोड़ा बाएँ और दाएँ हिलाने का निर्णय लेते हैं (निरंतर गति)।
रेडियो से उन दो नई स्थितियों पर ध्वनि बजाने के लिए कहते हैं।
द ग्लिच (खराबी): क्योंकि रेडियो केवल विशिष्ट "क्लिक्स" को समझता है, वह आपकी निरंतर गति को निकटतम उपलब्ध "क्लिक" पर स्नैप (snap) कर देता है।
- यदि "क्लिक्स" कुछ क्षेत्रों में बहुत पास-पास हैं (dense), तो आपकी छोटी सी हलचल दोनों तरफ एक ही क्लिक पर स्नैप हो सकती है। रेडियो को कोई अंतर सुनाई नहीं देगा, और आपको शून्य जानकारी मिलेगी।
- यदि "क्लिक्स" अन्य क्षेत्रों में दूर-दूर हैं (sparse), तो आपकी छोटी सी हलचल एक ऐसे क्लिक पर स्नैप हो सकती है जो वास्तव में आपके इरादे से बहुत दूर है। आपको एक विकृत (distorted) सिग्नल मिलेगा।

यह "स्नैपिंग" ऑप्टिमाइज़र के लिए एक भ्रमित करने वाला, विकृत मानचित्र बनाती है, जिससे सीखना कठिन हो जाता है।

समाधान: CAQ-ZO (द "मैप-अलाइन्ड" अप्रोच)

लेखकों ने, Yao Shu और Zilin Zhu ने, रेडियो से सवाल पूछने का एक नया तरीका प्रस्तावित किया है। वे इसे CAQ-ZO (Compander-Aligned Queries) कहते हैं।

मूल "निरंतर" दुनिया में नॉब्स के बारे में सोचने के बजाय, वे दृष्टिकोण बदलते हैं। वे महसूस करते हैं कि रेडियो के "क्लिक्स" वास्तव में एक विशेष फनल (एक गणितीय रूपांतरण जिसे compander कहा जाता है) के माध्यम से देखने पर पूरी तरह से समान रूप से व्यवस्थित हैं।

फनल की उपमा:
कल्पना कीजिए कि रेडियो की सेटिंग्स एक ऊबड़-खाबड़ सड़क हैं।

पुराना तरीका: आप इस ऊबड़-खाबड़ सड़क पर एक निश्चित दूरी (मान लीजिए 1 मीटर) चलने की कोशिश करते हैं। कभी-कभी आप कीचड़ के गहरे गड्ढे में 1 मीटर चलते हैं (जहाँ आप मुश्किल से हिल पाते हैं), और कभी-कभी आप एक चिकनी पहाड़ी पर 1 मीटर चलते हैं (जहाँ आप बहुत तेजी से आगे बढ़ जाते हैं)। आपके कदम असंगत हैं।
CAQ-Z0 का तरीका: आप एक विशेष फनल लेंस के माध्यम से सड़क को देखते हैं। इस लेंस के माध्यम से, ऊबड़-खाबड़ सड़क एक पूरी तरह से समतल, टाइल्स वाली सड़क की तरह दिखती है।
- अब, ऊबड़-खाबड़ सड़क पर 1 मीटर चलने के बजाय, आप बस एक टाइल चलते हैं।
- आप रेडियो से पूछते हैं: "अगर मैं एक टाइल बाईं ओर चलूँ तो ध्वनि कैसी होगी? और एक टाइल दाईं ओर चलूँ तो कैसी होगी?"
- क्योंकि आप ठीक एक टाइल से दूसरी टाइल तक जा रहे हैं, रेडियो का "स्नैपिंग" तंत्र आपकी गति को बिल्कुल भी विकृत नहीं करता है। यह ठीक वहीं लैंड करता है जहाँ आपने इसे बताया था।

उन्होंने क्या पाया

सिद्धांत: उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप विशेष लेंस दृश्य (compander coordinate) में "टाइल्स" का पालन करते हैं, तो आपको जो माप मिलता है वह पूरी तरह से सटीक होता है। यहाँ कोई "स्नैपिंग एरर" नहीं है।
प्रयोग:
- सिंथेटिक टेस्ट: उन्होंने "स्नैपिंग" त्रुटि को अलग करने के लिए नकली गणितीय समस्याएं बनाईं। उन्होंने दिखाया कि उनका नया तरीका (CAQ-ZO) इस त्रुटि को पूरी तरह से समाप्त कर देता है, जबकि पुराना तरीका इस भ्रम में फंसा रहता है।
- वास्तविक AI मॉडल: उन्होंने वास्तविक लार्ज लैंग्वेज मॉडल्स (जैसे Qwen और Llama) पर एक विशिष्ट लो-प्रिसिजन फॉर्मेट NF4 का उपयोग करके इसका परीक्षण किया। उन्होंने पाया कि उनके "टाइल-वॉकिंग" तरीके का उपयोग करके, मॉडल बेहतर ढंग से सीखे और उच्च सटीकता प्राप्त की, भले ही उन्होंने समान मेमोरी और हार्डवेयर का उपयोग किया हो।

मुख्य निष्कर्ष

यह पेपर एक नया प्रकार का रेडियो या डेटा स्टोर करने का नया तरीका नहीं बनाता है। इसके बजाय, यह एक लो-प्रिसिजन रेडियो से सवाल पूछने के तरीके को ठीक करता है।

पुराना तरीका: "नॉब को थोड़ा सा हिलाएं।" (परिणाम: रेडियो आपकी हलचल को एक यादृच्छिक स्थान पर स्नैप कर देता है, जिससे आपको खराब डेटा मिलता है)।
CAQ-ZO तरीका: "ठीक अगले क्लिक मार्क तक चलें।" (परिणाम: रेडियो वही सुनता है जो आपने पूछा है, जिससे आपको सटीक डेटा मिलता है)।

रेडियो के आंतरिक "क्लिक्स" के साथ अपने प्रश्नों को संरेखित करके, उन्होंने कम-मेमोरी वाले AI प्रशिक्षण को बहुत अधिक प्रभावी बना दिया।

तकनीकी सारांश: क्वांटाइज्ड ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन के लिए कंपैंडर-अलाइन्ड क्वेरी ज्योमेट्री (Compander-Aligned Query Geometry)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लो-प्रिसिजन (क्वांटाइज्ड) लार्ज लैंग्वेज मॉडल्स (LLMs) पर लागू होने वाले ज़ीरोथ-ऑर्डर (ZO) ऑप्टिमाइज़ेशन की एक मौलिक सीमा को संबोधित करता है। जबकि ZO विधियाँ (जैसे MeZO) केवल फॉरवर्ड पासेज और स्केलर लॉस वैल्यूज पर निर्भर रहकर मेमोरी-एफिशिएंट अडैप्टेशन को सक्षम बनाती हैं, मौजूदा दृष्टिकोणों को संघर्ष करना पड़ता है जब मॉडल को लो-बिट प्रिसिजन (जैसे NF4) में स्टोर और क्वेरी किया जाता है।

मुख्य मुद्दा नॉन-यूनिफॉर्म क्वांटाइजेशन के कारण उत्पन्न होने वाला मेज़रमेंट मिसमैच (measurement mismatch) है:

स्टैंडर्ड ZO: वेट स्पेस ( $x \pm \mu u$ ) में वेट्स को विचलित (perturb) करता है और लॉस डिफरेंस को मापता है।
क्वांटाइज्ड ZO: इंजन राउंडेड एंडपॉइंट्स $Q(x \pm \mu u)$ का मूल्यांकन करता है।
द्वंद्व (The Conflict): नॉन-यूनिफॉर्म कंपैंडिंग क्वांटाइज़र (जैसे NF4, $\mu$ $μ$ -law) के लिए, क्वांटाइजेशन सेल्स यूनिफॉर्म नहीं होते हैं। एक फिक्स्ड वेट-स्पेस पर्सर्बेशन रेडियस $\mu$ $μ$ :
1. कोलैप्स (Collapse): पूरी तरह से एक ही डेंस क्वांटाइजेशन सेल के भीतर गिर सकता है, जिसके परिणामस्वरूप शून्य लॉस डिफरेंस मिलता है (कोई ग्रेडिएंट सिग्नल नहीं)।
2. ओवर-स्पैन (Over-span): कई स्पार्स सेल्स को पार कर सकता है, जिससे लोकल ग्रेडिएंट के बजाय एक नॉन-लोकल सेकेंट (secant) मापा जाता है।
3. मिसअलाइन (Misalign): एक "राउंडेड कॉर्ड" $Q(x+\mu u) - Q(x-\mu u)$ बनाता है जो इच्छित अपडेट दिशा $u$ के समानांतर नहीं होता है।

यह एक क्वेरी-टाइम क्वांटाइजेशन-पर्सर्बेशन कपलिंग बनाता है, जो एक बायस चैनल पेश करता है जो डिसेंट डायरेक्शन को विकृत करता है और कन्वर्जेंस को रोकता है, भले ही कोडबुक रिकंस्ट्रक्शन के लिए इष्टतम क्यों न हो।

2. कार्यप्रणाली: CAQ-ZO

लेखक CAQ-ZO (Compander-Aligned Queries for Zeroth-Order Optimization) प्रस्तावित करते हैं, जो क्वेरी ज्योमेट्री को वेट स्पेस से बदलकर कंपैंडर कोऑर्डिनेट स्पेस में ले जाता है।

सैद्धांतिक ढांचा (Theoretical Framework)

शोध पत्र स्केलर नॉन-यूनिफॉर्म क्वांटाइजेशन को एक कंपैंडिंग प्रक्रिया के रूप में मॉडल करता है:
$Q = \phi^{-1} \circ U \circ \phi$
जहाँ:

$\phi$ : एक मोनोटोन कोऑर्डिनेट मैप (कंप्रेसर) है।
$U$ : ट्रांसफ़ॉर्म किए गए स्पेस $z = \phi(x)$ में ग्रिड स्पेसिंग $\Delta$ के साथ एक यूनिफॉर्म क्वांटाइज़र है।
$\phi^{-1}$ : वेट स्पेस में वापस जाने वाला एक्सपैंडर मैप है।

एल्गोरिदम

वेट स्पेस में $x$ को विचलित करने के बजाय, CAQ-ZO $z$ -स्पेस में कार्य करता है:

कोऑर्डिनेट ट्रांसफॉर्मेशन: इटरेट को कंपैंडर कोऑर्डिनेट $z_t = \phi(x_t)$ में बनाए रखें।
ऑन-ग्रिड स्टेंसिल (On-Grid Stencil): $z$ -स्पेस में सीधे एक वन-ग्रिड-स्टेप रेडमेकर स्टेंसिल (one-grid-step Rademacher stencil) का उपयोग करके पर्सर्बेशन जनरेट करें: $z_t \pm \Delta r$ , जहाँ $r \in \{-1, +1\}^d$ ।
क्वेरी: एंडपॉइंट्स को वापस वेट स्पेस में मैप करें: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$ ।
मेज़रमेंट: लो-प्रिसिजन ऑरेकल को क्वेरी करें। चूंकि एंडपॉइंट्स $z_t \pm \Delta r$ , $U$ के यूनिफॉर्म ग्रिड पर सटीक रूप से स्थित हैं, इसलिए क्वांटाइज़र $Q$ क्वेरी पॉइंट्स पर आइडेंटिटी के रूप में कार्य करता है (एंडपॉइंट्स पर कोई राउंडिंग एरर नहीं होता है)।
अपडेट: $z$ -स्पेस में ग्रेडिएंट एस्टीमेट की गणना करें और $z_{t+1}$ को अपडेट करें, भविष्य की क्वेरीज के लिए इनवेरिएंट बनाए रखने के लिए इसे ग्रिड पर प्रोजेक्ट करें।

मुख्य अंतर: CAQ-ZO कोडबुक, ऑप्टिमाइज़र रैपर, या फॉरवर्ड ऑरेकल को नहीं बदलता है। यह केवल फाइनाइट-डिफरेंस स्टेंसिल की ज्योमेट्री को बदलता है ताकि वह कंपैंडर के साथ संरेखित (align) हो सके।

3. मुख्य योगदान

शोध पत्र के चार प्राथमिक योगदान हैं:

क्वेरी ज्योमेट्री का फॉर्मूलेशन: यह क्वांटाइज्ड ZO को कोडबुक तुलना समस्या के बजाय एक मेज़रमेंट-ज्योमेट्री समस्या के रूप में पुनर्गठित करता है। यह कोडबुक, क्वेरी कोऑर्डिनेट, डायरेक्शन डिस्ट्रीब्यूशन, स्मूथिंग रेडियस और एंडपॉइंट ग्रिड अलाइनमेंट को अलग-अलग कंट्रोल वेरिएबल्स के रूप में अलग करता है।
मिसमैच का सैद्धांतिक विश्लेषण:
- थ्योरम 1: सिद्ध करता है कि कोई भी फिक्स्ड वेट-स्पेस रेडियस $\mu$ नॉन-यूनिफॉर्म सेल्स को ग्लोबल रूप से कैलिब्रेट नहीं कर सकता; प्रभावी ग्रिड स्पैन $\rho$ , लोकल कंपैंडर स्लोप $\nabla \phi$ पर निर्भर करता है।
- थ्योरम 2: एस्टीमेटर एरर को डिकंपोज करता है, यह दिखाता है कि स्टैंडर्ड वेट-स्पेस क्वेरीज़ में $\Delta^2/\mu^2$ (एंडपॉइंट राउंडिंग) के समान एक रेसिड्यूल होता है, जबकि CAQ-ZO इस क्वेरी-टाइम रेसिड्यूल को बिल्कुल शून्य कर देता है।
- थ्योरम 3 और 4: स्टेशनैरिटी बाउंड्स प्रदान करते हैं जो दर्शाते हैं कि वेट-स्पेस क्वेरीज़ राउंडिंग बायस के कारण एक रेसिड्यूल फ्लोर से ग्रस्त होती हैं, जबकि CAQ-ZO केवल स्टैंडर्ड फाइनाइट-डिफरेंस बायस और स्टोकेस्टिक वेरिएंस द्वारा नियंत्रित कन्वर्जेंस प्राप्त करता है।
एल्गोरिदम डिज़ाइन: CAQ-ZO एल्गोरिदम (एल्गोरिदम 1) पेश करता है जो कंपैंडर कोऑर्डिनेट में ऑन-ग्रिड रेडमेकर फाइनाइट डिफरेंसेस का उपयोग करता है और ग्रिड अलाइनमेंट को बनाए रखने के लिए अपडेट-टाइम प्रोजेक्शन को लागू करता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- सिंथेटिक प्रयोग: एंडपॉइंट-राउंडिंग चैनल को आइसोलेट करता है, यह दिखाता है कि CAQ-ZO उस रेसिड्यूल को समाप्त करता है जो वेट-स्पेस बेसलाइन्स (वैनिला गॉसियन ZO, QuZO) को प्रभावित करता है।
- LLM फाइन-ट्यूनिंग: Qwen-2.5-1.5B और Llama-2-7B पर NF4 क्वांटाइजेशन का उपयोग करके सुधार प्रदर्शित करता है। CAQ-ZO समान क्वांटाइज़र और इवैल्यूएशन बजट के तहत मल्टीपल टास्क (SST-2, RTE, CB, SQuAD, आदि) पर QuZO (वेट-स्पेस बेसलाइन) से बेहतर प्रदर्शन करता है।

4. परिणाम

सिंथेटिक: $\mu$ -लॉ और NF4-स्टाइल कंपैंडर्स के साथ हाई-डायमेंशनल ( $d=10,000$ ) सिंथेटिक प्रयोगों में, CAQ-ZO सबसे कम फाइनल-टू-स्टार्ट लॉस गैप रेशियो प्राप्त करता है। यह विशेष रूप से उस "एंडपॉइंट-राउंडिंग रेसिड्यूल" को समाप्त करता है जो वेट-स्पेस मेथड्स में देखा जाता है, जो अधिक इटरेशन के साथ भी नॉन-जीरो रहता है।
LLM फाइन-ट्यूनिंग: मैच की गई NF4 फाइन-ट्यूनिंग प्रयोगों में:
- CAQ-ZO दोनों मॉडल्स के लिए सभी मेट्रिक्स पर QuZO (वेट-स्पेस बेसलाइन) की तुलना में लगातार सुधार करता है।
- उल्लेखनीय लाभों में Qwen और Llama के लिए क्रमशः CB पर 18.8/21.4 एक्यूरेसी पॉइंट्स और SQuAD के लिए 24.0/28.1 F1 शामिल हैं।
- परिणाम पुष्टि करते हैं कि फाइनाइट-डिफरेंस एंडपॉइंट्स को बदलने से (कोडबुक को स्थिर रखते हुए) प्रशिक्षित क्वांटाइज्ड मॉडल में सुधार होता है।

5. महत्व और दायरा (Significance and Scope)

शोध पत्र का दावा है कि क्वांटाइज्ड ZO केवल कोडबुक द्वारा निर्धारित नहीं होता है; फाइनाइट-डिफरेंस स्टेंसिल और क्वांटाइज़र सेल्स के बीच की अंतःक्रिया (interaction) भी उतनी ही महत्वपूर्ण है।

मुख्य अंतर्दृष्टि (Core Insight): एक कोडबुक जो स्टैटिक रिकंस्ट्रक्शन (जैसे NF4) के लिए इष्टतम है, वह वेट-स्पेस पर्सर्बेशन के लिए सब-ऑप्टिमल हो सकती है यदि क्वेरी ज्योमेट्री मिसअलाइन्ड है। CAQ-ZO इसे क्वेरी ज्योमेट्री को कंपैंडर के साथ संरेखित करके हल करता है।
दावों की विनम्रता (Modesty of Claims): लेखक स्पष्ट रूप से अपने दावों को सीमित करते हैं:
- सिद्धांत स्केलर मोनोटोन कंपैंडर्स (मोनोटोन इंटरपोलेशन के माध्यम से NF4 सहित) पर लागू होता है।
- साक्ष्य नियंत्रित सिंथेटिक प्रयोगों और मैच्ड NF4 LLM फाइन-ट्यूनिंग तक सीमित हैं।
- शोध पत्र सभी नॉन-स्केलर कोडबुक्स (जैसे वेक्टर क्वांटाइज़र) के लिए यूनिवर्सल ट्रांसफरबिलिटी या व्यापक बड़े-मॉडल दावों का दावा नहीं करता है।
- इसे "लो-प्रिसिजन-फॉरवर्ड-पास" सेटिंग के लिए एक विशिष्ट समाधान के रूप में रखा गया है, जो कोडबुक या स्ट्रेट-थ्रू एस्टीमेटर्स को संशोधित करने वाले तरीकों से अलग है।

संक्षेप में, CAQ-ZO ज़ीरोथ-ऑर्डर ऑप्टिमाइज़ेशन में क्वांटाइजेशन राउंडिंग द्वारा पेश किए गए बायस को हटाने के लिए एक सैद्धांतिक रूप से आधारित और अनुभवजन्य रूप से सत्यापित तरीका प्रदान करता है, जिससे क्वांटाइज्ड LLMs का अधिक प्रभावी मेमोरी-एफिशिएंट अडैप्टेशन संभव होता है।