🤖 machine learning

Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

यह शोध पत्र युग्मित-द्विआधारी (paired-binary) नमूना-आकार गणनाओं से व्युत्पन्न एक रूढ़िवादी न्यूनतम पता लगाने योग्य प्रभाव (MDE) बजट प्रस्तावित करता है ताकि डिजाइनरों को विश्वसनीय 4-बिट क्वांटाइजेशन दावों को प्री-रजिस्टर करने के लिए बेंचमार्क करने में मदद मिल सके, जो एक पायलट ऑडिट के माध्यम से यह प्रदर्शित करता है कि छोटे उप-नमूनों पर रिपोर्ट किया गया बहुत सा बेंचमार्क विचलन वास्तव में द्विपद शोर (binomial noise) है और प्रॉम्प्ट-टेम्प्लेट परिवर्तनशीलता अक्सर क्वांटाइजेशन प्रभावों से अधिक होती है।

मूल लेखक: Zexin Zhuang, Yanhang Li, Zhichao Fan

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zexin Zhuang, Yanhang Li, Zhichao Fan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जज हैं जिसे यह तय करना है कि दो धावक (एक फुल-प्रिसिजन धावक और एक 4-बिट क्वांटाइज्ड धावक) की गति अलग है या नहीं। आप जानना चाहते हैं: क्या अंतर वास्तविक है, या वे बस संयोग से एक ही दिन टकरा गए?

यह शोधपत्र उस दौड़ को आयोजित करने के लिए एक "नियम पुस्तिका" है ताकि आप बदकिस्मती या खराब ट्रैक के कारण धोखा न खा जाएं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. समस्या: "धुंधला रूलर" (The "Fuzzy Ruler")

लेखक तर्क देते हैं कि AI मॉडलों की तुलना करने वाले कई वर्तमान अध्ययन ऐसे हैं जैसे केवल इंच के निशान वाले रूलर से बाल की चौड़ाई मापने की कोशिश करना।

सेटअप: शोधकर्ता एक टेस्ट लेते हैं (जैसे MMLU) जिसमें 100 प्रश्न होते हैं। वे AI को "फुल प्रिसिजन" (सुपर सटीक) और "4-बिट क्वांटाइजेशन" (स्पेस बचाने के लिए कंप्रेस्ड) में चलाते हैं।
समस्या: भले ही AI परफेक्ट हो, रैंडम चांस (जैसे सिक्का उछालना) के कारण स्कोर ऊपर-नीचे होता रहता है। यदि "उतार-चढ़ाव" (wiggle) दोनों मॉडलों के बीच के अंतर से बड़ा है, तो आप यह नहीं बता सकते कि कंप्रेस्ड मॉडल वास्तव में खराब है या नहीं। आप केवल टेस्ट के अपने शोर (noise) को देख रहे हैं।

2. समाधान: "डिटेक्टेबल इफेक्ट बजट" (The "Detectable Effect Budget")

लेखकों ने एक सरल गणितीय सूत्र ("बजट") बनाया है जिसे शोधकर्ताओं को टेस्ट चलाने से पहले भरना होगा।

उपमा: इसे एक जासूस की तरह समझें जो यह तय कर रहा है कि उसे किसी विशालकाय जीव के पदचिह्न के बारे में कहने से पहले कितने बड़े पदचिह्न को खोजने की आवश्यकता है।
नियम: यदि दोनों मॉडलों के बीच का अंतर आपके "बजट" (आपका मिनिमम डिटेक्टेबल इफेक्ट) से कम है, तो आपको यह स्वीकार करना चाहिए: "मुझे कोई अंतर नहीं मिला, लेकिन मेरा टेस्ट इतना संवेदनशील नहीं था कि वह एक अंतर को भी देख पाता।"
परिणाम: यह शोधकर्ताओं को "दोनों मॉडल एक जैसे हैं!" दावा करने से रोकता है जब वास्तव में उनका टेस्ट इतना कमजोर था कि वह अंतर देख ही नहीं पाया।

3. पायलट ऑडिट: उन्होंने वास्तव में क्या पाया

लेखकों ने यह देखने के लिए कि यह असल जिंदगी में कैसे काम करता है, चार अलग-अलग AI मॉडलों और चार अलग-अलग टेस्ट के साथ एक "अभ्यास दौड़" चलाई।

निष्कर्ष #1: अधिकांश "शोर" केवल रैंडमनेस है।
उन्होंने पाया कि जब विभिन्न प्रश्नों के समूहों के बीच टेस्ट स्कोर में भिन्नता आई, तो वह ज्यादातर बिनोमियल नॉइज़ (binomial noise - यानी रैंडम किस्मत) थी।
- उपमा: यदि आप 100 बार सिक्का उछालते हैं, तो आपको हर बार ठीक 50 हेड्स नहीं मिलेंगे। कभी 48 मिलेंगे, कभी 52। लेखकों ने पाया कि लोग जिस "अस्थिरता" की शिकायत करते हैं, वह अक्सर केवल इस सामान्य कॉइन-फ्लिप रैंडमनेस के कारण होती है, न कि स्वयं AI में किसी दोष के कारण।
निष्कर्ष #2: "प्रॉम्प्ट" (Prompt) कंप्रेशन से बड़ी समस्या है।
उन्होंने टेस्ट किया कि सवाल पूछने का तरीका (प्रॉम्प्ट टेम्पलेट) स्कोर को कितना बदल देता है।
- उपमा: कल्पना कीजिए कि एक छात्र से पूछना, "2+2 क्या है?" बनाम "कृपया दो और दो का योग बताएं।" शब्दों की वजह से उत्तर थोड़ा बदल सकता है।
- चौंकाने वाला तथ्य: उन्होंने पाया कि सवाल की शब्दावली बदलने से स्कोर में 2% से 10% तक का उतार-चढ़ाव आया। AI को कंप्रेस करने (क्वांटाइजेशन) से होने वाला अंतर केवल 0.4% से 3% था।
- निष्कर्ष: यदि आप सवाल की सटीक शब्दावली को पहले से लॉक नहीं करते हैं, तो शब्दों का "शोर" कंप्रेशन के सूक्ष्म संकेत को पूरी तरह से दबा देगा। यह किसी के चिल्लाने के बीच फुसफुसाहट सुनने की कोशिश करने जैसा है।
निष्कर्ष #3: "बॉर्डरलाइन" केस।
एक विशिष्ट टेस्ट (WinoGrande पर OPT मॉडल) में, कंप्रेस्ड मॉडल का स्कोर 3.2% कम था।
- फैसला: यह बिल्कुल किनारे पर था। यदि AI मॉडल बहुत समान (कम असहमति) थे, तो यह अंतर पता लगाने योग्य था। यदि वे बहुत अलग थे, तो नहीं। यह साबित करता है कि आपको "बजट" नियम की आवश्यकता क्यों है: इसके बिना, आप यह नहीं जान सकते कि वह 3.2% की गिरावट एक वास्तविक विफलता है या सिर्फ एक इत्तेफाक।

4. नए नियम (सिफारिशें)

पेपर सुझाव देता है कि जो कोई भी AI मॉडलों की तुलना कर रहा है, उसे चार चीजें करनी चाहिए:

बजट को प्री-रजिस्टर करें: शुरू करने से पहले तय करें: "मैं केवल X% से बड़े अंतर को ही डिटेक्ट कर सकता हूँ।"
रसीदें रखें (Keep the Receipts): हर एक प्रश्न का डेटा (न कि केवल अंतिम स्कोर) सुरक्षित रखें ताकि आप बाद में बेहतर गणित कर सकें।
सिक्के के उछाल की जांच करें: देखें कि आपके टेस्ट का "उतार-चढ़ाव" (wiggle room) रैंडम चांस के गणित के मुकाबले कैसा है, ताकि पता चल सके कि शोर असली है या सिर्फ किस्मत।
शब्दावली को लॉक करें: एक ही सवाल को पूछने के कम से कम तीन अलग-अलग तरीकों से AI का परीक्षण करें ताकि यह सुनिश्चित हो सके कि परिणाम केवल शब्दों के चयन का नतीजा नहीं हैं।

सारांश

यह पेपर यह नहीं कहता कि "4-बिट AI बुरा है" या "4-bit AI अच्छा है।" इसके बजाय, यह कहता है: "अनुमान लगाना बंद करें।"

यह शोधकर्ताओं को एक टूल प्रदान करता है जिससे वे यह बता सकें कि उन्हें दावे के साथ यह कहने के लिए कि, "यह कंप्रेस्ड मॉडल अलग है," कितने बड़े अंतर को देखने की आवश्यकता है। यह खुलासा करता है कि कई वर्तमान अध्ययन इतने छोटे हैं कि वे बड़े बदलावों के अलावा कुछ भी देख नहीं पाते, और सवाल पूछने का तरीका अक्सर कंप्रेशन की तुलना में त्रुटि का एक बड़ा स्रोत होता है।

तकनीकी सारांश: 4-बिट क्वांटाइजेशन बेंचमार्क में पता लगाने योग्य प्रभाव का पूर्व-पंजीकरण (Pre-Registering)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए पोस्ट-ट्रेनिंग क्वांटाइजेशन (विशेष रूप से 4-बिट NF4) के मूल्यांकन में वर्तमान अभ्यास अक्सर प्रति मॉडल-बेंचमार्क सेल में एकल सटीकता संख्या (single accuracy number) रिपोर्ट करने पर निर्भर करते हैं। यह दृष्टिकोण एक मौलिक सांख्यिकीय प्रश्न को अनदेखा कर देता है: मूल्यांकन प्रोटोकॉल द्वारा विश्वसनीय रूप से पता लगाया जा सकने वाला सबसे छोटा क्वांटाइजेशन प्रभाव क्या है?

मानक बेंचमार्क अक्सर छोटे सबसैंपल्स (जैसे, $n=100$ आइटम) का उपयोग करते हैं जो गैर-अतिव्यापी (non-overlapping) उपसमुच्चयों में विभाजित होते हैं। इन विभाजनों के बीच देखे गए विचरण (variance) को अक्सर "बेंचमार्क अविश्वसनीयता" या क्वांटाइजेशन पद्धति की विफलता के रूप में व्याख्यायित किया जाता है। लेखक तर्क देते हैं कि इस विचरण का अधिकांश हिस्सा केवल छोटे $n$ के कारण होने वाले बाइनोमियल सैंपलिंग नॉइज़ (binomial sampling noise) है, न कि मॉडल या क्वांटाइजेशन योजना का गुण। बिना किसी पूर्व-निर्धारित (ex-ante) न्यूनतम पता लगाने योग्य प्रभाव (Minimum Detectable Effect - MDE) की गारंटी के, यह दावा करना कि एक क्वांटाइजेशन पद्धति प्रदर्शन को "बनाए रखती है", कम शक्तिशाली (under-powered) हो सकता है, क्योंकि यह एक छोटे जनसंख्या प्रभाव को उसे पहचानने में असमर्थता के साथ मिला देता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक रूढ़िवादी पेयर्ड-MDE बाउंड (conservative paired-MDE bound) का उपयोग करके बेंचमार्क विश्वसनीयता को एक पूर्व-पंजीकृत बजट लाइन में बदलने के लिए एक ढांचा प्रस्तावित करता है।

सैद्धांतिक व्युत्पत्ति (Paired-MDE Bound):
लेखक शास्त्रीय पेयर्ड-बाइनरी सैंपल-साइज गणनाओं (Miettinen, 1968) को FP16 बनाम NF4 तुलनाओं के संदर्भ में अनुकूलित करते हैं। वे निम्नलिखित को परिभाषित करते हैं:

$m$ : पेयर्ड आइटम काउंट (या तो एक एकल स्प्लिट के लिए $n$ या $k$ स्प्लिट्स के कुल योग के लिए $kn$)।
$\rho_d$ : प्रति-उदाहरण असहमति दर ( $Pr(D_i \neq 0)$ ), जहाँ $D_i$ आइटम $i$ पर FP16 और NF4 के बीच शुद्धता में अंतर है।
$\delta$ : जनसंख्या प्रभाव आकार ( $|E[D_i]|$ )।

वे महत्व स्तर $\alpha$ और पावर $1-\beta$ पर MDE ( $\delta^*$ ) के लिए एक रूढ़िवादी ऊपरी बाउंड (upper bound) व्युत्पन्न करते हैं:
$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$
यह बाउंड एक पूर्व-पंजीकृत या रूढ़िवादी रूप से सीमित $\rho_d$ के लिए 'वर्स्ट-केस' असहमति दर मानता है और विचरण को $\rho_d/m$ के रूप में मानता है। यह एक "बजट" लाइन के रूप में कार्य करता है: $\delta^*$ से छोटे प्रभाव डिज़ाइन द्वारा पता लगाने योग्य नहीं हैं, चाहे विशिष्ट मॉडल कोई भी हो।

अनुभवजन्य पायलट ऑडिट (Empirical Pilot Audit):
लेखक एक $4 \times 4$ ग्रिड पर पायलट ऑडिट आयोजित करते हैं:

मॉडल्स: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B।
बेंचमार्क्स: MMLU, ARC-Easy, WinoGrande, HellaSwag।
डिज़ाइन: $n=100$ आइटम्स के $k=5$ गैर-अतिव्यापी स्प्लिट्स ( $m=500$ कुल योग)।
प्रॉम्प्ट संवेदनशीलता: प्रॉम्प्ट-प्रेरित विचरण को मापने के लिए तीन अलग-अलग प्रॉम्प्ट टेम्पलेट्स ( $n=50$ प्रत्येक) के साथ MMLU पर एक समानांतर अध्ययन।

नैदानिक मेट्रिक्स (Diagnostic Metrics):

बाइनोमियल रेफरेंस: देखे गए क्रॉस-स्प्लिट स्टैंडर्ड डेवििएशन ( $\hat{\sigma}_{split}$ ) की तुलना सैद्धांतिक बाइनोमियल रेफरेंस $\sqrt{\hat{p}(1-\hat{p})/n}$ से करना।
क्वांटाइजेशन रिलायबिलिटी इंडेक्स (QRI): एक सिग्नल-टू-नॉइज़ ह्यूरिस्टिक जिसे $|\hat{\Delta}| / \hat{\sigma}_{split}$ के रूप में परिभाषित किया गया है (और एक संयुक्त संस्करण जिसमें प्रॉम्प्ट विचरण शामिल है) ताकि उन सेल्स को फ्लैग किया जा सके जहाँ शोर (noise) सिग्नल पर हावी है।

मुख्य परिणाम

सैंपलिंग नॉइज़ का प्रभुत्व: $n=100$ के सबसैंपल्स पर, 32 में से 25 देखे गए क्रॉस-स्प्लिट स्टैंडर्ड डेविेशंस बाइनोमियल रेफरेंस के $\pm 1.5$ प्रतिशत अंक (pp) के भीतर थे। यह सुझाव देता है कि कथित "अविश्वसनीयता" का अधिकांश हिस्सा केवल बाइनोमियल सैंपलिंग नॉइज़ है, न कि क्वांटाइजेशन-विशिष्ट अस्थिरता।
पता लगाने की सीमाएं (Detectability Limits):
- $\rho_d = 0.10$ के प्लानिंग असहमति दर को मानते हुए, कुल (aggregate) MDE ( $m=500$ ) $\approx 4.0$ pp है।
- $\rho_d = 0.05$ मानते हुए, MDE घटकर $\approx 2.8$ pp हो जाता है।
- अवलोकन: 7B मॉडल्स के लिए सभी देखे गए NF4–FP16 एक्यूरेसी डेल्टा (जो -0.4 से -0.8 pp के बीच थे) दोनों MDE थ्रेसहोल्ड से नीचे थे।
- सीमावर्ती मामला (Borderline Case): एकमात्र सेल जो बाउंड के करीब था वह WinoGrande पर OPT-2.7B था ( $|\Delta| = 3.2$ pp)। यह प्रभाव $\rho_d=0.10$ पर MDE से नीचे है लेकिन $\rho_d=0.05$ पर उससे ऊपर है, जो यह दर्शाता है कि इस विशिष्ट परिणाम की पता लगाने की क्षमता पूरी तरह से अनमापी $\rho_d$ के नियोजन मान पर निर्भर करती है।
प्रॉम्प्ट विचरण कन्फाउंड (Prompt Variance Confound): MMLU पर, प्रॉम्प्ट-टेम्पलेट विविधताओं ने 2–10 pp तक की एक्यूरेसी में उतार-चढ़ाव पैदा किया। यह रेंज देखे गए सबसे बड़े क्वांटाइजेशन डेल्टा (3.2 pp) के बराबर या उससे अधिक है। फलस्वरूप, एक क्वांटाइजेशन ऑडिट जो प्रॉम्प्ट टेम्पलेट को फिक्स नहीं करता है, वह टेम्पलेट के विचरण को अपने नॉइज़ फ्लोर में अवशोषित कर लेता है, जिससे प्रभाव छिप सकता है या निर्मित (fabricated) हो सकता है।

योगदान (Contributions)

रूढ़िवादी पेयर्ड MDE बाउंड: एक क्लोज्ड-फॉर्म इनइक्वैलिटी (Eq. 2) जो बेंचमार्क डिजाइनरों को सैंपल साइज और एक पूर्व-असहमति दर के आधार पर एक पता लगाने योग्य बजट (detectability budget) पूर्व-पंजीकृत करने की अनुमति देती है।
अनुभवजन्य ऑडिट और बाइनोमियल रेफरेंस: एक पायलट अध्ययन जो प्रदर्शित करता है कि $n=100$ के मानक सबसैंपल साइज पर, क्रॉस-स्प्लिट विचरण काफी हद तक बाइनोमियल सैंपलिंग द्वारा समझाया जा सकता है, न कि मॉडल-विशिष्ट शोर द्वारा।
क्वांटाइजेशन रिलायबिलिटी इंडेक्स (QRI): एक वर्णनात्मक सिग्नल-टू-नॉइज़ मेट्रिक जो उन सेल्स की पहचान करता है जहाँ मूल्यांकन शोर (evaluation noise) क्वांटाइजेशन सिग्नल पर हावी हो जाता है।
पूर्व-पंजीकरण टेम्पलेट: एक पांच-लाइन वाला टेम्पलेट जो शोधकर्ताओं को बेंचमार्क चलाने से पहले अपने MDE लक्ष्यों, असहमति पूर्वग्रहों (disagreement priors) और पेयर्ड सांख्यिकी के प्रति प्रतिबद्ध होने की अनुमति देता है।

महत्व और दावे
यह शोध पत्र यह दावा नहीं करता कि 4-बिट क्वांटाइजेशन सार्वभौमिक रूप से पूर्ण है या विशिष्ट मॉडल विफल होते हैं। इसके बजाय, यह तर्क देता है कि फुल-प्रिसिजन मॉडल्स और क्वांटाइज्ड मॉडल्स के बीच बेंचमार्क तुलनाएं नियमित रूप से अंडर-पावर्ड (under-powered) होती हैं।

लेखक का कहना है कि MDE को स्पष्ट बनाकर, समुदाय "छोटे-प्रभाव" (small-effect) वाली कहानियों को फिर से परिभाषित कर सकता है। यदि देखा गया डेल्टा पूर्व-पंजीकृत MDE से कम है, तो सही निष्कर्ष यह नहीं है कि प्रभाव "छोटा" या "नगण्य" है, बल्कि यह है कि वह "इस सैंपल साइज पर शक्ति-विभेदन योग्य (power-distinguishable) नहीं है।"

यह अध्ययन सटीक तुलनाओं के लिए दो महत्वपूर्ण पूर्व-शर्तों पर प्रकाश डालता है:

सैंपल साइज: वर्तमान सबसैंपल साइज ( $n=100$ ) अत्यंत कम असहमति दरों को माने बिना सब-परसेंटेज-पॉइंट प्रभावों को हल करने के लिए अपर्याप्त हैं।
प्रॉम्प्ट कंट्रोल: प्रॉम्प्ट टेम्पलेट विचरण को स्थिर या स्वीप (sweep) किया जाना चाहिए, क्योंकि यह स्वयं क्वांटाइजेशन प्रभाव के परिमाण से अधिक हो सकता है।

यह कार्य एक पद्धतिगत हस्तक्षेप (methodological intervention) के रूप में कार्य करता है, जो क्षेत्र को एक्स-एंटे (ex-ante) गारंटियों (क्लिनिकल ट्रायल बजट के समान) को अपनाने का आग्रह करता है ताकि यह अंतर किया जा सके कि क्या यह क्वांटाइजेशन प्रभाव की वास्तविक कमी है या मूल्यांकन प्रोटोकॉल की उसे पहचानने में विफलता है।