Auditable Release Assurance for Quantized LLM Deployment Configurations: Anytime-Valid Non-Inferiority and Executable Certificates
यह शोध पत्र एक ऑडिट करने योग्य, एनीटाइम-वैलिड सांख्यिकीय ढांचे को पेश करता है जिसमें निष्पादन योग्य प्रमाण पत्र (एग्जीक्यूटेबल सर्टिफिकेट्स) शामिल हैं, ताकि विशिष्ट परिनियोजन वातावरणों में यह कठोरता से निर्णय लिया जा सके कि क्या क्वांटाइज्ड लार्ज लैंग्वेज मॉडल्स, संदर्भ कॉन्फ़िगरेशन की तुलना में गैर-न्यूनता (नॉन-इनफीरियरिटी) रखते हैं, जिससे फॉल्स-सर्टिफिकेशन जोखिमों को नियंत्रित करते हुए लचीले, कॉन्फ़िगरेशन-विशिष्ट रिलीज़ आश्वासन का समर्थन किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक बड़े लैंग्वेज मॉडल (large language model) को अक्सर एक एकल, अखंड मस्तिष्क की तरह माना जाता है। हालाँकि, इन शक्तिशाली प्रणालियों को लैपटॉप या स्मार्टफोन जैसे रोजमर्रा के उपकरणों पर चलाने के लिए, इंजीनियरों को उन्हें छोटा करना पड़ता है। यह प्रक्रिया, जिसे क्वांटाइजेशन (quantization) कहा जाता है, मॉडल के विशाल आंतरिक डेटा को स्थान बचाने और गणनाओं को तेज करने के लिए संकुचित करती है। लेकिन संपीड़न (compression) एक जोखिम भरा समझौता है। जिस तरह एक तस्वीर को छोटी फ़ाइल में संकुचित करने पर उसका विवरण कम हो जाता है, उसी तरह एक संकुचित एआई मॉडल सवाल पूछने की क्षमता या निर्देशों का सटीक रूप से पालन करने की क्षमता खो सकता है। डेवलपर्स के लिए मुख्य चुनौती यह जानना है कि कब एक संकुचित संस्करण मूल संस्करण को बदलने के लिए पर्याप्त अच्छा है। यदि वे ऐसा मॉडल जारी करते हैं जो थोड़ा भी खराब है, तो इसके परिणाम निराशाजनक उपयोगकर्ता त्रुटियों से लेकर सुरक्षा-संवेदनशील अनुप्रयोगों में गंभीर विफलताओं तक हो सकते हैं। उद्योग लंबे समय से इन निर्णयों को लेने के लिए सरल औसत (averages) पर निर्भर रहा है, लेकिन औसत खतरनाक खामियों को छिपा सकते हैं, जिससे यह तथ्य छिप जाता है कि एक मॉडल विशिष्ट, महत्वपूर्ण कार्यों पर बुरी तरह विफल हो सकता है, भले ही उसका समग्र स्कोर स्वीकार्य दिखे।
शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नई, कठोर पद्धति विकसित की है, जो एक डिजिटल "क्वालिटी गेट" (quality gate) बनाती है जो संकुचित एआई मॉडलों के लिए एक प्रमाणित अनुमोदन की मुहर के रूप में कार्य करता है। एक एकल परीक्षण स्कोर पर भरोसा करने के बजाय, उनका दृष्टिकोण मॉडल को जारी करने को एक औपचारिक सॉफ्टवेयर-गुणवत्ता निर्णय के रूप में देखता है जिसे ऑडिट योग्य और गणितीय रूप से सिद्ध किया जाना चाहिए। उन्होंने एक ऐसी प्रणाली डिजाइन की है जो एक संकुचित मॉडल की तुलना उसके मूल, असंकुचित संस्करण से वस्तु-दर-वस्तु करती है। केवल यह पूछने के बजाय कि, "क्या औसत स्कोर कम है?", सिस्टम अधिक सटीक प्रश्न पूछता है: "क्या विशिष्ट कार्यों पर गलतियों की संख्या एक पूर्व-निर्धारित सीमा से अधिक है?" यह सीमा, या त्रुटि का मार्जिन, डेवलपर्स द्वारा परीक्षण शुरू होने से पहले निर्धारित किया जाता है। सिस्टम फिर एक सांख्यिकीय जांच चलाता है जो उन्हें यह अनुमति देता है कि यदि मॉडल स्पष्ट रूप से सुरक्षित है तो परीक्षण को जल्दी रोका जा सके, या वे तब तक परीक्षण जारी रख सकें जब तक कि वे पूरी तरह से आश्वस्त न हो जाएं, और इस दौरान गलत अनुमोदन के जोखिम को कभी भी बढ़ाया न जाए।
शोधकर्ताओं ने वास्तविक हार्डवेयर पर चलने वाले वास्तविक मॉडलों से जुड़े बारह अलग-अलग परिदृश्यों में इस पद्धति का परीक्षण किया, जिसमें NVIDIA जेसन (NVIDIA Jetson) डिवाइस और एप्पल मैक (Apple Mac) कंप्यूटर शामिल थे। उन्होंने पाया कि परीक्षण का पुराना तरीका सूक्ष्म लेकिन महत्वपूर्ण समस्याओं को पकड़ने में विफल रहा। उदाहरण के लिए, एक संकुचित मॉडल का औसत सटीकता स्कोर मूल के समान हो सकता है, लेकिन वास्तव में, वह लगभग बीस प्रतिशत सवालों पर पूरी तरह से अलग जवाब दे सकता है। नई पद्धति शुद्धता के इन "फ्लिप्स" (flips) को पकड़ लेती है, यह सुनिश्चित करती है कि संकुचित मॉडल मूल के साथ सुसंगत व्यवहार करे। अपने सिमुलेशन में, नए सिस्टम ने गलत अनुमोदन की दर को सफलतापूर्वक नियंत्रित किया, जिससे एक खराब मॉडल को प्रमाणित करने का जोखिम पांच प्रतिशत से नीचे रहा, भले ही परीक्षण को जल्दी रोका गया हो या कई बार दोहराया गया हो। नियंत्रण का यह स्तर महत्वपूर्ण है क्योंकि यह टीमों को बार-बार परीक्षण करके एक भाग्यशाली परिणाम प्राप्त करने और सिस्टम को "गेम" करने से रोकता है जो अच्छा दिखता है।
इस कार्य की एक महत्वपूर्ण खोज यह है कि एक संकुचित मॉडल का प्रदर्शन केवल मॉडल फ़ाइल के बारे में नहीं है; यह उस विशिष्ट वातावरण से गहराई से जुड़ा हुआ है जहाँ यह चलता है। शोधकर्ताओं ने पाया कि बिल्कुल वही संकुचित मॉडल फ़ाइल बहुत अलग तरह से व्यवहार कर सकती है, चाहे वह मैक (Mac) पर चल रही हो या एनवीडिया (NVIDIA) डिवाइस पर, या यहाँ तक कि उसे चलाने वाले सॉफ़्टवेयर इंजन के विभिन्न संस्करणों पर। एक चौंकाने वाले मामले में, एक ही मॉडल फ़ाइल एक मशीन से दूसरी मशीन पर जाने पर केवल अठासी प्रतिशत सवालों पर सही उत्तर देती है। इसका अर्थ है कि एक कंप्यूटर पर मॉडल के लिए जारी किया गया गुणवत्ता प्रमाण पत्र दूसरे कंप्यूटर पर भरोसेमंद नहीं हो सकता। शोधकर्ताओं का समाधान गुणवत्ता प्रमाण पत्र को पूरे "डिप्लॉयमेंट कॉन्फ़िगरेशन" (deployment configuration) से जोड़ता है—जो कि मॉडल फ़ाइल, हार्डवेयर, सॉफ़्टवेयर इंजन और उपयोग किए गए सेटिंग्स का विशिष्ट संयोजन है। यह सुनिश्चित करता है कि गारंटी उस सटीक सेटअप के लिए विशिष्ट है जिसका उपयोग किया जा रहा है, न कि मॉडल के बारे में एक अस्पष्ट वादे के रूप में।
यह प्रणाली समय के साथ जोखिम को प्रबंधित करने के लिए एक "लाइफटाइम लेजर" (lifetime ledger) भी पेश करती है। एक विशिष्ट विकास चक्र में, इंजीनियर मॉडल के कई विभिन्न संस्करणों का परीक्षण कर सकते हैं, जो खराब दिखते हैं उन्हें हटा देते हैं और जो अच्छे दिखते हैं उन्हें रखते हैं। चयन की यह प्रक्रिया अनजाने में एक दोषपूर्ण मॉडल को जारी करने के जोखिम को बढ़ा सकती है, क्योंकि टीम केवल सबसे भाग्यशाली परीक्षण परिणाम को चुन सकती है। नया प्रोटोकॉल सभी परीक्षण किए गए उम्मीदवारों और पूरे प्रोजेक्ट के जीवनकाल में किए गए सभी रिलीज के बीच कुल अनुमत जोखिम बजट को विभाजित करके इस बात का हिसाब रखता है। यदि एक टीम आठ अलग-अलग संस्करणों का परीक्षण करती है, तो सिस्टम यह सुनिश्चित करता है कि एक खराब मॉडल को गलत तरीके से अनुमोदित करने की संभावना कम बनी रहे, चाहे वे कितनी भी बार प्रयास क्यों न करें। यह एक पारदर्शी रिकॉर्ड बनाता है जहाँ प्रत्येक मॉडल जारी करने का निर्णय एक हस्ताक्षरित, पुनः खेलने योग्य (replayable) प्रमाण पत्र द्वारा समर्थित होता है जिसे एक स्वतंत्र तीसरा पक्ष सत्यापित कर सकता है।
अंततः, यह कार्य संकुचित एआई के सुरक्षित परिनियोजन (deployment) के लिए एक व्यावहारिक, एंड-टू-एंड वर्कफ़्लो प्रदान करता है। यह उद्योग को अनुमान और सरल औसत से दूर, सत्यापित, ऑडिट योग्य साक्ष्य की प्रणाली की ओर ले जाता है। यह सिद्ध करके कि एक संकुचित मॉडल एक परिभाषित मार्जिन के भीतर मूल से काफी खराब नहीं है, और उस प्रमाण को उसके चलने वाले विशिष्ट हार्डवेयर और सॉफ़्टवेयर से जोड़कर, शोधकर्ताओं ने सॉफ्टवेयर गुणवत्ता के लिए एक विश्वसनीय मानक बनाया है। यह पद्धति यह दावा नहीं करती है कि संकुचित मॉडल पूर्ण है या यह हर संभावित कार्य के लिए काम करेगा; बल्कि, यह एक स्पष्ट, सीमित गारंटी प्रदान करती है कि मॉडल उन विशिष्ट उद्देश्यों के लिए उपयोग करने के लिए सुरक्षित है जिनके लिए इसका परीक्षण किया गया था। यह दृष्टिकोण डेवलपर्स को एज डिवाइसेस (edge devices) के लिए अपने एआई मॉडलों को आत्मविश्वास के साथ छोटा करने की अनुमति देता है, यह जानते हुए कि ट्रेड-ऑफ को गणितीय सटीकता के साथ मापा, रिकॉर्ड और प्रमाणित किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।