📊 statistics

Statistically Valid Hyperparameter Selection: From Tuning to Guarantees

यह शोध प्रबंध 'लर्न-देन-टेस्ट' प्रतिमान (paradigm) पर आधारित एक एकीकृत सांख्यिकीय ढांचे को प्रस्तुत करता है जो अनुप्रयोग-विशिष्ट विश्वसनीयता आवश्यकताओं को पूरा करने के लिए प्रमाण योग्य, परिमित-नमूना गारंटी (finite-sample guarantees) के साथ हाइपरपैरामीटरों के चयन को सक्षम बनाता है, जो पारंपरिक अनुभवजन्य ट्यूनिंग विधियों में औपचारिक सुरक्षा आश्वासन की कमी को संबोधित करता है।

मूल लेखक: Amirmohammad Farzaneh, Osvaldo Simeone

प्रकाशित 2026-06-25

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Amirmohammad Farzaneh, Osvaldo Simeone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "अनुमान और जाँच" का जाल (The "Guess and Check" Trap)

कल्पना कीजिए कि आप एक नए सूप की रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं एक शेफ के रूप में। आपके पास 100 अलग-अलग बदलावों (variations) की एक सूची है (कुछ में अधिक नमक है, कुछ में कम तीखापन है, कुछ में अलग मसाले हैं)। ये बदलाव आपके हाइपरपैरामीटर्स (hyperparameters) हैं।

पारंपरिक रूप से, शेफ (और AI इंजीनियर) "बेस्ट-एफर्ट ट्यूनिंग" (Best-Effort Tuning) नामक विधि का उपयोग करते हैं। वे हर संस्करण को चखते हैं, जो उन्हें रसोई में सबसे स्वादिष्ट लगा उसे चुनते हैं, और फिर ग्राहकों को परोसते हैं।

समस्या: रसोई छोटी है, और स्वाद परीक्षण (taste test) बहुत जल्दी में किया गया था। सिर्फ इसलिए कि एक सूप रसोई में बहुत स्वादिष्ट लगा, इसका मतलब यह नहीं है कि वह लाखों ग्राहकों के लिए भी स्वादिष्ट होगा, जिनके मूड, स्वाद या दिन अलग-अलग हो सकते हैं। रसोई में जो "सबसे अच्छा" सूप था, वह केवल एक भाग्यशाली इत्तेफाक (lucky fluke) हो सकता है। यदि आप इसे परोसते हैं, तो आप एक आपदा परोसने का जोखिम उठाते हैं।

पेपर का तर्क है कि वर्तमान AI सिस्टम इसी सूप की तरह हैं। उन्हें उस डेटा पर अच्छा दिखने के लिए ट्यून किया गया है जिस पर उनका परीक्षण किया गया था, लेकिन हमारे पास इस बात की कोई सांख्यिकीय गारंटी (statistical guarantee) नहीं है कि वे वास्तव में वास्तविक दुनिया में सुरक्षित या विश्वसनीय रूप से काम करेंगे।

समाधान: "सुरक्षा निरीक्षक" (The "Safety Inspector" - LTT)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे लर्न-देन-टेस्ट (Learn-Then-Test - LTT) कहा जाता है। केवल "सबसे स्वादिष्ट" सूप चुनने के बजाय, वे एक सख्त सुरक्षा निरीक्षक की तरह कार्य करते हैं।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

नियम निर्धारित करें: कुछ भी चखने से पहले, आप एक कठिन नियम तय करते हैं। "यह सूप कम से कम 100 में से 99 लोगों के लिए सुरक्षित होना चाहिए।" (पेपर में, इसे जोखिम सीमा/risk threshold कहा गया है)।
परिकल्पना खेल (The Hypothesis Game): "कौन सा सूप सबसे अच्छा है?" पूछने के बजाय, निरीक्षक हर एक सूप के लिए एक अलग सवाल पूछता है: "क्या इस बात का पुख्ता सांख्यिकीय प्रमाण है कि यह सूप असुरक्षित है?"
- यदि प्रमाण कहता है "हाँ, यह सूप संभवतः असुरक्षित है," तो इसे बाहर कर दिया जाता है।
- यदि प्रमाण कहता है "नहीं, हम यह साबित नहीं कर सकते कि यह सूप असुरक्षित है," तो इसे एक सुरक्षा प्रमाणपत्र (Safety Certificate) मिलता है।
गारंटी: इस विधि का जादू यह है कि यह "फॉल्स पॉजिटिव" (गलत सकारात्मक) दर को नियंत्रित करता है। यह गारंटी देता है कि यदि आप "सुरक्षा प्रमाणित" ढेर से एक सूप चुनते हैं, तो इसके वास्तव में असुरक्षित होने की संभावना बहुत कम (जैसे, 5% से कम) है।

उपमा (Analogy): इसे हवाई अड्डे पर मेटल डिटेक्टर की तरह समझें।

पुराना तरीका (Optimization): आप उस व्यक्ति को चुनते हैं जो सबसे कम संदिग्ध दिखता है और उसे जाने देते हैं। (हो सकता है कि वह अभी भी हथियार लेकर चल रहा हो)।
नया तरीका (LTT): आप हर किसी को मेटल डिटेक्टर से गुजारते हैं। यदि अलार्म बजता है, तो आप उन्हें रोक देते हैं। यदि अलार्म नहीं बजता है, तो आप उन्हें "क्लियर" बैज देते हैं। सिस्टम को इस तरह डिज़ाइन किया गया है कि "क्लियर" बैज के साथ किसी खतरनाक व्यक्ति के निकल जाने की संभावना गणितीय रूप रूप से बहुत कम है।

उपकरण: P-values और E-values

इस "सुरक्षा निरीक्षक" को काम करने के लिए, पेपर दो सांख्यिकीय उपकरणों का उपयोग करता है: P-values और E-values।

P-values (पारंपरिक अलार्म): ये एक मानक मेटल डिटेक्टर की तरह हैं। वे आपको बताते हैं, "यदि यह व्यक्ति निर्दोष होता, तो इस अलार्म के बजने की संभावना बहुत कम होती।" यदि अलार्म पर्याप्त तेज है (p-value पर्याप्त कम है), तो आप "निर्दोष" के दावे को खारिज कर देते हैं।
- सीमा: आपको शुरू करने से पहले ही तय करना होगा कि अलार्म कितना तेज होना चाहिए। यदि आप देखते हुए ही बार-बार अलार्म की जांच करते हैं और जो देखते हैं उसके आधार पर नियम बदलते हैं, तो गणित टूट जाता है (इसे "p-hacking" कहा जाता है)।
E-values (बेटिंग स्कोर): ये एक नए, अधिक लचीले उपकरण हैं। कल्पना कीजिए कि यह एक सट्टेबाजी की दुकान (betting shop) है। एक E-value एक बेटिंग स्कोर की तरह है।
- यदि आप $1 का दांव लगाते हैं कि सूप सुरक्षित है, और E-value 10 है, तो इसका मतलब है कि आपने अभी $10 जीत लिए हैं।
- E-values की खूबसूरती यह है कि आप जैसे-जैसे अधिक डेटा प्राप्त करते हैं, आप दांव लगाते रह सकते हैं। आप जब चाहें रुक सकते हैं, और गणित फिर भी सही रहता है। यह एक ऐसे बेटिंग चिप की तरह है जो कभी अपना मूल्य नहीं खोता, चाहे आप इसे कब भी भुना लें।

औसत से परे जाना: "पूंछ" की समस्या (The "Tail" Problem)

पेपर यह भी समझाता है कि केवल "औसत" प्रदर्शन की जांच करना पर्याप्त नहीं है।

उपमा: कल्पना कीजिए कि एक पुल औसतन 10 टन भार सहता है। यह सुरक्षित लगता है! लेकिन क्या होगा यदि 1% समय, एक 100-टन का ट्रक उस पर से गुजरने की कोशिश करता है? औसत ठीक है, लेकिन सबसे खराब स्थिति (worst-case scenario) एक आपदा है।

क्वांटाइल रिस्क (Quantile Risk): पेपर यह गारंटी देने का तरीका पेश करता है कि पुल न केवल औसत ट्रक के लिए, बल्कि सबसे भारी 95% ट्रकों के लिए भी सुरक्षित है। यह उन चीजों के लिए महत्वपूर्ण है जैसे सेल्फ-ड्राइविंग कारें (आप एक लाख में से एक बार होने वाले क्रैश नहीं चाहते) या वायरलेस नेटवर्क (आप एक लाख में से एक बार होने वाली देरी नहीं चाहते)।
सूचना बाधा (Information Bottleneck): पेपर इसे "संपीड़न" (compression) पर भी लागू करता है। कल्पना कीजिए कि आप एक पुस्तक का सारांश बना रहे हैं। आप सबसे महत्वपूर्ण कथानक (प्रासंगिकता) रखना चाहते हैं लेकिन फालतू बातों को हटाना चाहते हैं (संपीड़न)। पेपर दिखाता है कि आपका सारांश यह सुनिश्चित करेगा कि वह मुख्य कथानक को निश्चित रूप से रखेगा, भले ही आपको यह न पता हो कि बाद में पुस्तक को कैसे पढ़ा जाएगा।

बहु-उद्देश्यीय चुनौती: "संतुलन का खेल" (The Multi-Objective Challenge)

अक्सर, आपको परस्पर विरोधी लक्ष्यों को संतुलित करना पड़ता है।

उदाहरण: एक वायरलेस नेटवर्क को तेज़ (थ्रूपुट) होना चाहिए, लेकिन साथ ही निष्पक्ष (सबको मौका मिले) और विश्वसनीय (कॉल ड्रॉप न हो) भी होना चाहिए।

पेपर पारेटो टेस्टिंग (Pareto Testing) पेश करता है।

उपमा: कल्पना कीजिए कि आप कार खरीदने जा रहे हैं। आप चाहते हैं कि कार तेज़, सुरक्षित और सस्ती हो। आमतौर पर, आप इन तीनों को एक साथ नहीं पा सकते। आपको वह "पारेटो फ्रंटियर" (Pareto Frontier) ढूंढना होगा—उन कारों का समूह जहाँ आप सुरक्षा खोए बिना या अधिक भुगतान किए बिना अधिक गति प्राप्त नहीं कर सकते।
पेपर का तरीका इस "फ्रंटियर" पर मौजूद उन कारों को ढूंढता है जो गारंटीड रूप से सुरक्षित हैं, और फिर उन सुरक्षित कारों में से सबसे तेज़ कार चुनता है। यह सबसे आशाजनक विकल्पों का परीक्षण करने के लिए "रिलायबिलिटी ग्राफ" (विचारों के वंश वृक्ष की तरह) का उपयोग करता है, जिससे समय और पैसा बचता है।

अनुकूल भविष्य: "स्मार्ट शॉपर" (The Adaptive Future)

अंत में, पेपर अनुकूल चयन (Adaptive Selection) के बारे में बात करता है।

पुराना तरीका: आप सूप के 100 नमूने खरीदते हैं, उन सभी को चखते हैं, और फिर एक चुनते हैं। यह महंगा है।
नया तरीका (aLTT): आप एक नमूना खरीदते हैं, उसे चखते हैं। यदि वह बहुत बुरा है, तो आप उसे तुरंत फेंक देते हैं। यदि वह ठीक है, तो आप एक और खरीदते हैं। आप केवल उन्हीं को खरीदते रहते हैं जो आशाजनक दिखते हैं।
E-processes (पहले बताए गए बेटिंग स्कोर) का उपयोग करके, सिस्टम को "सुरक्षित" सूप मिलने पर ही रुकने में सक्षम बनाता है, जिससे बहुत सारा पैसा और समय बचता है। यह गारंटी देता है कि जल्दी रुकने के बावजूद, सूप अभी भी सुरक्षित है।

पेपर के दावों का सारांश

वर्तमान AI ट्यूनिंग जोखिम भरी है: यह भविष्य की सुरक्षा की गारंटी दिए बिना अतीत (प्रशिक्षण डेटा) के लिए अनुकूलित होती है।
LTT एक सुरक्षा जाल प्रदान करता है: हाइपरपैरामीटर चयन को "सर्वश्रेष्ठ स्कोर" प्रतियोगिता के बजाय एक "सुरक्षा परीक्षण" के रूप में मानकर, हम गणितीय रूप से गारंटी दे सकते हैं कि चुनी गई सेटिंग्स एक बहुत छोटे, पूर्व-सहमत हिस्से से अधिक विफल नहीं होंगी।
यह जटिल नियमों के लिए काम करता है: यह केवल "औसत गति" के बारे में नहीं है; यह "सबसे खराब स्थिति की देरी," "सुरक्षा बाधाओं" और "सूचना सीमाओं" के लिए भी काम करता है।
यह कई लक्ष्यों को संभालता है: यह गति, सुरक्षा और लागत को एक साथ संतुलित कर सकता है।
यह पैसा बचाता है: अनुकूल रूप से परीक्षण करके (समाधान मिलने पर जल्दी रुककर), यह भारी मात्रा में डेटा की आवश्यकता को कम करता है।

मुख्य बात (Bottom Line): यह पेपर AI को "आशा है कि यह काम करेगा" से "हमारे पास एक गणितीय रसीद है जो साबित करती है कि यह काम करेगा" की ओर ले जाता है।

तकनीकी सारांश: सांख्यिकीय रूप से वैध हाइपरपैरामीटर चयन

1. समस्या की परिभाषा

यह मोनोग्राफ आधुनिक AI परिनियोजन (deployment) में अनुभवजन्य हाइपरपैरामीटर अनुकूलन (empirical hyperparameter optimization - HPO) और सांख्यिकीय विश्वसनीयता के बीच के महत्वपूर्ण अंतर को संबोधित करता है। जबकि मानक HPO विधियाँ (जैसे ग्रिड सर्च, बेयसियन ऑप्टिमाइज़ेशन) एक वैलिडेशन सेट पर अनुभवजन्य जोखिम (empirical risk) को कम करने में प्रभावी हैं, उनमें इस बात की औपचारिक गारंटी का अभाव है कि चयनित हाइपरपैरामीटर वास्तविक अंतर्निहित डेटा वितरण पर विशिष्ट विश्वसनीयता बाधाओं (जैसे जोखिम सीमाएँ, विलंबता सीमाएँ, निष्पक्षता मेट्रिक्स) को पूरा करेगा।

मुख्य समस्या को इस प्रकार परिभाषित किया गया है: एक परिमित उम्मीदवार सेट $\Lambda = \{\lambda_1, \dots, \lambda_K\}$ और एक परिमित कैलिब्रेशन डेटासेट $D_{cal}$ दिया गया है, लक्ष्य एक ऐसा हाइपरपैरामीटर $\hat{\lambda}$ चुनना है जिसका वास्तविक जोखिम $R(\hat{\lambda})$ , उच्च संभाव्यता ( $1-\delta$ ) के साथ, उपयोगकर्ता द्वारा निर्दिष्ट थ्रेसहोल्ड $\alpha$ से नीचे रहने की गारंटी देता हो। महत्वपूर्ण रूप से, यह गारंटी चयन के बाद (post-selection) भी बनी रहनी चाहिए, जो कई उम्मीदवारों की खोज से उत्पन्न होने वाली यादृच्छिकता (randomness) और कैलिब्रेशन डेटा के परिमित आकार को ध्यान में रखती है।

2. कार्यप्रणाली: लर्न-देन-टेस्ट (LTT) प्रतिमान

यह शोध पत्र एक एकीकृत ढांचा प्रस्तावित करता है जिसे लर्न-देन-टेस्ट (LTT) कहा जाता है, जो हाइपरपैरामीटर चयन को एक मल्टीपल हाइपोथीसिस टेस्टिंग (MHT) समस्या के रूप में पुनर्गठित करता है।

2.1 मुख्य ढांचा

अनुभवजन्य जोखिम को सीधे कम करने के बजाय, LTT प्रत्येक उम्मीदवार $\lambda_k$ को एक शून्य परिकल्पना (null hypothesis) से जोड़ता है:
$H_k: R(\lambda_k) > \alpha$
उद्देश्य $H_k$ को तब तक खारिज करना है (अर्थात $\lambda_k$ को विश्वसनीय प्रमाणित करना) जब तक कि यह दिखाने के लिए पर्याप्त सांख्यिकीय प्रमाण न हो कि वास्तविक जोखिम $\alpha$ से अधिक नहीं है।

कार्यप्रवाह में शामिल हैं:

जोखिम अनुमान (Risk Estimation): कैलिब्रेशन डेटा पर अनुभवजन्य जोखिम अनुमान $\hat{R}_n(\lambda_k)$ की गणना करना।
साक्ष्य निर्माण (Evidence Construction): इन अनुमानों को वैध सांख्यिकीय साक्ष्य मापों में बदलना: p-values या e-values।
मल्टीपल टेस्टिंग (Multiple Testing): उम्मीदवारों के सेट में वैश्विक त्रुटि दरों (Family-Wise Error Rate - FWER, या False Discovery Rate - FDR) को नियंत्रित करने के लिए MHT प्रक्रिया लागू करना।
चयन (Selection): माध्यमिक उद्देश्यों (जैसे सटीकता, दक्षता) के आधार पर प्रमाणित सेट $\hat{\Lambda}$ (अस्वीकृत शून्य परिकल्पनाओं का उपसमुच्चय) से एक अंतिम हाइपरपैरामीटर चुनना।

2.2 सांख्यिकीय मशीनरी

मोनोग्राफ प्रथम सिद्धांतों से आवश्यक सांख्यिकीय उपकरण विकसित करता है:

P-values: एकाग्रता असमानताओं (concentration inequalities, जैसे होफडिंग की असमानता) के माध्यम से निर्मित, ताकि शून्य के तहत वास्तविक जोखिम की तुलना में बहुत कम अनुभवजन्य जोखिम देखने की संभावना को सीमित किया जा सके।
E-values: एक वैकल्पिक साक्ष्य माप के रूप में पेश किए गए जो $E[e_k | H_k] \le 1$ को संतुष्ट करते हैं। E-values को अनुक्रमिक (sequential) और अनुकूलन योग्य (adaptive) परिवेशों में उनके बेहतर गुणों के लिए रेखांकित किया गया है, जिसमें पोस्ट-हॉक वैधता (यह गारंटी कि परीक्षण कब भी रोका जाए, परिणाम मान्य रहेंगे) और संयोजन वैधता (औसत या गुणन के माध्यम से साक्ष्य को संयोजित करने की क्षमता) शामिल है।
त्रुटि नियंत्रण (Error Control):
- FWER नियंत्रण: यह सुनिश्चित करता है कि $1-\delta$ प्रायिकता के साथ, कोई भी अविश्वसनीय हाइपरपैरामीटर चयनित न हो (बोनफेरोनी या फिक्स्ड सीक्वेंस टेस्टिंग जैसी प्रक्रियाओं का उपयोग करके)।
- FDR नियंत्रण: यह सुनिश्चित करता है कि चयनित सेट में अविश्वसनीय हाइपरपैरामीटर्स का अपेक्षित अंश $\delta$ से अधिक न हो (बेन्जामिनी-हॉकबर्ग या e-BH प्रक्रियाओं का उपयोग करके)।

3. प्रमुख योगदान और विस्तार

मोनोग्राफ जटिल वास्तविक दुनिया की बाधाओं को संबोधित करने के लिए मुख्य LTT ढांचे को चार प्राथमिक दिशाओं में विस्तारित करता है:

3.1 औसत जोखिम से परे (सामान्य विश्वसनीयता फलन)

ढांचे को माध्य ( $E[L]$ ) से परे जोखिम फलनों (risk functionals) को संभालने के लिए सामान्यीकृत किया गया है।

क्वांटाइल रिस्क कंट्रोल (QLTT): यह प्रमाणित करता है कि लॉस डिस्ट्रीब्यूशन का एक विशिष्ट क्वांटाइल (जैसे 90वां पर्सेंटाइल लेटेंसी) एक थ्रेसहोल्ड से नीचे है, जो टेल इवेंट्स (tail events) से सुरक्षा प्रदान करता है।
सूचना-सैद्धांतिक बाधाएं (IB-LTT): यह इंफॉर्मेशन बॉटलनेक समस्या पर लागू होता है, जो यह प्रमाणित करता है कि म्यूचुअल इंफॉर्मेशन $I(T; Y)$ (प्रासंगिकता) एक थ्रेसहोल्ड से अधिक है जबकि कंप्रेशन $I(X; T)$ को अनुकूलित किया जाता है।

3.2 बहु-उद्देश्य चयन (Multi-Objective Selection)

यह ढांचा उन परिदृश्यों को संबोधित करता जहाँ कई साथ-साथ चलने वाली विश्वसनीयता बाधाओं ($LC $) और सहायक उद्देश्यों ($ L - LC$) का सामना करना पड़ता है।

पारेटो टेस्टिंग (PT): उम्मीदवार सेट के अनुमानित पारेटो फ्रंटियर पर हाइपोथीसिस टेस्टिंग को सीमित करता है। यह दो चरणों वाली प्रक्रिया का उपयोग करता है: (1) डेटा के एक उपसमुच्चय ( $D_{opt}$ ) का उपयोग करके पारेटो फ्रंटियर की पहचान करना, और (2) एक अलग डेटासेट ( $D_{MHT}$ ) का उपयोग करके क्रमबद्ध फ्रंटियर पर फिक्स्ड सीक्वेंस टेस्टिंग (FST) लागू करना।
रिलेबिलिटी ग्राफ-आधारित पारेटो टेस्टिंग (RG-PT): पूर्व संरचनात्मक ज्ञान (जैसे प्रॉम्प्ट लंबाई बनाम विश्वसनीयता) को एक निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG) के माध्यम से शामिल करता है। यह ग्राफ को पार करने के लिए DAGGER एल्गोरिदम का उपयोग करता है, जिससे विश्वसनीयता पथों का समानांतर अन्वेषण संभव होता है और रैखिक क्रम की तुलना में दक्षता में सुधार होता है।

3.3 अनुकूलन योग्य और अनुक्रमिक चयन (Adaptive and Sequential Selection)

लेबलिंग बजट और कम्प्यूटेशनल लागत को कम करने के लिए, मोनोग्राफ Adaptive LTT (aLTT) पेश करता है।

तंत्र: इसके बजाय कि एक निश्चित बैच हो, डेटा क्रमिक रूप से आता है। प्रक्रिया प्रत्येक उम्मीदवार के लिए साक्ष्य को गतिशील रूप से अपडेट करने के लिए e-processes का उपयोग करती है।
एनीटाइम-वैलिड इन्फरेंस (Anytime-Valid Inference): E-values का लाभ उठाते हुए, प्रक्रिया किसी भी डेटा-निर्भर समय पर रुक सकती है (जैसे, एक बार जब लक्षित संख्या में विश्वसनीय उम्मीदवार मिल जाते हैं) बिना सांख्यिकीय गारंटी को अमान्य किए।
अधिग्रहण नीतियां (Acquisition Policies): सबसे आशाजनक उम्मीदवारों को मूल्यांकन संसाधनों को आवंटित करने के लिए रणनीतियों (जैसे $\epsilon$ -greedy) का उपयोग करती है, जिससे खराब प्रदर्शन करने वाले उम्मीदवारों को जल्दी समाप्त किया जा सके।

3.4 सीमित ग्राउंड ट्रुथ के साथ ऑटो-इवैल्यूएशन

इस ढांचे को उन सेटिंग्स के लिए अनुकूलित किया गया है जहाँ ग्राउंड-ट्रुथ लेबल महंगे हैं लेकिन "ऑटो-इवैल्यूएटेड" लेबल (जैसे, LLM-as-a-judge से प्राप्त) सस्ते हैं।

R-AutoEval / R-AutoEval+: यह टेस्टिंग-बाय-बेटिंग (e-processes) को प्रेडिक्शन-पावर्ड इन्फरेंस (PPI) के साथ जोड़ता है। यह दुर्लभ ग्राउंड-ट्रुथ डेटा और प्रचुर मात्रा में उपलब्ध ऑटो-इवैल्यूएटेड डेटा के मिश्रण का उपयोग करके विश्वसनीय चयन की अनुमति देता है, जो ऑटो-इवैल्यूएटर के पूर्वाग्रह (bias) को ठीक करता है।

4. प्रयोगात्मक परिणाम

मोनोग्राफ तीन अलग-अलग अनुप्रयोगों पर अनुभवजन्य तुलना के माध्यम से ढांचे को मान्य करता है:

इमेज क्लासिफिकेशन (Fashion-MNIST):
- सेटअप: लॉजिस्टिक रिग्रेशन के लिए रेगुलराइजेशन पैरामीटर्स का चयन करना।
- परिणाम: पारंपरिक अनुभवजन्य HPO (E-HPO) ने लक्षित जोखिम थ्रेसहोल्ड ( $\alpha=0.2$ ) का 53% परीक्षणों में उल्लंघन किया। LTT ने उल्लंघन दर को 3% पर नियंत्रित किया, जो लक्षित $\delta=0.2$ से काफी कम है।
वायरलेस शेड्यूलिंग:
- सेटअप: विलंब (delay) को कम करने के लिए एक लर्निंग-आधारित पैकेट शेड्यूलर के हाइपरपैरामीटर का चयन करना।
- परिणाम: E-HPO के परिणामस्वरूप औसत विलंब 66% परीक्षणों में 10ms के थ्रेसहोल्ड से अधिक रहा। LTT ने उल्लंघन दर को लक्षित स्तर से नीचे बनाए रखा।
- विस्तार: मल्टी-ऑब्जेक्टिव सेटिंग (दो QoS क्लास के लिए विलंब को नियंत्रित करना) में, PT ने दोनों बाधाओं को सफलतापूर्वक नियंत्रित किया, जबकि सिंगल-ऑब्जेक्टिव LTT गैर-अनुकूलित बाधा की गारंटी देने में विफल रहा।
प्रॉम्प्ट इंजीनियरिंग (LLMs):
- सेटअप: सटीकता और प्रॉम्प्ट लंबाई पर बाधाओं के साथ सेंटीमेंट एनालिसिस के लिए प्रॉम्प्ट टेम्पलेट्स का चयन करना।
- परिणाम: RG-PT ने, पूर्व विश्वसनीयता संरचनाओं का लाभ उठाते हुए, LTT और PT की तुलना में लगातार छोटे विश्वसनीय प्रॉम्प्ट की पहचान की, जबकि समान FDR गारंटी बनाए रखी।

5. महत्व और दावे

शोध पत्र का दावा है कि इसका प्राथमिक योगदान हाइपरपैरामीटर चयन के प्रति प्रतिमान को ऑप्टिमाइज़ेशन-केंद्रित (सर्वश्रेष्ठ-प्रयास अनुभवजन्य न्यूनीकरण) से बदलकर रिलायबिलिटी-केंद्रित (सांख्यिकीय रूप से गारंटीकृत बाधा संतुष्टि) बनाना है।

औपचारिक गारंटी: मानक HPO के विपरीत, LTT पूर्ण-नमूना (finite-sample), पोस्ट-सिलेक्शन गारंटी प्रदान करता है कि तैनात किया गया सिस्टम उपयोगकर्ता द्वारा परिभाषित $\delta$ की उच्च संभाव्यता के साथ महत्वपूर्ण सुरक्षा या प्रदर्शन बाधाओं का उल्लंघन नहीं करेगा।
मॉड्यूलरिटी: यह ढांचा उम्मीदवार सेट $\Lambda$ को उत्पन्न करने के लिए उपयोग किए जाने वाले अपस्ट्रीम मेथड (जैसे ग्रिड सर्च, बेयसियन ऑप्टिमाइज़ेशन) के प्रति तटस्थ (agnostic) है। यह एक "सेफ्टी लेयर" के रूप में कार्य करता है जिसे किसी भी उम्मीदवार सेट पर लागू किया जा सकता है।
चयन पूर्वाग्रह (Selection Bias) के प्रति मजबूती: चयन प्रक्रिया को मल्टीपल टेस्टिंग समस्या के रूप में स्पष्ट रूप से मॉडल करके, यह ढांचा उस "सिलेक्शन बायस" को ठीक करता है जो एक बड़े पूल से सर्वश्रेष्ठ प्रदर्शन करने वाले उम्मीदवार को चुनने में निहित होता है—एक ऐसी खामी जो मानक अनुभवजन्य विधियों को प्रभावित करती है।
लचीलापन: क्वांटाइल रिस्क, सूचना-सैद्धांतिक बाधाओं, बहु-उद्देश्य सेटिंग्स और अनुक्रमिक डेटा अधिग्रहण तक इसका विस्तार विविध और जटिल AI परिनियोजन परिदृश्यों, जिसमें सुरक्षा-महत्वपूर्ण सिस्टम और संसाधन-बाधित वातावरण शामिल हैं, में इसकी प्रयोज्यता को प्रदर्शित करता है।

मोनोग्राफ निष्कर्ष निकालता है कि जबकि उच्च-प्रदर्शन वाली कॉन्फ़िगरेशन खोजने के लिए ह्यूरिस्टिक ट्यूनिंग उपयोगी बनी हुई है, सांख्यिकीय रूप से वैध चयन आवश्यक है जब विश्वसनीयता, सुरक्षा और सर्विस लेवल एग्रीमेंट्स (SLAs) का कड़ाई से पालन करना सर्वोपरि हो।