🤖 AI

A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

यह शोध पत्र HIP-LLM प्रस्तुत करता है, जो एक पदानुक्रमित अनिश्चित संभाव्यता ढांचा (hierarchical imprecise probability framework) है जो परिचालन प्रोफाइल्स और उप-डोमेन में विफलता-मुक्त संचालन की संभावनाओं को मॉडल करते हुए और पोस्टीरियर विश्वसनीयता लिफाफों (posterior reliability envelopes) के माध्यम से एपिस्टेमिक अनिश्चितता को स्पष्ट रूप से परिमाणित करते हुए लार्ज लैंग्वेज मॉडल्स के विश्वसनीयता मूल्यांकन को बढ़ाता है।

मूल लेखक: Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

प्रकाशित 2026-01-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने काम में मदद के लिए एक बहुत ही प्रतिभाशाली, लेकिन कुछ हद तक अप्रत्याशित, नए सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है। आप जानना चाहते हैं: "इस बात की कितनी संभावना है कि यह सहायक मेरे अगले 10 कार्यों पर गलती करेगा?"

वर्तमान में इन सहायकों के परीक्षण करने के अधिकांश तरीके एक एकल, स्थिर पॉप क्विज़ (अचानक ली गई परीक्षा) देने जैसे हैं। आप क्विज़ को ग्रेड करते हैं, एक स्कोर प्राप्त करते हैं (जैसे "85%") और बस इतना ही। समस्या यह है कि एक पॉप क्विज़ आपको यह नहीं बताता कि वे वास्तविक दुनिया में कैसा प्रदर्शन करेंगे, जहाँ कार्य भिन्न होते हैं, और जहाँ आपको शायद उन्हें बिना विफल हुए लगातार 10 काम करने की आवश्यकता हो।

यह पेपर HIP-LLM नामक एक नया टूल पेश करता है। इसे एक "विश्वसनीयता का मौसम पूर्वानुमान" (Reliability Weather Forecast) समझें। एक एकल संख्या देने के बजाय, यह संभावनाओं की एक सीमा देता है जो उस चीज़ को ध्यान में रखती है जो आप जानते हैं, जो आप नहीं जानते हैं, और जिस तरह से आप वास्तव में उस टूल का उपयोग करते हैं।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "ऑपरेशनल प्रोफाइल" (कार्यों का मेनू)

कल्पना कीजिए कि आप एक रेस्टोरेंट चलाते हैं। यदि आप अपने शेफ का परीक्षण केवल पिज्जा बनाने के लिए करते हैं, तो आपको पता नहीं चलेगा कि क्या वे सुशी बना सकते हैं।

समस्या: वर्तमान परीक्षण अक्सर केवल प्रश्नों की एक निश्चित सूची (जैसे एक निश्चित मेनू) देखते हैं।
HIP-LLM समाधान: यह पूछता है, "शेफ वास्तव में सबसे अधिक क्या पकाते हैं?" यदि आपके 80% ऑर्डर पिज्जा के लिए हैं और 20% सुशी के लिए, तो विश्वसनीयता स्कोर उस मिश्रण को दर्शाना चाहिए। HIP-LLM एक ऑपरेशनल प्रोफाइल (OP) का उपयोग करके कार्यों को इस आधार पर तौलता है कि आप वास्तव में AI का उपयोग कैसे करते हैं। यदि आप मुख्य रूप से कोडिंग के लिए इसका उपयोग करते हैं, तो स्कोर को कोडिंग की विश्वसनीयता पर ध्यान केंद्रित करना चाहिए, न कि कविता लिखने की इसकी क्षमता पर।

2. कौशल का "फैमिली ट्री" (पदानुक्रमित संरचना)

कल्पना कीजिए कि सहायक के पास विभिन्न "परिवारों" के कौशल हैं।

फैमिली ट्री: "कोडिंग" एक बड़ा परिवार है। उस परिवार के भीतर, आपके पास "पायथन" और "C++" हैं। ये दोनों चचेरे भाई हैं; यदि सहायक पायथन में अच्छा है, तो इसकी संभावना है (लेकिन गारंटी नहीं) कि वह C++ में भी ठीक होगा क्योंकि वे समान तर्क साझा करते हैं। हालाँकि, "कोडिंग" और "कानून" दूर के रिश्तेदारों की तरह हैं; एक में अच्छा होने से दूसरे के बारे में बहुत कुछ पता नहीं चलता है।
HIP-LLM समाधान: यह एक पदानुक्रमित मानचित्र (hierarchical map) बनाता है। यह समझता है कि एक श्रेणी (जैसे पायथन और C++) के भीतर के कौशल जुड़े हुए हैं, लेकिन श्रेणियों के बीच के कौशल (जैसे कोडिंग और कानून) स्वतंत्र हैं। यह एक क्षेत्र से सीखने और दूसरे क्षेत्र की विश्वसनीयता का अनुमान लगाने में मदद करने के लिए एक दूसरे का उपयोग करता है, जिससे भविष्यवाणी स्मार्ट बनती है।

3. "धुंधले चश्मे" (अस्पष्ट संभावना)

कल्पना कीजिए कि आप एक तरबूज का वजन अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका: आप कह सकते हैं, "मेरा अनुमान है कि यह ठीक 10 पाउंड है।" (यह एक एकल, सटीक अनुमान है)।
HIP-LLM तरीका: आप महसूस करते हैं कि आपके पास तराजू नहीं है, इसलिए आप कहते हैं, "मुझे पूरा यकीन तो नहीं है, लेकिन मुझे लगता है कि यह 8 और 12 पाउंड के बीच है।"
अवधारणा: इसे इम्प्रेसिबल प्रोबेबिलिटी (Imprecise Probability) कहा जाता है। AI कितना अच्छा है इसके बारे में एक एकल, सटीक अनुमान लगाने के बजाय (जो भ्रामक हो सकता है), HIP-LLM अनिश्चितता को स्वीकार करता है। यह संभावित विश्वसनीयता स्कोर की एक सीमा (या लिफाफा/envelope) प्रदान करता है। जैसे-जैसे आपको अधिक डेटा मिलता है, यह सीमा संकरी होती जाती है, लेकिन यह हमेशा इस बात को स्वीकार करती है कि आपके शुरुआती अनुमान (priors) थोड़े गलत हो सकते हैं।

4. भविष्य की भविष्यवाणी करना (केवल अतीत नहीं)

अधिकांश परीक्षण बताते हैं, "सहायक ने आज 10 में से 8 सही किए।"

HIP-LLM समाधान: यह उत्तर देता है, "अगले 50 कार्यों को लगातार सही करने की संभावना क्या है?"
उपमा: यह कहने के बीच का अंतर है कि, "मैंने कल सुरक्षित रूप से गाड़ी चलाई," और "मेरे पास अगले 100 मील तक सुरक्षित रूप से गाड़ी चलाने की 95% संभावना है।" यह उन उच्च-दांव वाली स्थितियों के लिए महत्वपूर्ण है जहाँ एक एकल विफलता मायने रखती है।

5. यह क्यों मायने रखता है (दूरी भरने वाले "गैप फिलर्स")

लेखकों का तर्क है कि वर्तमान तरीकों में पाँच बड़ी कमियाँ हैं:

स्थिर बनाम गतिशील (Static vs. Dynamic): परीक्षण स्थिर क्विज़ हैं; वास्तविक जीवन कार्यों का एक गतिशील प्रवाह है। HIP-LLM इस प्रवाह को संभालता है।
अलग बनाम जुड़े हुए (Isolated vs. Connected): परीक्षण प्रत्येक कार्य को असंबंधित मानते हैं। HIP-LLM जानता है कि कौशल आपस में जुड़े हुए हैं (फैमिली ट्री की तरह)।
विवरण बनाम भविष्यवाणी (Description vs. Prediction): परीक्षण अतीत का वर्णन करते हैं; HIP-LLM भविष्य की भविष्यवाणी करता है।
विफलता बनाम सफलता (Failure vs. Success): परीक्षण अक्सर केवल विफलताओं को गिनते हैं। HIP-LLM सफलता के एक लंबे दौर की संभावना की गणना करता है।
अज्ञानता बनाम ज्ञान (Ignorance vs. Knowledge): परीक्षण अक्सर उस चीज़ को अनदेखा करते हैं जो विशेषज्ञ पहले से जानते हैं। HIP-LLM विशेषज्ञों को यह कहने की अनुमति देता है कि, "मुझे लगता है कि यह गणित में अच्छा है," और उस जानकारी को गणित में शामिल करता है।

निचोड़

HIP-LLM एक परिष्कृत कैलकुलेटर है जो परीक्षण परिणामों को लेता है, उन्हें इस बात के साथ मिलाता है कि आप वास्तव में AI का उपयोग कैसे करते हैं, और उस चीज़ को भी ध्यान में रखता है जो आप पहले से जानते हैं (और जो आप नहीं जानते हैं)। एक साधारण "स्कोर" देने के बजाय, यह एक कॉन्फिडेंस एनवेलप (confidence envelope) देता है: "जो हम जानते हैं उसके आधार पर, 90% संभावना है कि यह AI आपके अगले 20 कार्यों में सफल होगा, बशर्ते आप इसका उपयोग मुख्य रूप से [आपके विशिष्ट कार्य] के लिए करें।"

यह एक साधारण "स्कोर" को एक जोखिम-जागरूक विश्वसनीयता रिपोर्ट में बदल देता है, जिससे आपको यह तय करने में मदद मिलती है कि क्या कोई AI आपकी विशिष्ट आवश्यकताओं के लिए उपयोग करने हेतु सुरक्षित है।

तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) के विश्वसनीयता मूल्यांकन के लिए एक पदानुक्रमित अनिश्चित संभाव्यता दृष्टिकोण (A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) के लिए कठोर, मानकीकृत विश्वसनीयता मूल्यांकन विधियों की कमी को संबोधित करता है। जबकि LLMs का उपयोग सुरक्षा-महत्वपूर्ण और उच्च-दांव वाले डोमेन में तेजी से किया जा रहा है, वर्तमान मूल्यांकन अभ्यास मुख्य रूप से बेंचमार्क-आधारित वर्णनात्मक सांख्यिकी (जैसे, पॉइंट-एस्टिमेट सटीकता स्कोर) पर निर्भर करते हैं। लेखक मौजूदा साहित्य में पांच महत्वपूर्ण अनुसंधान अंतराल (research gaps) की पहचान करते हैं:

स्थिर बनाम गतिशील उपयोग (Static vs. Dynamic Use): बेंचमार्क स्थिर डेटासेट का उपयोग करते हैं जो वास्तविक दुनिया के उपयोगकर्ता व्यवहार और ऑपरेशनल प्रोफाइल (OPs) की गतिशील प्रकृति को पकड़ने में विफल रहते हैं।
स्वतंत्रता बनाम पदानुक्रम (Independence vs. Hierarchy): मौजूदा बेंचमार्क अक्सर कार्यों को अलग-थलग मानते हैं या उनका औसत निकालते हैं, जिससे सब-डोमेन (जैसे, Python बनाम C++ कोडिंग) के बीच पदानुक्रमित निर्भरताओं और उच्च-स्तरीय डोमेन (जैसे, कोडिंग बनाम कानून) की स्वतंत्रता की अनदेखी होती है।
**विवरण बनाम अनुमान (Description vs. Inference):
वर्तमान विधियाँ भविष्य के इनपुट आबादी पर प्रदर्शन के बारे में अनिश्चितता को मापने के लिए सांख्यिकीय अनुमान लगाने के बजाय वर्णनात्मक सांख्यिकी रिपोर्ट करती हैं।
विफलता की संभावना बनाम भविष्य की विश्वसनीयता (Failure Probability vs. Future Reliability): पूर्व कार्य एकल कार्य के लिए विफलता की संभावना पर ध्यान केंद्रित करते हैं, जो व्यापक, मानकीकृत परिभाषा की उपेक्षा करते हैं: भविष्य के निर्दिष्ट कार्यों की संख्या में विफलता-मुक्त संचालन की संभावना।
गैर-सूचनात्मक बनाम सूचनात्मक प्रायर (Non-informative vs. Informative Priors): मौजूदा बेयसियन दृष्टिकोण अक्सर गैर-सूचनात्मक प्रायर का उपयोग करते हैं, जो डोमेन विशेषज्ञों से प्राप्त मूल्यवान (भले ही संभावित रूप से अस्पष्ट) पूर्व ज्ञान को शामिल करने में विफल रहते हैं।

मुख्य समस्या एक ऐसा ढांचा विकसित करना है जो LLM विश्वसनीयता को एक ऑपरेशनल प्रोफाइल (OP) पर निर्भर संभाव्य मात्रा के रूप में मॉडल करे, पदानुक्रमित कार्य निर्भरताओं को ध्यान में रखे, और डेटा एवं पूर्व ज्ञान से उत्पन्न अनिश्चितता को स्पष्ट करे।

2. कार्यप्रणाली: HIP-LLM

लेखक HIP-LLM (Large Language Models के लिए Hierarchical Imprecise Probability) प्रस्तावित करते हैं, जो सॉफ्टवेयर विश्वसनीयता इंजीनियरिंग और सुदृढ़ बेयसियन विश्लेषण पर आधारित एक ढांचा है।

2.1. विश्वसनीयता की औपचारिक परिभाषा

ANSI द्वारा दी गई सॉफ्टवेयर विश्वसनीयता की परिभाषा का पालन करते हुए, HIP-LLM LLM विश्वसनीयता ( $R$ ) को एक दिए गए ऑपरेशनल प्रोफाइल ( $\pi$ ) के तहत भविष्य के निर्दिष्ट कार्यों ( $n$ ) की संख्या में विफलता-मुक्त संचालन की संभावना के रूप में परिभाषित करता है।

ऑपरेशनल प्रोफाइल (OP): वास्तविक दुनिया के उपयोग की आवृत्तियों को दर्शाने वाला इनपुट स्पेस (कार्य प्रकारों) पर एक संभाव्यता वितरण।
i.i.d. धारणा: ढांचा मानता है कि कार्य स्वतंत्र और समान रूप से वितरित (i.i.d.) बर्नौली परीक्षण (Bernoulli trials) हैं। यह "रीसेट" परिदृश्यों (जैसे, संदर्भ मेमोरी के बिना नए चैट सत्र) के साथ संरेखित है जो ऑफलाइन बेंचमार्किंग में सामान्य हैं, जो लॉन्ग-टर्म मेमोरी वाले एजेंटिक वर्कफ़्लो से भिन्न है।

2.2. पदानुक्रमित संरचना (Hierarchical Structure)

मॉडल LLM की क्षमता स्थान को एक पदानुक्रम में व्यवस्थित करता है:

स्वतंत्र डोमेन (Independent Domains): उच्च-स्तरीय डोमेन (जैसे, कोडिंग, रीजनिंग) को सांख्यिकीय रूप से स्वतंत्र माना जाता है।
निर्भर सब-डोमेन (Dependent Subdomains): एक डोमेन के भीतर, सब-डोमेन (जैसे, Python कोडिंग, डेटा साइंस कोडिंग) को निर्भर माना जाता है, जो गुप्त दक्षताओं (latent competencies) को साझा करते हैं।
पार्शियल पूलिंग (Partial Pooling): जानकारी सब-डोमेन से डोमेन तक और फिर सिस्टम स्तर तक प्रवाहित होती है। कम डेटा वाले सब-डोमेन एक ही डोमेन के भीतर संबंधित सब-डोमेन से शक्ति उधार लेते हैं।

2.3. एपिस्टेमिक अनिश्चितता के लिए अनिश्चित संभाव्यता (Imprecise Probability for Epistemic Uncertainty)

एक एकल सटीक प्रायर (जो एपिस्टेमिक अनिश्चितता को एनकोड करता है) चुनने की कठिनाई को संबोधित करने के लिए, HIP-LLM अनिश्चित संभाव्यता का उपयोग करता है।

हाइपरपैरामीटर्स (जैसे, Beta priors के लिए $\alpha, \beta$ ) को पॉइंट वैल्यूज के रूप में फिक्स करने के बजाय, ढांचा उन्हें अंतरालों (credal sets) के रूप में निर्दिष्ट करता है।
इसके परिणामस्वरूप विश्वसनीयता मेट्रिक्स के लिए सिंगल पोस्टीरियर डिस्ट्रीब्यूशन के बजाय पोस्टीरियर एनवेलप्स (लोअर और अपर बाउंड्स) प्राप्त होते हैं।
यह दृष्टिकोण प्रायर ज्ञान के बारे में अनिश्चितता को कैप्चर करता है, जो डेटा और मूल्यांकनकर्ता के अस्पष्ट विश्वासों के अनुरूप विश्वसनीयता अनुमानों की एक सीमा प्रदान करता है।

2.4. गणितीय सूत्रीकरण (Mathematical Formulation)

अनुमान (inference) पदानुक्रमित रूप से आगे बढ़ता है:

सब-डोमेन स्तर: देखे गए सफल परिणाम ( $C_{ij}$ ) और परीक्षण ( $N_{ij}$ ), डोमेन-स्तरीय हाइपरपैरामीटर्स ( $\mu_i, \nu_i$ ) का उपयोग करके सब-डोमेन विश्वसनीयता ( $\theta_{ij}$ ) को अपडेट करते हैं।
डोमेन स्तर: डोमेन विश्वसनीयता ( $p_i$ ) बनाने के लिए सब-डोमेन विश्वसनीयता को OP वेट्स ( $\Omega_{ij}$ ) का उपयोग करके एकत्रित किया जाता है।
सिस्टम स्तर: समग्र LLM विश्वसनीयता ( $p_L$ ) बनाने के लिए डोमेन विश्वसनीयता को डोमेन-स्तरीय OP वेट्स ( $W_i$ ) का उपयोग करके एकत्रित किया जाता है।
भविष्य की विश्वसनीयता: ढांचा $n_F$ लगातार विफलता-मुक्त रन की संभावना ( $R(n_F)$ ) को नॉन-फेलियर प्रोबेबिलिटीिटी को $n_F$ की घात (power) के रूप में उठाकर निकालता है।

थ्योरम 1-6 प्रत्येक स्तर पर पोस्टीरियर डिस्ट्रीब्यूशन (या CDF एनवेलप्स) के लिए गणितीय व्युत्पत्ति प्रदान करते हैं, जो न्यूमेरिकल इंटीग्रेशन और मोंटे कार्लो सैंपलिंग के माध्यम से निर्भर बीटा वेरिएबल्स के वेटेड सम्स की जटिलता को संभालते हैं।

3. प्रमुख योगदान

औपचारिक परिभाषा: यह पेपर स्थापित सॉफ्टवेयर विश्वसनीयता मानकों के अनुसार LLM विश्वसनीयता को औपचारिक रूप से परिभाषित करता है, जो इसे सुरक्षा, सुरक्षा (security) और सटीकता से अलग करता है।
HIP-LLM ढांचा: यह एक पदानुक्रमित अनिश्चित संभाव्यता मॉडल पेश करता है जो एक साथ निम्नलिखित को संबोधित करता है:
- ऑपरेशनल प्रोफाइल (OP) का स्पष्ट मॉडलिंग।
- सब-डोमेन के बीच पदानुक्रमित निर्भरता और डोमेन के बीच स्वतंत्रता।
- सिद्धांत आधारित अनिश्चितता मात्रा निर्धारण (एलेटरी और एपिस्टेमिक दोनों) पोस्टीरियर एनवेलप्स के माध्यम से।
- सूचनात्मक (अनिश्चित) प्रायर ज्ञान का समावेश।
सार्वजनिक रिपॉजिटरी: लेखक प्रयोगात्मक डेटा, सोर्स कोड और मॉडल्स के साथ एक सार्वजनिक रिपॉजिटरी जारी करते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने चार LLMs (GPT-4o, GPT-4o-mini, Claude Sonnet 4.5, Claude Haiku 3.5) के लिए चार बेंचमार्क डेटासेट्स (MBPP, DS-1000, BoolQ, RACE-H) पर HIP-LLM का मूल्यांकन किया।

प्रभावशीलता (RQ1): HIP-LLM ने सब-डोमेन, डोमेन और सिस्टम स्तरों पर पोस्टीरियर CDF एनवेलप्स को सफलतापूर्वक जेनरेट किया। इसने मॉडलों के बीच सूक्ष्म अंतरों को उजागर किया जिन्हें पॉइंट-एस्टिमेट बेंचमार्क छिपा देते हैं (जैसे, समान औसत सटीकता वाले लेकिन अलग अनिश्चितता प्रोफाइल वाले मॉडलों के बीच अंतर करना)।
हाइपरपैरामीटर्स के प्रति संवेदनशीलता (RQ2): विश्लेषण ने दिखाया कि प्रायर अपेक्षाओं (a, b) को नियंत्रित करने वाले हाइपरपैरामीटर्स विश्वसनीयता एनवेलप के स्थान (location) को बदलते हैं, जबकि आत्मविश्वास/पूलिंग स्ट्रेंथ (c, d) को नियंत्रित करने वाले हाइपरपैरामीटर्स मुख्य रूप से एनवेलप की चौड़ाई (अनिश्चितता) को प्रभावित करते हैं।
OP के प्रति संवेदनशीलता (RQ3): ढांचे ने दिखाया कि विश्वसनीयता अनुमान OP विविधताओं के प्रति संवेदनशील हैं, विशेष रूप से उन मॉडलों के लिए जिनका सब-डोमेन में असमान प्रदर्शन है (जैसे, GPT-4o का BoolQ और RACE-H के बीच रीजनिंग प्रदर्शन काफी भिन्न था, जिससे उच्च संवेदनशीलता पैदा हुई)।
पूर्वानुमान क्षमता (RQ4): मॉडल ने भविष्य के आवश्यक विफलता-मुक्त कार्यों ( $n_F$ ) के बढ़ने के साथ विश्वसनीयता के ह्रास (decay) की सफलतापूर्वक भविष्यवाणी की, जो परिचालन क्षितिज (operational horizons) के आधार पर जोखिम-जागरूक निर्णय लेने के लिए एक उपकरण प्रदान करता है।
बेसलाइन के साथ तुलना (RQ5): ज्ञात ग्राउंड ट्रुथ के साथ सिंथेटिक प्रयोगों में, HIP-LLM ने मजबूत बाउंड्स बनाए। कम-डेटा शासन (low-data regimes) में, इसने प्रायर अनिश्चितता को दर्शाने वाले व्यापक, अधिक रूढ़िवादी अंतराल प्रदान किए, जबकि डेटा-प्रधान शासन में, इसने इन अंतरालों को फ्रीक्वेंटिस्ट अनुमानों से मेल खाने के लिए सिकोड़ दिया।
मजबूती (RQ6, RQ7): ढांचे ने वैकल्पिक सफलता परिभाषाओं (Pass@1 बनाम Pass@3) के प्रति मध्यम संवेदनशीलता दिखाई और सिम्युलेटेड मेमोरी-प्रेरित निर्भरताओं के तहत स्थिर रहा, जहाँ निर्भरता मुख्य रूप से एनवेलप्स में नियंत्रित बदलाव का कारण बनती है न कि गुणात्मक परिवर्तनों का।
स्केलेबिलिटी (RQ8): पाया गया कि कम्प्यूटेशनल लागत सब-डोमेन स्तर के अनुमान द्वारा संचालित होती है, जो डोमेन और हाइपरपैरामीटर कॉन्फ़िगरेशन की संख्या के साथ रैखिक रूप से स्केल करती है।

5. महत्व और दावे

पेपर का दावा है कि HIP-LLM मौजूदा बेंचमार्क-आधारित या स्टेट-ऑफ-द-आर्ट दृष्टिकोणों की तुलना में एक अधिक सूक्ष्म और मानकीकृत विश्वसनीयता लक्षण वर्णन प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

प्रतिमान परिवर्तन (Shifting the Paradigm): वर्णनात्मक बेंचमार्क स्कोर से भविष्य की परिचालन विश्वसनीयता के सांख्यिकीय अनुमान की ओर बढ़ना।
उपयोगकर्ता-केंद्रितता: ऑपरेशनल प्रोफाइल (OP) को स्पष्ट रूप से शामिल करना, यह स्वीकार करना कि विश्वसनीयता संदर्भ-निर्भर है।
अनिश्चितता को संभालना: एपिस्टेमिक अनिश्चितता (अस्पष्ट पूर्व ज्ञान) को एसेस्मेंट के माध्यम से समाहित करने और प्रसारित करने के लिए एक तंत्र प्रदान करना, जिसके परिणामस्वरूप ओवरकॉन्फिडेंट पॉइंट एस्टिमेट्स के बजाय "एनवेलप्स" प्राप्त होते हैं।
निर्णय समर्थन: हितधारकों को विशिष्ट भविष्य परिचालन क्षितिज के ऊपर विफलता-मुक्त रन की संभावना के आधार पर सूचित निर्णय (जैसे, मॉडल चयन, जोखिम मूल्यांकन) लेने में सक्षम बनाना।

लेखक एक विनम्र रुख बनाए रखते हैं, यह नोट करते हुए कि ढांचा "रीसेट" (i.i.d.) परिदृश्यों को मानता है और "विफलता" को सटीक रूप से परिभाषित करना और वास्तविक दुनिया के OPs का अनुमान लगाना अभी भी भविष्य के कार्य के रूप में खुले विषय हैं। वे HIP-LLM को जेनरेटिव AI के लिए सिद्धांत आधारित विश्वसनीयता मूल्यांकन की दिशा में एक मौलिक कदम के रूप में देखते हैं।