💬 NLP

Adaptive Rigor in AI System Evaluation using Temperature-Controlled Verdict Aggregation via Generalized Power Mean

यह शोध पत्र टेम्परेचर-कंट्रोल्ड वर्डिक्ट एग्रीगेशन (TCVA) को प्रस्तुत करता है, जो एक नवीन मूल्यांकन पद्धति है जो सामान्यीकृत पावर-मीन एग्रीगेशन के माध्यम से मूल्यांकन की कठोरता को गतिशील रूप से समायोजित करने के लिए एक टेम्परेचर पैरामीटर का उपयोग करती है, जिससे बिना किसी अतिरिक्त LLM कॉल के RAGAS के समान मानव-संरेखित प्रदर्शन प्राप्त होता है।

मूल लेखक: Aleksandr Meshkov

प्रकाशित 2026-04-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aleksandr Meshkov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Adaptive Rigor in AI System Evaluation" (AI सिस्टम मूल्यांकन में अनुकूलित कठोरता) का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: एक ही पैमाना सबके लिए सही नहीं होता

कल्पive करें कि आप एक शेफ (रसोइया) को काम पर रख रहे हैं।

परिदृश्य A: आपको एक ऐसे शेफ की ज़रूरत है जो मरीज के लिए दवा तैयार करे। यदि वह चीनी की जगह थोड़ा सा नमक डाल दे, तो यह घातक हो सकता है। आपको अत्यधिक, सर्जिकल सटीकता की आवश्यकता है। एक छोटी सी गलती भी आपदा बन सकती है।
परिदृश्य B: आपको एक ऐसे शेफ की ज़रूरत है जो डिनर पार्टी होस्ट करे। यदि वह ऐसा व्यंजन परोसता है जिसमें नमक थोड़ा कम है लेकिन स्वाद लाजवाब है और बातचीत का प्रवाह बना रहता है, तो वह एक जीत है। आप पूर्ण रसायन विज्ञान के बजाय रचनात्मकता और प्रवाह को महत्व देते हैं।

समस्या: वर्तमान में, AI को ग्रेड देने के लिए हम जिन उपकरणों का उपयोग करते हैं (जैसे "LLM-as-a-Judge"), वे एक ऐसे शेफ की तरह हैं जो अस्पताल की रसोई और डिनर पार्टी दोनों के लिए एक ही तरह की सख्ती का उपयोग करता है।

यदि एक चैटबॉट में AI कोई छोटी, हानिरहित गलती करता है, तो वर्तमान उपकरण उसे बहुत कठोरता से फेल कर सकते हैं क्योंकि वे बहुत सख्त हैं।
यदि कोई AI एक छोटी सी गलत जानकारी (hallucination) के साथ खतरनाक मेडिकल डायग्नोसिस देता है, तो मौजूदा उपकरण उसे "पास" दे सकते हैं क्योंकि वे बहुत उदार हैं या केवल सही तथ्यों की संख्या गिनते हैं बिना इस बात पर ध्यान दिए कि जोखिम कितना है।

लेखक, अलेक्जेंडरेशकोव मेषकोव (Aleksandr Meshkov) कहते हैं: "हमें एक ऐसी ग्रेडिंग प्रणाली की आवश्यकता है जो काम के आधार पर अपना व्यक्तित्व बदल सके।"

समाधान: TCVA (टेम्परेचर-कंट्रोल्ड वर्डिक्ट एग्रीगेशन)

यह पेपर एक नई विधि प्रस्तावित करता है जिसे TCVA कहा जाता है। इसे एक "स्मार्ट ग्रेडिंग डायल" के रूप में समझें जिसे आप AI मूल्यांकन को सख्त या अधिक उदार बनाने के लिए घुमा सकते हैं।

यह कैसे काम करता है, यहाँ इसके तीन सरल भाग दिए गए हैं:

1. फाइव-स्टार मेनू (केवल हाँ/ना के बजाय)

पुराने सिस्टम आमतौर पर AI जज से पूछते हैं: "क्या यह कथन सत्य है या असत्य?" (बाइनरी)।

दोष: यदि कोई कथन 90% सच है लेकिन उसमें एक छोटी सी टाइपिंग की गलती है, तो बाइनरी सिस्टम उसे "असत्य" घोषित कर देता है। यह अनुचित लगता है।
सुधार: TCVA एक 5-स्तरीय स्केल (Likert scale की तरह) का उपयोग करता है:
1. पूरी तरह संतुष्ट: एकदम सही।
2. काफी हद तक संतुष्ट: बहुत अच्छा, बस थोड़े से सुधार की आवश्यकता है।
3. आंशिक रूप से संतुष्ट: आधा सही, आधा मनगढ़ंत।
4. न्यूनतम संतुष्ट: बमुश्किल संबंधित।
5. संतुष्ट नहीं: पूरी तरह से बकवास।

यह सिस्टम को यह कहने की अनुमति देता है कि "यह उत्तर काफी हद तक अच्छा है," बजाय इसके कि वह केवल "पास" या "फेल" कहे।

2. "पावर मीन" (सीक्रेट सॉस)

एक बार जब AI वे 5-स्टार रेटिंग दे देता है, तो हम उन्हें एक अंतिम स्कोर में कैसे जोड़ते हैं?

पुराना तरीका: केवल औसत (Arithmetic Mean) निकालना। यदि आपके पास चार '5' और एक '1' है, तो औसत 4.2 होगा। यह चीज़ों को बहुत अधिक सुचारू (smooth) बना देता है।
सुधार: TCVA एक गणितीय ट्रिक का उपयोग करता है जिसे जेनरालाइज्ड पावर मीन (Generalized Power Mean) कहा जाता है।
- इसे एक गलतियों के लिए आवर्धक लेंस (Magnifying Glass) के रूप में सोचें।
- यदि आप सख्त होना चाहते हैं, तो गणित कम स्कोर को "आवर्धित" (magnify) करता है। एक खराब रेटिंग पूरे औसत को तेजी से नीचे खींच लेती है।
- यदि आप उदार होना चाहते हैं, तो गणित उच्च स्कोर को "आवर्धित" करता है। एक खराब रेटिंग अंतिम स्कोर को बहुत कम प्रभावित करती है।

3. टेम्परेचर डायल (उपयोगकर्ता के अनुकूल नियंत्रण)

गणितज्ञों को "पावर मीन" पैरामीटर (जिसे $p$ कहा जाता है) पसंद है, लेकिन आम लोग गणित नहीं करना चाहते। इसलिए, लेखक ने एक टेम्परेचर डायल ( $T$ ) बनाया जो 0.1 से 1.0 तक जाता है।

लो टेम्परेचर (0.1 - 0.3) = "सख्त डॉक्टर"
- उपमा: कल्पना करें कि बम निरोधक दस्ता एक उपकरण को डिफ्यूज कर रहा है। एक गलत तार बिजली काट देता है।
- उपयोग का मामला: चिकित्सा, वित्त, कानून।
- प्रभाव: यदि AI एक छोटी सी गलती भी करता है, तो स्कोर गिर जाता है। यह बहुत निराशावादी (pessimistic) है।
मीडियम टेम्परेचर (0.4 - 0.6) = "संतुलित शिक्षक"
- उपमा: स्कूल निबंध को ग्रेड देना। आप पूरी तस्वीर देखते हैं।
- उपयोग का मामला: कॉर्पोरेट रिपोर्ट, सामान्य शिक्षा।
- प्रभाव: यह चीज़ों को निष्पक्ष रूप से औसत निकालता है।
हाई टेम्परेचर (0.7 - 1.0) = "मज़ेदार पार्टी होस्ट"
- उपमा: एक कॉमेडी क्लब। यदि कॉमेडियन एक बुरा चुटकुला सुनाता है लेकिन बाकी सब शानदार हैं, तो भीड़ फिर भी शो का आनंद लेती है।
- उपयोग का मामला: चैटबॉट्स, रचनात्मक लेखन, अनौपचारिक बातचीत।
- प्रभाव: यह छोटी गलतियों को अनदेखा करता है और समग्र माहौल (vibe) पर ध्यान केंद्रित करता है।

वास्तविक जीवन में यह कैसे काम करता है

कल्प Imagine करें कि आप एक ऐसे AI का परीक्षण कर रहे हैं जो हार्ट अटैक के बारे में सवालों के जवाब देता है।

इनपुट: आप AI से पूछते हैं, "हार्ट अटैक के लक्षण क्या हैं?"
विभाजन: AI 4 लक्षणों को सूचीबद्ध करता है।
ग्रेडिंग:
- लक्षण 1: सीने में दर्द (सही) → 5 स्टार
- लक्षण 2: सांस लेने में कठिनाई (सही) → 5 स्टार
- लक्षण 3: मतली (सही) → 5 स्टार
- लक्षण 4: "आपको एक थेरेपिस्ट से मिलना चाहिए" (गलत! आपको अस्पताल की जरूरत है) → 1 स्टार

यदि आप "पार्टी होस्ट" (High Temp) सेटिंग का उपयोग करते हैं:
सिस्टम कहता है, "खैर, 4 में से 3 तो बहुत अच्छे थे! AI कुल मिलाकर मददगार है।" अंतिम स्कोर उच्च रहता है। यह एक कैजुअल चैटबॉट के लिए ठीक है।

यदि आप "सख्त डॉक्टर" (Low Temp) सेटिंग का उपयोग करते हैं:
सिस्टम कहता है, "रुको! इनमें से एक उत्तर मरीज के लिए घातक हो सकता है। पूरा उत्तर खतरनाक है।" अंतिम स्कोर शून्य के करीब गिर जाता है।

जादू: आपको परीक्षण को दोबारा चलाने या AI को बदलने की आवश्यकता नहीं है। आप बस टेम्परेचर डायल को घुमाते हैं, और गणित तुरंत आपकी आवश्यकताओं के अनुसार स्कोर की पुनर्गणना करता है।

यह क्यों महत्वपूर्ण है

यह लचीला है: आप केवल एक नॉब घुमाकर उसी टूल का उपयोग मेडिकल बॉट और जोक-बॉट दोनों के लिए कर सकते हैं।
यह सस्ता है: आपको AI को खुद का पुनर्मूल्यांकन करने के लिए कहने की आवश्यकता नहीं है। आप बस पहले से मौजूद परिणामों पर गणित बदल देते हैं।
यह अधिक निष्पक्ष है: यह "सब कुछ या कुछ नहीं" वाली समस्या को रोकता है जहाँ एक छोटी सी गलती एक बेहतरीन उत्तर को बर्बाद कर देती है, या एक बेहतरीन उत्तर एक घातक गलती को छिपा देता है।

निष्कर्ष

यह पेपर हमें AI को मापने के लिए एक स्मार्ट रूलर (पैमाना) देता है। एक कठोर रूलर के बजाय जो थोड़ा टेढ़ा होने पर टूट जाता है, TCVA एक लचीला, खिंचने वाला रूलर है जिसे आप हीरे या रबर बैंड को मापने के लिए कस या ढीला कर सकते हैं। यह सुनिश्चित करता है कि AI को ठीक उतनी ही सख्ती (या उदारता) के साथ परखा जाए जितनी वास्तविक दुनिया की स्थिति की मांग होती है।

यहाँ शोध पत्र "Adaptive Rigor in AI System Evaluation using Temperature-Controlled Verdict Aggregation via Generalized Power Mean" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) आधारित AI सिस्टम के मूल्यांकन के लिए वर्तमान विधियाँ (जैसे, RAGAS, DeepEval, मानक "LLM-as-a-Judge") एक महत्वपूर्ण सीमा से ग्रस्त हैं: मूल्यांकन की कठोरता में लचीलेपन का अभाव (inflexibility in evaluation strictness)।

संदर्भ बेमेल (Context Mismatch): मौजूदा फ्रेमवर्क अक्सर किसी भी अनुप्रयोग डोमेन (application domain) की परवाह किए बिना एक समान मूल्यांकन तर्क लागू करते हैं। उदाहरण के लिए, एक मेडिकल डायग्नोस्टिक AI को अत्यधिक कठोरता की आवश्यकता होती है (जहाँ एक एकल मतिभ्रम/hallucination भी गंभीर हो सकता है), जबकि एक संवादात्मक चैटबॉट उदारता से लाभान्वित होता है (जहाँ मामूली सुधार स्वीकार्य हैं)।
बाइनरी/ट्रेनरी सीमाएँ (Binary/Ternary Limitations): अधिकांश वर्तमान सिस्टम बाइनरी (हाँ/नहीं) या ट्रेनरी (हाँ/नहीं/अनिश्चित) निर्णयों पर निर्भर करते हैं। ये "आंशिक शुद्धता" या "मामूली अशुद्धियों" की बारीकियों को पकड़ने में विफल रहते हैं, जिससे प्राप्त स्कोर मानवीय निर्णय के साथ सही तालमेल नहीं बिठा पाते।
प्रॉम्प्ट अस्थिरता (Prompt Instability): प्रॉम्प्ट इंजीनियरिंग के माध्यम से कठोरता को समायोजित करने के प्रयास (जैसे, "strict रहें" जोड़ना) अप्रत्याशित होते हैं और अक्सर उन सही उत्तरों को भी दंडित करते हैं जो गलत नहीं थे।

2. कार्यप्रणाली: टेम्परेचर-कंट्रोल्ड वर्डिक्ट एग्रीगेशन (Methodology: TCVA)

TCVA, एक नया मूल्यांकन पाइपलाइन प्रस्तावित करता है जो 'वर्डिक्ट जनरेशन' (निर्णय निर्माण) को 'एग्रीगेशन लॉजिक' (एकत्रीकरण तर्क) से अलग करता है, जिससे एक टेम्परेचर पैरामीटर के माध्यम से अनुकूलन योग्य कठोरता संभव होती है। यह विधि तीन मुख्य घटकों से मिलकर बनी है:

A. पांच-स्तरीय वर्डिक्ट सिस्टम (Five-Level Verdict System)

बाइनरी या ट्रेनरी आउटपुट के बजाय, TCVA एक AI प्रतिक्रिया से निकाले गए परमाणु कथनों (atomic statements) का मूल्यांकन करने के लिए पांच-स्तरीय लिकर्ट-शैली (Likert-style) पैमाने का उपयोग करता है:

पूर्णतः (Fully - 1.0): तथ्यों द्वारा पूर्णतः समर्थित।
मुख्यतः (Mostly - 0.9): समर्थित, लेकिन संरचनात्मक परिवर्तन मामूली हैं।
आंशिक रूप से (Partially - 0.7): लगभग आधा समर्थित; प्रासंगिक है लेकिन इसमें मतिभ्रम (hallucinations) शामिल हैं।
मामूली (Minor - 0.3): स्पष्ट रूप से पुष्ट नहीं है लेकिन तथ्यों से कुछ कीवर्ड/वाक्यांश शामिल हैं।
कोई नहीं (None - 0.0): तथ्यों से कोई संबंध नहीं (मतिभ्रम)।

नोट: इन भारों (weights) को गैर-समान (1.0, 0.9, 0.7, 0.3, 0.0) रखा गया है ताकि स्तरों के बीच गुणात्मक अंतर को दर्शाया जा सके (उदाहरण के लिए, "आंशिक" से "मामूली" के बीच एक बड़ा अंतर ताकि महत्वपूर्ण त्रुटियों को दंडित किया जा सके)।

B. जनरलाइज्ड पावर मीन एग्रीगेशन (Generalized Power Mean Aggregation)

इन भारों को एकत्रित करने के लिए, TCVA मानक अंकगणितीय माध्य (arithmetic mean) के स्थान पर जनरलाइज्ड पावर मीन (Hölder mean) का उपयोग करता है:
$M_p(w) = \left( \frac{1}{n} \sum_{i=1}^{n} w_i^p \right)^{1/p}$
पैरामीटर $p$ कम स्कोर के प्रति संवेदनशीलता को नियंत्रित करता है:

कम $p$ (ऋणात्मक): न्यूनतम मान की ओर बढ़ता है (निराशावादी/कठोर)। एक एकल कम स्कोर कुल स्कोर को नाटकीय रूप से कम कर देता है।
उच्च $p$ (धनात्मक): अधिकतम मान की ओर बढ़ता है (आशावादी/उदार)। उच्च स्कोर कुल योग पर हावी होते हैं।
$p=1$ : मानक अंकगणितीय माध्य।

C. टेम्परेचर पैरामीटर ( $T$ )

व्यावहारिक उपयोग के लिए गणितीय पैरामीटर $p$ को सहज बनाने के लिए, लेखक एक टेम्परेचर पैरामीटर $T \in [0.1, 1.0]$ को लीनियर इंटरपोलेशन के माध्यम से $p$ से मैप करते हैं:

$T \in [0.1, 0.3]$ (कठोर/Strict): यह $p \approx -8$ से मैप होता है। सुरक्षा-महत्वपूर्ण डोमेन (चिकित्सा, वित्त) के लिए उपयुक्त।
$T \in [0.4, 0.6]$ (संतुलित/Balanced): यह $p \approx 1$ (अंकगणितीय माध्य) से मैप होता है। कॉर्पोरेट/शैक्षिक प्रणालियों के लिए उपयुक्त।
$T \in [0.7, 1.0]$ (उदार/Lenient): यह $p \approx 12.25$ से मैप होता है। रचनात्मक या संवादात्मक AI के लिए उपयुक्त।

अतिरिक्त तंत्र: "कोई नहीं" (None) निर्णयों के लिए एक अनुकूलित दंड (adaptive penalty) लागू किया जाता है। दंड की गंभीरता भी तापमान ( $\alpha = 1.5 - T$ ) द्वारा नियंत्रित होती है, यह सुनिश्चित करती है कि असमर्थित कथनों को वांछित कठोरता के अनुपात में दंडित किया जाए।

3. मुख्य योगदान (Key Contributions)

अनुकूलन योग्य कठोरता (Adaptive Rigor): एक ऐसा पहला फ्रेमवर्क जो बिना LLM को दोबारा चलाए या प्रॉम्प्ट को फिर से लिखे, एक सहज पैरामीटर ( $T$ ) के माध्यम से मूल्यांकन की कठोरता को गतिशील रूप से समायोजित करने की अनुमति देता है।
सूक्ष्म वर्डिक्टिंग (Granular Verdicting): पांच-स्तरीय वर्डिक्ट सिस्टम का परिचय, जो "मुख्यतः" बनाम "आंशिक" जैसी बारीकियों को पकड़ता है जिन्हें बाइनरी सिस्टम खो देते हैं।
गणितीय आधार (Mathematical Foundation): AI मूल्यांकन में जनरलाइज्ड पावर मीन का अनुप्रयोग, जो आउटलेर्स (निम्न स्कोर) के प्रभाव को नियंत्रित करने का एक सिद्धांत आधारित तरीका प्रदान करता है।
शून्य-लागत लचीलापन (Zero-Cost Flexibility): एक बार वर्डिक्ट जेनरेट होने के बाद, किसी भी टेम्परेचर $T$ के लिए अंतिम स्कोर की तुरंत पुनर्गणना की जा सकती है, जिसके लिए किसी अतिरिक्त LLM API कॉल की आवश्यकता नहीं होती।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का परीक्षण मानव लिकर्ट-स्केल एनोटेशन वाले तीन बेंचमार्क डेटासेट्स पर किया गया: SummEval (Faithfulness), SummEval-Relevance, और USR (Dialogue)।

विश्वसनीयता (Faithfulness - SummEval): TCVA ने 0.667 का Spearman's $\rho$ प्राप्त किया ( $T=0.9$ पर), जो RAGAS (0.676, $p=0.759$ ) के सांख्यिकीय रूप से तुलनीय है और DeepEval (0.395) से काफी बेहतर है।
प्रासंगिकता (Relevance - SummEval-Rel): TCVA ने RAGAS ( $\rho = 0.480$ बनाम $0.411$, $p=0.041$ ) को काफी पीछे छोड़ दिया। पांच-स्तरीय स्केल ने उन बारीकियों को पकड़ा जो बाइनरी वर्डिक्ट मिस कर देते हैं।
संवाद (Dialogue - USR): TCVA और RAGAS दोनों में कम सहसंबंध ( $\approx 0.17$ ) देखा गया, जो यह दर्शाता है कि संवाद मूल्यांकन अभी भी सभी LLM-आधारित विधियों के लिए एक चुनौतीपूर्ण समस्या बनी हुई है।
एब्लेशन अध्ययन (Ablation Studies):
- पांच-स्तरीय स्केल को हटाने (बाइनरी में बदलने) से प्रासंगिकता प्रदर्शन में भारी गिरावट आई ( $\Delta \rho = -0.244$ )।
- "None-penalty" को हटाने से फथफुलनेस (faithfulness) स्कोर काफी प्रभावित हुआ ( $\Delta \rho = -0.057$ )।
- विधि विशिष्ट भार मानों (weight values) में बदलाव के प्रति सुदृढ़ (robust) है (विभिन्न वेट स्कीम्स के बीच $\rho$ में भिन्नता $< 0.02$ है)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

TCVA वर्तमान AI मूल्यांकन उपकरणों की "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) विफलता को संबोधित करता है। वर्डिक्ट जनरेशन को एग्रीगेशन लॉजिक से अलग करके, यह डेवलपर्स को एक एकल, व्याख्या योग्य पैरामीटर का उपयोग करके विशिष्ट उपयोग के मामलों (जैसे चिकित्सा निदान के लिए सख्त, चैटबॉट के लिए उदार) के लिए मूल्यांकन की कठोरता को अनुकूलित करने की अनुमति देता है।

व्यावहारिक प्रभाव: यह संगठनों को मॉडल को पुनरप्रशिक्षित किए बिना या प्रॉम्प्ट को फिर से लिखे बिना विविध डोमेन में एक ही मूल्यांकन पाइपलाइन का उपयोग करने में सक्षम बनाता है।
पारदर्शिता: यह पूर्ण व्याख्यात्मकता (interpretability) प्रदान करता है, जिससे यह स्पष्ट होता है कि किस कथन ने स्कोर में योगदान दिया और क्यों।
दक्षता: यह प्रारंभिक वर्डिक्ट जनरेशन के बाद उच्च लचीलापन और शून्य अतिरिक्त कम्प्यूटेशनल लागत प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि TCVA मजबूत, संदर्भ-जागरूक AI मूल्यांकन की दिशा में एक महत्वपूर्ण कदम है, और इसका स्रोत कोड और लाइब्रेरी (eval-ai-library) सार्वजनिक रूप से उपलब्ध है।