🤖 machine learning

Tail-Shape Estimation in LLM Evaluation Is Fragile: A Protocol for Diagnosing False Positives

यह शोध पत्र LLM मूल्यांकन के लिए टेल-शेप (tail-shape) अनुमान में फाल्स पॉजिटिव्स (false positives) को पहचानने हेतु एक कठोर प्री-रजिस्टर्ड प्रोटोकॉल प्रस्तुत करता है, जो एक विषाक्तता अध्ययन (toxicity study) के माध्यम से यह प्रदर्शित करता है कि ऐसे दावे अक्सर नाजुक होते हैं और मानक माध्य (mean) एवं परिमाण (magnitude) सांख्यिकी से परे उनमें विभेदक शक्ति का अभाव होता है।

मूल लेखक: Luca Zhou

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luca Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खाद्य समीक्षक (food critic) हैं जो चार अलग-अलग रेस्टोरेंट्स की सुरक्षा का आकलन करने की कोशिश कर रहे हैं। आमतौर पर, आप केवल उनके द्वारा परोसे जाने वाले सभी व्यंजनों की औसत (average) रेटिंग देखते हैं। यदि औसत अधिक है, तो आप मान लेते हैं कि रेस्टोरेंट सुरक्षित है।

लेकिन हाल ही में, कुछ विशेषज्ञों ने तर्क दिया है कि केवल औसत को देखना पर्याप्त नहीं है। उन्होंने कहा कि हमें "पूंछ" (tail) को देखने की आवश्यकता है—यानी दुर्लभ, विनाशकारी सबसे खराब स्थिति वाले परिदृश्य (जैसे कि कोई व्यंजन वास्तव में जहरीला हो सकता है)। उन्होंने एक विशेष गणितीय उपकरण प्रस्तावित किया जिसे "टेल इंडेक्स" (Tail Index) कहा जाता है, जो यह मापने के लिए है कि औसत व्यंजन कितना बुरा है, उससे अलग, ये "सबसे खराब मामले" कितने भारी या खतरनाक हैं।

यह शोध पत्र एक सख्त गुणवत्ता निरीक्षक (quality inspector) की तरह है जो कहता है: "ठहरिए। इस नए 'टेल इंडेक्स' टूल पर भरोसा करने से पहले, हमें यह सुनिश्चित करना होगा कि यह वास्तव में काम करता है या यह हमें केवल धोखा दे रहा है।"

लेखक, लूका झोउ (Luca Zhou) ने इस "टेल इंडेक्स" टूल को यह परखने के लिए कि क्या यह वास्तव में दो समान रेस्टोरेंट्स के बीच अंतर बता सकता है, एक कठोर 5-चरणीय चेकलिस्ट (प्रोटोकॉल) बनाई। फिर उन्होंने इस चेकलिस्ट को चार लोकप्रिय AI मॉडलों (जो "रेस्टोरेंट्स" हैं) पर चलाया ताकि यह देखा जा सके कि क्या उनके "सबसे खराब मामले" (worst-case) वाले व्यवहार वास्तव में अलग थे।

यहाँ क्या हुआ, इसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: "फॉल्स अलार्म" (गलत सूचना) का जाल

लेखक को संदेह था कि यदि आप बिना किसी सख्त चेकलिस्ट के केवल डेटा को देखते हैं, तो आप डेटा में एक ऐसा "अंतर" देख सकते हैं जो वास्तव में मौजूद ही नहीं है। यह अंधेरे में एक आवाज सुनने और यह मान लेने जैसा है कि वह कोई राक्षस है, जबकि वह केवल हवा का झोंका था।

इसे साबित करने के लिए, उन्होंने एक जाल तैयार किया। उन्होंने पाँच द्वारों (सुरक्षा चौकियों की तरह) वाला एक प्रोटोकॉल बनाया। यदि डेटा इन पाँचों में से किसी भी द्वार पर विफल हो जाता है, तो "अलग टेल शेप" का दावा तुरंत खत्म (reject) कर दिया जाता है।

वे तीन जाल जिन्हें प्रोटोकल ने पकड़ा

जब लेखक ने इस सख्त प्रोटोकॉल को AI मॉडल पर लागू किया, तो इसने उन तीन तरीकों को पकड़ा जिनसे "टेल इंडेक्स" हमें झूठ बोल सकता था। यदि उन्होंने चेकलिस्ट का उपयोग नहीं किया होता, तो वे एक गलत खोज (false discovery) प्रकाशित कर देते।

1. "छोटा सैंपल" का भ्रम (गेट 3)

जाल: कल्पना कीजिए कि आप केवल दो नमूने चखकर किसी रेस्टोरेंट के सबसे खराब व्यंजन का निर्णय लेने की कोशिश कर रहे हैं। आप भाग्यशाली हो सकते हैं और दो बुरे व्यंजन चख सकते हैं, जिससे आपको लगेगा कि पूरी रसोई ही बहुत खराब है।
क्या हुआ: केवल 2,000 प्रॉम्प्ट्स के एक छोटे परीक्षण में, AI मॉडल ऐसे दिखे जैसे उनकी "टेल शेप" बहुत अलग हो। गणित ने कहा, "अरे, ये बिल्कुल अलग हैं!"
सुधार: प्रोटोकॉल ने बहुत बड़े सैंपल साइज की मांग की (30,000 प्रॉम्प्ट्स)। जब उन्होंने अधिक "व्यंजन" चखे, तो वह अंतर गायब हो गया। प्रारंभिक "अंतर" केवल रैंडम शोर (random noise) था।
सीख: टेल माप पर भरोसा करने के लिए आपको डेटा की एक विशाल मात्रा की आवश्यकता होती है। छोटे सैंपल अविश्वसनीय होते हैं।

2. "सैचुरेटेड सेंसर" (संतृप्त सेंसर) की खराबी (गेट 4)

जाल: कल्पना कीजिए कि एक थर्मामीटर जो 100°C पर काम करना बंद कर देता है। यदि आप इससे अधिक तापमान मापने की कोशिश करते हैं, तो यह बस 100°C पर अटक जाता है। यदि आप डेटा का विश्लेषण करते हैं, तो यह ऊपर की ओर अजीब रूप से "भारी" लग सकता है, लेकिन वास्तव में यह केवल एक टूटा हुआ सेंसर है।
क्या हुआ: विषाक्तता (toxicity) को स्कोर करने वाला टूल (Detoxify) 0 और 1 के बीच स्कोर देता है। जब AI बहुत विषाक्त टेक्स्ट बनाता है, तो स्कोर 1.0 पर पहुँच जाता है और रुक जाता है। इस "सीलिंग इफेक्ट" (ceiling effect) ने गणित को यह सोचने पर मजबूर कर दिया कि पूंछ (tail) "भारी" और खतरनाक है।
सुधार: प्रोटोककिल ने जांचा कि क्या डेटा गणितीय मॉडल में फिट बैठता है। यह विफल रहा। इसके बाद लेखक ने एक गणितीय "अनुवाद" (स्कोर को एक अलग स्केल जिसे "लॉगिट्स" कहा जाता है, में बदलना) लागू किया, जिसने सीलिंग प्रभाव को हटा दिया। अचानक, "भारी पूंछ" गायब हो गई, और डेटा सामान्य दिखने लगा।
सीख: यदि आपके मापने वाले उपकरण की एक निश्चित सीमा है (जैसे 0 से 1), तो यह नकली "भारी पूंछ" बना सकता है। आपको मापने से पहले डेटा को ठीक करना होगा।

3. "चेरी-पिकिंग" (चुनिंदा चयन) का जाल (गेट 5)

जाल: कल्पना कीजिए कि आप एक विशिष्ट प्रकार के बादल की तलाश कर रहे हैं। यदि आप 10 मिनट तक आकाश को देखते हैं, तो शायद आपको वह न दिखे। लेकिन यदि आप 100 अलग-अलग समय पर देखते हैं और केवल उस एक मिनट की रिपोर्ट करते हैं जब आपने उसे देखा था, तो आप लोगों को यह विश्वास दिला सकते हैं कि आपने उसे अक्सर देखा है।
क्या हुआ: लेखक ने विभिन्न "थ्रेशोल्ड" (कठोरता के विभिन्न स्तरों) पर मॉडल का परीक्षण किया। एक विशिष्ट सेटिंग पर, मॉडल अलग दिखे। एक साधारण शोधकर्ता कहता, "देखो! हमें अंतर मिल गया!"
सुधार: प्रोटोकॉल ने स्थिरता (stability) की मांग की। इसने पूछा: "क्या अंतर सेटिंग्स की एक श्रृंखला में सुसंगत है, या यह केवल उस एक भाग्यशाली स्थान पर हुआ?" पूरे रेंज को देखने पर वह अंतर गायब हो गया। यह केवल एक इत्तेफाक (fluke) था।
सीख: आप केवल उस एक सेटिंग को नहीं चुन सकते जो आपको वांछित परिणाम देती है। परिणाम स्थिर होना चाहिए।

अंतिम निर्णय

AI मॉडल को इस सख्त 5-चरणीय चेकलिस्ट से गुजारने के बाद:

गेट 1 और 2: मॉडल उनके औसत व्यवहार में पहले से ही इतने समान थे कि उनके टेल की निष्पक्ष तुलना करना संभव नहीं था।
गेट 3: सैंपल साइज बहुत बड़ा होना आवश्यक था।
गेट 4: स्कोरिंग टूल डेटा को विकृत कर रहा था।
गेट 5: पाए गए "अंतर" केवल रैंडम उतार-चढ़ाव (flukes) थे।

निष्कर्ष:
जिस विशिष्ट सेटअप पर लेखक ने परीक्षण किया, उस पर "टेल इंडेक्स" कोई नई जानकारी नहीं दे सका। यह केवल उनके औसत स्कोर या उनके "टेल मैग्नीट्यूड" (सबसे खराब मामलों का औसत कितना बुरा है) को देखकर मॉडलों के बीच अंतर करने में बेहतर नहीं था।

यह शोध पत्र तर्क देता है कि AI सुरक्षा के मूल्यांकन के लिए "टेल इंडेक्स" का उपयोग करने को लेकर हालिया उत्साह कमजोर (fragile) है। इस सख्त चेकलिस्ट के बिना, शोधकर्ता आसानी से गलत अलार्म (false alarms) प्रकाशित कर सकते हैं, यह सोचकर कि उन्होंने एक खतरनाक अंतर खोज लिया है, जबकि वास्तव में ऐसा कुछ नहीं था।

मुख्य बात:
इससे पहले कि आप यह दावा करें कि किसी AI मॉडल की "खतरनाक पूंछ" (dangerous tail) है, आपको एक कठोर डायग्नोस्टिक प्रोटोकॉल चलाना चाहिए। अन्यथा, आप केवल डेटा में दिखने वाले भ्रम (ghosts) को ही सच मान लेंगे।

तकनीकी सारांश: LLM मूल्यांकन में टेल-शेप (Tail-Shape) अनुमान भंगुर है

समस्या विवरण

हालिया साहित्य ने बड़े भाषा मॉडल (LLM) के मूल्यांकन को माध्य-आधारित मेट्रिक्स (mean-based metrics) से हटाकर टेल-अवेयर (tail-aware) मेट्रिक्स की ओर ले जाने की वकालत की है, जैसे कि कंडीशनल वैल्यू-एट-रिस्क (CVaR) और टेल-इंडेक्स अनुमान, ताकि उन विनाशकारी, दुर्लभ, और सबसे खराब मामलों वाले व्यवहारों को पकड़ा जा सके जिन्हें औसत (means) छोड़ देते हैं। टेल इंडेक्स ( $\xi$ ), जो एक्सट्रीम वैल्यू थ्योरी (EVT) से प्राप्त होता है, एक स्केलर पैरामीटर है जिसका उद्देश्य वितरण के आकार (जैसे, हेवी-टेल्ड बनाम बाउंडेड) को उसके परिमाण (magnitude) से अलग करना है।

हालाँकि, पीक्स-ओवर-थ्रेसहोल्ड (POT) विधि के माध्यम से $\xi$ का अनुमान लगाना और जनरल पारेटो डिस्ट्रीब्यूशन (GPD) को फिट करना सीमित नमूनों (finite samples) में सांख्यिकीय रूप से भंगुर (fragile) है। इस शोध पत्र का केंद्रीय प्रश्न यह है कि क्या टेल-इंडेक्स पैरामीटर मानक LLM मूल्यांकन सेटअप में माध्य और एक मानक टेल-मैग्निट्यूड सांख्यिकी (TVaR) के अलावा कोई विभेदक जानकारी जोड़ता है, या क्या टेल-शेप अंतर के दावे अक्सर अनुमान संबंधी शोर (estimation noise), बाउंडेड-सपोर्ट बायस (bounded-support biases), या थ्रेसहोल्ड चयन के आर्टिफैक्ट्स होते हैं।

कार्यप्रणाली: एक प्री-रजिस्टर्ड फाइव-गेट प्रोटोकॉल

लेखक एक कठोर पांच-गेट प्रोटोकॉल प्रस्तावित करते हैं जिसे किसी भी टेल-शेप भेदभाव ( $H_1$ ) के दावे को मान्य करने के लिए डिज़ाइन किया गया है। यह प्रोटोकॉल विश्लेषण को जल्दी समाप्त करने ("KILL" करने) के लिए डिज़ाइन किया गया है यदि कोई भी गेट विफल हो जाता है, जिससे गलत सकारात्मक परिणामों (false positives) के प्रकाशन को रोका जा सके।

प्रोटोकॉल दो चरणों में состоит है: एडमिसिबिलिटी गेट्स (G1–G5) और पास क्राइटेरिया (P1–P2)।

एडमिसिबिलिटी गेट्स (Admissibility Gates)

G1 (मीन इक्विवेलेंस): दो मॉडलों के बीच माध्य गंभीरता (mean severity) के अंतर के लिए 95% बूटस्ट्रैप कॉन्फिडेंस इंटरवल (CI) को एक पूर्व-रजिस्टर्ड टॉलरेंस बैंड ( $\delta_\mu$ ) के भीतर होना चाहिए। यह व्यावहारिक समानता स्थापित करने के लिए टू-वन-साइडेड टेस्ट (TOST) का उपयोग करता है, जिससे "गैर-महत्वपूर्णता का अर्थ समानता नहीं है" वाली त्रुटि से बचा जा सके।
G2 (टेल-मैग्निट्यूड इक्विवेलेंस): इसी प्रकार, टेल वैल्यू-एट-रिस्क (TVaR $_{0.9}$ ) के अंतर के लिए 95% बूटस्ट्रैप CI को एक टॉलरेंस बैंड ( $\delta_{TVaR}$ ) के भीतर होना चाहिए।
G3 (सैंपल साइज): थ्रेसहोल्ड के ऊपर अति-व्याप्ति (exceedances) की संख्या ( $n_{exc}$ ) GPD मैक्सिमम लाइकलीहुड एस्टिमेटर्स (MLE) के लिए स्मिथ एसिम्प्टोटिक से प्राप्त एक सैद्धांतिक निचली सीमा ( $N^*$ ) को पूरा करनी चाहिए। यह सुनिश्चित करता है कि एक पूर्व-रजिस्टर्ड प्रभाव आकार ( $\Delta \xi$ ) का पता लगाने के लिए पर्याप्त शक्ति (power) उपलब्ध है।
G4 (गुडनेस-ऑफ-फिट): अनुभवजन्य अति-व्याप्ति वितरण को GPD फिट के लिए एंडरसन-डार्लिंग (AD) टेस्ट पास करना चाहिए ( $p > 0.05$ )।
G5 (थ्रेसहोल्ड स्टेबिलिटी): अनुमानित $\hat{\xi}$ को एक मजबूती बैंड (robustness band) ( $u \in [q-\delta, q+\delta]$ ) में लगभग स्थिर रहना चाहिए। बड़े उतार-चढ़ाव 'थ्रेसहोल्ड-फिशिंग' या अस्थिरता का संकेत देते हैं।

पास क्राइटेरिया (Pass Criteria)

केवल तभी जब एक जोड़ी मॉडलों के सभी एडमिसिबिलिटी गेट्स पास हो जाते हैं, विश्लेषण आगे बढ़ता है:

P1: दोनों मॉडलों के $\hat{\xi}$ के 95% बूटस्ट्रैप CIs नॉन-ओवरलैपिंग होने चाहिए।
P2: अनुमानित टेल इंडेक्स के बीच का पूर्ण अंतर ( $|\hat{\xi}_A - \hat{\xi}_B|$ ) एक पूर्व-रजिस्टर्ड प्रभाव-आकार फ्लोर ( $\Delta_{floor}$ ) से अधिक होना चाहिए।

प्रयोगात्मक सेटअप

मॉडल: चार ओपन-वेट इंस्ट्रक्शन-ट्यून्ड LLMs (Qwen2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-Instruct-2407)।
डेटा: प्रत्येक स्थिति के लिए RealToxicityPrompts डेटासेट से 30,000 प्रॉम्प्ट्स।
स्कोरर्स:
1. Detoxify: एक टॉक्सिसिटी क्लासिफायर जो $[0, 1]$ में प्रोबेबिलिटीज लौटाता है।
2. Token-NLL Judge: एक माध्यमिक स्कोरर फैमिली जो नेगेटिव लॉग-लाइक्लीहुड का उपयोग करती है।
पायलट: इनपुट-एम्बेडिंग नॉइज़ के साथ Qwen2.5-3B पर एक परटर्बेशन अध्ययन (H2) ताकि मॉडल-के भीतर भिन्नता का परीक्षण किया जा सके।

मुख्य परिणाम: गलत सकारात्मक (False Positives) के तीन मोड पकड़े गए

प्रोटोकॉल ने उस मुख्य दावे को खारिज कर दिया कि टेल शेप इस सेटअप में विभेदक जानकारी प्रदान करता है। अध्ययन ने तीन विशिष्ट विफलता मोड की पहचान की जो एक सहज (naive) विश्लेषण से छूट जाते:

1. सैंपल-साइज इल्यूजन (गेट G3)

केवल 2,000 प्रॉम्प्ट्स ( $n_{exc} \approx 100$ ) का उपयोग करने वाले एक पायलट अध्ययन में, लेखकों ने नॉइज़ स्तरों के बीच टेल इंडेक्स में एक बड़ा स्पष्ट अंतर ( $\Delta \hat{\xi} \approx 0.28$ ) देखा। एंडरसन-डार्लिंग टेस्ट पास हो गया, लेकिन सैंपल-साइज गेट (G3) ने इस परिणाम को खारिज कर दिया क्योंकि $n_{exc}$ लक्षित प्रभाव आकार के लिए 80% पावर हेतु आवश्यक 1,570 से बहुत कम था। जब इसे 30,000 प्रॉम्प्ट्स के साथ फिर से चलाया गया, तो प्रभाव 30 गुना सिकुड़ गया ( $\Delta \hat{\xi} \approx 0.009$ ), जिससे पुष्टि हुई कि पायलट परिणाम केवल एस्टीमेशन नॉइज़ था।

2. बाउंडेड-सपोर्ट कंटामिनेशन (गेट G4)

Detoxify (प्रोबेबिलिटीज $[0, 1]$ में) के साथ स्कोरिंग करते समय, चार में से तीन मॉडलों के लिए GPD फिट विफल रहा (AD $p < 0.05$ )। MLE ने स्प्यूरियस हेवी-टेल अनुमान ( $\hat{\xi} \approx 0.9 - 1.2$ ) या डिजेनरेट फिट ( $\hat{\xi} \approx -1$ ) उत्पन्न किए क्योंकि गंभीरता स्कोर ऊपरी सीमा (1.0) के पास संतृप्त (saturate) हो गए, जो मानक GPD की अनबाउंडेड सपोर्ट धारणा का उल्लंघन करते हैं।

समाधान: स्कोर के लिए लॉगिट ट्रांसफॉर्म ( $s' = \log(s/(1-s))$ ) लागू करने से GPD वैधता बहाल हो गई (AD $p > 0.05$ )।
परिणाम: वास्तविक टेल शेप लाइट थी ( $\hat{\xi} \approx 0$ , गुमेल डोमेन), न कि हेवी। "हेवी टेल" निदान बाउंडेड सपोर्ट का एक आर्टिफैक्ट था।

3. थ्रेसहोल्ड-फिशिंग (गेट G5)

लॉगिट-ट्रांसफॉर्म किए गए डेटा का उपयोग करते हुए, लेखकों ने $q=0.95$ से $q=0.99$ तक थ्रेसहोल्ड को स्कैन किया। $q=0.97$ पर, एक जोड़ी (Qwen बनाम Llama-3.1-8B) सभी मानदंडों को पार करती हुई प्रतीत हुई जिसमें $\Delta \hat{\xi} = 0.139$ था। हालाँकि, थ्रेसहोल्ड-स्टेबिलिटी गेट (G5) ने खुलासा किया कि Qwen मॉडल के लिए मजबूती बैंड के भीतर $\hat{\xi}$ में महत्वपूर्ण उतार-चढ़ाव हुआ। $q=0.97$ पर "पॉजिटिव" परिणाम मॉडल के अपने शोर एनवेलप के भीतर एक आउटलियर था, जिसे थ्रेसहोल्ड-फिशिंग के रूप में सही ढंग से पहचाना गया।

अंतिम निर्णय

पूरे प्रोटोकॉल को लागू करने और बाउंडेड सपोर्ट को ठीक करने के बाद:

छह में से शून्य मॉडल जोड़ियों ने सभी गेट्स को एक साथ पास किया।
पाँच जोड़ियाँ बल्क इक्विवेलेंस (G1/G2) में विफल रहीं।
एकमात्र बल्क-इक्विवेलेंट जोड़ी (Qwen बनाम Llama-3.1-8B) के CIs ओवरलैपिंग थे और प्रभाव आकार ($0.095 $) फ्लोर ($ 0.10$) से नीचे था।
Token-NLL जज के लिए भी समान KILL निर्णय दिया गया, जो पुष्टि करता है कि परिणाम केवल Detoxify स्कोरर तक सीमित नहीं है।

योगदान

प्रोटोकॉल: LLM मूल्यांकन में टेल-इंडेक्स दावों के लिए एक प्री-रजिस्टर्ड, पांच-गेट प्रोटोकॉल, जिसमें विशिष्ट एडमिसिबिलिटी और स्टेबिलिटी मानदंड शामिल हैं।
सैंपल-साइज बाउंड: एक विशिष्ट $\Delta \xi$ को 80% पावर के साथ डिटेक्ट करने के लिए आवश्यक अति-व्याप्ति (exceedances) की एक एसिम्प्टोटिक निचली सीमा (Eq. 2)।
बाउंडेड-सपोर्ट बायस का निदान: यह पहचानना कि कैसे सिग्मॉइड-हेडेड क्लासिफायर (जैसे Detoxify) स्कोर सैचुरेशन के कारण स्प्यूरियस हेवी-टेल अनुमान उत्पन्न करते हैं, और लॉगिट ट्रांसफॉर्म को समाधान के रूप में प्रस्तावित करना।
अनुभवजन्य प्रदर्शन: एक टेक्स्टबुक LLM टॉक्सिसिटी सेटअप पर प्रोटोकॉल द्वारा तीन अलग-अलग प्रकार के गलत सकारात्मक (फिनिट-सैंपल नॉइज़, बाउंडेड-सपोर्ट आर्टिफैक्ट्स, और थ्रेसहोल्ड-फिशिंग) को पकड़ने का प्रदर्शन।

महत्व और दावे

यह शोध पत्र निष्कर्ष निकालता है कि जांचे गए LLM टॉक्सिसिटी सेटअप में टेल-शेप एस्टीमेशन हालिया साहित्य की तुलना में अधिक भंगुर है। लेखक यह दावा नहीं करते कि POT-GPD सामान्य LLM मूल्यांकन के लिए अनुपयुक्त है, न ही वे यह दावा करते हैं कि टेल शेप कभी भी जानकारी नहीं रखता है।

इसके बजाय, वे तर्क देते हैं कि:

बिना एक कठोर प्रोटोकॉल के, मानक सेटअप पर किए गए नैइव (naive) विश्लेषणों में गलत सकारात्मक परिणाम प्रकाशित होने की अत्यधिक संभावना है।
विशेष रूप से RealToxicityPrompts और Detoxify के मामले में, टेल इंडेक्स $\xi$ माध्य और TVaR के अतिरिक्त कोई विभेदक जानकारी प्रदान नहीं करता है।
प्रोटोकॉल किसी भी भविष्य के दावे के लिए एक आवश्यक शुरुआती बिंदु के रूप में कार्य करता है। यहाँ नकारात्मक परिणाम टेल शेप की अप्रासंगिकता का प्रमाण नहीं है, बल्कि शोर को फ़िल्टर करने की प्रोटोकॉल की क्षमता का प्रदर्शन है।

लेखक अनुशंसा करते हैं कि भविष्य के कार्य निर्धारित सीमाओं के आधार पर सैंपल साइज को प्री-रजिस्टर करें, बाउंडेड स्कोरर्स के लिए उपयुक्त ट्रांसफॉर्म लागू करें, और सिंगल-थ्रेसहोल्ड एस्टीमेट के बजाय पैरामीटर-स्टेबिलिटी स्कैन्स रिपोर्ट करें।

समस्या: "फॉल्स अलार्म" (गलत सूचना) का जाल

वे तीन जाल जिन्हें प्रोटोकल ने पकड़ा

अंतिम निर्णय

तकनीकी सारांश: LLM मूल्यांकन में टेल-शेप (Tail-Shape) अनुमान भंगुर है

समस्या विवरण

कार्यप्रणाली: एक प्री-रजिस्टर्ड फाइव-गेट प्रोटोकॉल

एडमिसिबिलिटी गेट्स (Admissibility Gates)

पास क्राइटेरिया (Pass Criteria)

प्रयोगात्मक सेटअप

मुख्य परिणाम: गलत सकारात्मक (False Positives) के तीन मोड पकड़े गए

1. सैंपल-साइज इल्यूजन (गेट G3)

2. बाउंडेड-सपोर्ट कंटामिनेशन (गेट G4)

3. थ्रेसहोल्ड-फिशिंग (गेट G5)

अंतिम निर्णय

योगदान

महत्व और दावे

इसी तरह के और पेपर