⚛️ high-energy experiments

Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

यह शोध पत्र तर्क देता है कि मानक बिंदुवार मेट्रिक्स जैसे कि RMSE और MAE, बहुविध (multimodal) व्युत्क्रम समस्याओं (inverse problems) का मूल्यांकन करने में संरचनात्मक रूप से विफल रहते हैं क्योंकि वे पुनर्निर्माणों को व्यवस्थित रूप से संकीर्ण वितरणों की ओर पक्षपाती बनाते हैं, और वैज्ञानिक रूप से वैध निष्कर्ष सुनिश्चित करने के लिए वितरण सटीकता, स्पेक्ट्रम निष्ठा और अनिश्चितता अंशांकन पर आधारित एक तीन-स्तरीय मूल्यांकन प्रोटोकॉल प्रस्तावित करता है।

मूल लेखक: Mads H. Baattrup, Jörn Bach, Laurids Jeppe, Finn Labe, Alexander Grohsjean, Christian Schwanenberger, Peer Stelldinger

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mads H. Baattrup, Jörn Bach, Laurids Jeppe, Finn Labe, Alexander Grohsjean, Christian Schwanenberger, Peer Stelldinger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी समस्या: "औसत" का जाल (The "Average" Trap)

कल्पime कि आप एक छिपे हुए खजाने का स्थान खोजने की कोशिश कर रहे हैं। आपके पास एक नक्शा है, लेकिन वह नक्शा थोड़ा धुंधला है। कभी-कभी खजाना निश्चित रूप से उत्तर (North) वाली गुफा में होता है, और कभी-कभी वह निश्चित रूप से दक्षिण (South) वाली गुफा में होता है। यह बीच में कभी नहीं होता।

विज्ञान की दुनिया में (जैसे कण भौतिकी या मेडिकल इमेजिंग में), वैज्ञानिक अक्सर इन "अनुमान लगाने वाले खेलों" को हल करने के लिए कंप्यूटर का उपयोग करते हैं। लंबे समय से, वे एक साधारण प्रश्न पूछकर यह तय करते हैं कि कंप्यूटर कितना अच्छा है: "आपका अनुमान वास्तविक उत्तर के कितना करीब है?"

यदि कंप्यूटर "उत्तर" कहता है और खजाना "उत्तर" ही है, तो उसे उच्च स्कोर मिलता है। यदि वह "दक्षिण" कहता है और खजाना "उत्तर" है, तो उसे कम स्कोर मिलता है।

यह शोध पत्र तर्क देता है कि जब दो संभावित उत्तर (उत्तर और दक्षिण) हों, तो इस तरह से निर्णय लेना गलत है।

यदि किसी कंप्यूटर को अपना "त्रुटि स्कोर" (error score) कम करने के लिए केवल एक संख्या देने के लिए मजबूर किया जाता है, तो वह बेईमानी करेगा। यह कहने के बजाय कि "यह या तो उत्तर है या दक्षिण," वह "मध्य" (Middle) का अनुमान लगाएगा।

क्यों? क्योंकि गणितीय रूप से, "मध्य" उत्तर और दक्षिण का औसत है। मध्य से उत्तर की दूरी, दक्षिण से मध्य की दूरी के समान है। इसलिए, "मध्य" वाला अनुमान सबसे कम औसत त्रुटि देता है।
समस्या: खजाना मध्य में कभी नहीं होता। कंप्यूटर एक गणितीय रूप से "परफेक्ट" औसत उत्तर दे रहा है जो भौतिक रूप से असंभव है।

परिणाम: एक धुंधली, विकृत तस्वीर

यह शोध पत्र दिखाता है कि जब वैज्ञानिक इन "औसत" स्कोर (जिन्हें RMSE या MAE कहा जाता है) का उपयोग सर्वश्रेष्ठ कंप्यूटर मॉडल चुनने के लिए करते हैं, तो वे अनजाने में ऐसे मॉडल चुन लेते हैं जो सच्चाई को सपाट (flatten) कर देते हैं।

कल्पना कीजिए कि आप धुंधली तस्वीरों से एक पर्वत श्रृंखला को फिर से बनाने की कोशिश कर रहे हैं।

सच्चाई: दो स्पष्ट, अलग-अलग चोटियाँ (उत्तर और दक्षिण)।
"औसत" मॉडल: यह बीच में एक एकल, चौड़ी, सपाट पहाड़ी बना देता है।

यदि आप उस "सपाट पहाड़ी" को देखते हैं, तो यह तस्वीरों के अधिक करीब लग सकती है, इसलिए कंप्यूटर को बेहतर स्कोर मिलता है। लेकिन यदि आप उस सपाट पहाड़ी पर स्की रिसॉर्ट बनाने के लिए इसका उपयोग करते हैं, तो आप बड़ी मुसीबत में पड़ जाएंगे क्योंकि वहां स्कीइंग के लिए कोई वास्तविक चोटियाँ नहीं हैं।

विज्ञान में, डेटा के ये "शिखर" (peaks) और "पूंछ" (tails) सबसे महत्वपूर्ण रहस्यों (जैसे एक नए कण का द्रव्यमान) को अपने भीतर रखते हैं। कंप्यूटर को एक एकल "औसत" उत्तर देने के लिए मजबूर करके, हम अनजाने में सबसे महत्वपूर्ण विवरणों को धुंधला (smear out) कर देते हैं, जिससे हमारे वैज्ञानिक माप गलत हो जाते हैं।

समाधान: एक नया तीन-चरणीय परीक्षण

लेखक इन कंप्यूटरों का परीक्षण करने का एक नया तरीका प्रस्तावित करते हैं, जैसे कि केवल एक परीक्षण के बजाय तीन अलग-अलग भागों वाला ड्राइविंग टेस्ट।

1. "पूरा नक्शा" परीक्षण (CRPS)
केवल एक अनुमान माँगने के बजाय, हम कंप्यूटर से संभावनाओं का पूरा नक्शा बनाने के लिए कहते हैं।

उदाहरण: यह पूछने के बजाय कि "खजाना उत्तर में है या दक्षिण में?", हम पूछते हैं, "संभावना का नक्शा (probability map) बनाओ।"
एक अच्छा मॉडल दो अलग-अलग धब्बे (एक उत्तर के लिए और एक दक्षिण के लिए) बनाएगा। एक बुरा मॉडल बीच में एक बड़ा धब्बा बनाएगा। यह परीक्षण उन मॉडलों को पुरस्कृत करता है जो यह स्वीकार करते हैं कि, "मुझे ठीक से नहीं पता कि यह कौन सा है, लेकिन मुझे पता है कि यह इनमें से एक है।"

2. "भीड़" परीक्षण (Spectrum Fidelity)
हम 10,000 अनुमानों के पूरे समूह को एक साथ देखते हैं।

उदाहरण: यदि आप 1,000 लोगों से खजाना खोजने के लिए कहते हैं, और 500 उत्तर कहते हैं और 500 दक्षिण, तो आपको दो गुफाओं की एक सटीक तस्वीर मिलती है। यदि "औसत" मॉडल का उपयोग किया जाता है, तो हर कोई "मध्य" कहता है, और आपको एक एकल, नकली गुफा की तस्वीर मिलती है।
यह परीक्षण जाँचता है कि क्या अनुमानों का संग्रह वास्तविक दुनिया जैसा दिखता है, न कि केवल व्यक्तिगत अनुमान कितने करीब हैं।

3. "आत्मविश्वास" परीक्षण (Calibration)
हम यह देखते हैं कि कंप्यूटर अपने विश्वास के बारे में कितना ईमानदार है।

उदाहरण: यदि कोई मौसम ऐप कहता है कि बारिश की 90% संभावना है, तो 90% बार बारिश होनी चाहिए। यदि वह 90% कहता है लेकिन केवल 50% बार बारिश होती है, तो ऐप अपने आत्मविश्वास के बारे में झूठ बोल रहा है।
यह परीक्षण सुनिश्चित करता है कि कंप्यूटर केवल अंदाज़ नहीं लगा रहा है, बल्कि वास्तव में सही स्थानों पर आश्वस्त है।

उन्होंने क्या पाया

लेखकों ने इस नई पद्धति का परीक्षण दो चीजों पर किया:

एक नकली गणितीय समस्या जहाँ उन्हें सटीक उत्तर पता था।
एक वास्तविक भौतिक समस्या जिसमें टॉप क्वार्क (छोटे कण) शामिल थे, जहाँ दो न्यूट्रिनो (भूतिया कण) पहचान से बाहर निकल जाते हैं, जिससे गणित बहुत जटिल हो जाता है।

चौंकाने वाला परिणाम:
वे मॉडल जो पुराने "औसत" परीक्षण के तहत "विजेता" (वे जो एकल, सपाट, मध्य उत्तर देते थे) के रूप में दिखते थे, वे वास्तव में डेटा के वास्तविक आकार को बनाए रखने में सबसे खराब थे।

वे मॉडल जिन्होंने "मेसी" (messy) दो-धब्बों वाले उत्तर दिए (जो पुराने परीक्षण के तहत खराब दिखते थे), वे वास्तव में सच्चाई बताने में सबसे अच्छे थे।

मुख्य निष्कर्ष (The Takeaway)

शोध पत्र निष्कर्ष निकालता है कि आप सफलता को कैसे मापते हैं, यही तय करता है कि आप क्या पाते हैं।

यदि आप केवल यह मापते हैं कि "अनुमान सच्चाई के कितना करीब है," तो आप ऐसे मॉडल बनाएंगे जो वास्तविकता के दिलचस्प और जटिल हिस्सों को मिटा देते हैं। सही वैज्ञानिक उत्तर प्राप्त करने के लिए, आपको केवल एक संख्या माँगना बंद करना होगा और संभावनाओं की पूरी कहानी माँगनी होगी।

संक्षेप में: केवल यह न पूछें, "आप कितने करीब थे?" बल्कि यह पूछें, "क्या आपने पूरी कहानी बताई?"

समस्या विवरण

वैज्ञानिक पुनर्निर्माण (जैसे कण भौतिकी, चिकित्सा इमेजिंग, भूभौतिकी) में, मूल्यांकन वर्तमान में पॉइंटवाइज मेट्रिक्स (pointwise metrics) जैसे कि रूट-मीन-स्क्वेर्ड-एरर (RMSE), मीन-एब्सोल्यूट-एरर (MAE) और प्रति-घटना रिज़ॉल्यूशन द्वारा हावी है। ये मेट्रिक्स इस अंतर्निहित धारणा के तहत कार्य करते हैं कि कम त्रुटि बेहतर पुनर्निर्माण के बराबर है।

लेखक तर्क देते हैं कि यह धारणा अल्प-निर्धारित व्युत्क्रम समस्याओं (under-constrained inverse problems) के लिए संरचनात्मक रूप से विफल हो जाती है जहाँ कंडीशनल पोस्टीरियर $p(z|x)$ मल्टीमॉडल (multimodal) होता है। ऐसे परिदृश्यों में, MSE के तहत इष्टतम प्रेडिक्टर कंडीशनल एक्सपेक्टेशन $E[z|x]$ होता है। मल्टीमॉडल पोस्टीरियर्स के लिए, यह एक्सपेक्टेशन अक्सर शून्य संभाव्यता घनत्व (modes के बीच) वाले क्षेत्रों में गिर जाता है। फलस्वरूप, पॉइंटवाइज त्रुटियों को कम करने के लिए प्रशिक्षित मॉडल व्यक्तिगत रूप से "अभौतिक" (unphysical) भविष्यवाणियां उत्पन्न करते हैं और जब उन्हें एकत्रित किया जाता है, तो वे लेटेंट वेरिएबल $z$ के मार्जिनल स्पेक्ट्रम को व्यवस्थित रूप से संकुचित कर देते हैं। यह संपीड़न उन टेल (tails), मोड्स (modes) और आकृतियों को विकृत करता है, जो डाउनस्ट्रीम वैज्ञानिक मापों के लिए सटीक विशेषताएं हैं।

सैद्धांतिक आधार

यह शोध पत्र लॉ ऑफ टोटल वेरिएंस (Law of Total Variance) पर आधारित एक सैद्धांतिक तर्क स्थापित करता है:
$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$
लेखक प्रदर्शित करते हैं कि किसी भी पॉइंट एस्टिमेटर $f_\theta(x)$ के लिए, जो कंडीशनल मीन $E[z|x]$ की ओर अभिसरित (converge) होता है, भविष्यवाणियों का वेरिएंस $\text{Var}[E[z|x]]$ वास्तविक मार्जिनल वेरिएंस $\text{Var}[z]$ से सख्ती से कम या उसके बराबर होता है, जिसमें समानता केवल तभी होती है जब पोस्टीरियर की चौड़ाई शून्य हो।

निहितार्थ: पॉइंट एस्टिमेटर्स स्वाभाविक रूप से एक ऐसा मार्जिनल स्पेक्ट्रम उत्पन्न करते हैं जो सत्य की तुलना में संकीर्ण (narrower) होता है। यह एक बायस (bias) है, न कि वेरिएंस टर्म, जिसका अर्थ है कि यह बड़े डेटासेट के आकार के साथ कम नहीं होता है।
परिणाम: केवल पॉइंटवाइज त्रुटियों द्वारा मूल्यांकन करना सक्रिय रूप से पोस्टीरियर संरचना के दमन को पुरस्कृत करता है और उन मॉडलों को दंडित करता है जो इसे संरक्षित करते हैं, जिससे पक्षपाती वैज्ञानिक निष्कर्ष निकलते हैं।

कार्यप्रणाली: एक तीन-भाग वाला मूल्यांकन प्रोटोकॉल

इन विफलता मोडों को संबोधित करने के लिए, लेखक एक तीन-मेट्रिक प्रोटोकॉल प्रस्तावित करते हैं जहाँ प्रत्येक मेट्रिक उस विशिष्ट कमी को लक्षित करता है जिसे अन्य मेट्रिक्स चूक जाते हैं:

प्रति-घटना वितरण सटीकता (CRPS):
- यह कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर (CRPS) का उपयोग करता है, जो एक स्ट्रिक्टली प्रॉपर स्कोरिंग नियम है।
- MAE के विपरीत, CRPS केवल तभी न्यूनतम होता है जब प्रेडिक्टिव डिस्ट्रीब्यूशन वास्तविक पोस्टीरियर से मेल खाता है। यह "पोस्टीरियर कोलैप्स" (मल्टीमॉडल स्पेस में एक एकल बिंदु की भविष्यवाणी करना) को पुरस्कृत करने के बजाय उसे दंडित करता है।
- यह पॉइंट एस्टिमेटर्स के लिए MAE में बदल जाता है, जिससे जेनेरेटिव और रिग्रेशन मॉडलों के बीच निष्पक्ष तुलना संभव होती है।
जनसंख्या-स्तर की स्पेक्ट्रम फिडेलिटी (Spectrum Fidelity):
- यह पूरे डेटासेट पर मार्जिनल डिस्ट्रीब्यूशन $p(z)$ का मूल्यांकन करता है, जो डाउनस्ट्रीम भौतिकी के लिए रुचि का विषय है।
- यह प्रेडिक्टेड वैल्यूज के हिस्टोग्राम की वास्तविक वैल्यूज के विरुद्ध तुलना करने के लिए बिन्ड $\chi^2$ सांख्यिकी (binned $\chi^2$ statistic) का उपयोग करता है।
- यह उन व्यवस्थित संपीड़नों का पता लगाता है जो पॉइंटवाइज मेट्रिक्स मिस कर देते हैं (जैसे स्पेक्ट्रल फीचर्स के टेल्स और मोड्स का संकुचन)।
अनिश्चितता विश्वसनीयता (कैलिब्रेशन):
- यह आकलन करता है कि क्या अनुमानित पोस्टीरियर की चौड़ाई विश्वसनीय है, इसके लिए कॉन्फोर्मल प्रेडिक्शन (conformal prediction) का उपयोग करके कवरेज कर्व्स जनरेट करता है।
- एक पूरी तरह से कैलिब्रेटेड मॉडल एक कवरेज कर्व बनाता है जो डायगोनल का अनुसरण करता है (अनुभवजन्य कवरेज नाममात्र विश्वास स्तर के बराबर होता है)।
- यह उन मॉडलों के बीच अंतर करता है जो केवल शार्प (narrow) हैं और जो शार्प और कैलिब्रेटेड दोनों हैं।

प्रमुख योगदान

सैद्धांतिक प्रमाण: प्रदर्शित किया कि कोई भी पॉइंट एस्टिमेटर जो MSE या MAE को कम करता है, वह हमेशा एक ऐसा मार्जिनल स्पेक्ट्रम उत्पन्न करेगा जो सत्य से काफी संकीर्ण होगा, जब तक कि पोस्टीरियर में नॉन-जीरो वेरिएंस हो, चाहे आर्किटेक्चर या डेटासेट कुछ भी हो।
मूल्यांकन प्रोटोकॉल: एक एकीकृत प्रोटोकॉल (CRPS, स्पेक्ट्रम फिडेलिटी, कैलिब्रेशन) पेश किया जो रिग्रेशन, मिश्रण (mixture), और जेनेरेटिव मॉडल परिवारों में लागू होता है।
अनुभवजन्य सत्यापन: दिखाया कि सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर पॉइंटवाइज और डिस्ट्रिब्यूशनल मेट्रिक्स के बीच मॉडलों की रैंकिंग उलट जाती है।

प्रायोगिक परिणाम

बेंचमार्क I: सिंथेटिक व्युत्क्रम समस्या

सेटअप: एक नियंत्रित समस्या जिसमें विश्लेषणात्मक रूप से सुलभ बाइमॉडल पोस्टीरियर ( $x = z^2 + \epsilon$ ) है।
निष्कर्ष:
- एक मानक रिग्रेशन MLP ने सबसे कम RMSE प्राप्त किया, लेकिन इसने मार्जिनल स्पेक्ट्रम को शून्य पर एक स्पाइक (spike) में संकुचित कर दिया (कंडीशनल मीन), जो बाइमॉडल सत्य का प्रतिनिधित्व करने में विफल रहा।
- जेनेरेटिव मॉडल्स (नॉर्मलाइजिंग फ्लो, मिक्सचर डेंसिटी नेटवर्क) का RMSE अधिक था, लेकिन उन्होंने उत्कृष्ट CRPS और स्पेक्ट्रम फिडेलिटी प्राप्त की।
- नॉर्मलाइजिंग फ्लो के पोस्टीरियर सैंपल्स को औसत निकालने पर रिग्रेशन का खराब RMSE और स्पेक्ट्रल डिस्टॉर्शन वापस मिल गया, जो पुष्टि करता है कि रिग्रेशन वास्तव में फ्लो का कंडीशनल मीन है।

बेंचमक II: पार्टिकल फिजिक्स (टॉप-क्वार्क रिकंस्ट्रक्शन)

सेटअप: डायलेक्ट्रोनिक डिके (dileptonic decays) से टॉप-क्वार्क पेयर्स का पुनर्निर्माण (एक कई-से-एक व्युत्क्रम समस्या जिसमें कॉम्बिनेटोरियल अस्पष्टता और गायब न्यूट्रिनो शामिल हैं)।
निष्कर्ष:
- पॉइंटवाइज मेट्रिक्स: शुद्ध MSE के साथ प्रशिक्षित ट्रांसफार्मर ने सर्वश्रेष्ठ RMSE प्राप्त किया। MMD (मार्जिनल मैक्सिमम मीन डीस्क्रीपेंसी) रेगुलराइजेशन के साथ प्रशिक्षित ट्रांसफार्मर का प्रदर्शन थोड़ा खराब रहा।
- डिस्ट्रिब्यूशनल मेट्रिक्स: रैंकिंग उलट गई। एक डिस्क्रीट नॉर्मलाइजिंग फ्लो ने CRPS और स्पेक्ट्रम फिडेलिटी पर प्रभुत्व जमाया। ट्रांसफॉर्मर, यहाँ तक कि MMD रेगुलराइजेशन के साथ भी, प्रति-घटना मल्टीमोडालिटी को ठीक करने में विफल रहे, जिसके परिणामस्वरूप अत्यधिक $\chi^2_{spec}$ मान प्राप्त हुए।
- कैलिब्रेशन: जबकि CRPS और स्पेक्ट्रम फिडेलिटी ने फ्लो को ट्रांसफॉर्मर से अलग किया, कैलिब्रेशन ने दो फ्लो आर्किटेक्चर के बीच अंतर किया। डिस्क्रीट फ्लो (सटीक लाइकलीहुड) अच्छी तरह से कैलिब्रेटेड था, जबकि निरंतर फ्लो (ODE-आधारित अनुमानित लाइकलीहुड) व्यवस्थित रूप से अंडरकवर (undercover) था, जो एक ऐसा अंतर है जो केवल CRPS से अदृश्य रहता है।

महत्व और दावे

पेपर का दावा है कि मूल्यांकन प्रोटोकॉल, मॉडल नहीं, बल्कि वैज्ञानिक निष्कर्ष निर्धारित करता है। पॉइंटवाइज मेट्रिक्स पर निर्भर रहकर, वैज्ञानिक समुदाय अनजाने में उन मॉडलों का पक्ष ले रहा है जिनका पुनर्निर्मित स्पेक्ट्रम डाउनस्ट्रीम मापों का समर्थन नहीं कर सकता।

संरचनात्मक मिसअलाइनमेंट: लेखक का तर्क है कि मल्टीमॉडल सेटिंग्स में वैज्ञानिक पुनर्निर्माण के लक्ष्यों के साथ पॉइंटवाइज मेट्रिक्स संरचनात्मक रूप से गलत संरेखित (misaligned) हैं।
प्रोटोकॉल की आवश्यकता: प्रस्तावित तीन-चरणीय प्रोटोकॉल उन आर्किटेक्चर के बीच अंतर करने के लिए आवश्यक है जो मानक मेट्रिक्स के तहत समान दिखाई देते हैं (जैसे सटीक बनाम अनुमानित लाइकलीहुड फ्लो के बीच अंतर करना)।
डोमेन अगनोस्टिक (Domain Agnostic): ये निष्कर्ष किसी भी व्युत्क्रम समस्या पर लागू होते हैं जिसमें महत्वपूर्ण पोस्टीरियर वेरिएंस हो (जैसे फेज रिट्रीवल, कॉस्मोलॉजिकल इन्फरेंस)।

लेखक निष्कर्ष निकालते हैं कि इस प्रोटोकॉल का सावधानीपूर्वक उपयोग पॉइंटवाइज-ओनली मूल्यांकन के पक्षपात को दृश्यमान बनाता है, जिससे अभ्यासकर्ताओं को एक ऐसा आधार मिलता है जिस पर वैज्ञानिक निष्कर्ष टिक सकते हैं। वे नोट करते हैं कि हालांकि उनके निष्कर्ष उनके प्रयोगात्मक सेटअप के विशिष्ट हैं, लेकिन रैंकिंग का उलटना (ranking flip) एक मजबूत और सामान्यीकरण योग्य परिणाम है।