📊 statistics

Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

यह शोध पत्र LatentNN प्रस्तुत करता है, जो एक ऐसी विधि है जो नेटवर्क मापदंडों और गुप्त इनपुट मानों को संयुक्त रूप से अनुकूलित करके माप त्रुटियों के कारण न्यूरल नेटवर्क में चरम मानों के व्यवस्थित कम आकलन को ठीक करती है, जिससे कम सिग्नल-टू-नॉइज़ वाले खगोलीय डेटा में अनुमान सटीकता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yuan-Sen Ting

प्रकाशित 2026-03-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuan-Sen Ting

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि केवल देखकर तरबूज का वजन कैसे अनुमान लगाया जाए।

एक आदर्श दुनिया में, आप रोबोट को एक तरबूज दिखाएंगे, उसे सटीक वजन बताएंगे, और वह उस संबंध को पूरी तरह से सीख लेगा। लेकिन वास्तविक दुनिया में (और विशेष रूप से खगोल विज्ञान में), आपकी "आंखें" पूर्ण नहीं होती हैं। हो सकता है कि आपका तराजू डगमगा रहा हो, या रोशनी की वजह से तरबूज वास्तव में जितना भारी है उससे हल्का या भारी दिख रहा हो।

यह लेख एक विशिष्ट समस्या के बारे में है जो तब होती है जब आप एक रोबोट (न्यूरल नेटवर्क) को इन "डगमगाते" मापों का उपयोग करके प्रशिक्षित करते हैं।

समस्या: "धुंधले लेंस" का प्रभाव (The "Blurry Lens" Effect)

लेखक इसे एटेनुएशन बायस (Attenuation Bias) कहते हैं।

इसे इस प्रकार समझें: आप कागज के एक टुकड़े पर बिंदुओं को जोड़ने के लिए एक सीधी रेखा खींचने की कोशिश कर रहे हैं। लेकिन, रेखा खींचते समय किसी ने कागज को हिला दिया है, इसलिए बिंदु थोड़े इधर-उधर बिखरे हुए हैं।

यदि आप इन बिखरे हुए बिंदुओं के माध्यम से एक रेखा खींचने का प्रयास करते हैं, तो आपकी रेखा स्वाभाविक रूप से वास्तविक रेखा की तुलना में अधिक सपाट (flatter) हो जाएगी।
रोबोट यह सीख जाता है कि "बड़े तरबूज उतने भारी नहीं होते" और "छोटे तरबूज उतने हल्के नहीं होते।"
यह सत्य को संकुचित कर देता है। यह चरम मानों (extreme values) को सही ढंग से बताने में विफल रहता है। यह सुरक्षित खेलता है, और हर चीज़ के लिए औसत का अनुमान लगाता है।

डरावनी बात क्या है? यह तब भी होता है जब आपके पास एक सुपर-स्मार्ट रोबोट हो।
आमतौर पर, हम सोचते हैं कि यदि कोई समस्या कठिन है, तो हमें बस एक बड़ा, अधिक जटिल मस्तिष्क (एक गहरा न्यूरल नेटवर्क) चाहिए। लेकिन यह शोध पत्र सिद्ध करता है कि चाहे रोबोट कितना भी बुद्धिमान क्यों न हो, यदि आप उसे धुंधला डेटा खिलाते हैं, तो वह अभी भी ढलान (slope) को गलत ही बताएगा। यह बुद्धिमत्ता की कमी नहीं है; यह डेटा इनपुट की एक खामी है।

पुराना समाधान: "डेमिंग" सुधार (The "Deming" Fix)

सरल गणितीय समस्याओं (जैसे सीधी रेखा खींचने) के लिए, सांख्यिकीविदों को इसे ठीक करने का तरीका दशकों से पता है। वे डेमिंग रिग्रेशन (Deming Regression) नामक एक विधि का उपयोग करते हैं।

कल्पना कीजिए कि आप एक ऐसे बिंदु की वास्तविक स्थिति का अनुमान लगाने की कोशिश कर रहे हैं जो हिल रहा है।

मानक विधि: आप बस देखते हैं कि बिंदु अभी कहाँ है और कहते हैं, "यह वहीं है।" (इससे त्रुटि होती है)।
डेमिंग विधि: आप कहते हैं, "ठीक है, बिंदु हिल रहा है। लेकिन मैं यह भी जानता हूँ कि इन सभी बिंदुओं द्वारा पालन किया जाने वाला एक नियम (सीधी रेखा) है। इसलिए, यदि कोई बिंदु थोड़ा हटकर दिखता है, तो मैं उसे वापस रेखा की ओर धकेल दूँगा, लेकिन केवल उतना ही जितना मैं रेखा पर अपने विश्वास और अपनी आँखों के विश्वास के बीच संतुलन बनाता हूँ।"

यह एक संतुलन का खेल है। आप यह अनुमान लगाते हैं कि बिंदु वास्तव में कहाँ था, और साथ ही यह भी समझते हैं कि वह नियम (रेखा) क्या है।

नया समाधान: LatentNN

लेखक, युआन-सेन टिंग (Yuan-Sen Ting) पूछते हैं: क्या हम एक सुपर-स्मार्ट, जटिल रोबोट (न्यूरल नेटवर्क) को इसी तरह का "धकेलने" (nudging) वाला काम करने के लिए सिखा सकते हैं?

इसका उत्तर है हाँ, और वे इस नई विधि को LatentNN कहते हैं।

यह कैसे काम करता है, यहाँ एक रचनात्मक उपमा दी गई है:

"भूतिया" तरबूज (The "Ghost" Watermelon)
कल्पना कीजिए कि आप रोबोट को प्रशिक्षित कर रहे हैं। केवल धुंधली फोटो ( $x_{obs}$ ) दिखाने के बजाय, रोबोट को अपने मन में एक "भूतिया तरबूज" ( $x_{latent}$ ) बनाने की अनुमति है।

भूत (The Ghost): रोबोट अनुमान लगाता है कि वास्तविक तरबूज कैसा दिखता है।
नियम (The Rule): रोबोट उस नियम को सीखने की कोशिश करता है जो भूतिया तरबूज को वजन से जोड़ता है।
दंड (The Penalty): रोबोट के पास दो काम हैं:
- काम A: यह सुनिश्चित करना कि भूतिया तरबूज उस धुंधली फोटो के करीब हो जो आपने उसे दिखाई थी (बहुत अधिक कल्पना न करें)।
- काम B: यह सुनिश्चित करना कि जो नियम वह सीख रहा है, वह भूतिया तरबूज के आधार पर वजन की सटीक भविष्यवाणी करे।

रोबोट "भूतिया तरबूज" को तब तक समायोजित करना सीखता है जब तक कि वह सही बिंदु न पा ले: एक ऐसा संस्करण जो विश्वसनीय होने के लिए फोटो के पर्याप्त करीब है, लेकिन इतना बदला हुआ है कि वजन की भविष्यवाणी सटीक हो सके।

ऐसा करके, रोबोट शोर (noise) को "देखना" बंद कर देता है। वह वास्तविक वस्तुओं और वजन के बीच के संबंध को सीख जाता है, जिससे वह सीखते समय ही डेटा को प्रभावी रूप से साफ कर देता है।

यह खगोल विज्ञान के लिए क्यों महत्वपूर्ण है?

खगोलशास्त्री इस समस्या के सबसे बड़े शिकार हैं।

डेटा: वे दूरबीनों के माध्यम से तारों को देखते हैं। प्रकाश अक्सर बहुत मंद (कम सिग्नल-टू-नॉइज़) होता है।
लक्ष्य: वे तारे के तापमान, आयु या धातु की मात्रा (उसमें कितना लोहा है) को जानना चाहते हैं।
परिणाम: इस सुधार के बिना, उनके मॉडल व्यवस्थित रूप से चरम सीमाओं (extremes) को कम आंकते हैं। वे सोचते हैं कि सबसे पुराने तारे वास्तव में उनसे छोटे हैं, या सबसे कम धातु वाले तारे वास्तव में उनसे अधिक धातु वाले हैं। यह ब्रह्मांड के निर्माण के हमारे पूरे इतिहास को विकृत कर देता है।

मुख्य निष्कर्ष (The Bottom Line)

समस्या: शोर वाला डेटा AI मॉडलों को "सुरक्षित खेलने" और चरम सीमाओं को छोड़ने के लिए मजबूर करता है।
मिथक: "यदि हम बस AI को बड़ा बना दें, तो यह खुद को ठीक कर लेगा।" (गलत)।
समाधान: LatentNN। यह AI को शोर के पीछे के "वास्तविक" इनपुट का अनुमान लगाने के लिए मजबूर करता है, जिससे सीखते समय ही डेटा प्रभावी रूप से साफ हो जाता है।
परिणाम: अब हम धुंधले, शोर वाले खगोलीय डेटा पर AI भविष्यवाणियों पर भरोसा कर सकते हैं, जिससे हमें ब्रह्मांड की वास्तविक चरम सीमाओं को फिर से देखने की अनुमति मिलती है।

यह रोबोट को शोर-रद्द करने वाले हेडफ़ोन (noise-canceling headphones) और चश्मे की एक जोड़ी देने जैसा है जो आपके हाथ के हिलने के लिए स्वचालित रूप से सुधार करता है, ताकि वह अंततः सत्य देख सके।

यहाँ युआन-सेन टिंग के शोध पत्र "WHY MACHINE LEARNING MODELS SYSTEMATICALLY UNDERESTIMATE EXTREME VALUES II: HOW TO FIX IT WITH LATENTNN" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: न्यूरल नेटवर्क में एटेनुएशन बायस (Attenuation Bias)

यह शोध पत्र खगोलीय डेटा विश्लेषण में न्यूरल नेटवर्क के संदर्भ में एक मौलिक सांख्यिकीय समस्या को संबोधित करता है जिसे एटेनुएशन बायस (या रिग्रेशन डाइल्यूशन) के रूप में जाना जाता है।

घटना: जब इनपुट चरों ( $x$ ) में मापन त्रुटियाँ ( $\sigma_x$ ) होती हैं, तो मानक प्रतिगमन मॉडल (रैखिक और गैर-रैखिक दोनों) इनपुट्स और आउटपुट्स के बीच के संबंध के ढलान (slope) को व्यवस्थित रूप से कम आंकते हैं। इसके परिणामस्वरूप अनुमानित डायनेमिक रेंज में "संपीड़न" (compression) होता है: उच्च मानों को बहुत कम और निम्न मानों को बहुत अधिक अनुमानित किया जाता है।
कारण: मानक मशीन लर्निंग प्रेक्षित इनपुट्स ( $x_{obs}$ ) को 'ग्राउंड ट्रुथ' मानता है। मापन त्रुटियाँ इनपुट के प्रेक्षित विचरण (variance) को कृत्रिम रूप से बढ़ा देती हैं ( $Var(x_{obs}) = Var(x_{true}) + \sigma_x^2$ ), जबकि आउटपुट विचरण पर कोई प्रभाव नहीं पड़ता। फलस्वरूप, मॉडल त्रुटि को कम करने के लिए एक उथले ढलान (shallower slope) को फिट करता है, जिससे भविष्यवाणियाँ माध्य (mean) की ओर खिंच जाती हैं।
यह क्यों महत्वपूर्ण है: कंप्यूटर विज़न या एनएलपी (NLP) के विपरीत जहाँ इनपुट शोर नगण्य होता है, खगोलीय डेटा अक्सर कम सिग्नल-टू-नॉइज़ अनुपात (SNR $\sim$ 10) पर कार्य करता है। इस स्तर पर, मापन त्रुटियाँ अंतर्निहित डेटा रेंज के बराबर हो सकती हैं।
मानक ML की सीमा: यह शोध पत्र प्रदर्शित करता है कि मॉडल की जटिलता बढ़ाने (जैसे, रैखिक प्रतिगमन के बजाय डीप मल्टी-लेयर पर्सेप्ट्रॉन का उपयोग करना) या मानक नियमितीकरण (L2/वेट डिके) लागू करने से भी इस बायस को कम नहीं किया जा सकता है। यह बायस एक मौलिक परिणाम है जो शोर वाले इनपुट्स को सटीक मानने से उत्पन्न होता है, और यह सैंपल साइज या मॉडल आर्किटेक्चर से स्वतंत्र है।

2. कार्यप्रणाली: LatentNN

लेखक LatentNN प्रस्तावित करते हैं, जो शास्त्रीय सांख्यिकीय 'एरर्स-इन-वेरियबल्स' (डेमिंग रिग्रेशन) समाधान को न्यूरल नेटवर्क के लिए सामान्यीकृत करता है।

मुख्य अवधारणा: प्रेक्षित इनपुट्स $x_{obs}$ को स्थिर मानने के बजाय, यह विधि वास्तविक अंतर्निहित इनपुट्स $x_{true}$ को न्यूरल नेटवर्क मापदंडों ( $\theta$ ) के साथ अनुमानित किए जाने वाले लेटेंट वेरिएबल्स (latent variables) के रूप में मानती है।
पदानुक्रमित संरचना (Hierarchical Structure):
1. शीर्ष स्तर: न्यूरल नेटवर्क पैरामीटर्स $\theta$ ।
2. मध्यवर्ती स्तर: लेटेंट वास्तविक इनपुट्स $x_{latent}$ (प्रत्येक प्रशिक्षण नमूने के लिए एक सेट)।
3. निचला स्तर: प्रेक्षित डेटा $(x_{obs}, y_{obs})$ ।
ऑब्जेक्टिव फंक्शन: यह विधि लेटेंट वेरिएबल्स के दिए होने पर प्रेक्षित इनपुट्स और आउटपुट्स की संयुक्त संभावना (joint likelihood) को अधिकतम करती है। यह एक संयुक्त लॉस फंक्शन को न्यूनतम करने में परिवर्तित होता है:
$J(\theta, \{x_{latent}\}) = \sum_{i=1}^N \frac{(y_{obs,i} - f_\theta(x_{latent,i}))^2}{\sigma_{y,i}^2} + \sum_{i=1}^N \frac{(x_{obs,i} - x_{latent,i})^2}{\sigma_{x,i}^2}$
- टर्म 1 (प्रेडिक्शन लॉस): मॉडल के प्रेडिक्शन (लेटेंट इनपुट्स पर आधारित) और प्रेक्षित आउटपुट के बीच के अंतर को दंडित (penalize) करता है।
- टर्म 2 (लेटेंट लाइकलीहुड): ज्ञात मापन अनिश्चितता ( $\sigma_x$ ) द्वारा भारित, प्रेक्षित इनपुट्स से लेटेंट इनपुट्स के विचलन को दंडित करता है।
अनुकूलन (Optimization): नेटवर्क पैरामीटर्स $\theta$ और लेटेंट वेरिएबल्स $x_{latent}$ को ग्रेडिएंट डिसेंट (जैसे, Adam) का उपयोग करके संयुक्त रूप से अनुकूलित किया जाता है। लेटेंट मानों को प्रेक्षित मानों पर इनिशियलाइज़ किया जाता है ( $x_{latent}^{(0)} = x_{obs}$ ) और प्रशिक्षण के दौरान उन्हें वास्तविक मानों की ओर पुनरावृत्तीय रूप से "डी-नॉइज़" किया जाता है।
नियमितीकरण (Regularization): विशिष्ट लेटेंट कॉन्फ़िगरेशन के प्रति ओवरफिटिंग को रोकने के लिए, L2 रेगुलराइजेशन (वेट डिके) केवल नेटवर्क वेट्स $\theta$ पर लागू किया जाता है, न कि लेटेंट वेरिएबल्स पर।

3. मुख्य योगदान

अनुभवजन्य प्रदर्शन: शोध पत्र ठोस संख्यात्मक प्रमाण प्रदान करता है कि मानक न्यूरल नेटवर्क (MLPs) रैखिक प्रतिगमन के समान ही एटेनुएशन बायस से ग्रस्त होते हैं, चाहे उनकी गहराई या चौड़ाई कुछ भी हो।
डेमिंग रिग्रेशन का सामान्यीकरण: यह सफलतापूर्वक शास्त्रीय डेमिंग रिग्रेशन ढांचे (जो आमतौर पर रैखिक मॉडलों तक सीमित है) को किसी भी डिफरेंशिएबल न्यूरल नेटवर्क आर्किटेक्चर तक विस्तारित करता है।
LatentNN कार्यान्वयन: ऑटोमैटिक डिफरेंशिएशन फ्रेमवर्क (PyTorch/JAX) का उपयोग करके एक व्यावहारिक, स्केलेबल कार्यान्वयन, जो इनपुट्स को 'लर्नेबल पैरामीटर्स' के रूप में मानता है।
आयाम (Dimensionality) का विश्लेषण: अध्ययन इनपुट आयाम और सुधार की कठिनाई के बीच एक गैर-मोनोटोनिक संबंध प्रकट करता है। जबकि उच्च-आयामी सह-संबंधित फीचर्स मॉडल को मजबूत सुधार के लिए रेडंडेंसी (redundancy) का सहारा लेने देते हैं, मध्यम आयाम (जैसे, 3 फीचर्स) एक जटिल पोस्टीरियर लैंडस्केप प्रस्तुत करते हैं जो 1D और हाई-D मामलों की तुलना में अनुकूलित करने में कठिन है।

4. प्रयोगात्मक परिणाम

विधि को सिंथेटिक डेटा और एक यथार्थवादी स्टेलर स्पेक्ट्रोस्कोपी अनुप्रयोग पर मान्य किया गया था:

एक-आयामी प्रतिगमन (One-Dimensional Regression):
- मानक MLPs ने गंभीर बायस दिखाया (उदाहरण के लिए, SNR=1 पर, एटेनुएशन फैक्टर $\lambda_y \approx 0.5$ )।
- LatentNN ने सभी SNR श्रेणियों में $\lambda_y \approx 1.0$ को रिकवर किया, जिससे बायस प्रभावी रूप से समाप्त हो गया।
बहुचर इनपुट्स (सह-संबंधित फीचर्स):
- मानक MLPs फीचर्स की संख्या ( $p$ ) के बावजूद सैद्धांतिक एटेनुएशन कर्व का पालन करते हैं।
- LatentNN ने SNR $\ge 2$ पर $p \ge 10$ के लिए $\lambda_y \approx 1$ बनाए रखा।
- कम आयामों ( $p=3$ ) के लिए, LatentNN अभी भी मानक MLPs की तुलना में काफी बेहतर प्रदर्शन करता है (उदाहरण के लिए, SNR=1 पर $\lambda_y \approx 0.7$ बनाम $0.2$), हालांकि अनुकूलन अधिक संवेदनशील हो जाता है।
स्टेलर स्पेक्ट्रोस्कोपी अनुप्रयोग:
- इसे सिंथेटिक स्टेलर स्पेक्ट्रा (The Payne emulator) से मेटालिसिटी ([M/H]) का अनुमान लगाने के लिए लागू किया गया।
- परिदृश्य: 3, 10, या 30 स्पेक्ट्रल पिक्सेल और अलग-अलग शोर स्तरों से मेटालिसिटी का अनुमान लगाना।
- परिणाम: मानक MLPs ने मेटालिसिटी वितरण को संकुचित कर दिया, जिससे धातु-विहीन (metal-poor) तारों को अधिक धातु-युक्त (metal-rich) के रूप में व्यवस्थित रूप से अनुमानित किया गया (जैसे, एक वास्तविक [M/H] = -2.0 वाला तारा -1.5 के रूप में अनुमानित किया गया)। LatentNN ने इसे ठीक किया, उच्च शोर स्तरों पर भी $\lambda_y \gtrsim 0.95$ बनाए रखा।
- निहितार्थ: यह सुधार दुर्लभ, धातु-विहीन तारों की सटीक पहचान करने और मिल्की वे के निर्माण इतिहास को समझने के लिए महत्वपूर्ण है।

5. महत्व और सीमाएँ

महत्व:

वैज्ञानिक सटीकता: कम SNR वाले डेटा (जो खगोलीय स्पेक्ट्रोस्कोपी, फोटोमेट्री, टाइम-सीरीज की विशेषता है) में निष्पक्ष निष्कर्ष निकालने के लिए एक ढांचा प्रदान करता है।
चरम मानों का सुधार: विशेष रूप से चरम मानों के कम आकलन को संबोधित करता है, जो अक्सर सबसे वैज्ञानिक रूप से दिलचस्प होते हैं (जैसे, स्टेलर पॉपुलेशन का मेटल-पुअर टेल)।
स्केलेबिलिटी: पूर्ण पदानुक्रमित बायेसियन अनुमान (जो बड़े डेटासेट के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगा है) के विपरीत, LatentNN एक स्केलेबल, ऑप्टिमाइजेशन-आधारित विकल्प प्रदान करता है जो विशिष्ट खगोलीय सर्वेक्षण आकार ( $N \sim 10^5$ ) के लिए GPU मेमोरी बाधाओं के भीतर फिट बैठता है।

सीमाएँ:

अनिश्चितताओं की आवश्यकता: इस विधि के लिए इनपुट ( $\sigma_x$ ) और आउटपुट ( $\sigma_y$ ) अनिश्चितताओं के सटीक अनुमान की आवश्यकता होती है। गलत अनुमान से सुधार कम या अधिक हो सकता है।
कम्प्यूटेशनल लागत: मापदंडों की संख्या डेटासेट के आकार ( $N \times p$ ) के साथ बढ़ती है, क्योंकि प्रत्येक प्रशिक्षण नमूने के लिए एक लेटेंट वेरिएबल जोड़ा जाता है। वर्तमान सर्वेक्षणों के लिए यह संभव है, लेकिन उच्च-आयामी इनपुट वाले बहुत बड़े डेटासेट ( $N > 10^6$ ) के लिए यह चुनौतीपूर्ण हो सकता है।
अनुकूलन जटिलता (Optimization Complexity): इसका लॉस लैंडस्केप मानक प्रशिक्षण की तुलना में अधिक जटिल है। बहुत कम SNR या मध्यम आयामों पर, समस्या इल-कंडीशन्ड (ill-conditioned) हो सकती है, जिसके लिए सावधानीपूर्वक हाइपरपैरामीटर ट्यूनिंग (विशेष रूप से वेट डिके) और कई रैंडम रिस्टार्ट की आवश्यकता होती है।
पॉइंट एस्टीमेट्स: LatentNN लेटेंट वेरिएबल्स पर पूर्ण पोस्टीरियर वितरण के बजाय पॉइंट एस्टीमेट्स (MAP) प्रदान करता है, हालांकि नेटवर्क पैरामीटर्स स्वयं अच्छी तरह से निर्धारित होते हैं।

निष्कर्ष

यह शोध पत्र स्थापित करता है कि एटेनुएशन बायस एक व्यापक समस्या है जो खगोलीय मशीन लर्निंग में व्याप्त है और इसे गहरे नेटवर्क या अधिक डेटा द्वारा हल नहीं किया जा सकता है। LatentNN वास्तविक अंतर्निहित डेटा और मॉडल मापदंडों के लिए संयुक्त रूप से अनुकूलन करके एक सिद्धांतपूर्ण, प्रभावी और कम्प्यूटेशनल रूप से व्यवहार्य समाधान प्रदान करता है, जिससे शोर वाले अवलोकनात्मक डेटा में चरम मानों की भविष्यवाणी की अखंडता बहाल होती है।