🤖 AI

Genetic Generalized Additive Models

यह शोध पत्र प्रेडिक्शन एरर (prediction error) और कॉम्प्लेक्सिटी (complexity) को संयुक्त रूप से कम करने के लिए NSGA-II मल्टी-ऑब्जेक्टिव जेनेटिक एल्गोरिदम का उपयोग करके जेनरालाइज्ड एडिटिव मॉडल्स (Generalized Additive Models) को स्वचालित रूप से अनुकूलित करने का प्रस्ताव देता है, जिसके परिणामस्वरूप कैलिफोर्निया हाउसिंग डेटासेट पर बेसलाइन लीनियरगाम्स (LinearGAMs) से बेहतर या उनके बराबर प्रदर्शन करने वाले सरल, सुगम और अधिक व्याख्या योग्य मॉडल प्राप्त होते हैं।

मूल लेखक: Kaaustaaub Shankar, Kelly Cohen

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaaustaaub Shankar, Kelly Cohen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही जटिल शहर के लिए एक GPS नेविगेशन सिस्टम बनाने की कोशिश कर रहे हैं। आप चाहते हैं कि GPS अविश्वसनीय रूप से सटीक हो (ताकि आप रास्ता न भटकें), लेकिन आप यह भी चाहते हैं कि निर्देश इतने सरल हों कि एक इंसान उन्हें समझ सके (ताकि आप 50 चरणों वाले लंबे रास्ते से भ्रमित न हो जाएं)।

यह शोध पत्र उस GPS को डिजाइन करने का एक स्मार्ट तरीका बनाने के बारे में है।

समस्या: "ब्लैक बॉक्स" बनाम "सरल मानचित्र"

AI की दुनिया में, दो प्रकार के मानचित्र होते हैं:

अत्यधिक जटिल मानचित्र (न्यूरल नेटवर्क): ये एक जीनियस टूर गाइड की तरह हैं जो हर गली और शॉर्टकट को जानता है। वे अविश्वसनीय रूप से सटीक हैं, लेकिन यदि आप उनसे पूछते हैं कि उन्होंने वह रास्ता क्यों चुना, तो वे आपको एक भ्रमित करने वाला जवाब दे सकते हैं जैसे, "क्योंकि 2014 के ट्रैफिक पैटर्न ने गड्ढे की 3% संभावना का सुझाव दिया था।" आप वास्तव में उन पर भरोसा नहीं कर सकते क्योंकि आप उनके तर्क को समझ नहीं सकते।
सरल मानचित्र (लीनियर मॉडल): ये एक बुनियादी दिशा-सूचक यंत्र (कम्पास) की तरह हैं। वे समझने में बहुत आसान हैं ("उत्तर की ओर जाओ"), लेकिन वे एक जटिल शहर में अक्सर विफल हो जाते हैं क्योंकि वास्तविक जीवन हमेशा एक सीधी रेखा नहीं होता है।

जनरलाइज्ड एडिटिव मॉडल्स (GAMs) बीच का रास्ता हैं। वे एक जीनियस गाइड की तरह सटीक होने और एक कम्पास की तरह सरल होने की कोशिश करते हैं। हालांकि, एक अच्छा GAM बनाना कठिन है। यह एक रेडियो ट्यून करने जैसा है: यदि आप डायल को बहुत अधिक घुमाते हैं, तो आपको शोर (बहुत अधिक जटिलता) सुनाई देगा; यदि आप इसे बहुत कम घुमाते हैं, तो आपको सन्नाटा (बहुत अधिक सरलता) सुनाई देगा। आमतौर पर, इंसानों को सही सेटिंग्स का अनुमान लगाना पड़ता है, जो धीमा और त्रुटिपूर्ण होता है।

समाधान: "इवोल्यूशनरी शेफ" (विकासवादी रसोइया)

लेखकों ने अनुमान लगाना बंद करने और जेनेटिक एल्गोरिदम (विशेष रूप से NSGA-II नामक एक विधि) का उपयोग करने का निर्णय लिया।

इसे एक कुकिंग कॉम्पिटिशन के रूप में सोचें जहाँ लक्ष्य एक आदर्श रेसिपी खोजना है।

प्रतियोगी: एक शेफ के बजाय, आपके पास 80 अलग-अलग शेफों वाली पूरी रसोई (एक "पॉपुलेशन") है। प्रत्येक शेफ के पास थोड़ी अलग रेसिपी (एक अलग मॉडल स्ट्रक्चर) है।
विकास (Evolution): हर राउंड में, शेफ सामग्री बदलते हैं (क्रॉसओवर) और गलती से थोड़ा नमक डाल देते हैं या मसाला बदल देते हैं (म्यूटेशन)।
जज: जज केवल "स्वाद" (सटीकता) के लिए भोजन का स्वाद नहीं लेते। वे "सरलता" (क्या रेसिपी बहुत जटिल है? क्या इसमें बहुत अधिक सामग्रियां हैं?) की भी जांच करते हैं।

लक्ष्य पारेटो फ्रंट (Pareto Front) को खोजना है। कल्पना कीजिए कि एक ग्राफ है जहाँ X-अक्ष "स्वाद" है और Y-अक्ष "सरलता" है।

कुछ रेसिपी स्वादिष्ट हैं लेकिन उन्हें बनाने में 10 घंटे लगते हैं।
कुछ बनाना आसान है लेकिन उनका स्वाद कार्डबोर्ड जैसा है।
पारेटो फ्रंट "सर्वश्रेष्ठ समझौतों" की रेखा है। ये वे रेसिपी हैं जहाँ आप उन्हें और अधिक स्वादिष्ट बनाए बिना उन्हें कठिन नहीं बना सकते, या उन्हें और सरल बनाए बिना उनका स्वाद खराब नहीं कर सकते।

प्रयोग: कैलिफोर्निया हाउसिंग मार्केट

टीम ने इस "इवोल्यूशनरी शेफ" का परीक्षण एक वास्तविक दुनिया की समस्या पर किया: कैलिफोर्निया में घरों की कीमतों का अनुमान लगाना।

डेटा: उन्होंने घर की उम्र, आय, कमरों की संख्या आदि के बारे में ऐतिहासिक डेटा का उपयोग किया।
प्रतिस्पर्धा: उन्होंने अपने AI-विकसित मॉडलों को इनके खिलाफ लड़ाया:
1. एक मानक, मैन्युअल रूप से ट्यून किया गया मॉडल (LinearGAM)।
2. एक "वाइल्ड कार्ड" मॉडल (डिसीजन ट्री) जो बहुत सटीक लेकिन अव्यवस्थित है।

परिणाम: स्मार्ट, सरल और अधिक ईमानदार

परिणाम आश्चर्यजनक और प्रभावशाली थे:

सटीकता: AI-विकसित मॉडल अक्सर मानक मॉडलों की तुलना में अधिक सटीक थे।
सरलता: भले ही वे अधिक सटीक थे, वे बहुत सरल थे।
- उपमा: कल्पना कीजिए कि मानक मॉडल हर एक डेटा पॉइंट (यहाँ तक कि अजीब वाले भी) को जोड़ने के लिए एक टेढ़ी-मेढ़ी, घुमावदार रेखा खींचने की कोशिश करता है (शोर/नॉइज़)। AI-विकसित मॉडल ने महसूस किया, "हे, वह टेढ़ी-मेढ़ी रेखा केवल शोर का पीछा कर रही है। आइए बस यहाँ एक सीधी रेखा खींच दें।" इसने अनावश्यक जटिलता को नजरअंदाज कर दिया।
ईमानदारी (कॉन्फिडेंस इंटरवल): यह सबसे शानदार हिस्सा है।
- मानक मॉडल अक्सर ऐसे व्यवहार करते हैं जैसे वे 100% सुनिश्चित हैं, भले ही वे केवल अनुमान लगा रहे हों।
- AI-विकसित मॉडल ईमानदार थे। यदि वे ऐसे क्षेत्र में घर की कीमत की भविष्यवाणी कर रहे थे जहाँ उन्होंने बहुत कम डेटा देखा था, तो उनका "कॉन्फिडेंस इंटरवल" (संभावित उत्तरों की सीमा) बहुत विस्तृत हो जाता था।
- रूपक: एक मानक मॉडल कहता है, "मुझे 99% यकीन है कि इस घर की कीमत $500k है।" AI मॉडल कहता है, "मुझे लगता है कि यह लगभग $500k है, लेकिन चूंकि मैंने इस तरह के बहुत कम घर देखे हैं, इसलिए यह$ 400k और $600k के बीच कहीं भी हो सकता है।" यह "ईमानदारी" उच्च-जोखिम वाले निर्णयों (जैसे ऋण या सुरक्षा) के लिए महत्वपूर्ण है क्योंकि यह अत्यधिक आत्मविश्वास को रोकता है।

यह क्यों मायने रखता है

यह शोध पत्र दिखाता है कि हमें "स्मार्ट लेकिन भ्रमित करने वाले" AI और "सरल लेकिन मूर्ख" AI के बीच चयन करने की आवश्यकता नहीं है। एक आदर्श संतुलन खोजने के लिए विकासवादी दृष्टिकोण का उपयोग करके, हम ऐसे AI सिस्टम बना सकते हैं जो:

बेहतर काम करते हैं (उच्च सटीकता)।
व्याख्या करने में आसान हैं (सरल संरचना)।
अधिक सुरक्षित हैं (वे स्वीकार करते हैं कि वे अनिश्चित हैं)।

संक्षेप में, लेखकों ने एक ऐसा टूल बनाया है जो न केवल शक्तिशाली है, बल्कि स्वचालित रूप से ऐसे AI मॉडल डिजाइन करता है जो विश्वसनीय और पारदर्शी भी हैं ताकि इंसान वास्तविक जीवन में उन पर भरोसा कर सकें।

यहाँ शोध पत्र "जेनेटिक जनरलाइज्ड एडिटिव मॉडल्स" (Genetic Generalized Additive Models) का विस्तृत तकनीकी सारांश दिया गया है, जिसके लेखक कौस्तब शंकर और केली कोहेन हैं।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे मशीन लर्निंग सिस्टम उच्च-जोखिम वाले क्षेत्रों (जैसे, आवास मूल्यांकन, स्वायत्त हथियार) में तैनात किए जा रहे हैं, ऐसे मॉडलों की तत्काल आवश्यकता है जो न केवल सटीक हों बल्कि अंतर्निहित रूप से व्याख्या योग्य (inherently interpretable) भी हों। जबकि जनरलाइज्ड एडिटिव मॉडल्स (GAMs) यूनिवेरिएट फंक्शन्स के योग ( $y = \beta_0 + \sum f_j(x_j)$ ) में भविष्यवाणियों को विघटित करके पूर्वानुमान सटीकता और व्याख्यात्मकता के बीच एक संतुलन प्रदान करते हैं, लेकिन उनकी संरचना को मैन्युअल रूप से कॉन्फ़िगर करना चुनौतीपूर्ण है।

मुख्य समस्या उपयुक्त संरचना और हाइपरपैरामीटर्स (जैसे, लीनियर बनाम स्प्लाइन टर्म्स, बेसिस फंक्शन्स की संख्या, रेगुलराइजेशन कांस्टेंट) को चुनने में निहित है ताकि निम्नलिखित को नियंत्रित किया जा सके:

अनुमान क्षमता (Approximation capabilities): मॉडल डेटा को कितनी अच्छी तरह फिट करता है।
सामान्यीकरण (Generalization): यह अनदेखे डेटा पर कैसा प्रदर्शन करता है।
व्याख्यात्मकता (Interpretability): मॉडल को समझने के लिए आवश्यक संज्ञानात्मक भार (cognitive load)।

वर्तमान दृष्टिकोण अक्सर 'पोस्ट-हॉक' स्पष्टीकरण विधियों पर निर्भर करते हैं, जिन्हें लेखक अविश्वसनीय मानते हैं। इसके बजाय, यह शोध पत्र GAMs के संरचनात्मक अनुकूलन (structural optimization) को स्वचालित करने का प्रस्ताव देता है ताकि पूर्वानुमान सटीकता को स्पर्सिटी (sparsity), स्मूथनेस (smoothness) और अनिश्चितता (uncertainty) के साथ संतुलित किया जा सके, जिससे प्रदर्शन से समझौता किए बिना पारदर्शी और भरोसेमंद मॉडल बनाए जा सकें।

2. कार्यप्रणाली (Methodology)

लेखक GAM संरचनाओं को स्वचालित रूप से अनुकूलित करने के लिए मल्टी-ऑब्जेक्टिव जेनेटिक एल्गोरिदम NSGA-II (नॉन-डोमिनेटेड सॉर्टिंग जेनेटिक एल्गोरिदम II) का उपयोग करने वाला एक फ्रेमवर्क प्रस्तावित करते हैं।

2.1 क्रोमोसोम एनकोडिंग (Chromosome Encoding)

प्रत्येक संभावित GAM को एक क्रोमोसोम के रूप में एनकोड किया जाता है जहाँ जीन प्रत्येक फीचर के लिए संरचनात्मक हाइपरपैरामीटर्स का प्रतिनिधित्व करते हैं:

कंपोनेंट टाइप (Component Type): कोई नहीं (निष्क्रिय), लीनियर (Linear), या स्प्लाइन (Spline)।
स्प्लाइन पैरामीटर्स (Spline Parameters): यदि स्प्लाइन चुना जाता है, तो नॉट्स (knots/basis functions) की संख्या और रेगुलराइजेशन कांस्टेंट ( $\lambda$ )।
स्केलिंग (Scaling): एक बूलियन फ्लैग जो यह दर्शाता है कि क्या फीचर को स्केल किया जाना चाहिए।

एल्गोरिदम विशिष्ट संभावनाओं (जैसे, स्प्लाइन के लिए 50% संभावना, लीनियर के लिए 30%, और कोई नहीं के लिए 20%) के साथ इन मापदंडों को सैंपल करने के लिए स्मार्ट इनिशियलाइजेशन (एल्गोरिदम 1) का उपयोग करता है और 80 की जनसंख्या आकार (population size) के साथ 50 पीढ़ियों (generations) तक चलता है।

2.2 मल्टी-ऑब्जेक्टिव ऑप्टिमाइजेशन (Multi-Objective Optimization)

NSGA-II दो परस्पर विरोधी उद्देश्यों को एक साथ अनुकूलित करता है:

पूर्वानुमान त्रुटि (RMSE): उच्च सटीकता सुनिश्चित करने के लिए इसे कम किया जाता है।
जटिलता दंड (Complexity Penalty - $C$ ): एक मिश्रित मीट्रिक जिसे $C = 0.70 U + 0.30 S$ $C = 0.70 U + 0.30 S$ के रूप में परिभाषित किया गया है, जहाँ:
- अनिश्चितता ( $U$ ): सक्रिय टर्म्स के 95% कॉन्फिडेंस इंटरवल की औसत चौड़ाई, जिसे टारगेट रेंज द्वारा सामान्यीकृत किया गया है। संकीर्ण अंतराल उच्च निश्चितता का संकेत देते हैं।
- स्पर्सिटी ( $S$ ): कुल फीचर्स के सापेक्ष सक्रिय टर्म्स का अनुपात। यह मॉडल को अप्रासंगिक फीचर्स को अनदेखा करने के लिए प्रोत्साहित करता है।

दोनों को कम करके, एल्गोरिदम एक पारेटो फ्रंट (Pareto Front) की खोज करता है—जो गैर-प्रभावी (non-dominated) समाधानों का एक सेट है जो सटीकता और जटिलता के बीच सर्वोत्तम संभव ट्रेड-ऑफ का प्रतिनिधित्व करता है।

2.3 प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: कैलिफोर्निया हाउसिंग डेटासेट (8 फीचर्स, मीडियन हाउस वैल्यू टारगेट के रूप में)।
बेसलाइन्स (Baselines):
- LinearGAM: एक मानक GAM जहाँ सभी फीचर्स अधिकतम 25 स्प्लाइन्स के साथ स्प्लाइन फंक्शन का उपयोग करते हैं।
- डिसीजन ट्री (Decision Tree): हाई-वेरिएंस अपर बाउंड के रूप में उपयोग किया गया।
मूल्यांकन: कई रैंडम सीड्स के माध्यम से 5-फोल्ड क्रॉस-वैलिडेशन। पारेटो फ्रंट से तीन प्रतिनिधि मॉडल निकाले गए हैं: नी (Knee) सॉल्यूशन (सर्वश्रेष्ठ ट्रेड-ऑफ), RMSE-ऑप्टिमल, और मिनिमल कॉम्प्लेक्सिटी मॉडल।

3. मुख्य योगदान (Key Contributions)

स्वचालित संरचनात्मक अनुकूलन: GAM संरचनाओं और हाइपरपैरामीटर्स (लीनियर बनाम स्प्लाइन) को स्वचालित रूप से निर्धारित करने के लिए NSGA-II के एक नवीन अनुप्रयोग को पेश किया, जिससे मैन्युअल ट्यूनिंग की आवश्यकता समाप्त हो गई।
एकीकृत जटिलता मीट्रिक: एक विशिष्ट जटिलता दंड को परिभाषित किया जो स्पर्सिटी (फीचर चयन) और अनिश्चितता (कॉन्फिडेंस इंटरवल की चौड़ाई) को संयुक्त रूप से अनुकूलित करता है, यह सुनिश्चित करता है कि परिणामी मॉडल केवल सरल ही नहीं, बल्कि अपनी भविष्यवाणात्मक निश्चितता के बारे में "ईमानदार" भी हैं।
पारेटो-आधारित मॉडल चयन: यह प्रदर्शित किया कि विकासवादी एल्गोरिदम (evolutionary algorithms) समाधानों का एक स्पेक्ट्रम प्रदान कर सकते हैं, न कि केवल एक एकल "सर्वश्रेष्ठ" मॉडल, जिससे अभ्यासकर्ताओं को विशिष्ट नियामक या परिचालन बाधाओं (जैसे, मामूली सटीकता लाभ के ऊपर व्याख्यात्मकता को प्राथमिकता देना) के आधार पर मॉडल चुनने की अनुमति मिलती है।
उन्नत व्याख्यात्मकता: दिखाया कि मल्टी-ऑब्जेक्टिव ऑप्टिमाइजेशन से ऐसे मॉडल प्राप्त होते हैं जो संरचनात्मक रूप से सरल (कम सक्रिय टर्म्स) होते हैं और बेसलाइन मॉडल्स की तुलना में एक्सट्रपलेशन (extrapolation) क्षेत्रों में व्यापक, अधिक ईमानदार कॉन्फिडेंस इंटरवल प्रदर्शित करते हैं।

4. परिणाम (Results)

प्रयोग पांच रैंडम सीड्स (42, 7, 123, 225, 729) में किए गए।

सटीकता बनाम जटिलता ट्रेड-ऑफ (Accuracy vs. Complexity Trade-off):
- RMSE-ऑप्टिमल GA मॉडल्स ने कच्चे पूर्वानुमान त्रुटि के मामले में बेसलाइन LinearGAM और डिसीजन ट्री को लगातार पीछे छोड़ दिया (उदाहरण के लिए, सीड 225: GA RMSE 0.6228 बनाम LinearGAM 0.6536)।
- महत्वपूर्ण रूप से, यहाँ तक कि RMSE-ऑप्टिमल GA मॉडल्स भी बेसलाइन LinearGAM की तुलना में काफी सरल (कम जटिलता दंड) थे। उदाहरण के लिए, सीड 42 में, GA मॉडल ने सबसे कम RMSE (0.6821) प्राप्त किया, जबकि बेसलाइन LinearGAM ने खराब सटीकता के बावजूद बहुत अधिक दंड (0.4096) दिखाया।
"नी" (Knee) सॉल्यूशन: पारेटो फ्रंट के "नी" पर चुने गए मॉडलों ने संतुलित प्रदर्शन प्रदान किया, जो अक्सर RMSE-ऑप्टिमल मॉडल के प्रदर्शन के करीब थे लेकिन काफी कम जटिलता प्राप्त करते थे (उदाहरण के लिए, सीड 42: पेनल्टी 0.1020 बनाम बेसलाइन 0.4096)।
व्याख्यात्मकता लाभ (Interpretability Gains):
- स्पर्सिटी: GA मॉडल्स ने अक्सर अप्रासंगिक फीचर्स (जैसे सीड 7 में HouseAge) को "इनएक्टिव" (Inactive) सेट कर दिया, जिससे बेसलाइन मॉडल्स में पाए जाने वाले जटिल, शोर-फिटिंग (noise-fitting) स्प्लाइन्स को समझने की आवश्यकता समाप्त हो गई।
- ईमानदार अनिश्चितता (Honest Uncertainty): उन फीचर्स में जहाँ GA ने फंक्शन को लीनियर में सरल बना दिया, वहां परिणामी कॉन्फिडेंस इंटरवल चरम सीमाओं पर अधिक चौड़े थे। लेखक तर्क देते हैं कि यह एक बग नहीं, बल्कि एक फीचर है, क्योंकि यह स्पार्स डेटा क्षेत्रों में अनिश्चितता का संकेत देता है, जो कसकर फिट किए गए बेसलाइन मॉडल्स में दिखने वाली "झूठी सटीकता" (false precision) को रोकता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य प्रदर्शित करता है कि जब मल्टी-ऑब्जेक्टिव ऑप्टिमाइजेशन फ्रेमवर्क द्वारा निर्देशित हो, तो व्याख्यात्मकता और सटीकता परस्पर अनन्य (mutually exclusive) नहीं हैं। NS-GA-II का उपयोग करके GAM संरचनाओं को अनुकूलित करके, लेखकों ने प्राप्त किया:

उच्च प्रदर्शन: मानक बेसलाइन्स की तुलना में अधिक सटीक मॉडल।
कम संज्ञानात्मक भार: अधिक स्पार्स और स्मूथ मॉडल।
भरोसेमंद AI: ऐसे मॉडल जो ईमानदार अनिश्चितता अनुमान प्रदान करते हैं, जो उच्च-जोखिम वाले निर्णय लेने के लिए महत्वपूर्ण हैं।

यह फ्रेमवर्क पारदर्शी AI सिस्टम बनाने के लिए एक सामान्यीकरण योग्य दृष्टिकोण प्रदान करता है। लेखक इस कार्य को फजी इन्फरेंस सिस्टम्स और कैस्केडिंग रूल-बेस्ड सिस्टम्स तक विस्तारित करने के साथ-साथ कैशिंग रणनीतियों के माध्यम से कम्प्यूटेशनल लागत को अनुकूलित करने का सुझाव देते हैं। कोड ओपन-सोर्स है, जो पुनरुत्पादकता (reproducibility) और विश्वसनीय AI में आगे के अनुसंधान की सुविधा प्रदान करता है।