🤖 machine learning

A Comparative Study of Model Selection Criteria for Symbolic Regression

यह शोध पत्र सात कृत्रिम डेटासेट्स (synthetic datasets) में सिम्बोलिक रिग्रेशन के लिए मॉडल चयन मानदंडों का एक व्यवस्थित अनुभवजन्य तुलना प्रस्तुत करता है, जो यह प्रकट करता है कि ग्राउंड-ट्रुथ अभिव्यक्तियों की पहचान करने और टेस्ट एरर को न्यूनतम करने के लिए मिनिमम डिस्क्रिप्शन लेंथ (MDL) और बेयसियन इंफॉर्मेशन क्राइटेरियन (BIC) सबसे प्रभावी विधियाँ हैं।

मूल लेखक: Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ali Soltani, Gabriel Kronberger, Fabricio Olivetti de Franca, Mattia Billa, Alessandro Lucantonio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास सुरागों (डेटा) का एक ढेर है जो थोड़ा अस्त-व्यस्त और शोर भरा है—शायद कुछ पदचिह्न कीचड़ वाले हैं, या किसी गवाह के बयान में कुछ गलतियाँ हैं। आपका लक्ष्य घटनाओं के सटीक क्रम (ग्राउंड ट्रुथ) को फिर से बनाना है।

कंप्यूटर विज्ञान की दुनिया में, इसे सिम्बोलिक रिग्रेशन (Symbolic Regression) कहा जाता है। पदचिह्नों के बजाय, कंप्यूटर एक गणितीय सूत्र (formula) की तलाश कर रहा है जो डेटा की व्याख्या कर सके। कंप्यूटर हजारों संभावित सूत्र बनाता है, जो "y = x + 1" जैसे सरल सूत्रों से लेकर अविश्वसनीय रूप से जटिल और उलझे हुए कचरे तक हो सकते हैं, जो स्पैगेटी के कटोरे की तरह दिखते हैं।

समस्या क्या है? कंप्यूटर अस्त-व्यस्त सुरागों को याद रखने में बहुत माहिर है। यह एक ऐसा सूत्र बना सकता है जो कीचड़ वाले पदचिह्नों से पूरी तरह मेल खाता हो, लेकिन यदि आप उसे पदचिह्नों का एक नया सेट दिखाएंगे, तो वह सूत्र बुरी तरह विफल हो जाएगा। इसे ओवरफिटिंग (Overfitting) कहा जाता है। यह उस छात्र की तरह है जिसने अभ्यास परीक्षण (प्रैक्टिस टेस्ट) के उत्तर रट लिए हैं लेकिन वास्तविक परीक्षा में असफल हो जाता है क्योंकि वह अवधारणाओं को नहीं समझ पाया।

तो, आप उन हजारों सूत्रों में से सबसे अच्छा सूत्र कैसे चुनते हैं जो कंप्यूटर ने बनाए हैं? आपको एक "मॉडल सिलेक्शन क्राइटेरियन" (Model Selection Criterion) की आवश्यकता है—एक नियम पुस्तिका या एक न्यायाधीश जो यह तय करे कि विजेता कौन है।

प्रतियोगी

इस शोध पत्र के लेखकों ने यह देखने के लिए एक प्रतियोगिता आयोजित की कि कौन सा "न्यायाधीश" सबसे अच्छा काम करता है। उन्होंने सात अलग-अलग रहस्य परिदृश्य (सिंथेटिक डेटासेट) बनाए जिनके ज्ञात उत्तर थे और उनमें कुछ शोर (noise) मिला दिया। फिर, उन्होंने कंप्यूटर को कई संभावित सूत्र बनाने के लिए कहा, जिनमें से कुछ जानबूझकर बहुत अधिक जटिल (over-complicated) बनाए गए थे।

उन्होंने पाँच न्यायाधीशों (मानदंडों) का परीक्षण किया कि कौन सा न्यायाधीश ढेर सारे बिखरे हुए सूत्रों में से सही, सरल सूत्र को चुन सकता है:

MSE (ट्रेनिंग एरर): यह न्यायाधीश केवल इस बात पर ध्यान देता है कि सूत्र वर्तमान अस्त-व्यस्त सुरागों में कितनी अच्छी तरह फिट बैठता है। यह उस छात्र की तरह है जो केवल अभ्यास परीक्षण ही पढ़ता है। यह अक्सर सबसे जटिल, ओवर-फिटेड सूत्रों को चुनता है।
AIC (अकाइके इंफॉर्मेशन क्राइटेरियन): एक क्लासिक न्यायाधीश जो सटीकता और सरलता के बीच संतुलन बनाने की कोशिश करता है। यह सूत्र के हर अतिरिक्त हिस्से के लिए एक छोटा "जुर्माना" (penalty) लगाता है।
AICc: यह AIC का एक सुधारा हुआ संस्करण है, जिसे तब उपयोग किया जाता है जब डेटा कम होता है और यह थोड़ा अधिक सख्त होता है।
BIC (बेयसियन इंफॉर्मेशन क्राइटेरियन): AIC से अधिक सख्त न्यायाधीश। यह जटिलता को अधिक भारी दंड देता है, विशेष रूप से जैसे-जैसे डेटा की मात्रा बढ़ती है। यह अनावश्यक हिस्सों से वास्तव में नफरत करता है।
MDL (मिनिमम डिस्क्रिप्शन लेंथ): यह न्यायाधीश एक चतुर रूपक का उपयोग करता है: "सूत्र और डेटा दोनों का वर्णन करने वाला संदेश भेजने का सबसे छोटा तरीका क्या है?" यदि कोई सूत्र बहुत जटिल है, तो संदेश बहुत लंबा हो जाएगा। MDL सत्य की सबसे कुशल "संपीड़न" (compression) की तलाश करता है।
Errin (बूटस्ट्रैप एस्टीमेट): यह सबसे अधिक गणनात्मक रूप से महंगा न्यायाधीश है। यह डेटा में रैंडम शोर जोड़कर प्रयोग का सैकड़ों बार अनुकरण करता है ताकि यह देखा जा सके कि सूत्र कितना डगमगाता है। यह एक ही प्रयोग को 200 समानांतर ब्रह्मांडों में चलाने जैसा है ताकि पूरी तरह सुनिश्चित हुआ जा सके।

परिणाम

शोध पत्र ने इन न्यायाधीशों को एक-दूसरे के विरुद्ध चलाया और कुछ स्पष्ट विजेता और हारने वाले पाए:

हारने वाला: सरल "ट्रेनिंग एरर" (MSE) बहुत खराब था। इसने लगातार सबसे जटिल, ओवर-फिटेड सूत्र चुने जो सामान्य होने में विफल रहे।
दिग्गज (Heavyweights): MDL और BIC चैंपियन थे।
- MDL सबसे सुसंगत था। इसने लगभग हमेशा सबसे सरल और सटीक सूत्र खोजे। यह "शोर" को अनदेखा करने और वास्तविक संकेत (signal) को खोजने में सबसे अच्छा था।
- BIC दूसरे स्थान पर था, जो सही, सरल सूत्र खोजने में भी बहुत अच्छा काम कर रहा था।
मध्यम मार्ग: AIC और AICc ठीक-ठाक थे, लेकिन वे MDL और BIC की तुलना में जटिलता के प्रति थोड़े अधिक उदार थे।
ओवरअचीवर (जो थक गया): Errin दिलचस्प था। कभी-कभी यह बहुत अच्छा करता था, लेकिन अक्सर इसने ऐसे सूत्र चुने जो बहुत बड़े और जटिल थे। साथ ही, यह अविश्वसनीय रूप से धीमा था—जैसे एक न्यायाधीश जो उस मामले को सुलझाने में एक सप्ताह लेता है जिसे एक मिनट में सुलझाया जा सकता था।

मुख्य निष्कर्ष

यदि आप डेटा से गणितीय सूत्र खोजने के लिए एक सिस्टम बना रहे हैं, तो केवल उसी को न चुनें जो आपके वर्तमान डेटा में सबसे अच्छी तरह फिट बैठता है। यह एक जाल है।

इसके बजाय, अपने डिफ़ॉल्ट विकल्प के रूप में MDL (मिनिमम डिस्क्रिप्शन लेंथ) का उपयोग करें। यह एक बुद्धिमान संपादक की तरह है जो सभी फालतू बातों को काट देता है और आपको सबसे संक्षिप्त, सटीक कहानी देता है। यदि MDL आपकी विशिष्ट समस्या के लिए बहुत सख्त लगता है, तो BIC एक बेहतरीन बैकअप है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि हर एक परिदृश्य के लिए कोई भी एक न्यायाधीश पूर्ण नहीं है, लेकिन MDL और BIC सबसे विश्वसनीय उपकरण हैं जो ऐसे सूत्र खोजने के लिए हैं जो न केवल सटीक हैं बल्कि इतने सरल भी हैं कि उन्हें वास्तविक दुनिया में समझा और उपयोग किया जा सके। वे "डेटा को फिट करने" और "शोर को याद करने" के बीच सबसे अच्छा संतुलन बनाते हैं।

तकनीकी सारांश: सिम्बोलिक रिग्रेशन के लिए मॉडल चयन मानदंडों का एक तुलनात्मक अध्ययन

समस्या विवरण
सिम्बोलिक रिग्रेशन (SR), जिसे आमतौर पर जेनेटिक प्रोग्रामिंग (GP) के माध्यम से हल किया जाता है, ऐसे गणितीय व्यंजकों (expressions) की खोज करने का लक्ष्य रखता है जो सटीकता और जटिलता के बीच संतुलन बनाए रखते हैं। जबकि आधुनिक GP कार्यान्वयन उम्मीदवार समाधानों का एक पारेटो फ्रंट (Pareto front) उत्पन्न करते हैं, अनदेखे डेटा पर अच्छी तरह से सामान्यीकरण (generalize) करने वाले एकल मॉडल का स्वचालित चयन एक खुला प्रश्न बना हुआ है। मौजूदा साहित्य विभिन्न सूचना-सैद्धांतिक (information-theoretic) और बायेसियन दृष्टिकोण प्रदान करता है, लेकिन विभिन्न डेटा व्यवस्थाओं में उनके प्रदर्शन की व्यापक अनुभवजन्य तुलना सीमित है। ओवरफिटिंग से बचने और व्याख्यात्मकता (interpretability) बनाए रखने के लिए विशिष्ट स्थितियों में किस चयन मानदंड को प्राथमिकता दी जानी चाहिए, इस पर व्यावहारिक मार्गदर्शन का अभाव है।

कार्यप्रणाली
लेखकों ने छह व्यापक रूप से उपयोग किए जाने वाले मॉडल चयन मानदंडों का एक व्यवस्थित अनुभवजन्य तुलनात्मक अध्ययन किया:

एकेइक इंफॉर्मेशन क्राइटेरियन (AIC)
करेक्टेड एकेइक इंफॉर्मेशन क्राइटेरियन (AICc)
बायेसियन इंफॉर्मेशन क्राइटेरियन (BIC)
मिनिमम डिस्क्रिप्शन लेंथ (MDL)
एफ्रोन का बूटस्ट्रैप-आधारित इन-सैंपल एरर एस्टीमेट ( $Err_{in}$ )
ट्रेनिंग मीन स्क्वेर्ड एरर ( $MSE_{train}$ ) जिसे बेसलाइन के रूप में उपयोग किया गया।

प्रायोगिक सेटअप:

डेटासेट: सात सिंथेटिक बेंचमार्क फंक्शन (जो GP साहित्य में सामान्य हैं) का उपयोग किया गया। ट्रेनिंग डेटा में 100 पॉइंट्स थे जिनमें गॉसियन नॉइज़ ( $\epsilon \sim N(0, (0.1\sigma(y))^2)$ ) जोड़ी गई थी, जबकि टेस्ट डेटा में 10,000 नॉइज़-फ्री पॉइंट्स थे।
कैंडिडेट जनरेशन: मूल्यांकन को विशिष्ट SR एल्गोरिदम से अलग करने के लिए, ग्राउंड-ट्रुथ फंक्शन्स को विचलित (perturb) करके उम्मीदवारों का एक नियंत्रित पूल बनाया गया। एक म्यूटेशन प्रक्रिया ने ग्राउंड-ट्रुथ ट्रीज़ के रैंडम नोड्स को रैंडम सब-ट्रीज़ से बदल दिया। इन उम्मीदवारों को BFicious optimization (लोकल ऑप्टिमा से बचने के लिए 100 बार दोहराया गया) का उपयोग करके ट्रेनिंग डेटा पर फिट किया गया। इस प्रक्रिया ने प्रति बेंचमार्क 100 ओवरफिटेड मॉडल जनरेट किए (वे जिनका ट्रेनिंग MSE ग्राउंड ट्रुथ से कम था) ताकि ओवरफिटेड विकल्पों के सेट से वास्तविक मॉडल को खोजने की मानदंडों की क्षमता का परीक्षण किया जा सके।
मूल्यांकन मेट्रिक्स:
- औसत $MSE_{test}$ : शीर्ष- $k$ रैंक किए गए मॉडलों का प्रदर्शन।
- प्रिसिजन एट $k$ : शीर्ष- $k$ चयनित मॉडलों का अंश जो टेस्ट एरर के आधार पर वास्तविक शीर्ष- $k$ से संबंधित हैं।
- औसत एक्सप्रेशन साइज: चयनित मॉडलों की औसत संरचनात्मक जटिलता (नोड काउंट)।
- ग्राउंड-ट्रुथ हिट: वह न्यूनतम रैंक $k$ जिस पर सटीक ग्राउंड-ट्रुथ एक्सप्रेशन प्राप्त होता है।

मुख्य योगदान और परिणाम
अध्ययन उपरोक्त चार मेट्रिक्स के आधार पर चयन मानदंडों की विस्तृत रैंकिंग प्रदान करता है:

MDL (मिनिमम डिस्क्रिप्शन लेंथ): लगातार सबसे मजबूत मानदंड के रूप में उभरा। इसने सात में से छह बेंचमार्क में छोटे $k$ के लिए सबसे कम टेस्ट एरर वाले मॉडलों की पहचान की और सबसे संक्षिप्त (parsimonious) एक्सप्रेशंस का उत्पादन किया। MDL और BIC ने ग्राउंड-ट्रुथ रिकवरी में उच्चतम दक्षता प्रदर्शित की, जिनके औसत फर्स्ट-हिट रैंक क्रमशः 5.14 और 6.00 थे।
BIC: ग्राउंड-ट्रुथ रिकवरी के मामले में MDL के समान प्रदर्शन किया और स्थिर, मध्यवर्ती परिणाम प्रदान किए, जो अक्सर संक्षिप्त फॉर्मूला प्रदान करते हैं।
AIC और AICc: सामान्यीकरण के संबंध में आमतौर पर MDL और BIC की तुलना में निचले स्तर पर रहे। हालांकि AICc ने विशिष्ट फंक्शन ( $f_1, f_2$ ) के लिए मानक AIC की तुलना में मामूली सुधार दिखाया, दोनों ही MDL की तुलना में अधिक जटिल मॉडल चुनने की प्रवृत्ति रखते थे।
$Err_{in}$ (बूटस्ट्रैप इन-सैंपल एरर): मिश्रित परिणाम दिखाए। जबकि इसने कुछ डेटासेट्स ( $f_1, f_2, f_3, f_6, f_7$ ) के लिए अच्छा प्रिसिजन और सामान्यीकरण प्राप्त किया, यह अन्य ( $f_4, f_5$ ) पर खराब प्रदर्शन करता रहा, अक्सर बड़े एक्सप्रेशंस चुनता रहा और ग्राउंड ट्रुथ को कुशलतापूर्वक प्राप्त करने में विफल रहा (औसत रैंक 31.71)। लेखक इस विसंगति का कारण रैंडम फॉरेस्ट नॉइज़ वेरिएंस अनुमानों पर इसकी निर्भरता को बताते हैं।
$MSE_{train}$ : लगातार सबसे खराब प्रदर्शन करता रहा, जिससे पुष्टि होती है कि अनरेगुलराइज्ड ट्रेनिंग एरर गंभीर ओवरफिटिंग और खराब सामान्यीकरण की ओर ले जाता है।

कंप्यूटेशनल जटिलता
पेपर इन मानदंडों के कंप्यूटेशनल ओवरहेड का विश्लेषण करता है:

AIC, AICc, BIC: सबसे कुशल ( $O(n)$ ), जिन्हें पैरामीटर एस्टीमेशन के बाद डेटा के एक सिंगल पास की आवश्यकता होती है।
MDL: फिशर-इंफॉर्मेशन मैट्रिक्स की गणना के कारण थोड़ा अधिक महंगा ( $O(n \cdot p)$ ) है, लेकिन विशिष्ट SR एक्सप्रेशन साइज के लिए कुशल बना रहता है।
$Err_{in}$ : काफी अधिक कंप्यूटेशनल रूप से गहन है, जिसके लिए $B$ बूटस्ट्रैप इटरेशन (आमतौर पर 200) और बार-बार पैरामीटर रिफिटिंग की आवश्यकता होती है, जिससे यह संभावित रूप से इटरेटिव इवोल्यूशनरी सर्च प्रक्रियाओं के लिए अव्यवहारिक हो जाता है।

महत्व और दावे
लेखक दावा करते हैं कि उनके निष्कर्ष SR पाइपलाइनों के लिए व्यावहारिक मार्गदर्शन प्रदान करते हैं। वे निष्कर्ष निकालते हैं कि MDL मजबूत प्रारंभिक चयन और संक्षिप्त मॉडलों के लिए एक मजबूत डिफॉल्ट विकल्प है, जिसमें BIC एक माध्यमिक विकल्प है। वे सुझाव देते हैं कि AIC/AICc केवल तभी पसंद किए जा सकते हैं जब थोड़े बड़े मॉडल स्वीकार्य हों और MDL का पेनल्टी अत्यधिक रूढ़िवादी माना जाता हो। इसके विपरीत, वे उच्च कंप्यूटेशनल लागत और अपने प्रयोगों में असंगत प्रदर्शन के कारण $Err_{in}$ की सिफारिश नहीं करते हैं।

अध्ययन स्पष्ट रूप से सीमाओं को नोट करता है, जिसमें डेटा जनरेशन के लिए एकल नॉइज़ लेवल का उपयोग और यह तथ्य शामिल है कि मानदंडों का मूल्यांकन सीधे GP सर्च लूप में एकीकृत होने के बजाय एक पोस्ट-हॉक कैंडिडेट पूल पर किया गया था। लेखक कहते हैं कि भविष्य के कार्य में विभिन्न नॉइज़ इंटेंसिटी का अध्ययन करना और इन मानदंडों को इवोल्यूशनरी सर्च प्रक्रिया में एकीकृत करना शामिल होना चाहिए।

प्रतियोगी

परिणाम

मुख्य निष्कर्ष

इसी तरह के और पेपर