🤖 machine learning

EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening

यह शोध पत्र EMA-FS का प्रस्ताव करता है, जो GBDT प्रशिक्षण के लिए एक एल्गोरिदम-स्तरीय अनुकूलन है जो उनके ऐतिहासिक स्प्लिट गेन्स (split gains) के एक्सपोनेंशियल मूविंग एवरेज के आधार पर फीचर्स को गतिशील रूप से स्क्रीन करके हिस्टोग्राम निर्माण को त्वरित करता है, जिससे लाइटजीबीएम (LightGBM) के साथ पूर्ण अनुकूलता बनाए रखते हुए घने डेटासेट (dense datasets) पर महत्वपूर्ण गति और बेहतर मॉडल प्रदर्शन प्राप्त होता है।

मूल लेखक: Yan Song

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yan Song

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल रहस्य (एक मशीन लर्निंग मॉडल को प्रशिक्षित करना) को सुलझाने की कोशिश कर रहे हैं, जिसमें आप सैकड़ों संभावित सुरागों (फीचर्स) के बारे में हजारों गवाहों (डेटा पॉइंट्स) का इंटरव्यू ले रहे हैं।

Gradient Boosted Decision Trees (GBDT) की दुनिया में, जो कंप्यूटर द्वारा डेटा सीखने का एक लोकप्रिय तरीका है, जासूस अपना अधिकांश समय एक विशिष्ट कार्य करने में बिताता है: एक "सुराग हिस्टोग्राम" (clue histogram) बनाना।

इस हिस्टोग्राम को एक विशाल फाइलिंग कैबिनेट के रूप में सोचें जहाँ जासूस हर एक गवाह के बयान को हर एक सुराग के लिए वर्गीकृत करता है ताकि संदिग्धों को "दोषी" और "निर्दोष" समूहों में विभाजित करने का सबसे अच्छा तरीका खोजा जा सके। यह लेख बताता है कि इस फाइलिंग प्रक्रिया में जासूस का लगभग 70% समय खर्च होता है।

समस्या: "रैंडम सिफ्टिंग" (यादृच्छिक छंटनी) की गलती

काम को तेज करने के लिए, जासूसों ने पारंपरिक रूप से Random Feature Subsampling नामक एक शॉर्टकट का उपयोग किया है। कल्पना कीजिए कि जासूस निर्णय लेता है, "मैं सभी 500 सुरागों को पढ़ने के लिए बहुत व्यस्त हूँ, इसलिए मैं इस दौर के लिए केवल 30% सुरागों को ही रैंडमली चुन लूँगा।"

समस्या यह है कि यह एक सिक्के को उछालकर यह तय करने जैसा है कि किन सुरागों को नजरअंदाज किया जाए। आप अनजाने में सबसे महत्वपूर्ण सुराग (जैसे "तथ्य या सबूत") को फेंक सकते हैं क्योंकि वह ढेर के नीचे था, जबकि एक बेकार सुराग (जैसे "संदेश ने टोपी पहनी थी") को रख सकते हैं क्योंकि वह संयोग से चुना गया था। यह समय तो बचाता है लेकिन अक्सर जांच की सटीकता को खराब कर देता है।

समाधान: EMA-FS (एक "स्मार्ट फिल्टर")

लेखक एक नई विधि प्रस्तावित करते हैं जिसे EMA-FS (Exponential Moving Average Feature Screening) कहा जाता है। सिक्के उछालने के बजाय, यह विधि एक स्मार्ट, याददाश्त वाले फिल्टर की तरह काम करती है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

वार्म-अप (पहले कुछ पेड़/Trees):
जांच के पहले कुछ दौरों के लिए, जासूस यह देखने के लिए कि कौन से सुराग वास्तव में उपयोगी हैं, हर एक सुराग को देखता है। वे अभी तक कुछ भी फ़िल्टर नहीं करते हैं; वे बस डेटा एकत्र करते हैं।
मेमोरी बैंक (EMA):
जैसे-जैसे जासूस काम करता है, वह हर सुराग के लिए एक रनिंग "स्कोरकार्ड" रखता है। यदि किसी सुराग ने शुरुआत में केस सुलझाने में मदद की, तो उसे उच्च स्कोर मिलता है। यदि कोई सुराग बेकार था, तो उसे कम स्कोर मिलता है।

"एक्सपोनेंशियल मूविंग एवरेज" का कमाल: यही असली सीक्रेट सॉस है। स्कोरकार्ड केवल अनंत काल तक अंक जोड़ता नहीं रहता। यह हाल के इतिहास को दूर के अतीत की तुलना में अधिक याद रखता है। यदि कोई सुराग शुरुआत में बेहतरीन था लेकिन बाद में बेकार हो जाता है, तो उसका स्कोर स्वाभाविक रूप से कम होता जाता है। यह सिस्टम को अनुकूलित होने की अनुमति देता है यदि जांच के दौरान "सर्वश्रेष्ठ" सुराग बदल जाते हैं।

स्क्रीनिंग (Top-K चयन):
वार्म-अप के बाद, जासूस स्कोरकार्ड को देखता है। वह कहता है, "ठीक है, मैं केवल उन शीर्ष 30% सुरागों के लिए अपना फाइलिंग कैबिनेट बनाऊँगा जिनके स्कोर सबसे अधिक हैं।"

परिणाम: जासूस उन 70% सुरागों को अनदेखा कर देता है जो लगातार उबाऊ या बेकार रहे हैं। क्योंकि वे उन बेकार सुरागों के लिए फाइलिंग कैबिनेट नहीं बना रहे हैं, इसलिए काम 2 से 3 गुना तेजी से होता है।

यह रैंडम अनुमान लगाने से बेहतर क्यों है

Random Sifting (रैंडम सिफ्टिंग): "तथ्य या सबूत" को फेंक सकता है और "टोपी" को रख सकता है।
EMA-FS: जानता है कि "तथ्य या सबूत" महत्वपूर्ण है और उसे रखता है, जबकि "टोपी" को आत्मविश्वास के साथ फेंक देता है क्योंकि उसका इतिहास बेकार रहा है।

द "स्टोकेस्टिक" ट्विस्ट (S-EMA-FS)

लेखकों ने एक थोड़ा अधिक लचीला संस्करण भी बनाया है जिसे S-EMA-FS कहा जाता है।

Deterministic EMA-FS: "मैं केवल शीर्ष 30% को देखूँगा।" (बहुत सख्त, बहुत तेज़)।
S-EMA-FS: "मैं मुख्य रूप से शीर्ष सुरागों को देखूँगा, लेकिन मैं निचले स्कोर वाले सुरागों को चुने जाने का एक छोटा सा रैंडम मौका भी दूँगा।"
- ऐसा क्यों करना? यह एक स्पोर्ट्स टीम की तरह है। यदि आप हमेशा उन्हीं तीन स्टार खिलाड़ियों को चुनते हैं, तो टीम अनुमानित हो जाती है और नई रणनीति बनाने में चूक सकती है। कभी-कभी एक "बेंच वार्मर" (कम स्कोर वाला सुराग) को खेलने का मौका देकर, टीम विविध और रचनात्मक बनी रहती है, जो वास्तव में अंतिम परिणाम को अधिक सटीक बना सकती है, जबकि यह अभी भी तेज़ है।

यह कब काम करता है? (सीमाएँ)

यह पेपर बहुत ईमानदारी से बताता है कि यह ट्रिक कहाँ काम करती है और कहाँ विफल होती है:

यह बहुत अच्छा काम करता है जब: आपके पास बहुत सारे सुराग (फीचर्स) हों, और उनमें से कई "शोर" (बेकार डेटा) हों।
- उदाहरण: वित्तीय धोखाधड़ी का पता लगाने में, जहाँ 400+ फीचर्स हैं, इस पद्धति ने सटीकता खोए बिना प्रशिक्षण को 1.45 गुना तेज़ बना दिया। सिंथेटिक परीक्षणों में, यह 2.6 गुना तेज़ था।
- बोनस: कभी-कभी, "शोर" वाले सुरागों को हटाने से, मॉडल धोखाधड़ी पकड़ने में वास्तव में बेहतर हो जाता है क्योंकि वह बेकार डेटा से विचलित नहीं होता है।
यह विफल होता है जब:
1. डेटा बहुत स्पार्स (Sparse) हो: कल्पना कीजिए कि आपके पास ऐसा डेटासेट है जहाँ 90% सुराग गायब हैं (जैसे कि "Bosch" इंडस्ट्रियल डेटासेट)। इस स्थिति में, कंप्यूटर पहले से ही खाली स्थानों को स्वचालित रूप से छोड़ने में स्मार्ट है। एक फ़िल्टर जोड़ने से कोई अतिरिक्त समय नहीं बचता क्योंकि कंप्यूटर पहले से ही खाली जगहों को अनदेखा कर रहा था।
2. बहुत कम सुराग हों: यदि आपके पास कुल केवल 30 सुराग हैं, तो 30% चुनने का मतलब है कि आपके पास केवल 9 सुराग बचे। रहस्य सुलझाने के लिए इतने पर्याप्त नहीं हैं, और बचा हुआ समय नगण्य है।

निचोड़ (The Bottom Line)

लेखकों ने इस सिस्टम को लोकप्रिय LightGBM सॉफ्टवेयर (वह टूल जिसका उपयोग कई डेटा वैज्ञानिक करते हैं) में केवल लगभग 120 लाइनों के कोड के साथ बनाया है। यह एक "प्लग-एंड-प्ले" अपग्रेड है।

इसे अपने जासूस को एक स्मार्ट असिस्टेंट देने के रूप में समझें जो जांच पर नज़र रखता है, सीखता है कि कौन से सुराग मायने रखते हैं, और फिर जासूस द्वारा सॉर्टिंग शुरू करने से पहले ही चुपचाप कचरे को फेंक देता है। परिणाम एक तेज़ जांच है जो अक्सर मामले को पहले से बेहतर तरीके से सुलझाती है, क्योंकि इसने शोर (noise) पर समय बर्बाद करना बंद कर दिया है।

तकनीकी सारांश: EMA-FS और S-EMA-FS

समस्या विवरण

ग्रेडिएंट बूस्टेड डिसीजन ट्रीज़ (GBDT), विशेष रूप से LightGBM जैसे फ्रेमवर्क में, प्रशिक्षण के दौरान एक महत्वपूर्ण कम्प्यूटेशनल बाधा का सामना करते हैं: प्रति-फीचर हिस्टोग्राम (per-feature histograms) का निर्माण। प्रोफाइलिंग से पता चलता है कि हिस्टोग्राम निर्माण कुल प्रशिक्षण समय का लगभग 65-70% हिस्सा लेता है, जो कम्प्यूटेशनल जटिलता के बजाय मेमोरी-बैंडविड्थ संतृप्ति (memory-bandwidth saturation) द्वारा संचालित होता है।

मौजूदा त्वरण विधियाँ, जैसे कि रैंडम फीचर सबसैंपलिंग (feature_fraction), प्रत्येक पेड़ के लिए फीचर्स के एक रैंडम सबसेट को हटाकर इस लागत को कम करती हैं। हालाँकि, यह दृष्टिकोण "अनइंफोर्मड" (uninformed) है; यह उच्च-गेन (predictive) और निम्न-गेन (noise) फीचर्स के साथ समान व्यवहार करता है, जिससे आक्रामक सबसैंपलिंग दरों के उपयोग के दौरान अक्सर अनावश्यक सटीकता में गिरावट आती है। इसके अलावा, उच्च-आयामी (high-dimensional) डेटासेट पर, LightGBM के कॉलम-सैंपलर का ओवरहेड कभी-कभी रैंडम सबसैंपलिंग के गति लाभों को निष्प्रभावी कर देता है।

कार्यप्रणाली

1. EMA-आधारित फीचर स्क्रीनिंग (EMA-FS)

लेखक EMA-FS का प्रस्ताव करते हैं, जो एक एल्गोरिदम-स्तरीय अनुकूलन है जो हिस्टोग्राम निर्माण को ऐतिहासिक भविष्य कहने वाली उपयोगिता (historical predictive utility) द्वारा रैंक किए गए फीचर्स के एक उपसमूह तक सीमित करता है।

तंत्र (Mechanism): एल्गोरिदम प्रत्येक फीचर के लिए विभिन्न बूस्टिंग इटरेशन के माध्यम से देखे गए अधिकतम स्प्लिट गेन (maximum split gain) का एक्सपोनेंशियल मूविंग एवरेज (EMA) बनाए रखता है।
चरण (Phases):
- वार्मअप चरण (Warmup Phase): पहले $W$ पेड़ों (डिफ़ॉल्ट 5) के लिए, प्रारंभिक गेन अनुमान स्थापित करने के लिए सभी फीचर्स का मूल्यांकन किया जाता है।
- स्क्रीनिंग चरण (Screening Phase): आगामी पेड़ों के लिए, फीचर्स को उनके EMA गेन मानों द्वारा रैंक किया जाता है। केवल शीर्ष $K$ फीचर्स (जहाँ $K = \lceil r \cdot F \rceil$ और $r$ रिटेंशन रेशियो है) को हिस्टोग्राम निर्माण और स्प्लिट खोजने के लिए चुना जाता है।
डिज़ाइन निर्णय:
- प्रति-पेड़ चयन (Per-Tree Selection): फीचर्स को नोड स्तर के बजाय ट्री स्तर पर चुना जाता है। यह LightGBM के "हिस्टोग्राम सबट्रैक्शन ट्रिक" के साथ अनुकूलता बनाए रखने के लिए महत्वपूर्ण है, जिसके लिए सिबलिंग नोड्स को एक ही फीचर सेट साझा करना आवश्यक होता है।
- EMA ट्रैकिंग: एक EMA (स्मूथिंग पैरामीटर $\alpha=0.3$ के साथ) का उपयोग किया जाता है, न कि संचयी योग (cumulative sum) का, ताकि मॉडल को ग्रेडिएंट लैंडस्केप के विकास के साथ फीचर्स की महत्ता में बदलाव के अनुकूल होने की अनुमति मिल सके।
- नियतिवाद (Determinism): प्रक्रिया नियतिवादी (deterministic) है, जो समान मापदंडों के साथ रन के बीच बिट-आइडेंटिकल परिणाम सुनिश्चित करती है।

2. स्टोकेस्टिक EMA-FS (S-EMA-FS)

नियतिवादी टॉप- $K$ चयन में निहित एन्सेम्बल विविधता (ensemble diversity) की कमी को दूर करने के लिए, लेखक S-EMA-FS पेश करते हैं।

तंत्र (Mechanism): शीर्ष $K$ के बजाय, फीचर्स को गेन-वेटेड रैंडम सैंपलिंग (बिना प्रतिस्थापन के) के माध्यम से चुना जाता है।
कंसंट्रेशन पैरामीटर ( $\beta$ ): एक पैरामीटर $\beta \ge 0$ $β \geq 0$ एक्सप्लोइटेशन (उच्च-गेन फीचर्स चुनना) और एक्सप्लोरेशन (विविधता बनाए रखना) के बीच ट्रेड-ऑफ को नियंत्रित करता है।
- $\beta = 0$ : यूनिफॉर्म रैंडम सैंपलिंग (मानक feature_fraction के समान)।
- $\beta \to \infty$ : नियतिवादी टॉप- $K$ चयन (EMA-FS के समान)।
- मध्यवर्ती मान एक ऐसा स्पेक्ट्रम प्रदान करते हैं जहाँ उच्च-गेन फीचर्स को प्राथमिकता दी जाती है लेकिन निम्न-गेन फीचर्स के चयन की संभावना भी गैर-शून्य रहती है।
एकीकरण (Unification): S-EMA-FS नियतिवादी फीचर स्क्रीनिंग और रैंडम सबसैंपलिंग को एक एकल पैरामीटराइज्ड फ्रेमवर्क में एकीकृत करता है।

मुख्य योगदान

एल्गोरिद्मिक नवाचार: EMA-FS का परिचय, जो एक गेन-ड्रिवन स्क्रीनिंग विधि है जो कोर हिस्टोग्राम या स्प्लिट-फाइंडिंग रूटीन को बदले बिना हिस्टोग्राम निर्माण लागत को स्क्रीनिंग रेशियो के अनुपात में कम करती है।
स्टोकेस्टिक सामान्यीकरण: S-EMA-FS का प्रस्ताव, जो नियतिवादी स्क्रीनिंग और रैंडम सबसैंपलिंग को एकीकृत करता है, जो गेन-इन्फॉर्म्ड चयन को उस एन्सेम्बल विविधता के साथ जोड़ता है जो रैंडम फॉरेस्ट की सटीकता को संचालित करती है।
कार्यान्वयन: छह प्रकार के ट्री लर्नर (सीरियल, GPU, फीचर-पैरलल, डेटा-पैरलल, वोटिंग-पैरलल, और लीनियर ट्री) को कवर करते हुए LightGBM में एक पूर्ण एकीकरण। यह कार्यान्वयन लगभग 120 लाइनों का C++ कोड जोड़ता है और पूरी तरह से बैकवर्ड-कम्पैटिबल है।
व्यापक मूल्यांकन: विविध डोमेन (वित्त, विज्ञापन, औद्योगिक गुणवत्ता नियंत्रण) और फीचर विशेषताओं (डेंस बनाम स्पार्स) को कवर करने वाले सात डेटासेट (दो बड़े पैमाने के सिंथेटिक फ्रॉड बेंचमार्क सहित जिनमें 2M सैंपल हैं) पर व्यापक परीक्षण।

प्रयोगात्मक परिणाम

मूल्यांकन 29 से 968 फीचर्स वाले डेटासेट पर किया गया।

डेंस, हाई-डायमेंशनल डेटा पर प्रदर्शन:
- एक सिंथेटिक बेंचमार्क (500 फीचर्स) पर, EMA-FS ने 30% रिटेंशन पर 2.61× स्पीडअप प्राप्त किया। उल्लेखनीय रूप से, 70% रिटेंशन पर, इसने बेसलाइन की तुलना में AUC में 0.11 अंकों का सुधार किया, जो शोर (noise) वाले फीचर्स को फ़िल्टर करके निहित रेगुलराइजेशन (implicit regularization) को प्रदर्शित करता है।
- IEEE-CIS फ्रॉड डिटेक्शन (432 फीचर्स) पर, EMA-FS ने 30% रिटेंशन पर 1.45× स्पीडअप प्राप्त किया। महत्वपूर्ण रूप से, समान अनुपात पर रैंडम सबसैंपलिंग बेसलाइन की तुलना में धीमी (0.86×) थी (कॉलम-सैंपलर ओवरहेड के कारण), जबकि EMA-FS के हल्के मास्क फ़िल्टरिंग ने इस दंड से बचा लिया।
- FraudDense (2M सैंपल, 500 डेंस फीचर्स) पर, S-EMA-FS ने AUC में 0.004 के सुधार के साथ मिलकर 1.34× स्पीडअप प्राप्त किया।
स्पार्स (Sparse) डेटा पर प्रदर्शन:
- Bosch डेटासेट (968 फीचर्स, >90% मिसिंग) पर, EMA-FS ने नगण्य स्पीडअप (~1.01×) प्रदान किया। पेपर इसका श्रेय LightGBM के मौजूदा MultiValSparseBin ऑप्टिमाइज़ेशन को देता है, जो पहले से ही खाली वैल्यूज को स्किप करता है, जिससे फीचर स्क्रीनिंग लागत कम करने के लिए अप्रभावी हो जाती है।
लो-डायमेंशनल डेटा पर प्रदर्शन:
- 50 से कम फीचर्स वाले डेटासेट (जैसे 29 फीचर्स के साथ क्रेडिट कार्ड फ्रॉड) पर, पर्याप्त सटीकता हानि के बिना महत्वपूर्ण स्पीडअप के लिए स्क्रीनिंग हेडरूम अपर्याप्त था।
S-EMA-FS बनाम बेसलाइन्स:
- S-EMA-FS ने मिश्रित-डेंसिटी और हाई-डायमेंशनल डेटा पर रैंडम सबसैंपलिंग को लगातार पछाड़ दिया, अक्सर गति और सटीकता दोनों में एक साथ लाभ प्राप्त किया (जैसे, IEEE-CIS पर +0.002 AUC और 1.21× स्पीडअप)।
- पैरामीटर $\beta$ प्रभावी रूप से स्पीड और एक्यूरेसी के बीच के पारेटो फ्रंटियर (Pareto frontier) को नियंत्रित करता है, जहाँ कम $\beta$ विविधता को सुरक्षित रखता है और उच्च $\beta$ सिग्नल पर ध्यान केंद्रित करता है।

महत्व और दावे

पेपर दावा करता है कि EMA-FS और S-EMA-FS एक सिद्धांत आधारित दृष्टिकोण प्रदान करते हैं जो GBDT प्रशिक्षण को तेज करता है, विशेष रूप से डेंस, मध्यम-से-उच्च आयामी डेटासेट (100–500+ फीचर्स) के लिए जो वित्तीय जोखिम नियंत्रण और धोखाधड़ी का पता लगाने में सामान्य हैं।

दक्षता (Efficiency): यह विधि कोर हिस्टोग्राम घटाव लॉजिक या डेटा संरचनाओं को बदले बिना हिस्टोग्राम निर्माण की प्रमुख लागत को कम करती है।
सटीकता (Accuracy): ऐतिहासिक गेन जानकारी का लाभ उठाकर, यह विधि रैंडम सबसैंपलिंग की सटीकता संबंधी खामियों से बचती है। S-EMA-FS "इम्प्लिसिट रेगुलराइजेशन" पेश करता है, जो एन्सेम्बल विविधता को बनाए रखते हुए शोर वाले फीचर्स को स्टोकेस्टिक रूप से हटा देता है।
स्केलेबिलिटी (Scalability): डेटा-पैरलल ट्रेनिंग में, यह विधि स्क्रीनिंग रेशियो के अनुपात में नेटवर्क कम्युनिकेशन वॉल्यूम (ReduceScatter) को कम करती है, जिससे कंपाउंडिंग स्पीडअप मिलता है।
सीमाएँ (Limitations): लेखक स्पष्ट रूप से नोट करते हैं कि यह विधि अत्यधिक स्पार्स डेटा (जहाँ स्पार्स बिनिंग पहले से ही प्रदर्शन को अनुकूलित करता है) और लो-डायमेंशनल डेटा (जहाँ फीचर काउंट स्क्रीनिंग के लिए बहुत कम है) के लिए अप्रभावी है।

यह कार्य LightGBM उपयोगकर्ताओं के लिए एक व्यावहारिक, 'ड्रॉप-इन' अनुकूलन के रूप में प्रस्तुत किया गया है, जिसे छह सहज मापदंडों द्वारा नियंत्रित किया जाता है, जिसमें मॉडल प्रदर्शन से समझौता किए बिना उत्पादन वातावरण में प्रशिक्षण समय को महत्वपूर्ण रूप से कम करने की क्षमता है।