TopoFE: topology-aware LLM-guided Automated Feature Engineering
TOPOFE एक टोपोलॉजी-जागरूक मल्टी-आइलैंड इवोल्यूशनरी फ्रेमवर्क है जो स्टेटलेस जनरेशन और होमोजेनियस सर्च की सीमाओं को दूर करने के लिए फैमिली-स्पेशलाइज्ड एक्सप्लोरेशन, एडेप्टिव प्रॉम्प्ट मेमोरी और टोपोलॉजी-गाइडेड नॉलेज ट्रांसफर को एकीकृत करके LLM-गाइडेड ऑटोमेटेड फीचर इंजीनियरिंग को बढ़ाता है, जिससे 29 टैबुलर डेटासेट्स में विविध और उच्च-प्रदर्शन वाले फीचर प्रोग्राम्स की खोज की जा सकती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को स्मार्ट निर्णय लेना सिखाने की कोशिश कर रहे हैं, जैसे कि यह अनुमान लगाना कि ऋण आवेदक अपना पैसा वापस चुकाएगा या नहीं, या क्या किसी मरीज को कोई विशिष्ट बीमारी है। कंप्यूटर के पास उत्तर पहले से नहीं होते; इसे कच्चे डेटा—संख्याओं, श्रेणियों और तारीखों—के एक स्प्रेडशीट को देखने और यह समझने की आवश्यकता होती है कि कौन से पैटर्न महत्वपूर्ण हैं। इस प्रक्रिया को मशीन लर्निंग (machine learning) कहा जाता है। लेकिन यहाँ एक पेचीदा बात है: कच्चा डेटा अक्सर अव्यवस्थित और समझने में कठिन होता है। ठीक वैसे ही जैसे एक शेफ केवल बिना कटे हुए कच्चे सब्जियों के साथ एक बेहतरीन सूप नहीं बना सकता, एक कंप्यूटर भी तब तक सबसे अच्छे पैटर्न नहीं खोज पाता जब तक कि डेटा को पहले बदला न जाए। इस परिवर्तन चरण को फीचर इंजीनियरिंग (feature-engineering) कहा जाता है। यह कच्चे नंबरों को लेने और उन्हें मिलाकर नए, स्मार्ट सुराग बनाने की कला है जो कंप्यूटर को सच्चाई देखने में मदद करते हैं। लंबे समय तक, इंसानों को यह काम हाथ से करना पड़ता था, जिसमें वे इस बात का अनुमान लगाते थे कि संख्याओं के कौन से संयोजन उपयोगी हो सकते हैं। हाल ही में, हमने इन कामों में मदद करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे सुपर-स्मार्ट कंप्यूटर प्रोग्रामों का उपयोग करना शुरू कर दिया है। इन LLMs को बहुत पढ़े-लिखे सहायकों के रूप में सोचें जिन्हें गणित और विज्ञान की बहुत जानकारी है और जो डेटा को मिलाने के नए तरीके सुझा सकते हैं। हालाँकि, इन प्रतिभाशाली सहायकों के साथ भी एक समस्या है: वे कभी-कभी एक ही ढर्रे में फंस जाते हैं, बार-बार एक ही प्रकार के मिश्रण सुझाते हैं, या वे भूल जाते हैं कि उन्होंने पहले क्या आजमाया था, जिससे समय बर्बाद होता है।
यहीं पर TOPOFE नामक एक नया फ्रेमवर्क आता है। शोधकर्ताओं, शा ली और नरेन रामकृष्णन (वर्जीनिया टेक से) ने महसूस किया कि डेटा के संभावित मिश्रणों का स्थान इतना विशाल और विविध है कि एक एकल, समान खोज रणनीति पर्याप्त नहीं है। उन्होंने एक ऐसा सिस्टम प्रस्तावित किया जो डेटा के बेहतरीन सुरागों की खोज को अलग-अलग क्षेत्रों में काम करने वाली विशेषज्ञों की एक टीम की तरह मानता है, न कि एक विशाल भीड़ की तरह।
एक बड़े समूह के रूप में कंप्यूटर प्रोग्रामों को एक साथ काम करने देने के बजाय, TOPOFE काम को पांच अलग-अलग "द्वीपों" (islands) में विभाजित करता है। प्रत्येक द्वीप गणित के एक विशिष्ट प्रकार के ट्रिक पर केंद्रित एक विशेषज्ञ टीम है। एक द्वीप केवल जोड़ने या गुणा करने जैसे सरल अंकगणित (arithmetic) को देखता है। दूसरा औसत और गणना (counts) जैसे सांख्यिकी (statistics) पर ध्यान केंद्रित करता है। तीसरा समय-आधारित पैटर्न देखता है, जैसे पिछले सप्ताह में बिक्री कैसे बदली। चौथा विभिन्न समूहों के बीच संबंधों को संभालता है, और अंतिम वाला घुमावदार, गैर-रेखीय (non-linear) आकृतियों से निपटता है। इन विशेषज्ञों को अलग रखकर, यह सिस्टम सुनिश्चित करता है कि कोई भी एक प्रकार का गणितीय ट्रिक हावी होकर दूसरों की खोज को बाधित न करे।
लेकिन असली जादू तब होता है जब ये द्वीप आपस में बात करते हैं। पुराने सिस्टमों में, यदि कोई टीम फंस जाती थी, तो वे अक्सर दूसरे समूह के साथ अपने विचार साझा करने की कोशिश करते थे, जो अक्सर मददगार नहीं होता था। TOPOFE अधिक स्मार्ट है। यह एक "टोपोलॉजी ग्राफ" (topology graph) का उपयोग करता है, जो एक गतिशील मानचित्र की तरह है जो सीखता है कि कौन सी टीमें एक-दूसरे की मदद करने में सबसे अच्छी हैं। यदि "समय" (Time) वाला द्वीप फंस जाता है, तो सिस्टम अपने मानचित्र की जांच करता है और देखता है कि "अंकगणित" (Arithmetic) वाला द्वीप उनकी मदद करने के लिए सबसे अच्छे विचार रखता है। इसके बाद यह एक विशेष घटना को ट्रिगर करता है जहाँ दोनों टीमें अपने सर्वश्रेष्ठ विचारों को मिलाकर कुछ पूरी तरह से नया—एक "हाइब्रिड" फीचर बनाती हैं—जिसे अकेले कोई भी टीम नहीं बना सकती थी। उदाहरण के लिए, यह एक समय-आधारित औसत को विभाजन (division) ऑपरेशन के साथ मिला सकता है ताकि एक बिल्कुल नया, अत्यधिक भविष्य बताने वाला सुराग बनाया जा सके।
इस सिस्टम के पास एक "याददाश्त" भी है जो अपनी गलतियों से सीखती है। यदि एक निश्चित प्रकार का गणितीय ट्रिक किसी विशिष्ट डेटासेट पर बार-बार विफल होता है, तो सिस्टम इसे याद रखता है और इसे सुझाना बंद कर देता है, जबकि उन ट्रिक्स को बढ़ावा देता है जो काम कर रहे हैं। यह मुख्य कंप्यूटर मस्तिष्क को फिर से प्रशिक्षित (retrain) किए बिना होता है, जिससे खोज अविश्वसनीय रूप से कुशल हो जाती है।
शोधकर्ताओं ने इस विचार का परीक्षण 29 विभिन्न वास्तविक दुनिया के डेटासेट्स पर किया, जिनमें हृदय रोग की भविष्यवाणी करने से लेकर साइकिल किराए पर लेने के पूर्वानुमान तक शामिल थे। उन्होंने पाया कि TOPOFE लगातार मौजूदा सर्वोत्तम तरीकों से बेहतर प्रदर्शन करता है। इसने न केवल बेहतर उत्तर खोजे; बल्कि इसने अधिक विविध उत्तर भी खोजे। जहाँ अन्य तरीकों का अंत अक्सर बहुत समान सुरागों के ढेर के साथ होता था (redundancy), वहीं TOPOFE के विशिष्ट द्वीपों और स्मार्ट टीम वर्क ने ऐसे सुरागों का सेट तैयार किया जो अधिक क्षेत्र को कवर करते थे और विभिन्न प्रकार के प्रेडिक्शन मॉडल के साथ अच्छी तरह काम करते थे। यह अध्ययन बताता है कि खोज को विशिष्ट, संवाद करने वाले समूहों में व्यवस्थित करके और यह सीखने देकर कि विचारों को कब बदलना है, हम कंप्यूटर को हमारे डेटा को समझने के लिए कहीं अधिक शक्तिशाली तरीके खोल सकते है। परिणाम दर्शाते हैं कि यह दृष्टिकोण मजबूत है, यह भी काम करता है जब अंतर्निहित कंप्यूटर "मस्तिष्क" बदल जाता है, जो यह साबित करता है कि असली सफलता मॉडल की बुद्धिमत्ता में नहीं, बल्कि खोज की संरचना में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।