🤖 machine learning

Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network

यह शोध पत्र DE-LFT का प्रस्ताव करता है, जो डिफरेंशियल इवोल्यूशन पर आधारित एक स्वचालित हाइपरपैरामीटर अनुकूलन ढांचा है जो टेंसर के लेटेंट फैक्टराइजेशन के लिए इष्टतम रेगुलराइजेशन मापदंडों को गतिशील रूप से सीखता है, जिससे बड़े पैमाने के गतिशील भारित निर्देशित नेटवर्क में भविष्यवाणी सटीकता में सुधार होता है और मैनुअल ट्यूनिंग प्रयासों में कमी आती है।

मूल लेखक: Yaqian Zhan, Jialan He, Tianzhu Chen

प्रकाशित 2026-06-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Yaqian Zhan, Jialan He, Tianzhu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर के भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं। इस शहर में, लोग (नोड्स) लगातार एक-दूसरे के साथ जटिल तरीकों से बातचीत करते हैं: कुछ पैसे देते हैं, कुछ सलाह देते हैं, और कुछ एक-दूसरे को अनदेखा करते हैं। ये अंतःक्रियाएं (interactions) हर सेकंड बदलती रहती हैं, और उनके अलग-अलग "वजन" (weights) होते हैं (कुछ अंतःक्रियाएं बहुत मजबूत होती हैं, तो कुछ कमजोर)।

यह एक लार्ज-स्केल डायनेमिक वेटेड डायरेक्टेड नेटवर्क (Large-scale Dynamic Weighted Directed Network) है। यह रिश्तों के एक विशाल, निरंतर बदलते जाल की तरह है।

समस्या: "गोल्डिलॉक्स" (Goldilocks) दुविधा

इस अराजक शहर को समझने के लिए, शोधकर्ता लेटेंट फैक्टरिज़ेशन ऑफ टेंसर (Latent Factorization of Tensors - LFT) नामक टूल का उपयोग करते हैं। LFT को एक सुपर-स्मार्ट अनुवादक के रूप में समझें जो इस विशाल, उलझे हुए वेब को एक सरल, कम-आयामी "मैप" (टेंसर) में संकुचित करने की कोशिश करता है जो छिपे हुए पैटर्न को पकड़ सके।

हालाँकि, इस अनुवादक में एक पेचीदा सेटिंग है: हाइपरपैरामीटर्स (Hyperparameters)।
कल्पना कीजिए कि आप एक केक बना रहे हैं। आपको चीनी, मैदा और बेकिंग पाउडर की मात्रा बिल्कुल सही रखनी होगी। यदि आप बहुत अधिक चीनी डालते हैं, तो वह बहुत मीठा हो जाएगा; यदि बहुत कम डालते हैं, तो वह फीका रह जाएगा। इस AI मॉडल की दुनिया में, ये "सामग्री" $\lambda_1, \lambda_2,$ और $\lambda_3$ नामक संख्याएँ हैं। वे यह नियंत्रित करती हैं कि मॉडल डेटा पर कितना "भरोसा" करता है बनाम वह चीजों को कितना सरल रखने की कोशिश करता है।

चुनौती: अब तक, इन "सामग्रियों" की सटीक मात्रा खोजना एक अनुमान लगाने जैसा था। शोधकर्ताओं को निम्नलिखित करना पड़ता था:

मैन्युअल रूप से अनुमान लगाना (जैसे एक शेफ स्वाद चखकर सुधार करता है)।
ग्रिड सर्च (Grid Search) (जैसे सामग्री के हर संभव संयोजन के साथ 1,000 केक बनाना ताकि सबसे अच्छा केक मिल सके)।

दोनों तरीके धीमे, महंगे और बहुत अधिक मानवीय प्रयास की मांग करने वाले हैं।

समाधान: "इवोल्यूशनरी शेफ" (The Evolutionary Chef)

यह शोध पत्र एक नई विधि पेश करता है जिसे DE-LFT कहा जाता है। एक इंसान द्वारा अनुमान लगाने या हजारों केक बनाने के बजाय, वे एक डिफरेंशियल इवोल्यूशन (Differential Evolution - DE) एल्गोरिदम का उपयोग करते हैं।

DE को एक "सर्वाइवल-ऑफ-द-फिटेस्ट" कुकिंग कॉम्पिटिशन के रूप में समझें:

प्रतियोगी: एल्गोरिदम विभिन्न रेसिपी संयोजनों (अलग-अलग $\lambda_1, \lambda_2, \lambda_3$ मानों) की एक "जनसंख्या" (population) बनाता है।
स्वाद परीक्षण: यह प्रत्येक रेसिपी का डेटा पर परीक्षण करता है। वे रेसिपी जो डेटा की सबसे सटीक भविष्यवाणी करती हैं (सबसे कम त्रुटि के साथ), वे "विजेता" होती हैं।
विकास (Evolution): विजेता केवल रुकते नहीं हैं; वे "मैच" (क्रॉसओवर) करते हैं और "म्यूटेट" (छोटे यादृच्छिक बदलाव) करते हैं ताकि अगले दौर के लिए संभावित रूप से बेहतर रेसिपी बनाई जा सके।
परिणाम: कई दौरों के बाद, जनसंख्या स्वाभाविक रूप से बिना किसी मानवीय हस्तक्षेप के एक परफेक्ट रेसिपी की ओर विकसित होती है।

परिणाम: एक बेहतर केक

शोधकर्ताओं ने इस "इवोल्यूशनरी शेफ" का परीक्षण चार वास्तविक दुनिया के डेटासेट्स (जैसे Yelp रिव्यूज, संगीत सीडी और दो नेटवर्क डेटासेट) पर किया। उन्होंने इसकी तुलना निम्नलिखित से की:

मैन्युअल ट्यूनिंग: मानव अनुमान लगाने वाले।
ग्रिड सर्च: वह तरीका जो सब कुछ बेक करता है।

परिणाम:
DE-LFT पद्धति ने लगातार "सबसे अच्छा केक" बनाया। इसने सबसे कम MAE (मीन एब्सोल्यूट एरर) और RMSE (रूट मीन स्क्वायर एरर) प्राप्त किया। सरल शब्दों में, इसकी भविष्यवाणियां अन्य तरीकों की तुलना में वास्तविकता के अधिक करीब थीं।

सारांश

संक्षेप में, यह शोध पत्र कहता है: "हमने एक स्वचालित प्रणाली बनाई है जो हमारे जटिल नेटवर्क मॉडल के लिए एकदम सही सेटिंग्स खोजने के लिए एक इवोल्यूशनरी एल्गोरिदम का उपयोग करती है। सेटिंग्स का अनुमान लगाने में समय और पैसा बर्बाद करने के बजाय, हमारा सिस्टम खुद ही सर्वश्रेष्ठ सेटिंग्स को 'विकसित' (evolve) करता है, जिसके परिणामस्वरूप बड़े, बदलते नेटवर्क में चीजों के बीच होने वाली अंतःक्रियाओं की अधिक सटीक भविष्यवाणी होती है।"

मुख्य निष्कर्ष: यह "ट्यूनिंग" की प्रक्रिया को स्वचालित करने के बारे में है ताकि मॉडल कम मानवीय मदद के साथ, बेहतर और तेज़ी से सीख सके।

तकनीकी सारांश: टेंसर के लेटेंट फैक्टराइजेशन के लिए हाइपरपैरामीटर लर्निंग

समस्या विवरण
बड़े पैमाने के डायनेमिक वेटेड डायरेक्टेड नेटवर्क्स (DWDNs) व्यक्तिगत अनुशंसा (personalized recommendation), इंटेलिजेंट ट्रांसपोर्टेशन और पावर ग्रिड इंफ्रास्ट्रक्चर जैसे डोमेन में समय-परिवर्तनीय इंटरैक्शन को मॉडल करने के लिए आवश्यक हैं। लेटेंट फैक्टराइजेशन ऑफ टेंसर (LFT) विधि इन नेटवर्क्स को हाई-डायमेंशनल और इनकम्प्लीट (HDI) टेंसर के रूप में मॉडल करके और लो-रैंक एप्रोक्सिमेशन (low-rank approximations) करके उनसे लेटेंट रिप्रेजेंटेशन निकालने के लिए व्यापक रूप से उपयोग की जाती है। हालांकि, LFT का प्रदर्शन हाइपरपैरामीटर्स, विशेष रूप से लेटेंट फीचर मैट्रिसेस से जुड़े रेगुलाइजेशन कोएफिशिएंट्स ( $\lambda_1, \lambda_2, \lambda_3$ ) के चयन पर अत्यधिक निर्भर करता है। वर्तमान अभ्यास में, इन मापदंडों को आमतौर पर मैनुअल ट्यूनिंग या ग्रिड सर्च के माध्यम से निर्धारित किया जाता है। ये पारंपरिक विधियाँ कम्प्यूटेशनल रूप से महंगी, अक्षम और अत्यधिक मानवीय प्रयास की मांग करने वाली हैं, और अक्सर उन इष्टतम पैरामीटर संयोजनों को खोजने में विफल रहती हैं जो प्रेडिक्शन एरर को कम करते हैं।

कार्यप्रणाली
मैनुअल हाइपरपैरामीटर ट्यूनिंग की अक्षमता को दूर करने के लिए, यह शोध पत्र DE-LFT प्रस्तावित करता है, जो डिफरेंशियल इवोल्यूशन (DE) पर आधारित एक ऑटोमेटेड हाइपरपैरामीटर ऑप्टिमाइजेशन फ्रेमवर्क है। मुख्य कार्यप्रणाली में DE एल्गोरिदम को सीधे LFT मॉडल के ट्रेनिंग प्रोसेस में एकीकृत करना शामिल है।

मॉडल फॉर्मूलेशन: LFT मॉडल एक थर्ड-ऑर्डर टेंसर (जो DWDN का प्रतिनिधित्व करता है) के ऑब्जर्व्ड एंट्रीज को तीन लो-रैंक लेटेंट फैक्टर मैट्रिसेस ( $U, S, T$ ) का उपयोग करके एप्रोक्सिमेट करता है। एक एंट्री $\hat{x}_{u,s,t}$ के लिए प्रेडिक्शन, डायमेंशन $K$ के माध्यम से लेटेंट फैक्टर्स के उत्पादों के योग के रूप में कैलकुलेट किया जाता है।
ऑप्टिमाइजेशन स्ट्रैटेजी: फिक्स्ड या मैन्युअल रूप से खोजे गए रेगुलाइजेशन पैरामीटर्स के बजाय, DE एल्गोरिदम एक पॉपुलेशन-बेस्ड ह्यूरिस्टिक के रूप में कार्य करता है। यह म्यूटेशन (mutation), क्रॉसओवर (crossover) और सिलेक्शन (selection) ऑपरेशन्स के माध्यम से कैंडिडेट सॉल्यूशंस को पुनरावृत्ति (iteratively) से विकसित करता है।
ऑब्जेक्टिव फंक्शन: DE एल्गोरिदम हाइपरपैरामीटर स्पेस को खोजने के लिए रेगुलेशन कोएफिशिएंट्स ( $\lambda_1, \lambda_2, \lambda_3$ ) के इष्टतम सेट की तलाश करता है जो प्रेडिक्शन एरर को कम करता है, जिसे मीन एब्सोल्यूट एरर (MAE) और रूट मीन स्क्वायर एरर (RMSE) द्वारा मापा जाता है।
ट्रेनिंग प्रोसेस: LFT मॉडल को स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) का उपयोग करके प्रशिक्षित किया जाता है, जबकि DE एल्गोरिदम रेगुलेशन पैरामीटर्स को अनुकूल रूप से बेहतर बनाने के लिए साथ-साथ ऑप्टिमाइज़ करता है।

प्रमुख योगदान

ऑटोमेटेड फ्रेमवर्क: यह शोध पत्र एक नवीन फ्रेमवर्क पेश करता है जो LFT के लिए रेगुलाइजेशन पैरामीटर्स के चयन को स्वचालित करता है, जिससे मैनुअल ट्यूनिंग या विस्तृत ग्रिड सर्च पर निर्भरता समाप्त हो जाती है।
DE का एकीकरण: यह सफलतापूर्वक डिफरेंशियल इवोल्यूशन को टेंसर फैक्टराइजेशन ट्रेनिंग लूप में एकीकृत करता है, जिससे मॉडल को हाइपरपैरामीटर स्पेस को एडेप्टिवली एक्सप्लोर करने की अनुमति मिलती है।
परफॉर्मेंस इम्प्रूवमेंट: इस दृष्टिकोण को व्यापक पैरामीटर ट्यूनिंग से जुड़ी कम्प्यूटेशनल लागत को कम करते हुए प्रेडिक्शन सटीकता बढ़ाने के लिए डिज़ाइन किया गया है।

प्रायोगिक परिणाम
प्रस्तावित DE-LFT पद्धति का मूल्यांकन चार वास्तविक दुनिया के बेंचमार्क DWDN डेटासेट्स पर किया गया। डेटासेट्स को 80% ट्रेनिंग और 20% टेस्टिंग सेट्स में विभाजित किया गया था। प्रदर्शन की तुलना मैन्युअल रूप से ट्यून किए गए पैरामीटर्स वाले स्टैंडर्ड LFT और ग्रिड सर्च ऑप्टिमाइजेशन वाले LFT से की गई।

परिणाम, जो RMSE और MAE द्वारा मापे गए हैं, संकेत देते हैं कि:

ग्रिड सर्च ने एक व्यापक पैरामीटर स्पेस को एक्सप्लोर करके मैनुअल ट्यूनिंग की तुलना में मामूली सुधार प्रदान किया।
DE-LFT ने सभी चार डेटासेट्स में लगातार सर्वश्रेष्ठ प्रदर्शन किया।
विशेष रूप से, DE-LFT ने सबसे कम एरर रेट प्राप्त किया। उदाहरण के लिए, Yelp डेटासेट पर, DE-LFT ने 0.9724 का RMSE और 0.7668 का MAE प्राप्त किया, जो मैनुअल ट्यूनिंग (RMSE: 1.0186) और ग्रिड सर्च (RMSE: 1.0012) दोनों से बेहतर था। CDs, Network7a, और Network6a डेटासेट्स में भी इसी तरह के रुझान देखे गए।

महत्व और दावे
शोध पत्र का दावा है कि प्रस्तावित DE-LFT फ्रेमवर्क डायनेमिक नेटवर्क्स के लिए टेंसर फैक्टराइजेशन में हाइपरपैरामीटर चयन की बाधा को प्रभावी ढंग से संबोधित करता है। इष्टतम रेगुलाइजेशन कोएफिशिएंट्स को ऑटोमैटिकली सीखकर, यह विधि बिना किसी व्यापक मानवीय हस्तक्षेप के LFT मॉडल्स की प्रेडिक्शन सटीकता में सुधार करती है। लेखक निष्कर्ष निकालते हैं कि डिफरेंशियल इवोल्यूशन इस संदर्भ में हाइपरपैरामीटर स्पेस को खोजने के लिए पारंपरिक मैनुअल या ग्रिड-आधारित दृष्टिकोणों की तुलना में एक अधिक प्रभावी उपकरण है, जो वास्तविक डेटा पर लगातार कम MAE और RMSE मान प्रदान करता है।

समस्या: "गोल्डिलॉक्स" (Goldilocks) दुविधा

समाधान: "इवोल्यूशनरी शेफ" (The Evolutionary Chef)

परिणाम: एक बेहतर केक

सारांश

इसी तरह के और पेपर