Relational Probing: LM-to-Graph Adaptation for Financial Prediction
यह शोध पत्र "रिलेशनल प्रोबिंग" (Relational Probing) पेश करता है, जो एक ऐसी विधि है जो डाउनस्ट्रीम स्टॉक-ट्रेंड प्रेडिक्शन कार्यों के साथ संयुक्त प्रशिक्षण के लिए हिडन स्टेट्स से सीधे रिलेशनल ग्राफ्स को प्रेरित करने हेतु मानक लैंग्वेज मॉडल हेड्स को एक रिलेशन हेड से बदल देती है, जो छोटे लैंग्वेज मॉडल्स का उपयोग करते हुए प्रतिस्पर्धी इन्फरेंस लागत के साथ निरंतर प्रदर्शन सुधार प्रदर्शित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: शेयर बाजार की भविष्यवाणी करना
कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि कल कौन से शेयर ऊपर जाएंगे या नीचे। आप जानते हैं कि शेयर शून्य में नहीं चलते; वे एक पार्टी में मौजूद लोगों की तरह होते हैं। यदि एनवीडिया (Nvidia) जैसी बड़ी टेक कंपनी को छींक आती है, तो उसके दोस्त (जैसे AMD या Microsoft) को भी जुकाम हो सकता है।
लंबे समय तक, वित्तीय विशेषज्ञों ने इन संबंधों को स्थिर नियमों (static rules) का उपयोग करके मैप करने की कोशिश की (जैसे, "ये दो कंपनियाँ एक ही उद्योग में हैं, इसलिए वे दोस्त हैं")। लेकिन बाजार तेजी से बदलता है। एक स्थिर मानचित्र का उपयोग करना आज के ट्रैफिक में 1990 के कागज के नक्शे का उपयोग करने जैसा है; यह पुराना है और गलत मोड़ों से भरा है।
हाल ही में, लोगों ने समाचारों को पढ़ने और यह समझने के लिए AI (भाषा मॉडल) का उपयोग करना शुरू किया कि कौन किससे बात कर रहा है। लेकिन एक समस्या थी: AI बहुत अधिक बातें करता था। वह संबंधों को समझाने के लिए टेक्स्ट के लंबे पैराग्राफ लिख देता था, जो धीमा, महंगा और कंप्यूटर के लिए गणितीय समस्या को जल्दी से हल करने में कठिन था।
समाधान: "रिलेशनल प्रोबिंग" (Relational Probing)
इस शोध पत्र के लेखकों ने एक नई विधि का आविष्कार किया जिसे "रिलेशनल प्रोबिंग" कहा जाता है।
AI (भाषा मॉडल) को एक सुपर-स्मार्ट अनुवादक के रूप में सोचें जिसने अब तक लिखे गए हर समाचार लेख को पढ़ा है।
- पुराना तरीका: आप अनुवादक से पूछते हैं, "कौन किससे दोस्ती रखता है?" और वे आपके लिए 5 पन्नों का निबंध लिख देते हैं। फिर, एक इंसान को उस निबंध को पढ़ना पड़ता है, नामों को हाइलाइट करना पड़ता है, और एक व्हाइटबोर्ड पर रेखाएं खींचनी पड़ती हैं। यह धीमा है और इसमें मानवीय त्रुटि की संभावना अधिक है।
- नया तरीका (रिलेशनल प्रोबिंग): अनुवादक को निबंध लिखने के लिए कहने के बजाय, आप उनकी आंखों पर सीधे एक विशेष "कनेक्शन लेंस" (Connection Lens) लगा देते हैं। जैसे ही अनुवादक समाचार पढ़ता है, यह लेंस कंपनियों को जोड़ने वाले अदृश्य धागों को तुरंत देख लेता है और उनके दिमाग में सीधे एक डिजिटल मैप (ग्राफ) बना देता है।
यह मैप अनुवादक के पढ़ने के दौरान बनाया जाता है, पढ़ने के बाद नहीं। यह त्वरित, स्वचालित है, और अगले चरण के लिए पूरी तरह से उपयुक्त है: शेयर की कीमत की भविष्यवाणी करना।
यह कैसे काम करता है (तीन-चरणीय नृत्य)
- समाचार पढ़ना (इनपुट): AI वित्तीय समाचार लेखों के एक समूह को पढ़ता है।
- जादुई लेंस (रिलेशन हेड): टेक्स्ट आउटपुट करने के बजाय, AI का एक विशेष, हल्का हिस्सा (रिलेशन हेड) AI के छिपे हुए विचारों को देखता है और तुरंत कहता है, "आह, इस लेख में एनवीडिया और AMD का एक नकारात्मक संदर्भ में एक साथ उल्लेख किया गया है। चलिए उनके बीच एक लाल रेखा खींचते हैं।" यह उल्लेखित प्रत्येक कंपनी के लिए ऐसा करता है, जिससे एक दैनिक मानचित्र तैयार होता है कि कौन किसे प्रभावित कर रहा है।
- भविष्यवाणी (GAT): दूसरा कंप्यूटर (एक ग्राफ अटेंशन नेटवर्क - GAT) इस मैप और शेयर की कीमतों को देखता है। वह कहता है, "ठीक है, मैप दिखाता है कि एनवीडिया, AMD से जुड़ा हुआ है, और एनवीडिया गिर रहा है। इसलिए, AMD के भी गिरने की संभावना है।" वह अंतिम भविष्यवाणी करता है।
सीक्रेट सॉस: सबसे अच्छी बात यह है कि "लेंस" और "प्रेडिक्टर" एक साथ प्रशिक्षित होते हैं। वे एक-दूसरे से सीखते हैं। यदि प्रेडिक्टर कोई गलती करता है, तो वह लेंस को एक संकेत भेजता है कि, "हे, तुमने वहां गलत रेखा खींची है; फिर से प्रयास करो।" यह पूरे सिस्टम को समय के साथ स्मार्ट बनाता है।
"छोटे" मॉडल क्यों?
यह शोध पत्र स्मॉल लैंग्वेज मॉडल्स (SLMs) पर केंद्रित है।
- उपमा: एक विशाल AI (जैसे एक विशाल सुपरकंप्यूटर) को एक ओलंपिक तैराक के रूप में सोचें। वे अविश्वसनीय रूप से मजबूत हैं लेकिन उन्हें एक विशाल पूल, कोचों की एक बड़ी टीम और करोड़ों डॉलर की आवश्यकता होती है।
- SLM: लेखक "छोटे" मॉडल्स (जैसे Qwen3 श्रृंखला) का उपयोग करते हैं। इन्हें फिट स्थानीय तैराकों के रूप में सोचें। वे ओलंपियनों जितने शक्तिशाली नहीं हैं, लेकिन वे तेज, सस्ते हैं और उन्हें एक मानक बैकयार्ड पूल (एक सिंगल कंप्यूटर ग्राफिक्स कार्ड) में प्रशिक्षित किया जा सकता है।
- परिणाम: शोध पत्र दिखाता है कि ये "स्थानीय तैराक" वास्तव में इस काम के लिए एकदम सही हैं। वे वास्तविक समय में समाचारों को प्रोसेस करने के लिए पर्याप्त तेज़ हैं और बिना सुपरकंप्यूटर की आवश्यकता के सटीक कनेक्शन मैप बनाने के लिए पर्याप्त स्मार्ट हैं।
उन्होंने क्या पाया?
- बेहतर मैप्स: उनके "कनेक्शन लेंस" द्वारा बनाए गए मैप, केवल दो शेयरों के एक ही वाक्य में दिखने की आवृत्ति गिनने (पुराने "को-अकरेंस" तरीके) की तुलना में बहुत बेहतर थे। लेंस ने संदर्भ (context) को समझा (जैसे, यह जानना कि एक साथ उल्लेखित दो कंपनियां प्रतिद्वंद्वी हो सकती हैं, न कि दोस्त)।
- आकार मायने रखता है (लेकिन केवल थोड़ा): बड़े मॉडल्स (4 बिलियन पैरामीटर्स) ने छोटे मॉडल्स (0.6 बिलियन) की तुलना में थोड़ा बेहतर प्रदर्शन किया, लेकिन अंतर बहुत बड़ा नहीं था। यह एक अच्छी खबर है क्योंकि इसका मतलब है कि अच्छे परिणाम प्राप्त करने के लिए आपको सबसे महंगे AI की आवश्यकता नहीं है।
- गति और लागत: "निबंध लिखने" के चरण को छोड़कर सीधे "मैप बनाने" पर जाने से, यह सिस्टम बहुत तेज़ और सस्ता हो जाता है।
मुख्य निष्कर्ष (Takeaway)
यह शोध पत्र AI को कम बातूनी और अधिक व्यावहारिक बनाने के बारे में है। AI को बाजार के बारे में कहानी लिखने देने के बजाय, उन्होंने इसे तुरंत एक संबंध मानचित्र (relationship map) बनाना सिखाया जो शेयर रुझानों की भविष्यवाणी करने में मदद करता है। यह एक धीमे, मैनुअल कार्टोग्राफर से सीधे एक ऐसे GPS में अपग्रेड करने जैसा है जो आपके गाड़ी चलाते समय वास्तविक समय में मैप को अपडेट करता है।
संक्षेप में: उन्होंने एक ऐसा सिस्टम बनाया है जो वित्तीय समाचार पढ़ता है, तुरंत समझता है कि कंपनियां कैसे जुड़ी हुई हैं, और उस ज्ञान का उपयोग यह अनुमान लगाने के लिए करता है कि शेयर बाजार कहां जा रहा है—और यह सब बिना किसी सुपरकंप्यूटर की आवश्यकता के या AI के उपन्यास पूरा करने का इंतजार किए बिना किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।