Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification
यह शोध पत्र प्रदर्शित करता है कि एक हल्का लॉजिस्टिक एग्रीगेटर (logistic aggregator), तीन विविध ज़ीरो-शॉट एलएलएम (LLM) एजेंटों के भविष्यवाणियों को प्रभावी ढंग से संयोजित करके, अगले दिन के स्टॉक रिटर्न की भविष्यवाणी करने के लिए कॉर्पोरेट खुलासे (disclosures) को वर्गीकृत करने में व्यक्तिगत मॉडलों और पारंपरिक बेसलाइन से बेहतर प्रदर्शन कर सकता है, जिससे 18,420 अमेरिकी फर्मों के खुलासों के डेटासेट पर 0.612 की संतुलित सटीकता प्राप्त हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी कंपनी के आधिकारिक प्रेस विज्ञप्ति (press release) के आधार पर यह भविष्यवाणी करने की कोशिश कर रहे हैं कि कल शेयर की कीमत बढ़ेगी या घटेगी। ये दस्तावेज़ अक्सर लंबे, भ्रमित करने वाले और मिले-जुले संदेशों से भरे होते हैं। वे कह सकते हैं, "हमने इस साल बहुत पैसा कमाया!" (अच्छी खबर) लेकिन साथ ही, "लेकिन हम एक मुकदमे को लेकर चिंतित हैं और हमारी भविष्य की बिक्री गिर सकती है" (बुरी खबर)।
अतीत में, कंप्यूटर इन दस्तावेजों को पढ़ने में संघर्ष करते थे क्योंकि उन्हें इस कार्य के लिए विशेष रूप से "सिखाया" जाना आवश्यक था, जो महंगा और धीमा था।
यह पेपर AI "एजेंट्स" (विशेषज्ञ रोबोट इंटर्न की तरह सोचें) और एक स्मार्ट मैनेजर का उपयोग करके एक चतुर, कम लागत वाला समाधान पेश करता है।
सेटअप: तीन विशिष्ट इंटर्न
एक अकेले AI से पूरे दस्तावेज़ को पढ़ने और परिणाम का अनुमान लगाने के लिए कहने के बजाय, लेखक ने तीन अलग-अलग "जीरो-शॉट" (zero-shot) AI एजेंटों को तैनात किया है। "जीरो-शॉट" का अर्थ है कि इन AI को इस सटीक कार्य के लिए विशेष रूप से प्रशिक्षित नहीं किया गया है; वे बस अपनी सामान्य बुद्धिमत्ता का उपयोग करते हैं।
उन्हें बेहतर बनाने के लिए, प्रत्येक इंटर्न को एक ही दस्तावेज़ को पढ़ने के लिए एक अलग लेंस या फोकस दिया गया है:
- अकाउंटेंट (परफॉर्मेंस एजेंट): यह इंटर्न केवल नंबरों को देखता है। क्या उन्होंने पैसा कमाया? क्या राजस्व बढ़ा? क्या लागत कम हुई? वे भविष्य और जोखिमों को अनदेखा करते हैं, केवल उस पर ध्यान केंद्रित करते हैं जो पहले ही हो चुका है।
- फ्यूचरिस्ट (गाइडेंस एजेंट): यह इंटर्न पिछले नंबरों को अनदेखा कर देता है। वे केवल वही पढ़ते हैं जो कंपनी कल के बारे में कहती है। क्या वे अधिक विकास का वादा कर रहे हैं? क्या वे अपनी उम्मीदें कम कर रहे हैं?
- लॉयर (रिस्क एजेंट): यह इंटर्न निराशावादी है। वे टेक्स्ट को मुकदमों, नियमों, घोटालों या ऐसी किसी भी चीज़ के लिए स्कैन करते हैं जो गलत हो सकती है।
समस्या: वे असहमत होते हैं
चूंकि वे अलग-अलग लेंसों के माध्यम से टेक्स्ट को देख रहे हैं, इसलिए वे अक्सर असहमत होते हैं।
- अकाउंटेंट कह सकता है: "शानदार! मुनाफा बढ़ गया है! शेयर खरीदें!"
- लॉयर कह सकता है: "रुको, पैराग्राफ 4 में एक बड़ा मुकदमा बताया गया है। शेयर बेचें!"
- फ्यूचरिस्ट कह सकता है: "उन्होंने कहा है कि अगली तिमाही में बिक्री गिर जाएगी। शेयर होल्ड करें।"
यदि आप उनमें से किसी एक को पूछते, तो आपको पक्षपाती उत्तर मिल सकता था। यदि आप केवल "बहुमत" (3 में से 2 कहें खरीदें) लेते, तो भी आप बारीकियों को चूक सकते थे।
समाधान: स्मार्ट मैनेजर (द एग्रीगेटर)
यहीं पर इस पेपर का मुख्य विचार चमकता है। लेखक केवल इंटर्न को वोट नहीं करने देता। इसके बजाय, वे एक हल्के (lightweight) "मैनेजर" (एक सरल गणितीय मॉडल) को प्रशिक्षित करते हैं जो तीनों इंटर्न की बात सुनता है।
मैनेजर केवल यह नहीं सुनता कि वे क्या कहते हैं (खरीदें/बेचें); वह यह भी सुनता है कि:
- वे कितने आत्मविश्वासी हैं (जैसे, "मैं 90% आश्वस्त हूँ" बनाम "मैं केवल अनुमान लगा रहा हूँ")।
- वे ऐसा क्यों सोचते हैं (उनका संक्षिप्त स्पष्टीकरण)।
- असहमति का पैटर्न क्या है।
मैनेजर एक महत्वपूर्ण सबक सीखता है: "असहमति वास्तव में उपयोगी जानकारी है।"
"अहा!" मोमेंट (Aha! Moment)
पेपर ने पाया कि मैनेजर तब बहुत स्मार्ट हो जाता है जब इंटर्न के बीच बहस होती है।
- परिदृश्य A: तीनों इंटर्न सहमत हैं। मैनेजर बस प्रवाह के साथ चलता है। आसान।
- परिदृश्य B: अकाउंटेंट कहता है "खरीदें" (क्योंकि मुनाफा बहुत अच्छा है), लेकिन लॉयर कहता है "बेचें" (क्योंकि एक मुकदमा है), और फ्यूचरिस्ट अनिश्चित है।
- एक साधारण वोट "खरीदें" कह सकता है (2 बनाम 1)।
- लेकिन मैनेजर पिछले डेटा से सीखता है कि जब लॉयर किसी मुकदमे के बारे में बहुत आत्मविश्वासी होता है, तो शेयर आमतौर पर गिर जाता है, भले ही मुनाफा अच्छा रहा हो। इसलिए, मैनेजर वोट को ओवरराइड करता है और "बेचें" की भविष्यवाणी करता है।
समानता: एक स्पोर्ट्स टीम
इसे एक स्पोर्ट्स टीम की तरह समझें जो खेल के परिणाम की भविष्यवाणी करने की कोशिश कर रही है:
- इंटर्न स्काउट्स हैं: एक आक्रमण (offense) को देखता है, एक रक्षा (defense) को और एक मौसम को।
- मैनेजर हेड कोच है।
- यदि आक्रमण स्काउट कहता है "हम जीतेंगे" और मौसम स्काउट कहता है "बारिश हो रही है," तो एक साधारण वोट बारिश को अनदेखा कर सकता है। लेकिन कोच जानता है कि भारी बारिश में, आक्रमण उतना मायने नहीं रखता। कोच सबसे अच्छा निर्णय लेने के लिए रिपोर्टों को जोड़ता है, न कि केवल सबसे लोकप्रिय निर्णय को।
परिणाम
इस अध्ययन का परीक्षण 18,000 से अधिक वास्तविक कॉर्पोरेट दस्तावेजों पर किया गया।
- सिंगल इंटर्न: लगभग 56% सटीकता प्राप्त की (सिक्के के उछाल से मुश्किल से बेहतर)।
- बहुमत वोट (Majority Vote): लगभग 57% सटीकता प्राप्त की।
- स्मार्ट मैनेजर: 61% सटीकता प्राप्त की।
हालांकि 61% बहुत बड़ी छलांग नहीं लगती, लेकिन वित्त की दुनिया में, यह एक बहुत बड़ा सुधार है। इसका मतलब है कि सिस्टम उन "ट्रिकी" दस्तावेजों को पहचानने में बहुत बेहतर है जहाँ अच्छी खबर को बुरी खबर के पीछे छिपा दिया गया है, या इसके विपरीत।
यह क्यों महत्वपूर्ण है
- यह सस्ता है: आपको एक विशाल AI को प्रशिक्षित करने के लिए लाखों खर्च करने की आवश्यकता नहीं है। आपको बस कुछ स्मार्ट प्रॉम्प्ट और एक छोटा "मैनेजर" मॉडल चाहिए।
- यह संघर्ष को अपनाता है: एआई को सहमत होने के लिए मजबूर करने के बजाय, यह सिस्टम उनके तर्कों का उपयोग सत्य खोजने के लिए करता है।
- यह वास्तविक डेटा पर काम करता है: इसने सफलतापूर्वक अगले दिन के स्टॉक मूवमेंट की भविष्यवाणी की, जिससे साबित हुआ कि इन AI "विचारों" में वास्तविक वित्तीय मूल्य होता है।
संक्षेप में: विशेषज्ञ AI पाठकों की एक टीम को काम पर रखकर और उनके विरोधाभासी विचारों को तौलने के लिए एक स्मार्ट मैनेजर का उपयोग करके, हम जटिल वित्तीय समाचारों को एक अकेले AI या साधारण वोट की तुलना में बहुत बेहतर समझ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।