Detecting Lookahead Bias in LLM Forecasts

तकनीकी सारांश: LLM पूर्वानुमानों में लुकअहेड बायस (Lookahead Bias) का पता लगाना

समस्या विवरण
अनस्ट्रक्चर्ड टेक्स्ट, जैसे कि समाचार सुर्खियों और अर्निंग्स कॉल ट्रांसक्रिप्ट से फर्म-स्तरीय पूर्वानुमान उत्पन्न करने के लिए बड़े भाषा मॉडलों (LLMs) का उपयोग तेजी से बढ़ता जा रहा है। ये मॉडल पारंपरिक अर्थमितीय बेंचमार्क (econometric benchmarks) के बराबर या उनसे अधिक भविष्य कहनेवाला सामर्थ्य (predictive power) प्रदर्शित करते हैं। हालांकि, एक गंभीर चिंता यह है कि यह भविष्य कहने की क्षमता इनपुट टेक्स्ट पर वास्तविक आर्थिक तर्क (genuine economic reasoning) के बजाय, प्री-ट्रेनिंग के दौरान समाहित किए गए वास्तविक परिणामों की मॉडल की "स्मृति" (memory) से उत्पन्न हो सकती है। जब किसी मॉडल का मूल्यांकन उन तिथियों पर किया जाता है जो उसके प्रशिक्षण कॉर्पस (training corpus) के भीतर हैं, तो किसी विशिष्ट फर्म-तिथि युग्म (firm-date pair) के लिए वास्तविक परिणाम उस दौर के वृत्तांतों (retrospective narratives) के साथ ही अवशोषित हो सकते हैं, जिससे एक "लुकअहेड बायस" (lookahead bias) पैदा होता है जहाँ मॉडल तर्क करने के बजाय प्रभावी रूप से उत्तर को याद कर लेता है। मौजूदा शमन रणनीतियाँ (mitigation strategies), जैसे कि एंटिटी मास्किंग (entity masking) या कट-ऑफ के बाद के डेटा तक मूल्यांकन को सीमित करना, या तो आंशिक हैं (सूक्ष्म मेमोराइजेशन चैनलों को बरकरार रखती हैं) या सांख्यिकीय रूप से सीमित हैं (लघु आउट-ऑफ-सैंपल विंडो के कारण)। एक पोर्टेबल डायग्नोस्टिक टूल की कमी है जो यह निर्धारित कर सके कि क्या किसी LLM का पूर्वानुमान मेमोराइजेशन (memorization) पर आधारित है या रीजनिंग (reasoning) पर।

कार्यप्रणाली
लेखक एक सांख्यिकीय प्रक्रिया प्रस्तावित करते हैं जो लुकअहेड प्रोपेंसिटी (Lookahead Propensity - LAP) नामक एक मीट्रिक पर केंद्रित है, जिसे $LAP^{(known)}_{i,t+1}$ द्वारा दर्शाया गया है।

1. LAP का निर्माण:

   • विधि एक "डेट-ओनली रिकॉल क्वेरी" (date-only recall query) का उपयोग करती है जिसमें केवल फर्म का नाम, टिकर और लक्षित तिथि (या तिमाही) होती है, जिसमें कोई समकालीन जानकारी (कोई हेडलाइन, ट्रांसक्रिप्ट या फंडामेंटल्स नहीं) नहीं होती है।
   • मॉडल को परिणाम की दिशा (जैसे, "up" या "down") याกัน "abstain" (अनुपस्थित) होने के लिए प्रॉम्प्ट दिया जाता है।
   • $LAP^{(known)}$ को दिशात्मक लेबल को दिए गए पहले-टोकन प्रोबेबिलिटी के योग के रूप में गणना किया जाता है: $P_{up} + P_{down}$।
   • 1 के करीब मान इंगित करता है कि मॉडल परिणाम "जानता" है (उच्च मेमोराइजेशन), जबकि 0 के करीब मान अनुपस्थिति (कोई रिकॉल नहीं) को दर्शाता है।

2. अर्थमितीय ढांचा (Econometric Framework):

   • लेखक LLM पूर्वानुमान ($\hat{\mu}_t$) को एक वास्तविक कंडीशनल एक्सपेक्टेशन और एक कंटैमिनेशन टर्म के योग के रूप में मॉडल करते हैं: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$।
   • यहाँ, $L_t$ फर्म-अवधि मेमोराइजेशन स्ट्रेंथ (जिसे $LAP^{(known)}$ द्वारा प्रॉक्सी किया गया है) को दर्शाता है, और $\gamma$ मॉडल के मेमोराइज्ड कंटेंट को टेक्स्ट-कंडीशन्ड पूर्वानुमानों में लीक करने की प्रवृत्ति को दर्शाता है।
   • डिटेक्शन टेस्ट में वास्तविक परिणाम ($Y_{t+1}$) का LLM पूर्वानुमान ($\hat{\mu}_t$), LAP माप, और उनके इंटरैक्शन पर एक एक्यूरेसी रिग्रेशन शामिल है:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • प्रपोजिशन 1: सौम्य स्थितियों के तहत, एक सकारात्मक और महत्वपूर्ण इंटरैक्शन कोएफिशिएंट ($\beta_3 > 0$) $\gamma > 0$ के लिए एक वन-साइडेड डायग्नोस्टिक के रूप में कार्य करता है, जो यह दर्शाता है कि मॉडल की भविष्य कहने की शक्ति मेमोराइज्ड कंटेंट द्वारा बढ़ी हुई है।

3. वैलिडेशन और प्लेसबो (Validation and Placebo):

   • वैलिडेशन: रिकॉल क्वेरी के दिशात्मक घटक ($(U-D) = P_{up} - P_{down}$) का वास्तविक परिणामों के विरुद्ध परीक्षण किया जाता है। यहाँ प्रेडिक्टिव पावर मेमोराइजेशन के अस्तित्व ( $L_t > 0$) की पुष्टि करती है।
   • प्लेसबो: परीक्षण को ट्रेनिंग-कटऑफ के बाद के सैंपल (मॉडल के नॉलेज कटऑफ के बाद की तिथियां) पर लागू किया जाता है। इस विंडो में, $LAP^{(known)}$ शून्य के करीब गिर जाना चाहिए, और इंटरैक्शन टर्म सांख्यिकीय रूप से महत्वहीन हो जाना चाहिए, जो पुष्टि करता है कि इन-सैंपल एम्प्लीफिकेशन ट्रेनिंग-टाइम एक्सपोजर द्वारा संचालित था।

मुख्य अनुभवजन्य परिणाम (Key Empirical Results)
लेखक इस ढांचे को दो पूर्वानुमान कार्यों के लिए Llama-3.3-70B (ट्रेनिंग कटऑफ: दिसंबर 2023) का उपयोग करके लागू करते हैं:

1. स्टॉक न्यूज़ रिटर्न की भविष्यवाणी करना:

   • अगले दिन के स्टॉक रिटर्न की भविष्यवाणी करने के लिए ब्लूमबर्ग हेडलाइंस का उपयोग करना (इन-सैंपल: 2012–2023)।
   • बेसलाइन LLM सिग्नल रिटर्न की भविष्यवाणी करता है ($t=12.18$)।
   • इंटरैक्शन टर्म ($LLM \times LAP$) सकारात्मक और अत्यधिक महत्वपूर्ण है ($t=3.64$)। $LAP^{(known)}$ में एक स्टैंडर्ड-डेविएशन वृद्धि LLM सिग्नल के मार्जिनल इफेक्ट को लगभग 32% बढ़ा देती है।
   • केवल रिकॉल क्वेरी (हेडलाइंस के बिना) रिटर्न की भविष्यवाणी करती है ($t$-स्टेटिस्टिक 3.53), लेकिन केवल उन फर्म-डेज़ के लिए जिनमें उच्च $LAP^{(known)}$ है।
   • आउट-ऑफ-सैंपल (2024): $LAP^{(known)}$ का माध्य शून्य के करीब गिर जाता है, और इंटरैक्शन टर्म सांख्यिकीय रूप से महत्वहीन हो जाता है ($t=1.06$), जो लुकअहेड-बायस हाइपोथेसिस को मान्य करता है।

2. अर्निंग्स कॉल्स कैपिटल एक्सपेंडिचर (Capex) की भविष्यवाणी करना:

   • दो तिमाही बाद के कैपिटल एक्सपेंडिचर की भविष्यवाणी करने के लिए ट्रांसक्रिप्ट का उपयोग करना (इन-सैंपल: 2006–2020)।
   • बेसलाइन LLM सिग्नल भविष्य के capex की भविष्यवाणी करता है ($t=16.69$)।
   • इंटरैक्शन टर्म सकारात्मक और महत्वपूर्ण है ($t=2.01$)। $LAP^{(known)}$ में एक स्टैंडर्ड-डेविएशन वृद्धि मार्जिनल इफेक्ट को लगभग 12% बढ़ा देती है।
   • आउट-ऑफ-सैंपल (2023Q3–2024Q1): इंटरैक्शन टर्म अपना महत्व खो देता है ($t=1.35$), और जैसे ही रिकॉल डेट्स ट्रेनिंग कटऑफ के बाद आती हैं, एम्प्लीफिकेशन प्रभाव गायब हो जाता है।

3. इनर कॉन्फिडेंस (Inner Confidence) के साथ तुलना:

   • लेखक अपने मुख्य प्रॉम्प्ट के लिए मॉडल द्वारा चुने गए उत्तर की प्रोबेबिलिटी (Inner Confidence) के विरुद्ध $LAP$ माप का परीक्षण करते हैं।
   • दोनों इंटरैक्शन टर्म्स ($LLM \times LAP$ और $LLM \times Inner Confidence$) संयुक्त रूप से शामिल होने पर भी महत्वपूर्ण बने रहते हैं, जो यह संकेत देते हैं कि वे पूर्वानुमान प्रदर्शन के अलग-अलग घटकों को कैप्चर करते हैं: $LAP$ मेमोराइजेशन को कैप्चर करता है, जबकि इनर कॉन्फिडेंस मॉडल की अपनी रीजनिंग में निश्चितता को कैप्चर करता है।

महत्व और दावे
पेपर का दावा है कि यह LLM-जनरेटेड पूर्वानुमानों की वैधता का आकलन करने के लिए एक पोर्टेबल, लागत-कुशल और मॉडल-लेवल डायग्नोस्टिक प्रदान करता है।

• डायग्नोस्टिक उपयोगिता: यह शोधकर्ताओं को यह मापने की अनुमति देता है कि LLM की कितनी भविष्य कहने वाली शक्ति मेमोराइजेशन बनाम रीजनिंग से प्रेरित है, जिसके लिए री-ट्रेनिंग, प्रोप्रायटरी ट्रेनिंग डेटा तक पहुंच, या लीक-मुक्त मॉडल बनाने की आवश्यकता नहीं है।
• टास्क-स्पेसिफिक प्रकृति: लेखक इस बात पर जोर देते हैं कि लुकअहेड बायस LLMs की एक सार्वभौमिक विफलता नहीं है बल्कि यह टास्क-स्पेसिफिक है, जो इनपुट डोमेन, टारगेट वेरिएबल, मॉडल और प्रॉम्प्ट पर निर्भर करता है।
• व्यावहारिक अनुप्रयोग: इस टेस्ट के लिए केवल मॉडल को क्वेरी करने और उसके फर्स्ट-टोकन लेबल प्रोबेबिलिटी को पढ़ने की क्षमता की आवश्यकता होती है। यह शोधकर्ताओं को मेमोराइजेशन प्रभावों को "नेट आउट" (निकालने) करने में सक्षम बनाता है ताकि पूर्वानुमान के वास्तविक आर्थिक कंटेंट को निर्धारित किया जा सके।
• सीमाएं: यह टेस्ट कंटैमिनेशन लोडिंग ($\gamma > 0$) के सटीक परिमाण के बजाय इसके साइन (sign) की पहचान करता है। यह LLM पूर्वानुमानों को छोड़ने का सुझाव नहीं देता है बल्कि यह उनके विशिष्ट संदर्भों में विश्वसनीयता की व्याख्या करने के लिए एक उपकरण प्रदान करता है।

पेपर निष्कर्ष निकालता है कि LLM-आधारित वित्तीय पूर्वानुमानों में भविष्य कहने वाली सामग्री का एक गैर-तुच्छ हिस्सा (non-trivial share) ट्रेनिंग-टाइम मेमोराइजेशन को दर्शाता है, और प्रस्तावित $LAP^{(known)}$ टेस्ट इस बायस का पता लगाने के लिए एक कठोर तरीका प्रदान करता है।