When Summaries Distort Decisions: Information Fidelity in LLM-Compressed Financial Analysis
यह शोध पत्र प्रदर्शित करता है कि वित्तीय दस्तावेजों का LLM-आधारित संपीड़न (compression) संदर्भहीनता और मॉडल निर्भरता के माध्यम से निष्ठा संबंधी हानि (fidelity losses) उत्पन्न करके निवेश निर्णयों को विकृत कर सकता है, और एक "एजेंटिक कॉन्टेक्स्ट कंप्रेशन" ढांचे का प्रस्ताव करता है जो निर्णय-प्रासंगिक संदर्भ को बनाए रखने के लिए कई संभावित सारांशों को उत्पन्न और ऑडिट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: जब सारांश झूठ बोलते हैं (तब भी जब वे सच बोल रहे हों)
कल्पना कीजिए कि आप एक वित्तीय निवेशक (financial investor) हैं और यह तय करने की कोशिश कर रहे हैं कि कोई स्टॉक खरीदना है या नहीं। आपके पास किसी कंपनी की 50 पन्नों की रिपोर्ट है (जैसे कि तिमाही अर्निंग रिपोर्ट)। इसे पढ़ना बहुत लंबा काम है, इसलिए आप एक सुपर-स्मार्ट AI असिस्टेंट से इसे एक छोटी, 20-बुलेट वाली लिस्ट में सारांशित (summarize) करने के लिए कहते हैं।
आप उम्मीद करते हैं कि सारांश मूल रिपोर्ट का एक "छोटा रूप" (mini-me) होगा। यदि मूल रिपोर्ट कहती है, "हमने बहुत पैसा कमाया, लेकिन हमारे सामने एक बड़ा मुकदमा आने वाला है जो इस पैसे को खत्म कर सकता है," तो आप उम्मीद करते हैं कि सारांश कहेगा, "हमने पैसा कमाया, लेकिन मुकदमा एक जोखिम है।"
समस्या: यह पेपर पाता है कि AI सारांश अक्सर एक खराब अनुवादक की तरह व्यवहार करते हैं जो आपको केवल अच्छी खबर बताते हैं और "लेकिन" वाले हिस्से को भूल जाते हैं। सारांश कह सकता है, "हमने बहुत पैसा कमाया!" यह सच लगता है, और सुनने में भी सही लगता है। लेकिन क्योंकि इसने "मुकदमे" वाले हिस्से को छोड़ दिया, इसलिए आप स्टॉक खरीदने का निर्णय ले सकते हैं (एक "बुल" यानी Bull निर्णय), जबकि पूरी रिपोर्ट पढ़ने पर आप उसे बेचने का निर्णय लेते (एक "बियर" यानी Bear निर्णय)।
लेखक इसे सूचना निष्ठा (Information Fidelity) कहते हैं। यह इस बारे में नहीं है कि तथ्य सच हैं या नहीं; यह इस बारे में है कि क्या सारांश उस संदर्भ (context) को बनाए रखता है जो सही निर्णय लेने के लिए आवश्यक है।
दो मुख्य अपराधी
यह पेपर पहचान करता है कि AI सारांश निर्णय लेने की प्रक्रिया को दो विशिष्ट तरीकों से बिगाड़ते हैं:
1. संदर्भ का अभाव (Decontextualization - "अलग तथ्य" का जाल)
कल्पना कीजिए कि आप मौसम की रिपोर्ट पढ़ रहे हैं।
- हेडलाइन: "बाहर तापमान 90°F है।" (यह हेडलाइन तथ्य है)।
- संदर्भ: "लेकिन एक भीषण हीटवेव की चेतावनी है, और उमस इतनी अधिक है कि यह 110°F जैसा महसूस होता है।" (यह संदर्भ है)।
यदि कोई AI इसका सारांश केवल यह कहकर देता है कि, "तापमान 90°F है," तो यह तथ्यात्मक रूप से सही है। हालाँकि, यदि आप दौड़ने जाने का निर्णय ले रहे हैं, तो यह सारांश खतरनाक है। इसने उस चेतावनी (हीटवेव की चेतावनी) को हटा दिया जिसने तथ्य का अर्थ ही बदल दिया।
वित्त (finance) के क्षेत्र में, AI अक्सर "90°F" (जैसे, "राजस्व 20% बढ़ा") को तो रखता है लेकिन "हीटवेव की चेतावनी" (जैसे, "लेकिन केवल इसलिए क्योंकि हमने अपनी सबसे अच्छी संपत्तियां बेच दीं, और भविष्य में विकास स्थिर है") को छोड़ देता है। इससे निवेशकों को गलत कदम उठाने की ओर ले जाता है।
2. मॉडल निर्भरता (Model Dependency - "अलग शेफ" की समस्या)
कल्पना कीजिए कि आप तीन अलग-अलग शेफ से एक ही रेसिपी का सारांश बनाने के लिए कहते हैं।
- शेफ A मसालों पर ध्यान केंद्रित करता है और कहता है, "यह एक तीखा व्यंजन है।"
- शेफ B सॉस पर ध्यान केंद्रित करता है और कहता है, "यह एक मीठा व्यंजन है।"
- शेफ C मांस पर ध्यान केंद्रित करता है और कहता है, "यह एक नमकीन व्यंजन है।"
तीनों शेफ रेसिपी के हिस्सों के बारे में सच बोल रहे हैं, लेकिन वे सभी आपको पूरे भोजन की एक अलग तस्वीर दे रहे हैं। पेपर ने पाया कि अलग-अलग AI मॉडल (जैसे GPT, Gemini, या Qwen) एक ही वित्तीय दस्तावेज़ को अलग-अलग तरीकों से संक्षिप्त (compress) करते हैं। एक मॉडल कंपनी को "बुलिश" (अच्छा) दिखा सकता है, जबकि दूसरा उसी कंपनी को "बियरिश" (खराब) दिखा सकता है, सिर्फ इसलिए क्योंकि उन्होंने अलग-अलग तथ्यों को उजागर करने का फैसला किया।
समाधान: "एजेंट" जासूस
लेखक एक नई विधि प्रस्तावित करते हैं जिसे एजेंटिक कॉन्टेक्स्ट कम्प्रेशन (Agentic Context Compression) कहा जाता है। इसे एक एकल सारांशकर्ता के रूप में नहीं, बल्कि एक जासूसी एजेंसी के रूप में सोचें।
यह कैसे काम करता है:
- दो जासूसों को काम पर रखें: दस्तावेज़ का सारांश बनाने के लिए एक AI मॉडल से पूछने के बजाय, सिस्टम दो अलग-अलग AI मॉडल को अपने स्वयं के सारांश बनाने के लिए कहता है।
- ऑडिट: तीसरा "एजेंट" (एक स्मार्ट AI सुपरवाइजर) दोनों सारांशों को देखता है। वह देखता है कि वे कहाँ असहमत हैं।
- जासूस A कहता है: "कंपनी बहुत अच्छा कर रही है।"
- जासूस B कहता है: "कंपनी बहुत अच्छा कर रही है, लेकिन उनके पास कर्ज का मुद्दा है।"
- स्रोत की जाँच करें: एजेंट केवल अनुमान नहीं लगाता। वह मूल 50 पन्नों की रिपोर्ट (स्रोत) पर वापस जाता है और कर्ज के बारे में विशिष्ट पैराग्राफ खोजने के लिए एक सर्च टूल का उपयोग करता है।
- विजेता चुनें: एजेंट जाँचता है कि कौन सा सारांश मूल टेक्स्ट के प्रति अधिक वफादार है। यदि मूल टेक्स्ट में कर्ज का उल्लेख है, तो एजेंट उस सारांश को खारिज कर देता है जिसने इसे छोड़ दिया था, भले ही वह सारांश छोटा या बेहतर सुनाई दे रहा हो।
परिणाम: उन्होंने क्या पाया
शोधकर्ताओं ने बड़े कंपनियों (जैसे Apple, Microsoft आदि) के वास्तविक वित्तीय दस्तावेजों पर इसका परीक्षण किया।
- बुरी खबर: जब उन्होंने मानक AI सारांश का उपयोग किया, तो "निर्णय बदलने" (decision flip) की दर बहुत अधिक थी। लगभग 33% बार, सारांश ने निवेशकों को ऐसा महसूस कराया कि उन्हें स्टॉक खरीदना चाहिए, जबकि पूरी रिपोर्ट सुझाव देती थी कि उन्हें उसे बेचना चाहिए (या इसके विपरीत)।
- अच्छी खबर: जब उन्होंने अपने नए "एजेंट" तरीके का उपयोग किया, तो वह त्रुटि दर काफी कम हो गई (लग लगभग 20% तक)।
- उद्योग परीक्षण: उन्होंने पेशेवर निवेशकों द्वारा उपयोग किए जाने वाले एक वास्तविक व्यावसायिक उत्पाद में भी इसका परीक्षण किया। "एजेंट" पद्धति ने न केवल त्रुटियों को कम किया; इसने मानक सारांशों की तुलना में निवेश पूर्वानुमानों की सटीकता में वास्तव में सुधार किया।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में, केवल दक्षता (efficiency) पर्याप्त नहीं है। एक सारांश जो छोटा और व्याकरणिक रूप से एकदम सही है, वह बेकार है यदि वह इस बारे में आपका मन बदल देता है कि आपको निवेश करना चाहिए या नहीं।
इसे ठीक करने के लिए, हमें केवल AI से "सारांशित करने" के लिए नहीं कहना चाहिए। हमें AI से "सारांशित करने और यह सुनिश्चित करने के लिए अपने काम की जाँच करने" के लिए कहना चाहिए कि उसने गलती से चेतावनी वाले लेबल को हटा तो नहीं दिया है।
संक्षेप में: केवल सारांश पर भरोसा न करें। सारांश पर तभी भरोसा करें जब उसका ऑडिट किया गया हो ताकि यह सुनिश्चित हो सके कि उसने "लेकिन" वाले हिस्से को छोड़ा नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।