V-FiLLM: Verified Financial LLM Reasoning Benchmark
यह शोध पत्र V-FiLLM को प्रस्तुत करता है, जो एक स्केलेबल बेंचमार्क फ्रेमवर्क है जो जटिल, संरचित वित्तीय डेटा को संभालने में LLMs की मजबूती और सटीकता का मूल्यांकन करने और उन्हें सुधारने के लिए निष्पादन योग्य गणना वृक्षों (executable computation trees) से सत्यापित वित्तीय तर्क कार्यों को उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट को वित्तीय विश्लेषक (financial analyst) बनना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह एक बिखरी हुई स्प्रेडशीट को देखे, सही नंबर खोजे, और कुछ गणित करके आपको बताए कि एक कंपनी ने कितना पैसा कमाया। यह "लार्ज लैंग्वेज मॉडल्स" (LLMs) की दुनिया है—ऐसे कंप्यूटर दिमाग जो कहानियाँ लिखने और सवालों के जवाब देने में बेहतरीन होते हैं, लेकिन कभी-कभी सटीक गणित करने या जटिल तालिकाओं (tables) को पढ़ने में लड़खड़ा जाते हैं। इन मॉडल्स को एक ऐसे प्रतिभाशाली छात्र की तरह समझें जो पैसे के बारे में एक सुंदर निबंध तो लिख सकता है, लेकिन अगर आप उससे लाभ मार्जिन (profit margin) की गणना करने को कहें, तो वह गलती से गलत नंबर जोड़ सकता है। सबसे बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम एक निष्पक्ष परीक्षण बना सकते हैं जो ठीक से दिखा सके कि यह छात्र कहाँ भ्रमित होता है, बिना यह सुनिश्चित किए कि परीक्षण स्वयं अव्यवस्थित या अनुचित हो?
यहीं पर "V-FiLLM" पेपर काम आता है। शोधकर्ताओं ने एक विशेष, सुपर-व्यवस्थित परीक्षण जिसे "बेंचमार्क" कहा जाता है, बनाया है। वास्तविक, बिखरी हुई बैंक रिपोर्टों को पढ़ने के बजाय (जिसमें टाइपो या गायब पन्ने हो सकते हैं), उन्होंने एक ऐसी फैक्ट्री बनाई जो एकदम सटीक, नकली वित्तीय स्प्रेडशीट तैयार करती है। फिर वे एक "कंप्यूटेशन ट्री" (computation tree) का उपयोग करते हैं—कल्पना कीजिए एक फैमिली ट्री की, लेकिन पूर्वजों के बजाय, यह गणित के चरणों का एक नक्शा है—प्रश्न बनाने के लिए। क्योंकि गणित इस पेड़ के भीतर ही निर्मित है, प्रश्न लिखे जाने तक उत्तर पूरी तरह से सही होना सुनिश्चित है। इससे वे रोबोट के दिमाग का परीक्षण शुद्ध तर्क (logic) पर कर सकते हैं, बिना उसे खराब लिखावट या भ्रमित करने वाले लेआउट में उलझाए। उन्होंने पाया कि जैसे-जैसे गणित गहरा (अधिक चरण) होता जाता है, रोबोट उत्तर देने में बहुत खराब होता जाता है, और यहाँ तक कि मामूली बदलाव (जैसे "0" को "O" में बदलना) भी इसे क्रैश कर सकते हैं। हालाँकि, उन्होंने यह भी दिखाया कि यदि आप रोबोट को अपना काम चरण-दर-चरण दिखाने के लिए थोड़ा अतिरिक्त प्रशिक्षण देते हैं, तो वह काफी बेहतर हो जाता है।
पेपर की व्याख्या
समस्या: "बिखरी हुई मेज" बनाम "साफ प्रयोगशाला"
कल्पना कीजिए कि आप एक बच्चे को गणित करना सिखा रहे हैं। यदि आप उन्हें किराने की दुकान की एक मुड़ी हुई रसीद थमाते हैं जिस पर स्याही फैली हुई है और कोने फटे हुए हैं, और वे गलत उत्तर देते हैं, तो आप यह नहीं जान पाएंगे कि वे गणित में असफल हुए या वे रसीद को ठीक से पढ़ नहीं पाए। मौजूदा एआई (AI) परीक्षणों के साथ यही समस्या है। पिछले अधिकांश परीक्षणों में वास्तविक दस्तावेजों का उपयोग किया गया था, जो "शोर" (noise) से भरे होते हैं—गायब नंबर, अजीब फॉर्मेटिंग और भ्रमित करने वाला टेक्स्ट। यह बताना मुश्किल बना देता है कि एआई तर्क करने में बुरा है या केवल पढ़ने में।
इस पेपर के लेखकों ने इसके बजाय एक "साफ प्रयोगशाला" बनाने का निर्णय लिया। उन्होंने V-FiLLM बनाया, एक ऐसा सिस्टम जो शून्य से अपने स्वयं के वित्तीय प्रश्न उत्पन्न करता है। वे एक आदर्श, सिंथेटिक स्प्रेडशीट (जैसे एक वीडियो गेम इन्वेंटरी स्क्रीन) से शुरुआत करते हैं और हर प्रश्न के लिए एक "कंप्यूटेशन ट्री" बनाते हैं।
- पेड़ की उपमा (The Tree Analogy): एक प्रश्न को एक रेसिपी की तरह समझें। एक सरल प्रश्न केवल है "सेब की कीमत क्या है?" (डेप्थ 0)। एक कठिन प्रश्न है "सेब की कीमत और केले की कीमत का योग क्या है?" (डेप्थ 1)। सबसे कठिन प्रश्न एक जटिल केक रेसिपी की तरह हैं जिसमें तीन अलग-अलग कटोरे मिलाने, उन्हें पकाने और फिर परिणामों को मिलाने की आवश्यकता होती है (डेप्थ 4 या उससे अधिक)।
- जादू: क्योंकि कंप्यूटर पहले पेड़ बनाता है, इसलिए वह प्रश्न लिखने से पहले ही उत्तर जानता है। इसका मतलब है कि प्रत्येक एकल परीक्षण आइटम का एक "ग्राउंड ट्रुथ" (ground truth) है जो गणितीय रूप से सही होना गारंटीकृत है। इसमें कोई मानवीय अनुमान शामिल नहीं है, और कोई "लेबलिंग लागत" (labeling cost) नहीं है (किसी को भी उत्तरों की जाँच के लिए वहां बैठने की आवश्यकता नहीं है)।
खोज: "डेप्थ" का जाल
शोधकर्ताओं ने इस साफ प्रयोगशाला का उपयोग कई अलग-अलग एआई मॉडल्स का परीक्षण करने के लिए किया, जिनमें Gemma, Llama और Qwen जैसे प्रसिद्ध मॉडल भी शामिल हैं। उन्होंने एक सरल प्रश्न पूछा: क्या होता है जब गणित कठिन हो जाता है?
उन्होंने पाया कि जैसे-जैसे तर्क की "डेप्थ" (गहराई) बढ़ती है, एआई का प्रदर्शन तेजी से गिरता है।
- गिरावट: सरल प्रश्नों पर (केवल एक नंबर ढूँढना), सर्वश्रेष्ठ मॉडल्स लगभग सब कुछ सही करते थे (लगभग 98%)। लेकिन जैसे ही प्रश्न के लिए 8 चरणों के तर्क की आवश्यकता हुई (जैसे एक जटिल केक रेसिपी), कुछ मॉडल्स की सटीकता गिरकर मात्र 26% रह गई।
- एडवर्सरियल ट्विस्ट (The Adversarial Twist): उन्होंने डेटा के साथ छेड़छाड़ करके मॉडल्स को "बेवकूफ" बनाने की भी कोशिश की, जिससे फर्क नहीं पड़ना चाहिए था। उदाहरण के लिए, उन्होंने नंबरों को "कचरा" मानों (garbage values) से बदल दिया या इकाइयों (units) को बदल दिया (जैसे डॉलर को सेंट में बदलना)। उन्होंने पाया कि OCR-शैली का कैरेक्टर करप्शन (एक "0" को अक्षर "O" में या "1" को "l" में बदलना) मॉडल्स को तोड़ने का सबसे प्रभावी तरीका था। जब उन्होंने वास्तविक दिखने वाले दस्तावेजों पर इकाइयों के साथ छेड़छाड़ की, तो सर्वश्रेष्ठ मॉडल का स्कोर लगभग 100% से गिरकर केवल 3.0% रह गया। यह सुझाव देता है कि मॉडल नंबर तो पढ़ रहे हैं लेकिन अक्सर उन लेबल को अनदेखा कर देते हैं जो उन्हें बताते हैं कि उन नंबरों का अर्थ क्या है।
समाधान: एआई को "अपना काम दिखाना" सिखाना
पेपर में इस समस्या को ठीक करने का एक तरीका भी परीक्षण किया गया। उन्होंने LoRA (लो-रैंक अडैप्टेशन) नामक तकनीक का उपयोग किया, जो एआई को उसके पूरे दिमाग को फिर से प्रशिक्षित करने के बजाय एक विशिष्ट, हल्के वजन वाले प्रशिक्षण मैनुअल देने जैसा है।
- विधि: उन्होंने "कंप्यूटेशन ट्री" को चरण-दर-चरण "चेन-ऑफ-थॉट" (Chain-of-Thought) स्पष्टीकरणों में बदल दिया। उन्होंने केवल उन्हीं उदाहरणों का उपयोग किया जहाँ एआई का तर्क सत्यापित रूप से सही पाया गया था।
- परिणाम: इस लक्षित प्रशिक्षण के बाद, एक छोटे मॉडल (Qwen3-4B) ने नए, अनदेखे समस्याओं पर अपनी सटीकता 81.1% से बढ़ाकर 85.6% कर ली। इसने FinQA नामक एक अन्य वास्तविक दुनिया के डेटासेट पर भी बेहतर प्रदर्शन किया, जो इसके मूल संस्करण से 5 प्रतिशत अंक अधिक था। यह सुझाव देता है कि एआई को समस्याओं को छोटे, सत्यापित चरणों में तोड़ने के लिए सिखाना उसे स्मार्ट बनाने का एक आशाजनक तरीका है, जिसके लिए भारी मात्रा में कंप्यूटिंग पावर की आवश्यकता नहीं है।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि हालांकि एआई वित्तीय तर्क (financial reasoning) में बेहतर हो रहा है, लेकिन जब तर्क गहरा होता है या डेटा अव्यवस्थित होता है, तो यह अभी भी काफी संघर्ष करता है। तर्क की "डेप्थ" सबसे बड़ी बाधा है। हालाँकि, उनके द्वारा बनाए गए नए बेंचमार्क (V-FiLLM) शोधकर्ताओं को वास्तविक दुनिया के शोर के बिना इस प्रगति को मापने का एक विश्वसनीय तरीका प्रदान करता है। लेखक सुझाव देते हैं कि अपने काम को चरण-दर-चरण दिखाने के प्रशिक्षण के साथ, ये मॉडल बहुत अधिक विश्वसनीय वित्तीय सहायक बन सकते हैं, लेकिन फिलहाल, वे जटिल गणित या अजीब दिखने वाले नंबरों के मामले में मूर्खतापूर्ण गलतियाँ करने के प्रति संवेदनशील हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।