💻 computer science

FinGround: Detecting and Grounding Financial Hallucinations via Atomic Claim Verification

FinGround एक तीन-चरणीय "सत्यापन-फिर-आधारित" (verify-then-ground) पाइपलाइन है जिसे LLMs में वित्तीय मतिभ्रम (financial hallucinations) को कम करने के लिए डिज़ाइन किया गया है, जो उत्तरों को परमाणु दावों (atomic claims) में विभाजित करता है, विशेष सत्यापन रणनीतियों (अंकगणितीय पुन: गणना सहित) को लागू करता है, और सटीक उद्धरण प्रदान करता है, जिससे अंततः GPT-4o की तुलना में त्रुटियों में 78% की कमी आती है।

मूल लेखक: Dongxin Guo, Jikun Wu, Siu Ming Yiu

प्रकाशित 2026-04-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Dongxin Guo, Jikun Wu, Siu Ming Yiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-स्तरीय वित्तीय सहायक को काम पर रख रहे हैं जिसे कंपनियों की हजारों पन्नों की जटिल रिपोर्टों को पढ़ना है। यह सहायक अविश्वसनीय रूप से तेज़ है और बहुत आत्मविश्वास से बात करता है, लेकिन उसकी एक खतरनाक आदत है: वह कभी-कभी मनगढ़ंत बातें बना लेता है।

वह आपसे कह सकता है, "कंपनी का लाभ 15% बढ़ा है," जबकि वास्तव में यह केवल 5% बढ़ा था। या वह कह सकता है, "रूल 10b-5 के अनुसार..." जबकि वह नियम अस्तित्व में ही नहीं है। वित्त की दुनिया में, ऐसा "आत्मविश्वास भरा झूठ" केवल एक गलती नहीं है; यह बड़े मुकदमों, नियामक दंडों और करियर बर्बाद होने का कारण बन सकता है।

यह शोध पत्र FinGround पेश करता है, जो एक विशेष "ट्रुथ-चेकर" (सत्य-जांचकर्ता) सिस्टम है, जिसे AI के पीछे तैनात किया गया है ताकि यह सुनिश्चित हो सके कि वह कभी झूठ न बोले।

यह कैसे काम करता है, इसे तीन सरल रूपकों (metaphors) के माध्यम से समझाया गया है:

1. "एटॉमिक" माइक्रोस्कोप (इसे टुकड़ों में तोड़ना)

अधिकांश AI डिटेक्टर पूरे पैराग्राफ को देखते हैं और पूछते हैं, "क्या यह सच लग रहा है?" यह एक शिक्षक की तरह है जो एक निबंध पर नज़र डालते हुए कहता है, "यह ठीक लग रहा है।" यह बहुत अस्पष्ट है।

FinGround एक वैज्ञानिक की तरह काम करता है जिसके पास एक उच्च-शक्ति वाला सूक्ष्मदर्शी (microscope) है। पूरे पैराग्राफ को देखने के बजाय, यह हर वाक्य को "एटॉमिक क्लेम" (परमाणु दावों)—यानी सत्य के सबसे छोटे संभव टुकड़ों—में तोड़ देता है।

यह केवल यह जाँचने के बजाय कि: "Q4 में Apple का राजस्व शानदार रहा,"
यह जाँचता है:
1. इकाई (Apple)
2. समय (Q4)
3. विशिष्ट संख्या (राजस्व की राशि)

वाक्य को इन छोटे "परमाणुओं" में तोड़कर, सिस्टम प्रत्येक की व्यक्तिगत रूप से जांच कर सकता है। यह यह जाँचने के बीच का अंतर है कि क्या पूरा भोजन अच्छा है या यह जाँचने के बीच का अंतर है कि क्या हर एक सामग्री सही है ताकि कुछ भी सड़ा हुआ न हो।

2. "मैथ टीचर" रणनीति (टाइप-अवेयर वेरिफिकेशन)

मानक AI डिटेक्टर सभी जानकारी के साथ एक जैसा व्यवहार करते हैं। लेकिन वित्त में, एक "तारीख" एक "नाम" से अलग होती है, और एक "नाम" एक "गणना" से अलग होता है।

FinGround एक सिक्स-टाइप टैक्सोनॉमी (छह-प्रकार का वर्गीकरण) का उपयोग करता है। इसे एक विशेष जासूसी टीम की तरह समझें:

इतिहासकार (The Historian) जाँचता है कि क्या तारीखें सही हैं।
लाइब्रेरियन (The Librarian) जाँचता है कि क्या नियामक नियम वास्तविक हैं।
अकाउंटेंट (The Accountant) सबसे महत्वपूर्ण है। यदि AI कहता है, "प्रॉफिट मार्जिन 20% है," तो अकाउंटेंट केवल "20%" संख्या को नहीं खोजता। बल्कि, वह वास्तव में एक कैलकुलेटर निकालता है, कंपनी की तालिकाओं में मूल संख्याओं को ढूँढता है, और दोबारा गणना करता है यह देखने के लिए कि क्या यह वास्तव में 20% के बराबर है।

अधिकांश AI सिस्टम यहाँ विफल हो जाते हैं क्योंकि वे संख्याओं को शब्दों की तरह "पढ़ते" हैं; FinGround उन्हें एक मानव पेशेवर की तरह "गणना" करता है।

3. "फैक्ट-चेकर" एडिटर (ग्राउंडेड रिजनरेशन)

यदि सिस्टम को कोई झूठ मिलता है, तो वह केवल "ERROR!" चिल्लाकर रुक नहीं जाता। यह एक पेशेवर संपादक की तरह कार्य करता है।

यदि AI सहायक एक गलत वाक्य लिखता है, तो FinGround एक लाल पेन उठाता है, झूठ को काट देता है, और मूल दस्तावेजों में पाए गए वास्तविक तथ्यों का उपयोग करके उसे फिर से लिखता है। सबसे महत्वपूर्ण बात यह है कि यह "डिजिटल फुटनोट्स" जोड़ता है। यह केवल यह नहीं कहता कि, "लाभ $5B था,"* बल्कि यह कहता है, *"लाभ$ 5B था [देखें पेज 12, टेबल 3, रो 2]।" यह मनुष्यों को सेकंडों में सत्य को सत्यापित करने की अनुमति देता है।

यह क्यों मायने रखता है? (मुख्य बात)

शोधकर्ताओं ने इसे केवल "स्मार्ट" बनाने के लिए नहीं बनाया; उन्होंने इसे सस्ता और तेज़ बनाने के लिए बनाया।

उन्होंने एक विशाल, महंगे "दिमाग" (GPT-4o) को लिया और उसके ज्ञान को एक बहुत छोटे, हल्के "दिमाग" (एक 8B मॉडल) में "डिस्टिल" (निचोड़) दिया। यह इस सिस्टम को बनाता है:

प्रति दावा 18 गुना तेज़।
चलाने के लिए 15 गुना सस्ता।
अत्यधिक विश्वसनीय, उन गणितीय त्रुटियों को पकड़ने में जो आमतौर पर सबसे स्मार्ट AI को भी उलझा देती हैं।

संक्षेप में: FinGround एक "आत्मविश्वास से कहानी सुनाने वाले" को एक "कठोर ऑडिटर" में बदल देता है, जिससे AI वैश्विक वित्त की उच्च-दांव वाली दुनिया के लिए सुरक्षित हो जाता है।

तकनीकी सारांश: FinGround: वित्तीय मतिभ्रम (Financial Hallucinations) का पता लगाना और उन्हें आधार प्रदान करना

1. समस्या विवरण

वित्तीय सेवाओं में उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण विश्वसनीयता संबंधी समस्याओं का सामना करते हैं, जिनमें मेट्रिक्स का निर्माण, नियामक उद्धरणों (regulatory citations) का आविष्कार, और व्युत्पन्न गणनात्मक मात्राओं (जैसे अनुपात) में त्रुटियां शामिल हैं। ये "मतिभ्रम" (hallucinations) वित्त के क्षेत्र में विशेष रूप से खतरनाक हैं, जहाँ सटीकता एक नियामक आवश्यकता है (जैसे, EU AI Act)।

अस्तित्व में मौजूद मतिभ्रम पहचान विधियाँ वित्तीय डोमेन में तीन विशिष्ट कारणों से विफल रहती हैं:

समान उपचार (Uniform Treatment): वे सभी दावों के साथ एक जैसा व्यवहार करती हैं, और संख्यात्मक या गणनात्मक दावों के लिए विशेष तर्क (जैसे अंकगणितीय पुन: गणना) लागू करने में विफल रहती हैं।
संरचनात्मक जागरूकता का अभाव (Lack of Structural Awareness): वे तालिकाओं के भीतर संरचित डेटा के विरुद्ध दावों को सत्यापित करने में संघर्ष करती हैं, जिससे "डैंगलिंग साइटेशन" (dangling citations) या गलत सेल एट्रिब्यूशन होता है।
तर्क बनाम पुनर्प्राप्ति (Reasoning vs. Retrieval): वर्तमान प्रणालियाँ अक्सर पुनर्प्राप्ति की गुणवत्ता (retrieval quality) और सत्यापन क्षमता (verification capability) को मिला देती हैं, जिससे यह अलग करना कठिन हो जाता है कि क्या कोई प्रणाली इसलिए विफल हो रही है क्योंकि वह डेटा ढूँढ नहीं पा रही है या क्योंकि वह तर्क को सत्यापित नहीं कर पा रही है।

2. कार्यप्रणाली: FINGROUND पाइपलाइन

लेखक एक तीन-चरणीय "सत्यापित-फिर-आधारित" (verify-then-ground) पाइपलाइन का प्रस्ताव करते हैं जो वित्तीय दस्तावेजों (पाठ और तालिका) की हाइब्रिड प्रकृति को संभालने के लिए डिज़ाइन की गई है।

चरण 1: वित्त-जागरूक हाइब्रिड रिट्रीवल (Finance-Aware Hybrid Retrieval):
सिस्टम प्रश्नों को तीन जटिलता स्तरों (सरल, मध्यम, जटिल) में रूट करने के लिए एक RoBERTa-आधारित क्लासिफायर का उपयोग करता है। यह BM25, डेंस रिट्रीवल (E5-large), और एक संरचना-जागरूक तालिका निष्कर्षण विधि का संयोजन करते हुए एक हाइब्रिड रिट्रीवल रणनीति अपनाता है, जो सेल सामग्री और कॉलम हेडर दोनों पर विचार करने वाला एक समानता फंक्शन (similarity function) उपयोग करता है। यह सटीक एट्रिब्यूशन के लिए आवश्यक रो-कॉलम संबंधों को सुरक्षित रखता है।
चरण 2: परमाणु वित्तीय दावा सत्यापन (Atomic Financial Claim Verification):
पूरे पैराग्राफ को सत्यापित करने के बजाय, सिस्टम उत्तरों को परमाणु दावों (atomic claims) में विभाजित करता है। इन दावों को एक विशेष छह-प्रकार के वर्गीकरण (taxonomy) में वर्गीकृत किया जाता है: संख्यात्मक (Numerical), टेम्पोरल (Temporal), एंटिटी-एट्रिब्यूट (Entity-Attribute), तुलनात्मक (Comparative), नियामक (Regulatory), और गणनात्मक (Computational)।
- प्रकार-रूटेड सत्यापन (Type-Routed Verification): प्रत्येक प्रकार एक विशिष्ट रणनीति का उपयोग करता है। विशेष रूप से, गणनात्मक (Computational) दावों के लिए "फॉर्मूला रिकंस्ट्रक्शन" किया जाता है, जहाँ सिस्टम निहित फॉर्मूले की पहचान करता है, तालिकाओं से ऑपरेंड्स (operands) प्राप्त करता है, और $\pm0.5\%$ टॉलरेंस के साथ मान की पुन: गणना करता है।
- निर्णय (Verdict): एक डिस्टिल्ड (distilled) 8B मॉडल दावों को समर्थित (Supported), खंडित (Contradicted), या अवेरिफिएबल (Unverifiable) के रूप में वर्गीकृत करता है।
चरण 3: ग्राउंडेड रिजनरेशन (Grounded Regeneration):
उन दावों के लिए जिन्हें खंडित या अवेरिफिएबल के रूप में चिह्नित किया गया है, सिस्टम लक्षित पुनर्लेखन (targeted rewriting) करता है। यह पैराग्राफ या विशिष्ट तालिका-सेल स्तर (जैसे, [Table 2, Row: Gross Margin, Col: Q4 2023]) पर सूक्ष्म उद्धरण संलग्न करता है। यदि किसी उत्तर में बहुत अधिक सुधारों ( $\ge3$ ) की आवश्यकता होती है, तो सिस्टम त्रुटियों के संचय को रोकने के लिए पूर्ण पुन: जनरेशन (re-generation) को ट्रिगर करता है।

3. मुख्य योगदान

डोमेन-विशिष्ट वर्गीकरण (Taxonomy): एक मान्य छह-प्रकार का वित्तीय दावा वर्गीकरण जो विशेष सत्यापन (विशेष रूप से अंकगणित के लिए) को सक्षम बनाता है।
रिट्रीवल-इक्वलाइज्ड इवैल्यूएशन (Retrieval-Equalized Evaluation): एक नया पद्धतिगत मानक जहाँ सभी बेसलाइन्स को समान रिट्रीवल मिलता है, जिससे शोधकर्ता सत्यापन आर्किटेक्चर के वास्तविक मूल्य को रिट्रीवल इंजन से अलग कर सकते हैं।
कुशल डिस्टिलेशन (Efficient Distillation): लेखकों ने GPT-4o की क्षमताओं को एक 8B Llama-3 मॉडल में डिस्टिल किया है, जिससे $91.4\%$ F1 डिटेक्शन सटीकता प्राप्त हुई, जबकि प्रति-दावा विलंबता (latency) में $18\times$ की कमी और लागत में $15.7\times$ की कमी आई।
संरचनात्मक एट्रिब्यूशन (Structural Attribution): सटीक तालिका-सेल-स्तर के ग्राउंडिंग के लिए एक तंत्र, जो मानक RAG में सामान्य "डैंगलिंग साइटेशन" समस्या को संबोधित करता है।

4. मुख्य परिणाम

मतिभ्रम में कमी: FINGROUND ने प्रमुख बेंचमार्क (FinQA, TAT-QA, FinanceBench) में GPT-4o + Chain-of-Thought (CoT) की तुलना में मतिभ्रम दरों में 78% सापेक्ष कमी हासिल की।
सत्यापन मूल्य: रिट्रीवल-इक्वलाइज्ड स्थितियों के तहत, FINGROUND ने सबसे मजबूत बेसलाइन्स पर मतिभ्रम दरों को 68–76% तक कम कर दिया, जो इसके आर्किटेक्चर के स्वतंत्र मूल्य को सिद्ध करता है।
गणनात्मक सटीकता: फॉर्मूला रिकंस्ट्रक्शन रणनीति ने भारी उछाल प्रदान किया, विशेष रूप से जेनेरिक डिटेक्टर्स की तुलना में गणनात्मक दावों के लिए F1 को 18.9 अंक तक बढ़ा दिया।
प्रोडक्शन व्यवहार्यता: डिस्टिल्ड 8B मॉडल लगभग $0.003 प्रति क्वेरी की तैनाती लागत सक्षम करता है, जो उच्च-मात्रा वाले वित्तीय वातावरण के लिए आर्थिक रूप से व्यवहार्य है।
मानव संरेखण (Human Alignment): 24 वित्तीय विश्लेषकों के साथ एक पायलट अध्ययन ने उच्च व्यावहारिक स्वीकार्यता (औसत 4.1/5) और स्थिर "अलर्ट फटीग" (alert fatigue) स्तर दिखाया।

5. महत्व

FINGROUND "सामान्य-उद्देश्य" वाले मतिभ्रम डिटेक्शन से "डोमेन-जागरूक" सत्यापन की ओर एक बदलाव का प्रतिनिधित्व करता है। वित्तीय डेटा को एक संरचित, मल्टी-मोडल समस्या (पाठ + गणित + तालिका) के रूप में मानकर, यह EU AI Act जैसे आगामी नियमों के सख्त सटीकता और व्याख्यात्मकता जनादेशों को पूरा करने के लिए एक प्रोडक्शन-रेडी मार्ग प्रदान करता है। इसकी सेल-स्तर के साइटेशन प्रदान करने की क्षमता AI को एक "ब्लैक बॉक्स" से बदलकर पेशेवर विश्लेषकों के लिए एक सत्यापन योग्य उपकरण में परिवर्तित कर देती है।