AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA

तकनीकी सारांश: AgentFinVQA

समस्या विवरण

विनियमित वातावरण (regulated environments) में वित्तीय चार्ट प्रश्न-उत्तर (QA) तीन चुनौतियों का सामना करता है जिन्हें मौजूदा समाधान एक साथ हल करने में विफल रहते हैं:

1. ऑडिटेबिलिटी (Auditability): विशेषज्ञों को उत्तरों पर भरोसा करने के लिए तर्क की दृश्यता की आवश्यकता होती है, फिर भी वर्तमान एजेंट अक्सर अपारदर्शी "ब्लैक बॉक्स" होते हैं।
2. डेटा रेजिडेंसी (Data Residency): कई वित्तीय संस्थानों को संवेदनशील क्लाइंट डेटा को बाहरी API प्रदाताओं को भेजने की अनुमति नहीं होती है, जिससे ऑन-प्रीमिस परिनियोजन (on-premise deployment) आवश्यक हो जाता है।
3. सटीकता बनाम पारदर्शिता (Accuracy vs. Transparency): मौजूदा सिस्टम या तो मालिकाना APIs का उपयोग करके कच्ची सटीकता को प्राथमिकता देते हैं (जिसमें ऑडिट ट्रेल की कमी होती है) या स्थानीय फाइन-ट्यूनिंग और सेगमेंटेशन मॉडल पर निर्भर करते हैं जिन्हें तैनात करना और ऑडिट करना कठिन होता है।

वर्तमान एजेंटिक फ्रेमवर्क अक्सर छवियों को हेरफेर करने के लिए स्थानीय कंप्यूटर-विज़न टूल पर निर्भर करते हैं या एनोटेटेड डेटासेट पर भारी फाइन-ट्यूनिंग की आवश्यकता होती है, जो विनियमित क्षेत्रों के लिए प्रवेश बाधाएं उत्पन्न करता है। एक ऐसे सिस्टम के लिए अंतराल है जो केवल प्रॉम्पटिंग-आधारित (कोई स्थानीय सेगमेंटेशन या कार्य-विशिष्ट फाइन-ट्यूनिंग नहीं), पूर्णतः ऑडिट करने योग्य, और बिना महत्वपूर्ण सटीकता हानि के ओपन-वेट मॉडल्स पर तैनात करने योग्य हो।

कार्यप्रणाली: AgentFinVQA पाइपलाइन

लेखक AgentFinVQA का प्रस्ताव करते हैं, जो एक मल्टी-एजेंट पाइपलाइन है जो चार्ट QA को क्रमिक, पता लगाने योग्य चरणों में विभाजित करती है। सिस्टम एक वित्तीय चार्ट छवि ($c$), एक प्राकृतिक भाषा प्रश्न ($q$), और वैकल्पिक बहुविकल्पीय विकल्पों ($O$) पर कार्य करता है।

मुख्य आर्किटेक्चर

पाइपलाइन एक निश्चित क्रम में चरणों को निष्पादित करती है: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify। प्रत्येक चरण इनपुट, आउटपुट और टूल ट्रेसेस को एक मॉडल इवैल्यूएशन पैकेट (MEP) में लिखता है, जो एक पोर्टेबल JSON आर्टिफैक्ट है जो पूर्ण ऑडिटेबिलिटी और पोस्ट-हॉक त्रुटि एट्रिब्यूशन को सक्षम बनाता है।

1. प्लानर (Planner): एक टेक्स्ट-ओनली LLM प्रश्न और MCQ विकल्पों का विश्लेषण करता है (छवि देखे बिना) ताकि एक संरचित JSON निरीक्षण योजना तैयार की जा सके। यह प्रश्न के प्रकार को वर्गीकृत करता है और बाद के विजन एजेंट को निर्देश देता है कि सिंगल-सेलेक्ट बनाम मल्टी-सेलेक्ट प्रश्नों को कैसे संभालना है।
2. OCR रीडर (OCR Reader): एक केंद्रित विजन लैंग्वेज मॉडल (VLM) कॉल सभी दृश्यमान टेक्स्ट (एक्सिस लेबल, टिक्स, लीजेंड्स, एनोटेशन) को संरचित मेटाडेटा में ट्रांसक्राइब करता है। यह विजन एजेंट को बाद में टेक्स्ट गलत पढ़ने से रोकता है।
3. लीजेंड ग्राउंडर (Legend Grounder): एक लक्षित VLM कॉल लीजेंड प्रविष्टियों को विजुअल गुणों (रंग विवरण, अनुमानित RGB, लाइन स्टाइल) के साथ मैप करता है। यह मैप स्पष्ट साक्ष्य के रूप में विजन प्रॉम्प्ट में इंजेक्ट किया जाता है, जिसमें एक अनुपालन जांच शामिल है जो सुनिश्चित करती है कि विजन एजेंट इन लेबल्स को संदर्भित करे।
4. कलर-एरिया टूल (Colour-Area Tool): एक नियतात्मक, नियम-आधारित पिक्सेल-काउंटिंग चरण (OpenCV का उपयोग करके) जो बार/पाई/डोनट चार्ट के लिए सक्रिय होता है जिसमें तुलनात्मक कीवर्ड होते हैं। यह लीजेंड मैप के आधार पर प्रति सीरीज़ पिक्सेल गिनने के लिए HSV कलर मास्क लागू करता है, जिससे विजन एजेंट को एक "डोमिनेंट-लेबल हिंट" प्राप्त होता है। इस चरण के लिए किसी GPU या प्रशिक्षित मॉडल की आवश्यकता नहीं है।
5. विजन एजेंट (Vision Agent): एक ऑर्केस्ट्रेटेड एजेंट (CrewAI का उपयोग करके) चार्ट इमेज, OCR मेटाडेटा, लीजेंड मैप और कलर-एरिया हिंट्स का उपयोग करके निरीक्षण योजना को निष्पादित करता है। यह एक ड्राफ्ट उत्तर और प्रति-विकल्प आत्मविश्वास स्कोर उत्पन्न करता है। एक "फोर्स्ड-चॉइस रिट्राय" तंत्र MCQ ओवर-रिफ्यूजल को संभालता है।
6. वेरिफायर (Verifier): एक स्वतंत्र VLM कॉल ड्राफ्ट उत्तर का चार्ट इमेज के विरुद्ध ऑडिट करता है। यह एक CONFIRM या REVISE निर्णय जारी करता है, साथ ही एक स्व-रिपोर्ट किया गया आत्मविश्वास स्कोर भी देता है। एक कॉन्फिडेंस गेट (थ्रेशोल्ड 0.75) कम-आत्मविश्वास वाले संशोधनों को उच्च-गुणवत्ता वाले विजन आउटपुट को ओवरराइड करने से रोकता है।

परिनियोजन लचीलापन (Deployment Flexibility)

सिस्टम एक कॉन्फ़िगर करने योग्य बैकएंड एब्स्ट्रैक्शन का उपयोग करता है। यह मालिकाना APIs (जैसे Gemini-3 Flash) और स्थानीय रूप से सर्व किए गए ओपन-वेट मॉडल्स (जैसे vLLM के माध्यम से Qwen3.6-27B-FP8) का समर्थन करता है। यह संस्थानों को पूरे पाइपलाइन को एक एकल A100 GPU पर ऑन-प्रीमिस चलाने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि डेटा कभी भी उनके बुनियादी ढांचे से बाहर न जाए।

प्रमुख योगदान

1. AgentFinVQA पाइपलाइन: एक प्रॉम्प्टिंग-ओनली, मल्टी-एजेंट फ्रेमवर्क जो चार्ट QA को विशिष्ट चरणों में विभाजित करता है, और पूर्ण ऑडिटेबिलिटी के लिए हर क्रिया को एक ट्रैसेबल MEP में रिकॉर्ड करता है।
2. ओपन-वेट व्यवहार्यता (Open-Weight Viability): अनुभवजन्य प्रमाण कि एजेंटिक डिकंपोजिशन के सटीकता लाभ मालिकाना बैकबोन से स्थानीय रूप से सर्व किए गए ओपन-वेट मॉडल्स में भी स्थानांतरित होते हैं, जो मामूली सटीकता ट्रेड-ऑफ के साथ इन-हाउस परिनियोजन का समर्थन करते हैं।
3. कॉन्फिडेंस-आधारित रूटिंग (Confidence-Based Routing): वेरिफायर का निर्णय एक व्यावहारिक कॉन्फिडेंस सिग्नल के रूप में कार्य करता है। "Revised" उत्तरों को मानव समीक्षा के लिए फ्लैग किया जाता है, जबकि "Confirmed" उत्तरों को कम प्राथमिकता दी जाती है, जो मानव-इन-द-लूप वर्कफ़्लो को अनुकूलित करता है।

परिणाम

FinMME बेंचमार्क (~11,000 नमूने) पर मूल्यांकन करते हुए, AgentFinVQA मॉडल-मैच्ड ज़ीरो-शॉट बेसलाइन्स की तुलना में महत्वपूर्ण सुधार प्रदर्शित करता है:

• मालिकाना बैकबोन (Gemini-3 Flash):
  • माध्य सटीकता: 71.24% बनाम 63.56% (Zero-shot)।
  • सुधार: +7.68 प्रतिशत अंक (pp)।
  • MCQ सटीकता: +8.1 pp।
  • सांख्यिकीय महत्व: McNemar $p \approx 1.1 \times 10^{-16}$।
• ओपन-वेट बैकबोन (Qwen3.6-27B-FP8, लोकल):
  • माध्य सटीकता: 66.52% बनाम 61.68% (Zero-shot)।
  • सुधार: +4.84 pp।
  • MCQ सटीकता: +5.3 pp।
  • सांख्यिकीय महत्व: McNemar $p \approx 3.0 \times 10^{-6}$।
  • नोट: ओपन-वेट मॉडल ने ओपन-एंडेड प्रश्नों पर कोई विश्वसनीय लाभ नहीं दिखाया (-1.0 pp), जो ऑन-प्रीमिस सेटिंग्स में कठिन प्रश्न प्रकारों के लिए एक मामूली सटीकता लागत का सुझाव देता है।

त्रुटि विश्लेषण और वेरिफायर उपयोगिता

• विफलता मोड (Failure Modes): लगभग दो-तिहाई विफलताएं प्रश्न की गलत समझ, लीजेंड भ्रम, और एक्सट्रैक्शन त्रुटियों से उत्पन्न होती हैं।
• वेरिफायर प्रदर्शन: वेरिफायर कुछ श्रेणियों में त्रुटियों की प्रभावी ढंग से पहचान करता है लेकिन प्रश्न की गलत समझ और लीजेंड भ्रम का पता लगाने में सबसे कम प्रभावी है।
• रूटिंग सिग्नल: वेरिफायर द्वारा "Confirmed" के रूप में चिह्नित किए गए उत्तरों ने 68.2% सटीक सटीकता प्राप्त की, जबकि "Revised" उत्तरों के लिए यह 55.6% थी। यह सुझाव देता है कि वेरिफायर उन ~19% आउटपुट्स को सफलतापूर्वक रूट कर सकता है जिनके गलत होने की संभावना सबसे अधिक है, जबकि शेष ~81% को उच्च विश्वास के साथ ट्रस्ट किया जा सकता है।

महत्व और दावे

पेपर का दावा है कि ऑडिट करने योग्य, ऑन-प्रीमिस वित्तीय चार्ट QA व्यावहारिक है। यह प्रदर्शित करता है कि:

• एजेंटिक डिकंपोजिशन स्थानीय कंप्यूटर-विज़न मॉडल्स या कार्य-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता के बिना ज़ीरो-शॉट बेसलाइन्स की तुलना में सटीकता में महत्वपूर्ण सुधार करता है।
• ये लाभ मालिकाना APIs पर निर्भर नहीं हैं; वे स्थानीय रूप से सर्व किए गए ओपन-वेट मॉडल्स के साथ भी बने रहते हैं, जो पूर्ण डेटा रेजिडेंसी को सक्षम करते हैं।
• वेरिफायर का एकीकरण "कॉन्फिडेंस-आधारित मानव समीक्षा रूटिंग" के लिए एक तंत्र प्रदान करता है, जो विनियमित वित्तीय सेटिंग्स के अनुकूल स्वचालन और ऑडिटेबिलिटी के बीच एक व्यावहारिक समझौता पेश करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें क्रॉस-डेटासेट सामान्यीकरण परीक्षण की कमी (केवल FinMME का उपयोग किया गया), ओपन-वेट मॉडल्स के लिए ओपन-एंडेड प्रश्नों पर मामूली सटीकता लागत, और यह तथ्य कि वेरिफायर का कॉन्फिडेंस स्व-रिपोर्ट किया गया है न कि कैलिब्रेटेड है, शामिल है। वे नोट करते हैं कि कलर-एरिया टूल का प्राथमिक मूल्य समग्र सटीकता लिफ्ट के बजाय आर्किटेक्चरल (नियतात्मक ग्राउंडिंग और ऑडिट ट्रेस) है, क्योंकि यह केवल 5% डेटासेट पर सक्रिय होता है।