💬 NLP
FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs
यह शोध पत्र FinAuditing प्रस्तुत करता है, जो वास्तविक XBRL फाइलिंग से प्राप्त एक बड़े पैमाने का, वर्गीकरण-संरेखित (taxonomy-aligned) बेंचमार्क है, जो तीन वित्तीय ऑडिटिंग कार्यों में 13 अत्याधुनिक LLMs की क्षमताओं का मूल्यांकन करता है, और संरचना-जागरूक अर्थ संबंधी मिलान (structure-aware semantic matching), संबंध निष्कर्षण (relationship extraction) और गणितीय तर्क (mathematical reasoning) करने की उनकी क्षमता में महत्वपूर्ण अंतराल को प्रकट करता है।
Yan Wang, Keyi Wang, Shanshan Yang, Jaisal Patel, Jeff Zhao, Fengran Mo, Xueqing Peng, Lingfei Qian, Jimin Huang, Guojun (…)2026-02-20