💻 computer science
EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements
यह शोध पत्र EDINET-Bench प्रस्तुत करता है, जो दस वर्षों की जापानी वित्तीय रिपोर्टों से प्राप्त एक चुनौतीपूर्ण ओपन-सोर्स बेंचमार्क है, जिसका उद्देश्य धोखाधड़ी का पता लगाने और आय के पूर्वानुमान जैसे जटिल कार्यों पर LLMs का मूल्यांकन करना है, जो यह प्रकट करता है कि वर्तमान मॉडल विशेष स्कैफोल्डिंग के बिना काफी संघर्ष करते हैं और अधिक यथार्थवादी मूल्यांकन ढांचे की आवश्यकता पर प्रकाश डालता है।