FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs
تقدم هذه الورقة FinAuditing، وهو معيار مرجعي واسع النطاق ومتوافق مع التصنيفات مستمد من تقارير XBRL حقيقية، يقيم قدرات 13 نموذجاً لغوياً كبيراً من أحدث الطرازات عبر ثلاث مهام تدقيق مالي، مما يكشف عن فجوات كبيرة في قدرتها على إجراء المطابقة الدلالية الواعية بالهيكل، واستخراج العلاقات، والاستدلال الرياضي.