ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks
यह शोध पत्र ActuBench को प्रस्तुत करता है, जो एक मल्टी-एजेंट LLM पाइपलाइन है जो IAA पाठ्यक्रम के अनुरूप उन्नत बीमांकिक (एक्चुअरियल) तर्क कार्यों के सृजन और मूल्यांकन को स्वचालित करता है, यह प्रदर्शित करते हुए कि स्वतंत्र सत्यापन आइटम की गुणवत्ता में महत्वपूर्ण सुधार करता है और यह भी प्रकट करता है कि स्थानीय रूप से होस्ट किए गए ओपन-वेट्स मॉडल बेहतर लागत-प्रदर्शन व्यापार-संबंधों (कॉस्ट-परफॉर्मेंस ट्रेड-ऑफ) की पेशकश करते हैं और शीर्ष-स्तरीय मॉडल क्षमताओं को सटीक रूप से विभेदित करने के लिए ओपन-एंडेड मूल्यांकन आवश्यक है।