RealFin: How Well Do LLMs Reason About Finance When Users Leave Things Unsaid?
यह शोध पत्र REALFIN को प्रस्तुत करता है, जो एक द्विभाषी बेंचमार्क है जो प्रश्नों से आवश्यक आधारों को हटाकर वित्तीय तर्क का मूल्यांकन करता है, जिससे यह पता चलता है कि सामान्य और वित्त-विशेषज्ञ दोनों प्रकार के LLMs लुप्त जानकारी को पहचानने में संघर्ष करते हैं और अक्सर अनुचित उत्तरों के प्रति अत्यधिक प्रतिबद्ध रहते हैं।