"Be My Cheese?": Cultural Nuance Benchmarking for Machine Translation in Multilingual LLMs
यह शोध पत्र "Be My Cheese?" को प्रस्तुत करता है, जो बहुभाषी LLMs में सांस्कृतिक स्थानीयकरण का मूल्यांकन करने वाला पहला बड़े पैमाने पर मानव-एनोटेटेड बेंचमार्क है, जो यह प्रकट करता है कि जहाँ अत्याधुनिक मॉडल मामूली व्याकरणिक गुणवत्ता प्राप्त करते हैं, वहीं वे छुट्टियों और सांस्कृतिक अवधारणाओं की तुलना में मुहावरों और पहेलियों जैसे सांस्कृतिक रूप से सूक्ष्म तत्वों के साथ काफी संघर्ष करते हैं।