💬 NLP
SPLIT: Cross-Lingual Empathy and Cultural Grounding in English and Ukrainian LLM Responses
यह शोध पत्र SPLIT को प्रस्तुत करता है, जो एक 500-प्रॉम्प्ट बेंचमार्क है जो अंग्रेजी और यूक्रेनी एलएलएम (LLM) प्रतिक्रियाओं में क्रॉस-लिंगुअल सहानुभूति और सांस्कृतिक आधार का मूल्यांकन करता है, जो कुछ मॉडलों के लिए यूक्रेनी में महत्वपूर्ण प्रदर्शन गिरावट, मानव और एआई मूल्यांकनकर्ताओं के बीच कमजोर सहमति, और यूक्रेनी पाठ उत्पन्न करने तथा सांस्कृतिक रूप से उपयुक्त भावनात्मक सहायता प्रदान करने के बीच महत्वपूर्ण अंतर को प्रकट करता है।