💬 NLP
SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages
यह शोध पत्र SEATauBench प्रस्तुत करता है, जो दक्षिण-पूर्व एशियाई संप्रभु एआई (sovereign AI) के लिए पहला मूल्यांकन ढांचा है जो TauBench को पांच क्षेत्रीय भाषाओं के अनुकूल बनाता है, जिससे यह पता चलता है कि हालांकि अंग्रेजी एजेंट की क्षमताएं स्थानीयकृत बातचीत में अच्छी तरह से स्थानांतरित होती हैं, लेकिन जैसे-जैसे कार्य संदर्भ और टूल विशिष्टताएँ पूरी तरह से स्थानीयकृत होती हैं, उनका प्रदर्शन और मजबूती काफी कम हो जाती है।