MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation
यह शोध पत्र MGSM-Pro प्रस्तुत करता है, जो GSM-Symbolic बेंचमार्क का एक बहुभाषी विस्तार है जो कई अंक-परिवर्तित इंस्टेंशिएशन (digit-varying instantiations) उत्पन्न करके नौ भाषाओं में गणितीय तर्क संबंधी सुदृढ़ता का मूल्यांकन करता है, जिससे कम-संसाधन वाली भाषाओं में प्रदर्शन में महत्वपूर्ण गिरावट और ऐसे व्यवधानों के प्रति मॉडलों की भिन्न लचीलापन का पता चलता है।