GSM-SEM: Benchmark and Framework for Generating Semantically Variant Augmentations
यह शोध पत्र GSM-SEM को प्रस्तुत करता है, जो एक स्टोकेस्टिक ढांचा (stochastic framework) है जो LLM मूल्यांकन में मेमोराइजेशन बायस (memorization bias) को कम करने के लिए अर्थपूर्ण रूप से विविध और तथ्यात्मक रूप से परिवर्तित बेंचमार्क वेरिएंट उत्पन्न करता है, जो इन गतिशील रूप से पुनर्जीवित डेटासेट पर परीक्षण किए जाने पर अत्याधुनिक मॉडलों के प्रदर्शन में महत्वपूर्ण गिरावट को प्रकट करता है।