MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs
यह शोध पत्र MuseBench को प्रस्तुत करता है, जो विविध दृश्य-श्रव्य कलाओं में 4,000 से अधिक विशेषज्ञ-सत्यापित प्रश्नों वाला एक व्यापक बेंचमार्क है, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की इरादा-स्तर (intent-level) की तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है और जो रचनात्मक कलात्मक इरादे को समझने में वर्तमान एआई प्रणालियों और मानव विशेषज्ञों के बीच प्रदर्शन के एक महत्वपूर्ण अंतर को प्रकट करता है।