ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
यह शोधपत्र ShredBench प्रस्तुत करता है, जो कि फटे हुए दस्तावेज़ों के पुनर्निर्माण के चुनौतीपूर्ण कार्य पर मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) के मूल्यांकन के लिए एक स्वचालित पीढ़ी पाइपलाइन वाला एक नवीन बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल अखंड दस्तावेज़ों पर अपने प्रदर्शन की तुलना में दृश्य विच्छेदन (visual discontinuities) को जोड़ने के लिए आवश्यक सूक्ष्म-स्तरीय क्रॉस-मोडल तर्क करने में काफी संघर्ष करते हैं।