Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio
यह शोध पत्र MetaSyn प्रस्तुत करता है, जो पूर्ण साक्ष्य संश्लेषण पाइपलाइन पर LLM एजेंटों को बेंचमार्क करने के लिए डिज़ाइन किया गया Nature Portfolio से 442 विशेषज्ञ-क्यूरेटेड मेटा-विश्लेषणों का एक व्यापक डेटासेट है, जो यह प्रकट करता है कि जहाँ रिट्रीवल प्रदर्शन उच्च है, वहीं वर्तमान प्रणालियाँ विषयगत रूप से समान विचलित करने वाले तत्वों से पात्र अध्ययनों को अलग करने के स्क्रीनिंग चरण में गंभीर रूप से विफल रहती हैं।