A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation
यह शोध पत्र A2RBench प्रस्तुत करता है, जो अद्वितीय समाधान सुनिश्चित करने के लिए चक्र निरंतरता (cycle consistency) का उपयोग करके औपचारिक रूप से सत्यापन योग्य अमूर्त तर्क बेंचमार्क उत्पन्न करने के लिए एक स्वचालित पाइपलाइन है, जो यह प्रकट करता है कि वर्तमान LLMs अमूर्त तर्क में मनुष्यों की तुलना में काफी खराब प्रदर्शन करते हैं और उच्च-आयामी कार्यों के साथ संघर्ष करते हैं।