SPARTA: Scalable and Principled Benchmark of Tree-Structured Multi-hop QA over Text and Tables
यह शोध पत्र SPARTA को प्रस्तुत करता है, जो एक स्केलेबल और सिद्धांतवादी ढांचा है जो गहरे मल्टी-हॉप रीजनिंग और जटिल एग्रीगेशन के साथ बड़े पैमाने पर, उच्च-निष्ठा वाले टेबल-टेक्स्ट प्रश्न उत्तर बेंचमार्क को स्वचालित रूप से उत्पन्न करता है, जो मौजूदा बेंचमार्क की तुलना में वर्तमान अत्याधुनिक मॉडलों के प्रदर्शन में महत्वपूर्ण अंतराल को प्रकट करता है।