LIT-RAGBench: Benchmarking Generator Capabilities of Large Language Models in Retrieval-Augmented Generation
यह शोध पत्र LIT-RAGBench को प्रस्तुत करता है, जो एक व्यापक बेंचमार्क डेटासेट और मूल्यांकन ढांचा है जिसे पांच महत्वपूर्ण श्रेणियों—इंटीग्रेशन (Integration), रीजनिंग (Reasoning), लॉजिक (Logic), टेबल (Table), और एब्स्टेंशन (Abstention)—में रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) में लार्ज लैंग्वेज मॉडल्स की क्षमताओं का व्यवस्थित रूप से आकलन करने के लिए डिज़ाइन किया गया है, जिसमें व्यावहारिक RAG परिनियोजन के लिए मॉडल चयन और विकास को निर्देशित करने हेतु मानव-निर्मित जापानी प्रश्नों और क्यूरेटेड अंग्रेजी अनुवादों के मिश्रण का उपयोग किया गया है।