Efficient Sequential Evaluation of Large Language Models
यह शोध पत्र टेस्ट सुपरमार्टिंगेल (test supermartingales) के माध्यम से कॉन्फिडेंस सीक्वेंस (confidence sequences) का निर्माण करके और मूल्यांकन लागत को कम करने के लिए एडेप्टिव क्वेरीइंग नियमों (adaptive querying rules) को डिजाइन करके बड़े भाषा मॉडलों के कुशल अनुक्रमिक मूल्यांकन (sequential evaluation) के लिए एक ढांचा प्रस्तावित करता है, जबकि यह भी प्रकट करता है कि सरल यूनिफॉर्म सैंपलिंग (uniform sampling) कभी-कभी जटिल एडेप्टिव रणनीतियों से बेहतर प्रदर्शन कर सकती है क्योंकि इसमें प्रेडिक्शन मिसमैच (prediction mismatches) और डिस्ट्रीब्यूशन स्पाइकीनेस (distribution spikiness) होती है।