🤖 machine learning
A More Accurate Algorithm Comparison through A/B Testing using Offline Evaluation Methods
यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि ए/बी टेस्टिंग (A/B testing) हमेशा ऑफलाइन मूल्यांकन से बेहतर होती है, यह प्रकट करते हुए कि सकारात्मक सहसंबंध की कमी के कारण ए/बी टेस्टिंग में उच्च चयन त्रुटि दरें हो सकती हैं, और एक नए अनुमानक (estimator) का प्रस्ताव करता है जो एक काल्पनिक मध्य एल्गोरिदम के साथ चरणबद्ध तुलना के माध्यम से जानबूझकर इस सहसंबंध को प्रेरित करता है ताकि सटीक एल्गोरिदम चयन के लिए आवश्यक डेटा को महत्वपूर्ण रूप से कम किया जा सके।