A Unifying Lens on Reward Uncertainty in RLHF
यह शोध पत्र RLHF में रिवॉर्ड हैकिंग को संबोधित करने के लिए एक डिस्ट्रीब्यूशनल रिवॉर्ड मॉडल का उपयोग करने का प्रस्ताव देता है, जो यह प्रदर्शित करता है कि एक KL-रेगुलराइज्ड ऑब्जेक्टिव एक क्लोज्ड-फॉर्म प्रभावी रिवॉर्ड प्रदान करता है जो विभिन्न निराशावादी ह्यूरिस्टिक्स (जैसे माध्य, वर्स्ट-केस, और अनसर्टेन्टी-वेटेड एग्रीगेशन) को एक एकल सैद्धांतिक ढांचे के तहत एकीकृत करता है।