Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling
यह शोध पत्र एक मल्टी-लेवल बूटस्ट्रैपिंग दृष्टिकोण पेश करके जनरेटिव एआई मूल्यांकन में पुनरुत्पादकता संकट (reproducibility crisis) को संबोधित करता है जो सांख्यिकीय सार्थकता के लिए आवश्यक मदों (items) की संख्या और प्रति मद प्रतिक्रियाओं के बीच इष्टतम संतुलन निर्धारित करने हेतु एनोटेटर भिन्नता को मॉडल करने के लिए स्थायी रेटर आइडेंटिफायर वाले बड़े पैमाने के डेटासेट का लाभ उठाता है।