Ask the Right Comparison:Bias-Aware Bayesian Active Top- Ranking with LLM Judges
यह शोध पत्र एक बायस-अवेयर (bias-aware) बेयसियन फ्रेमवर्क को टॉप--फोकस्ड एक्टिव एक्विजिशन रणनीति के साथ प्रस्तावित करता है ताकि शोरयुक्त और पक्षपाती (biased) एलएलएम (LLM) जजों से सर्वश्रेष्ठ वस्तुओं की सटीक पहचान की जा सके, जो यह प्रदर्शित करता है कि जज-विशिष्ट पूर्वाग्रहों (जैसे वर्बोसिटी और पोजीशन इफेक्ट्स) को स्पष्ट रूप से मॉडल करना, नैइव एग्रीगेशन या मानक एक्टिव लर्निंग विधियों की तुलना में रैंकिंग गुणवत्ता और दक्षता में महत्वपूर्ण सुधार करता है।