Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
تكشف هذه الورقة أن الاختلاف الجوهري بين الخبراء والمشاركين من الجمهور على مستوى العناصر يتم حجبه بسبب صغر حجم لوحات المتصدرين، مما يخلق شعوراً زائفاً بالاستقرار في تصنيفات النماذج يفشل في التعميم مع زيادة عدد النماذج.