Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence
تجادل هذه الورقة بأن تقييم المصنفات مقابل مقيمين فرديين ومتوسط النتائج هو أكثر منهجية من استخدام أغلبية الأصوات عندما تفتقر الأحكام البشرية إلى الموضوعية أو التجرد، وتطرح مفهوم "تكافؤ المقيم" كمعيار لتحديد الحد الأدنى من عدد المقيمين اللازم لمطابقة أداء المصنف.