When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
Diese Arbeit zeigt auf, dass die menschliche Validierung von Sicherheitsurteilen durch LLMs hochgradig instabil ist und von prozeduralen Faktoren wie Verblindung und der Anzahl der Annotatoren abhängt, was oft zu widersprüchlichen Ergebnissen führt, die willkürlich darüber entscheiden können, ob ein Modell Sicherheitsgrenzwerte erfüllt.