Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
Diese Arbeit zeigt auf, dass eine signifikante Diskrepanz zwischen Experten- und Crowd-Annotatoren auf Item-Ebene durch kleine Leaderboard-Größen maskiert wird, was ein falsches Gefühl von Stabilität in den Modell-Rankings erzeugt, das nicht generalisiert, sobald die Anzahl der Modelle steigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Im Wettlauf um den Bau intelligenterer künstlicher Intelligenz verlassen sich Forscher auf eine einfache, aber kraftvolle Idee: Um zu wissen, ob eine Maschine besser wird, muss man einen Menschen bitten, ihre Arbeit zu beurteilen. Dieser Prozess, bekannt als Präferenz-Benchmark, besteht darin, einem Menschen zwei verschiedene Antworten einer KI zu zeigen und zu fragen, welche davon besser ist. Die Sammlung dieser menschlichen Stimmen wird zum „Goldstandard“ – ein vertrauenswürdiger Referenzpunkt, an dem alle neuen Modelle gemessen werden. Jahrelang operierte das Feld auf einer stillschweigenden Annahme: Es spiele keine Rolle, welche Menschen für die Beurteilung eingestellt werden. Die vorherrschende Überzeugung war, dass einzelne Menschen zwar zufällige Fehler machen mögen, die Gruppe als Ganzes jedoch ein zuverlässiges Instrument darstellt, das eine einzige, stabile Wahrheit darüber misst, was eine gute Antwort ausmacht. Wenn diese Annahme hält, dann ist die spezifische Identität der Richter nur ein nebensächliches Detail, vergleichbar mit der Marke des Stifts, der zur Aufzeichnung des Ergebnisses verwendet wird.
Doch eine neue Untersuchung legt nahe, dass dieses Detail tatsächlich der wichtigste Teil der Gleichung ist. Forscher gingen die Untersuchung an, um zu testen, ob die Wahl der menschlichen Richter wirklich entscheidend ist, indem sie denselben Satz von KI-Vergleichen zweimal durchführten, unter Verwendung zweier völlig unterschiedlicher Personengruppen. Eine Gruppe bestand aus gewöhnlichen Crowdworkern, der Art von Menschen, die zu Tausenden für Online-Aufgaben engagiert werden. Die andere Gruppe setzte sich aus geprüften Fachexperten zusammen, Individuen mit spezialisiertem Wissen auf ihrem Gebiet. Die Forscher nahmen einen massiven Datensatz aus tausenden KI-Vergleichen und baten beide Gruppen, über die Gewinner abzustimmen. Sie fanden heraus, dass die beiden Personengruppen nicht so oft übereinstimmten, wie es das Feld voraussetzte. Bei fast jedem vierten Item wählten die beiden Gruppen unterschiedliche Mehrheitsgewinner. In fast einem von zehn Fällen wählten die Crowdworker und die Experten gegensätzliche Gewinner, wobei sie den Verlierer der einen Gruppe zum Champion der anderen erklärten.
Trotz dieser massiven Uneinigkeit auf der Ebene der einzelnen Items wirkte das Endergebnis täuschend stabil. Als die Forscher diese widersprüchlichen Stimmen nutzten, um die sechs im Rahmen der Studie untersuchten KI-Modelle zu ranken, war die endgültige Bestenliste unabhängig davon identisch, welche Gruppe von Menschen die Beurteilung vorgenommen hatte. Die Reihenfolge der Modelle änderte sich überhaupt nicht. Dies zeichnete ein verwirrendes Bild: Die Richter schrien unterschiedliche Antworten, doch die Bestenliste blieb stumm. Die Forscher erkannten, dass diese Stabilität nicht ein Zeichen eines robusten Systems war, sondern ein glücklicher Zufall, der durch die geringe Anzahl der verglichenen Modelle verursacht wurde. Da die Modelle in ihrer Leistung weit auseinanderlagen, waren die durch den Wechsel der Richter verursachten geringfügigen Verschiebungen in der Abstimmung nicht ausreichend, um ein Modell an einem anderen vorbeizuschieben.
Um zu testen, wie fragil diese Stabilität tatsächlich war, führten die Forscher Simulationen durch, um zu sehen, was passieren würde, wenn die Bestenliste größer wäre und Dutzende von Modellen enthielte, wie sie in realen Wettbewerben üblich sind. Die Ergebnisse waren drastisch. Während eine Bestenliste mit sechs Modellen unverändert blieb, würde bei einer Bestenliste mit nur zehn Modellen in 86 % der Fälle ein Modell verdrängt werden. Bei zwanzig Modellen lag die Chance auf eine Neustrukturierung bei nahezu einhundert Prozent. Die Studie kam zu dem Schluss, dass die derzeitige Praxis des Feldes, kleine Bestenlisten zu veröffentlichen, nur deshalb sicher ist, weil die Modelle wenige und weit voneinander entfernt sind. Wenn das Feld eine größere, realistischere Arena von Modellen veröffentlichen würde, würde die Wahl der menschlichen Richter die Ranglisten sofort durcheinanderbringen. Der „Goldstandard“ ist keine feste Wahrheit; er ist ein bewegliches Ziel, das sich verschiebt, je nachdem, wer engagiert wird, um das Maßband zu halten.
Die Untersuchung stoppte nicht bei den menschlichen Richtern. Die Forscher untersuchten auch, wie KI-Richter, die zunehmend eingesetzt werden, um diese Rankings zu automatisieren, mit der Uneinigkeit zwischen den menschlichen Gruppen umgehen. Sie testeten drei verschiedene KI-Richter, einschließlich Modellen verschiedener Unternehmen, um zu sehen, welcher Gruppe von Menschen sie eher zustimmten. Jeder einzelne KI-Richter stimmte signifikant mehr mit den Crowdworkern als mit den Experten überein. Dies deutet darauf hin, dass die KI-Richter gelernt haben, die Präferenzen der Menge nachzuahmen, höchstwahrscheinlich, weil die zur Ausbildung verwendeten Daten von ähnlichen Crowdworkern stammten. Die Forscher fanden heraus, dass die Übereinstimmung eines KI-Richters mit Menschen nicht nur ein Maß für seine Intelligenz ist, sondern auch ein Spiegelbild der Einstellungsentscheidungen, die vor Jahren bei der Erhebung der Trainingsdaten getroffen wurden.
Die Studie deckte auch auf, dass die Art und Weise, wie diese KI-Richter instruiert (gepromptet) werden, ihre Meinung stärker ändern kann als die Wahl der menschlichen Richter. Wenn die Forscher die Reihenfolge änderten, in der die Antworten präsentiert wurden, änderten die KI-Richter ihre Entscheidungen bei fast der Hälfte der Items (speziell 44,6 % für ein Modell). Darüber hinaus zeigte derselbe Richter, wenn die Forscher lediglich das Ausgabeformat änderten (die Abfrage eines JSON-Objekts gegenüber einem reinen Token), während alles andere gleich blieb, dass er nur in 47,2 % der Fälle mit sich selbst übereinstimmte, was eine systematische Verschiebung in eine Richtung aufzeigte. Diese Sensitivität gegenüber der Präsentationsreihenfolge und der Formatierung ist eine weita viel größere Fehlerquelle als der Unterschied zwischen Experten- und Crowd-Meinungen. Die Forscher argumentieren, dass das gesamte Feld die Art und Weise ändern muss, wie diese Ergebnisse berichtet werden. Einfach nur anzugeben, dass ein Modell in einem gewissen Prozentsatz mit Menschen übereinstimmt, ist unvollständig, ohne zu spezifizieren, welche Menschen verwendet wurden. Die Sicherheit aktueller Rankings ist eine Illusion, die durch kleine Stichprobenmengen erzeugt wird, und die Zuverlässigkeit zukünftiger Rankings hängt vollständig davon ab, anzuerkennen, dass die Wahl der Annotatoren kein nebensächliches Detail ist, sondern eine fundamentale Variable, die das Ergebnis formt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.