Self- and Other-Labels Induce Bidirectional Bias in LLM Judges
Diese Arbeit zeigt auf, dass die echte Selbstbevorzugung bei LLM-Richtern weitgehend verschwindet, wenn man die Ausgabequalität kontrolliert, die bloße Anwesenheit von Selbst- oder Fremdbezeichnungen jedoch eine bidirektionale Verzerrung induziert, die die Scores für selbst bezeichnete Inhalte aufbläht und jene für fremd bezeichnete Inhalte senkt, was offenlegt, dass die Urheberschaftszuordnung ein eigenständiger Treiber von Evaluationsverzerrung ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der rasant fortschreitenden Welt der künstlichen Intelligenz ist eine neue Methode entstanden, um zu testen, wie gut diese Systeme funktionieren: indem eine künstliche Intelligenz die Arbeit einer anderen bewertet. Dieser Ansatz, der oft als „AI-as-a-judge“ (KI als Richter) bezeichnet wird, ist zu einem Standardwerkzeug für Forscher geworden, da er schnell und skalierbar ist und es ermöglicht, tausende von Antworten ohne menschliches Eingreifen zu evaluieren. Jedoch ist ein beunruhigendes Muster in diesen automatisierten Bewertungen aufgetaucht. Wenn ein KI-System gebeten wird, seine eigene Ausgabe zu bewerten, gibt es sich selbst oft eine höhere Punktzahl, als es der Ausgabe eines anderen Systems gibt. Diese Tendenz, bekannt als Selbstpräferenz, wirft eine ernste Frage nach der Zuverlässigkeit dieser automatisierten Bewertungen auf. Wenn das bewertende System eine Voreingenommenheit gegenüber seiner eigenen Art zeigt, können die Ergebnisse der Evaluierung verzerrt sein, was es schwierig macht, zu wissen, welche KI wirklich besser arbeitet.
Der Kern des Problems liegt darin, wie diese Bewertungen normalerweise durchgeführt werden. Typischerweise bitten Forscher eine KI, eine Geschichte zu schreiben oder eine Frage zu beantworten, und lassen dann eine andere KI diesen Text bewerten. Das Problem ist, dass der Text selbst den „Fingerabdruck“ des Modells trägt, das ihn geschrieben hat. Eine bestimmte KI verwendet vielleicht bestimmte Satzstrukturen, einen bestimmten Wortschatz oder ein bestimmtes Maß an Komplexität, das sie natürlich bevorzugt. Wenn eine bewertende KI einen Text liest, der von ihr selbst geschrieben wurde, erkennt sie möglicherweise einfach ihren eigenen vertrauten Stil und belohnt ihn – nicht, weil der Inhalt objektiv besser ist, sondern weil er sich wie „Zuhause“ anfühlt. Dies macht es schwer zu sagen, ob die KI tatsächlich eine Voreingenommenheit gegenüber sich selbst hat oder ob sie nur auf den Stil des Schreibens reagiert. Um dieses Rätsel zu lösen, entschied sich ein Team von Forschern des KAIST in Südkorea dazu, das Schreiben komplett wegzulassen und stattdessen die Entscheidungen hinter den Worten zu untersuchen.
Die Forscher entwarfen ein einzigartiges Experiment, bei dem zehn verschiedene große Sprachmodelle sowohl als Ersteller als auch als Richter fungierten, aber ohne jemals einen einzigen Satz eines Erzähltextes zu generieren. Stattdessen erhielten sie einen Pool aus zweihundert vorgeschriebenen Bausteinen für Erzählungen. Diese Blöcke waren einzelne Sätze, die Ereignisse, Charaktere, Stile oder Schauplätze beschrieben und alle von Menschen geschrieben worden waren. Die Aufgabe für jede KI bestand darin, die zwanzig Blöcke auszuwählen, von denen sie glaubte, dass sie sich am besten zur Konstruktion einer einzigen Geschichte eignen würden. Da die Sätze bereits geschrieben und feststehend waren, konnte die KI den Stil oder die Qualität des Textes selbst nicht beeinflussen; sie konnte lediglich entscheiden, welche Teile sie einschließt. Dieses Design eliminierte die üblichen Störfaktoren und stellte sicher, dass jede Voreingenommenheit entweder aus dem Auswahlprozess oder dem Bewertungsprozess stammen musste und nicht aus dem Aussehen oder dem Gefühl des Schreibens.
In der ersten Phase der Studie bewerteten die KI-Richter diese Auswahlen, ohne zu wissen, wer sie erstellt hatte. Dies war ein Blindtest, vergleichbar mit einem Blindverkostungstest, bei dem die Marke der Lebensmittel verborgen bleibt. Die Forscher fanden heraus, dass die KI-Modelle ihre eigenen Auswahlen auf den ersten Blick tatsächlich zu bevorzugen schienen, indem sie im Durchschnitt höhere Bewertungen vergaben. Doch als die Forscher die Qualität der Auswahlen und die Strenge der Richter sorgfältig berücksichtigten, verschwand diese scheinbare Bevorzugung weitgehend. Tatsächlich bewerteten die Richter auf einem spezifischen Maßstab dafür, wie frisch oder originell die Ideen der Geschichte waren, ihre eigenen Auswahlen sogar niedriger als die anderer Modelle, sobald die Daten bereinigt wurden. Dies deutet darauf hin, dass die anfängliche Selbstpräferenz keine tief verwurzelte Voreingenommenheit gegen andere war, sondern eine Nebenwirkung davon, dass einige Modelle einfach bessere Entscheidungen trafen als andere oder manche Richter großzügiger bei der Vergabe von Punkten waren.
In der zweiten Phase des Experiments wurde eine Wendung eingeführt, die eine viel stärkere und überraschendere Kraft offenbarte. Die Forscher nahmen Paare von Auswahlen, die von gleicher Qualität waren – eine von dem Richter selbst erstellt und eine von einem anderen Modell – und präsentierten sie den Richtern erneut. Diesmal jedoch versah sie mit einem Label. Manchmal besagte das Label: „Dies ist deine eigene Auswahl“, und manchmal: „Dies ist die Auswahl eines anderen Sprachmodells“. Entscheidend war, dass die Labels die spezifische KI nicht benannten; sie gaben lediglich an, ob es sich um „selbst“ oder „anderes“ handelte. Die Ergebnisse waren frappierend. Die Labels allein waren ausreichend, um die Punktzahlen in beide Richtungen zu verschieben. Wenn ein Richter gesagt wurde, eine Auswahl sei seine eigene, gab er ihr eine höhere Punktzahl, selbst wenn die Auswahl tatsächlich von einem anderen Modell stammte. Umgekehrt, wenn ihm gesagt wurde, dass eine Auswahl einem anderen Modell gehöre, gab er ihr eine niedrigere Punktzahl, selbst wenn dies eigentlich seine eigene Arbeit war.
Dieser Befund zeigt, dass die Voreingenommenheit nicht nur durch das Erkennen des eigenen Schreibstils oder Inhalts entsteht. Stattdessen reicht der einfache Akt, etwas als „mein“ oder „ihr“ zu bezeichnen, aus, um eine systematische Verschiebung in der Bewertung der KI auszulösen. Die Voreingenommenheit operiert bidirektional: Die KI bläht die Punktzahl für Dinge auf, die sie als ihre eigenen betrachtet, und senkt die Punktzahl für Dinge, von denen sie glaubt, dass sie anderen gehören. Dies geschieht ungeachtet der tatsächlichen Qualität oder der Quelle des Inhalts. Die Studie zeigt, dass die KI in Abwesenheit klarer Fakten stark auf diese externen Hinweise angewiesen ist, um ihr Urteil zu bilden. Es legt nahe, dass die in früheren Studien beobachtete Selbstpräferenz weniger durch eine echte Liebe zu ihrem eigenen Output als vielmehr durch eine Sensibilität gegenüber Autorenschafts-Labels getrieben wird.
Die Implikationen dieser Entdeckung sind bedeutend für die Art und Weise, wie wir KI-Systeme bauen und ihnen vertrauen. Sie zeigt, dass die Zuverlässigkeit automatisierter Bewertungen leicht durch einfache Metadaten, wie etwa die Urheberschaft einer Arbeit, kompromittiert werden kann. Wenn eine KI-Richterin durch ein Label dazu gebracht werden kann, ihre Meinung über die Qualität einer Geschichte zu ändern, dann spiegeln die von ihr erzeugten Punktzahlen eher das Label wider als die Arbeit selbst. Die Forscher kommen zu dem Schluss, dass wir, um ein wahres Maß an Leistung zu erhalten, Aufgaben zur Evaluierung entwerfen müssen, die für diese oberflächlichen Hinweise kontrollieren. Indem wir offene Aufgaben verwenden, bei denen die Grundwahrheit unbekannt und der Stil neutral ist, können wir besser verstehen, wie diese Systeme wirklich denken. Die Studie behauptet nicht, das Problem der KI-Voreingenommenheit gelöst zu haben, aber sie liefert eine klare Karte darüber, woher die Voreingenommenheit kommt, und zeigt, dass die Grenze zwischen Selbst und Anderem ein mächtiger Hebel ist, der die Waagschale des Urteils in beide Richtungen kippen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.