Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

In der modernen digitalen Landschaft hat sich künstliche Intelligenz von einem Werkzeug, das lediglich Fragen beantwortet, zu einem System entwickelt, das die Qualität anderer Systeme beurteilt. Diese neue Rolle, die oft als „KI als Richter“ bezeichnet wird, findet zunehmend Anwendung beim Bewerten von Aufsätzen, beim Überprüfen von Code und beim Filtern von Inhalten, bevor diese einen menschlichen Leser erreichen. Die Annahme hinter dieser Praxis ist, dass der KI-Richter jedes Werk nach seinen eigenen Verdiensten bewertet und jede Einreichung als Neuanfang betrachtet. Die menschliche Psychologie kennt jedoch seit langem ein Phänomen namens Verankerung (Anchoring), bei dem die Schätzung oder Entscheidung einer Person subtil in Richtung einer Zahl gezogen wird, die sie zuvor gesehen hat, selbst wenn diese Zahl zufällig oder irrelevant war. Jahrzehntelang haben Forscher dies bei Menschen beobachtet, von der gerichtlichen Strafmaßfestsetzung bis hin zu Preisverhandlungen. Die entscheidende Frage für das digitale Zeitalter ist, ob dieselben menschenähnlichen Verzerrungen auch in den Maschinen existieren, denen wir Unparteilichkeit zutrauen. Wenn ein KI-Richter durch eine zuvor gesehene Punktzahl im Hintergrund beeinflusst wird, könnte das gesamte System der automatisierten Bewertung systematisch verzerrt werden, was zu ungerechten Ablehnungen oder Genehmigungen von Inhalten führt.

Ein Team von Forschern von Infobip setzte sich zum Ziel, diese Annahme direkt zu testen. Sie entwarfen ein Experiment, um zu sehen, ob sich die Punktzahl eines KI-Richters allein deshalb ändern würde, weil ihm eine vorherige Punktzahl von einem anderen Richter gezeigt wurde, selbst wenn diese vorherige Punktzahl völlig unzusammenhängend mit der aktuellen Arbeit war. Sie sammelten acht verschiedene große Sprachmodelle, die von massiven, leistungsstarken Systemen bis hin zu kleineren, effizienteren Modellen reichten, und baten sie, zwanzig verschiedene Texte zu bewerten. Diese Texte deckten vier verschiedene Bereiche ab: das Zusammenfassen von Artikeln, das Bewerten von Computercode, das Schreiben kreativer Geschichten und das Beantworten von Faktenfragen. Die Forscher erstellten drei verschiedene Szenarien für die KI-Richter. Im ersten Szenario sah der Richter nur die Aufgabe und den Text. Im zweiten Szenario sah der Richter den Text mit dem Hinweis, dass es sich um eine Überarbeitung handelte. Im dritten Szenario sah der Richter den Text zusammen mit einer Notiz, die eine spezifische Zahl enthielt, die eine „vorherige Punktzahl“ aus einem früheren Versuch darstellte. Entscheidend war, dass diese vorherigen Punktzahlen zufällig generierte Zahlen waren, die immer unter der Bestehensgrenze lagen, was bedeutete, dass sie darauf ausgelegt waren, nicht informativ und irrelevant zu sein.

Die Ergebnisse waren klar und konsistent über die meisten der getesteten Modelle hinweg. Wenn den KI-Richtern die zufällige vorherige Punktzahl gezeigt wurde, verschob sich ihre Bewertung signifikant nach unten. Anstatt den Text als ein eigenständiges Werk zu behandeln, schienen die Modelle ihr Urteil an dieser niedrigeren Zahl zu verankern. In der Studie zeigten sieben von acht Modellen einen statistisch signierenden Rückgang der Punktzahlen, wenn die vorherige Punktzahl vorhanden war. Der Effekt war nicht nur eine winzige Fluktuation; für einige Modelle war die Verschiebung groß genug, um das Ergebnis der Bewertung zu verändern. Beispielsweise führte das Vorhandensein einer vorherigen Punktzahl bei einem der getesteten leistungsstärksten Modelle dazu, dass die Akzeptanzrate des Textes um fast zweiundzwanzig Prozentpunkte sank. Das bedeutet, dass Inhalte, die als gute Qualität genehmigt worden wären, plötzlich abgelehnt wurden, nur weil der Richter im Hintergrund eine niedrigere Zahl gesehen hatte. Die Forscher fanden heraus, dass diese Verzerrung nicht einheitlich über alle Aufgabenarten hinweg auftrat; sie war im kreativen Schreiben und bei Faktenfragen am stärksten, während die Code-Überprüfung eine schwächere, inkonsistentere Reaktion zeigte.

Um zu verstehen, wie dies innerhalb der Maschine geschah, untersuchten die Forscher die spezifischen Wörter, die die Modelle bei der Generierung ihrer Punktzahlen berücksichtigten. Sie entdeckten ein Muster, das eher einem Umschalten als einem allmählichen Gleiten ähnelte. Als die vorherige Punktzahl eingeführt wurde, sank die Wahrscheinlichkeit des Modells, eine hohe Punktzahl zu wählen, drastisch, und die Wahrscheinlichkeit, eine niedrigere Punktzahl zu wählen, sprang nach oben. Eine Änderung des spezifischen Wertes dieser vorherigen Punktzahl schien jedoch nicht viel auszumachen; allein die Anwesenheit der Zahl löste die Verschiebung aus. Dies deutet darauf darauf hin, dass die Modelle nicht sorgfältig einen neuen Durchschnitt berechnen, sondern auf die Existenz der Metadaten selbst reagieren. Die Forscher testeten auch, ob einfache Anweisungen das Problem lösen könnten. Sie versuchten, die Modelle anzuweisen, vor der Bewertung Schritt für Schritt zu denken, und sie versuchten, die Modelle explizit zu warnen, die vorherigen Punktzahlen zu ignorieren. Keine dieser Strategien funktionierte. In einigen Fällen machte die Schritt-für-Schritt-Anweisung die Verzerrung sogar noch schlimmer, und die explizite Warnung scheiterte daran, die Punktzahlen niedrig zu halten, obwohl sie die Tendenz der Modelle verringerte, der spezifischen Zahl zu folgen, falls sie bereits voreingenommen waren.

Die Studie ging weiter, um zu sehen, ob diese Verzerrung reale Entscheidungen beeinflusst, nicht nur abstrakte Zahlen. Unter Verwendung eines Datensatzes von Messaging-Kampagnen, die bereits von Menschen als entweder sicher oder unzulässig gekennzeichnet worden waren, testeten die Forscher, wie die KI-Richter performten, wenn ihnen ein falsches vorheriges Label gegeben wurde. Wenn die KI mit einem falschen vorherigen Label konfrontiert wurde, gelang es ihr in fast der Hälfte der Fälle, in denen sie die Korrektur sonst vorgenommen hätte, nicht, den Fehler zu korrigieren. Stattdessen blieb sie oft bei dem in den Metadaten bereitgestellten falschen Label. In einem Paar-Test, bei dem die KI zuvor die richtige Antwort gegeben hatte, führte die Einführung eines falschen vorherigen Labels in über zehn Prozent der Fälle dazu, dass sie ihr korrektes Urteil in ein falsches umkehrte. Dies zeigt, dass die Verzerrung über einfache Punktzahlen hinausgeht und auch kategorische Entscheidungen betrifft, die bestimmen, ob Inhalte zugelassen oder blockiert werden. Die Forscher kamen zu dem Schluss, dass der einzige zuverlässige Weg, diese Verzerrung zu verhindern, darin besteht, die irrelevanten Metadaten vollständig aus dem Prompt zu entfernen. Sie fanden heraus, dass keine Menge an Prompting oder Warnungen die Unabhängigkeit des Richters vollständig wiederherstellen konnte, sobald diese vorherige Information präsent war.

Die Implikationen dieser Erkenntnisse sind erheblich für jeden, der sich auf KI zur fairen Bewertung verlässt. Die Studie zeigt, dass die Annahme der Unparteilichkeit in automatisierten Systemen fragil ist. Selbst wenn die bereitgestellten Informationen eindeutig irrelevant sind, sind die Modelle nicht immun gegen den Einfluss des Kontexts. Die Verzerrung ist kein Bug, der einfach mit einer einfachen Anweisung behoben werden kann; sie scheint ein grundlegender Teil dessen zu sein, wie diese Systeme Informationen verarbeiten. Die Forscher betonten, dass ihre Tests zwar eine spezifische Auswahl an Modellen und Aufgaben abdeckten, die Ergebnisse jedoch auf eine breitere Verwundbarkeit hindeuten. Um vertrauenswürdige Systeme aufzubauen, müssen Entwickler den Kontext, in dem die KI operiert, sorgfältig gestalten und sicherstellen, dass keine externen Zahlen oder Labels aus vorherigen Schritten in die aktuelle Bewertung einsickern. Der Weg nach vorn erfordert eine aktive Validierung für jedes spezifische Modell und jede Aufgabe, anstatt eines passiven Glaubens daran, dass die Maschine die Welt für sich allein klar sieht.