💬 NLP

Exploring the Effects of Alignment on Numerical Bias in Large Language Models

Diese Studie identifiziert Alignment als die primäre Ursache für numerische Bias in LLM-as-a-judge-Systemen und zeigt auf, dass die Anpassung des Score-Bereichs die effektivste Heuristikstrategie ist, um diese Bias zu mildern und die Evaluierungsleistung zu verbessern.

Ursprüngliche Autoren: Ayako Sato, Hwichan Kim, Zhousi Chen, Masato Mita, Mamoru Komachi

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ayako Sato, Hwichan Kim, Zhousi Chen, Masato Mita, Mamoru Komachi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein Team von Experten-Richtern (Large Language Models, oder LLMs) eingestellt, um Aufsätze zu bewerten, Geschichten zu übersetzen oder Grammatikfehler zu korrigieren. Sie bitten sie, eine Punktzahl von 0 bis 100 zu vergeben. Dies ist die „LLM-as-a-judge“-Meth Methode.

Die Forscher in dieser Arbeit haben jedoch einen seltsamen Fehler entdeckt: Diese digitalen Richter haben die schlechte Angewohnheit, zu konsistent zu sein. Anstatt eine große Vielfalt an Punktzahlen zu vergeben (wie 42, 67, 89, 12), kehren sie immer wieder zur gleichen Zahl zurück, wie eine kaputte Schallplatte, die bei „80“ hängen geblieben ist.

Das Papier nennt dies „Numerische Bias“ (Zahlen-Verzerrung). Es ist wie ein Restaurantkritiker, der, egal welches Gericht man ihm serviert, immer „8/10“ auf seine Bewertungskarte schreibt. Selbst wenn das Essen schrecklich oder fantastisch ist, kann er dieses Muster einfach nicht durchbrechen.

Der Übeltäter: „Alignment“ (Ausrichtung)

Die Forscher wollten wissen: Warum passiert das?

Sie vermuteten, dass das Problem durch einen Prozess namens „Alignment“ verursacht wird.

Vor dem Alignment: Stellen Sie sich ein LLM als einen wilden, kreativen Künstler vor. Er könnte Ihnen eine 3 geben, dann eine 95, dann eine 42. Er ist unvorhersehbar und vielfältig, aber manchmal befolgt er Ihre Anweisungen nicht gut.
Nach dem Alignment: Um die KI hilfreicher und höflicher zu machen, wird sie von Menschen „trainiert“, Anweisungen besser zu befolgen. Das ist so, als würde man den Künstler in eine strenge Kunstschule stecken. Jetzt folgt die KI den Regeln perfekt, wird aber ein wenig roboterhaft. Sie verliert ihre „wilde“ Vielfalt und beginnt, ihre Antworten um eine sichere, spezifische Zahl zu gruppieren.

Die Entdeckung: Die Studie verglich die „wilden“ (Pre-Alignment) Modelle mit den „trainierten“ (Post-Alignment) Modellen. Sie fanden heraus, dass die trainierten Modelle viel wahrscheinlicher bei bestimmten Zahlen (wie 8 oder 9 von 10) hängen blieben, unabhängig davon, ob die Eingabe gut oder schlecht war. Dieses „feststeckende“ Verhalten machte ihre Bewertung tatsächlich weniger genau.

Die guten und die schlechten Nachrichten

Die schlechte Nachricht: Dieses „feststeckende“ Verhalten (Bias) macht die KI zu einem schlechteren Richter. Wenn sie nicht zwischen einer großartigen und einer schlechten Übersetzung unterscheiden kann, weil sie beiden eine „8“ gibt, versagt das System.
Die gute Nachricht: Trotz dieses Fehlers sind die „trainierten“ (ausgerichteten) Modelle immer noch besser darin, Anweisungen zu befolgen, als die „wilden“ Modelle. Sie sind immer noch die beste Wahl für den Job, aber sie brauchen ein wenig Hilfe, um ihre Bewertungsgewohnheiten zu korrigieren.

Wie man die kaputte Schallplatte repariert

Die Forscher testeten drei Wege, um die KI davon abzuhalten, bei einer einzigen Zahl stecken zu bleiben:

Die „Temperatur“ erhöhen (Zufälligkeit):
Stellen Sie sich die KI als einen Dartspieler vor. Die „Temperatur“ ist die Frage, wie zittrig seine Hand ist. Wenn er zu ruhig ist (niedrige Temperatur), trifft er jedes Mal exakt denselben Punkt. Wenn man seine Hand ein wenig zittern lässt (höhere Temperatur), trifft er vielleicht unterschiedliche Punkte.

Ergebnis: Dies half ein wenig, aber wenn man ihn zu sehr zittern ließ, wurden die Punktzahlen zu zufälligem Müll. Es war keine perfekte Lösung.

Kalibrierung (Den Maßstab neu kalibrieren):
Das ist so, als würde man der KI sagen: „Hey, du gibst zu viele 8en ab. Lass uns dein Gehirn mathematisch so anpassen, dass du mehr 5er und 9er vergibst.“

Ergebnis: Dies reduzierte die Verzerrung, führte aber nicht immer zu einer genaueren Bewertung. Manchmal machte es die KI nur verwirrt.

Den Score-Bereich ändern (Der magische Fix):
Dies war die effektivste Lösung. Stellen Sie sich vor, Sie bitten die KI, auf einer Skala von 1 bis 5 zu bewerten. Sie könnte bei einer „4“ hängen bleiben. Aber wenn Sie ihr sagen: „Bewerte auf einer Skala von 1 bis 100“, hat sie plötzlich mehr Raum zum Atmen. Sie fühlt sich nicht mehr gezwungen, die „sichere“ mittlere Zahl zu wählen, und beginnt, den gesamten Bereich zu nutzen.

Ergebnis: Indem man einfach die Anweisungen änderte, um einen breiteren Zahlenbereich zuzulassen (z. B. 1–100 statt 1–5), hörte die KI auf, steckenzubleiben. Sie vergab vielfältigere Punktzahlen, und ihre Genauigkeit verbesserte sich signifikant.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir nicht einfach davon ausgehen sollten, dass die Einstellungen perfekt sind, wenn wir KI zum Bewerten einsetzen.

Alignment (das Training der KI, um hilfreich zu sein) macht sie versehentlich zu vorhersehbar und repetitiv in ihrer Bewertung.
Die Lösung: Akzeptieren Sie nicht einfach die Standardeinstellungen. Wenn Sie eine KI bitten, etwas zu bewerten, versuchen Sie, ihr zu sagen, dass sie einen breiteren Zahlenbereich verwenden soll. Es ist, als würde man einem nervösen Schüler sagen: „Du kannst jede Note von A bis F bekommen“, anstatt „Du kannst nur ein B bekommen“. Diese einfache Änderung hilft der KI, ihr wahres Urteilsvermögen zu zeigen, anstatt nur eine sichere Zahl zu wiederholen.

Kurz gesagt: KI-Richter sind großartig, aber sie bleiben aufgrund des Trainings, das wir ihnen gegeben haben, bei bestimmten Zahlen „hängen“. Einem größeren Spielplatz (einem breiteren Score-Bereich) zu geben, hilft ihnen, diese Gewohnheit abzulegen und einen besseren Job zu machen.

Technische Zusammenfassung: Untersuchung der Auswirkungen von Alignment auf den numerischen Bias in Large Language Models

Problemstellung

Das „LLM-as-a-judge“-Paradigma, welches Large Language Models (LLMs) als Evaluatoren für Textqualität einsetzt, hat sich als skalierbare Alternative zu traditionellen Metriken wie BLEU und ROUGE etabliert. Dieses Verfahren leidet jedoch unter einem numerischen Bias – einem Phänomen, bei dem Evaluatoren überproportional häufig bestimmte numerische Token generieren, was zu verzerrten Score-Verteilungen führt. Dieser Bias reduziert die Unterscheidbarkeit von Bewertungen und wirft Bedenken hinsichtlich der Robustheit des Frameworks auf, da eine hohe Korrelation mit menschlichen Urteilen künstlich durch Score-Clusterbildung statt durch echte Bewertungsfähigkeit erreicht worden sein könnte.

Während Evaluator-LLMs typischerweise post-aligned Modelle (durch Instruction- und Preference-Tuning angepasst) sind, um das Befolgen von Anweisungen zu verbessern, deutet vorangegangene Forschung darauf hin, dass Alignment die Output-Diversität reduzieren kann. Diese Studie hypothetisiert, dass numerischer Bias eine Nebenwirkung des Alignment-Prozesses ist, bei dem Modelle in ihrer Bewertung zu konsistent werden und dadurch nicht mehr in der Lage sind, die Nuancen der Eingabequalität zu erfassen.

Methodik

Die Studie untersucht den Zusammenhang zwischen Modell-Alignment und numerischem Bias durch eine vergleichende Analyse von Pre-Alignment- und Post-Alignment-Modellen in drei Regressionsaufgaben:

MTQE (Machine Translation Quality Estimation): Bewertung der Übersetzungsqualität ohne Referenztexte.
GECQE (Grammatical Error Correction Quality Estimation): Bewertung korrigierter Sätze.
LCP (Lexical Complexity Prediction): Vorhersage der Wortkomplexität.

Experimentelles Design

Modelle: Die Autoren verglichen vier Modellserien (Gemma, Mistral, Llama 3, Qwen 2) sowohl in ihren Base- (Pre-Alignment) als auch in den Instruct-Varianten (Post-Alignment).
Metriken:
- Kurtosis: Wird als primäre Metrik verwendet, um den numerischen Bias zu quantifizieren. Eine höhere Kurtosis deutet auf eine schärfere, stärker konzentrierte Verteilung um bestimmte Werte hin.
- Pearson-Korrelationskoeffizient ( $r$ ): Wird gemessen, um die Übereinstimmung zwischen Modell-Scores und menschlichen Gold-Scores zu bewerten.
Mitigationsstrategien (RQ2): Die Studie testete drei Ansätze zur Minderung des Bias in Post-Alignment-Modellen:
1. Temperatur-Skalierung (Temperature Scaling): Variation des Temperatur-Parameters, um die Output-Diversität zu erhöhen.
2. Distributions-Kalibrierung (Distribution Calibration): Anwendung einer generativen Kalibrierungsmethode (Jiang et al., 2023), um die marginale Label-Distribution zu korrigieren.
3. Anpassung des Score-Bereichs (Score Range Adjustment): Modifikation des im Prompt spezifizierten Output-Bereichs (z. B. 1–5, 0–9, 1–100).

Zentrale Ergebnisse

1. Alignment induziert numerischen Bias

Distributionsverschiebung: Pre-Alignment-Modelle zeigten variierte Score-Verteilungen mit niedrigerer Kurtosis, was wahrscheinlich auf ein schwächeres Befolgen von Instruktionen und damit zu zufälligen Outputs zurückzuführen ist. Im Gegensatz dazu generierten Post-Alignment-Modelle Scores, die stark um spezifische Werte (z. B. 8) konzentriert waren, was zu einer signifikant höheren Kurtosis führte.
Korrelation mit der Genauigkeit: Es wurde eine starke negative Korrelation ($-0,60$) zwischen der Kurtosis und der Bewertungsgenauigkeit ( $r$ ) beobachtet. Modelle mit höherem numerischem Bias wiesen konsistent eine geringere Korrelation mit menschlichen Urteilen auf.
Sprach- und Modellvarianz: Der Bias war in ressourcenreichen Sprachen (z. B. Englisch-Deutsch, Englisch-Chinesisch) ausgeprägter als in ressourcenarmen Sprachen (z. B. Nepali-Englisch, Sinhala-Englisch). Unter den Modellen wies Gemma den stärksten Bias auf, während Llama und Qwen eine vergleichsweise niedrigere Kurtosis zeigten.

2. Effektivität der Mitigation

Temperatur-Skalierung: Die Erhöhung der Temperatur reduzierte die Kurtosis (Bias), verbesserte jedoch nicht konsistent die Bewertungsgenauigkeit. In einigen Fällen verschlechterten extrem hohe Temperaturen die Leistung.
Distributions-Kalibrierung: Diese Methode reduzierte erfolgreich die Kurtosis in mehreren Modellen, lieferte jedoch gemischte Ergebnisse bezüglich der Genauigkeit und verschlechterte teilweise die Leistung von Modellen, die bereits präzise waren.
Anpassung des Score-Bereichs: Dies erwies sich als die effektivste Strategie. Die Anpassung des Score-Bereichs (z. B. Erweiterung auf 1–100 oder Verengung auf 1–5) reduzierte die Kurtosis signifikant und verbesserte in vielen Fällen die Korrelation mit menschlichen Urteilen. Beispielsweise übertraf bei der MTQE-Aufgabe mit Gemma ein 1–100-Bereich sowohl den Standardbereich als auch die temperatur-getunten Ergebnisse.

Zentrale Beiträge

Identifizierung des kausalen Zusammenhangs: Die Studie liefert empirische Belege dafür, dass der numerische Bias in LLM-Evaluatoren eine direkte Folge des Alignment-Prozesses ist und sich von allgemeinen Problemen der Output-Diversität unterscheidet.
Bias-Genauigkeits-Trade-off: Die Autoren zeigen, dass Alignment zwar das Befolgen von Instruktionen verbessert, der resultierende numerische Bias jedoch die Bewertungsgenauigkeit untergraben kann. Sie schlagen vor, dass die Kurtosis als Proxy-Metrik zur Auswahl robuster Evaluatoren dienen kann, wenn keine Gold-Daten verfügbar sind.
Optimierung des Score-Bereichs: Die Arbeit stellt die Behandlung von Score-Bereichen als feste Designentscheidungen infrage und zeigt auf, dass diese als abstimmbare Hyperparameter behandelt werden sollten. Die Optimierung des Score-Bereichs erweist sich als effektivere Heuristik zur Minderung von Bias und zur Steigerung der Leistung als die alleinige Temperatur-Skalierung oder Kalibrierung.

Bedeutung und Limitationen

Die Arbeit kommt zu dem Schluss, dass Post-Alignment-Modelle aufgrund des besseren Befolgens von Instruktionen zwar für Bewertungsaufgaben überlegen bleiben, ihr inhärenter numerischer Bias jedoch ihre Zuverlässigkeit einschränkt. Die Ergebnisse unterstreichen die Notwendigkeit einer optimalen Auswahl des Score-Bereichs als kritische, wenn auch oft übersehene Komponente von LLM-as-a-judge-Systemen.

Die Autoren vertreten eine bescheidene Position und räumen ein, dass ihre Mitigationsstrategien (insbesondere die Anpassung des Score-Bereichs) heuristischer und aufgabenbezogener Natur sind und keine fundamentalen Lösungen darstellen. Sie nennen als Limitationen die Unfähigkeit, die internen Alignment-Daten öffentlicher Modelle zu analysieren, die Beschränkung auf numerische Score-Outputs sowie die ungeklärten Auswirkungen von Alignment auf natürliche Sprache oder ranking-basierte Bewertungen. Zukünftige Arbeiten richten sich auf die Entwicklung robusterer, generalisierbarer Strategien, um die Grundursachen des durch Alignment induzierten Bias zu adressieren.