💬 NLP

AMEL: Accumulated Message Effects on LLM Judgments

Diese Arbeit führt den „akkumulierten Nachrichteneffekt auf LLM-Urteile" (AMEL) ein und zeigt, dass als Evaluatoren eingesetzte große Sprachmodelle eine signifikante Verzerrung zugunsten der vorherrschenden Polarität der vorherigen Konversationshistorie aufweisen – insbesondere bei Unsicherheit oder Exposition gegenüber negativen Kontexten – unabhängig von Modellgröße oder Historienlänge, und empfiehlt daher frische Kontexte oder ausgeglichene Historien für eine zuverlässige automatisierte Evaluation.

Ursprüngliche Autoren: Sid-ali Temkit

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sid-ali Temkit

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „schlechte Laune" der KI

Stellen Sie sich vor, Sie stellen einen sehr klugen, automatisierten Richter ein, um Code zu überprüfen, Kommentare zu moderieren oder Aufsätze zu bewerten. Sie bitten ihn, 50 dieser Aufgaben hintereinander im selben Chat-Fenster zu erledigen.

Das Papier stellt eine einfache Frage: Verändert sich die Laune des Richters basierend darauf, was er gerade getan hat?

Wenn der Richter gerade 10 schlechte Code-Einsendungen hintereinander abgelehnt hat, wird er dann strenger und lehnt die 11. ungerechtfertigt ab? Oder wird er, wenn er gerade 10 gute Einsendungen genehmigt hat, zu nachsichtig?

Die Forscher nennen dies den Akkumulierten Nachrichteneffekt (AMEL). Sie haben festgestellt, dass ja, die Laune der KI sich absolut verändert. Sie bleibt in dem Muster ihrer jüngsten Geschichte „stecken".

Die wichtigsten Erkenntnisse (Das „Was passiert")

1. Die KI bleibt in einem Muster „stecken"
Stellen Sie sich die KI wie eine Person vor, die einen Flur entlanggeht. Wenn die ersten paar Türen, die sie öffnen, alle mit „Nein" beschriftet sind, erwartet sie, dass die nächste Tür auch „Nein" ist.

Das Ergebnis: Wenn die KI eine lange Geschichte von „Nein"-Antworten sieht, ist sie viel wahrscheinlicher, beim nächsten Item „Nein" zu sagen, selbst wenn dieses Item eigentlich gut ist.
Die Überraschung: Es spielt keine Rolle, ob die Geschichte 5 Items lang oder 50 Items lang ist. Die KI erkennt das Muster bereits nach nur 5 Items. Danach verschlimmert das Hinzufügen weiterer Geschichte die Verzerrung nicht; sie bleibt einfach auf diesem Niveau „stecken".

2. Der „schlechte Nachrichten"-Bias (Negativitätsasymmetrie)
Die KI lässt sich viel leichter von schlechten Nachrichten beeinflussen als von guten.

Die Analogie: Stellen Sie sich eine Waage vor. Es braucht ein schweres Gewicht, um die Waage zu „Ja" zu kippen, aber nur eine Feder, um sie zu „Nein" zu kippen.
Das Ergebnis: Eine Geschichte von Ablehnungen („Nein") drängt die KI dazu, 1,6-mal stärker negativ zu sein, als eine Geschichte von Genehmigungen („Ja") sie dazu drängt, positiv zu sein.
Die Wendung: Selbst eine „neutrale" Geschichte (50 % Ja, 50 % Nein) ließ die KI dazu neigen, „Nein" zu sagen. Es scheint, als hätte die KI eine natürliche Tendenz, kritisch zu sein, und jede Konversationsgeschichte verstärkt dies nur.

3. Die KI gerät bei schwierigen Fragen in Verwirrung
Der Bias trifft die KI nicht gleichmäßig.

Einfache Fragen: Wenn die Antwort offensichtlich ist (z. B. „Ist dieser Code voller Viren?"), ignoriert die KI die Geschichte und gibt die richtige Antwort.
Schwierige Fragen: Wenn die Antwort knifflig oder am Rand liegt (z. B. „Ist dieser Code irgendwie okay?"), gerät die KI in Verwirrung. In diesen Momenten wirkt die Geschichte wie eine laute Stimme in ihrem Ohr, die sie dazu drängt, eine Seite zu wählen.
Das Problem: Dies ist das Worst-Case-Szenario. Die KI macht am ehesten einen Fehler genau dann, wenn Sie sie am sorgfältigsten und objektivsten brauchen.

4. Größere Modelle sind nicht immun
Man könnte denken, ein superschlau, massives KI-Modell ließe sich nicht täuschen.

Die Realität: Größere Modelle sind weniger anfällig für Verzerrungen als kleine, aber sie sind nicht immun. Selbst die fortschrittlichsten getesteten Modelle (wie GPT-5.2 oder Opus) zeigten diesen Bias. Sie wurden nur etwas seltener getäuscht.

5. Es geht nicht darum, „wo" die Geschichte ist
Die Forscher testeten, ob der Bias vom Anfang des Chats (Primacy) oder vom Ende (Recency) kam.

Das Ergebnis: Es spielt keine Rolle. Ob die 5 „schlechten" Runden am Anfang, am Ende oder über eine 50-Runden-Konversation verteilt stattfanden, das Ergebnis war dasselbe. Die KI sieht einfach die „Stimmung" der gesamten Konversation und übernimmt sie.

Warum passiert das? (Das „Wie")

Das Papier führte spezielle Tests durch, um den Mechanismus herauszufinden:

Es ist kein einfacher Schalter: Die KI schaltet nicht einfach von „Ja" auf „Nein" um. Ihre interne „Wahrscheinlichkeit" (wie sicher sie ist) verschiebt sich tatsächlich allmählich.
Token vs. Bedeutung: Der Bias scheint aus zwei Quellen zu kommen:
1. Das Wort „Nein": Die KI mag das Wort „Nein" vielleicht einfach mehr, weil sie es in Trainingsdaten häufig sieht.
2. Das Konzept der Ablehnung: Die KI könnte darauf trainiert sein, vorsichtig und sicher zu sein, sodass das „Ablehnen" von Dingen wie der sicherere und „korrektere" Weg erscheint.
- Hinweis: Verschiedene Modelle neigen mehr zu einer Erklärung oder der anderen.

Die Lösung: „Frischer Start" jedes Mal

Das Papier bietet eine sehr einfache Lösung für Menschen, die KI als Richter einsetzen:

Keine Stapelverarbeitung: Bitten Sie die KI nicht, 50 Items in einem langen Chat zu bewerten.
Frisch starten: Geben Sie der KI für jedes einzelne Item ein brandneues, leeres Chat-Fenster.
Warum? Dies unterbricht den „akkumulierten Nachrichteneffekt". Ohne die Geschichte kann die KI nicht in einer schlechten Laune „stecken bleiben".

Wenn Sie sie müssen stapeln (um Geld oder Zeit zu sparen), schlägt das Papier vor, die Reihenfolge zu mischen (machen Sie nicht zuerst alle „schlechten" Items) und die Geschichte auszugleichen, damit die KI keine einseitige Sicht bekommt.

Zusammenfassung

Der KI-Richter ist wie ein Mensch, der nach einem langen Tag voller „Nein"-Sagen müde und mürrisch wird. Er beginnt, zu allem „Nein" zu sagen, auch zu den guten Dingen. Der einzige Weg, ihn fair zu halten, besteht darin, ihm vor jeder einzelnen Entscheidung eine frische Tasse Kaffee (ein neues Chat-Fenster) zu geben.

Technisches Fazit: AMEL (Kumulierte Nachrichteneffekte auf LLM-Bewertungen)

Problemstellung

Large Language Models (LLMs) werden zunehmend als automatisierte Richter für Aufgaben wie Code-Reviews, Content-Moderation und Scoring eingesetzt. In Produktionsumgebungen schreibt die Effizienz oft vor, dass mehrere Items innerhalb einer einzigen Konversationssitzung bewertet werden, wodurch eine Historie vorheriger Urteile entsteht. Diese Arbeit untersucht, ob die Polarität dieser vorherigen Konversationshistorie nachfolgende Urteile verzerrt. Die Autoren definieren dieses Phänomen als Kumulierten Nachrichteneffekt auf LLM-Bewertungen (AMEL).

Die Studie unterscheidet AMEL von verwandten Konzepten:

Schmeichelei (Sycophancy): Im Gegensatz zur Schmeichelei, bei der Modelle mit Meinungen des Nutzers übereinstimmen, tritt AMEL auf, wenn ein Modell sich an sein eigenes vorheriges Antwortmuster anpasst, ohne externe Meinungen des Nutzers.
Majority Label Bias: Im Gegensatz zum Few-Shot-Klassifizierungs-Bias, bei dem formatierte Beispiele Vorhersagen verzerren, entsteht AMEL durch vollständige Frage-Antwort-Austausche zu verschiedenen Themen.
Anker-Effekt (Anchoring): Im Gegensatz zum Anker-Effekt gibt es keinen expliziten numerischen Referenzpunkt; die Verzerrung ergibt sich aus dem aggregierten Ton der Konversation.

Methodik

Die Studie verwendet ein Experimentaldesign zwischen den Probanden, das 75.898 API-Aufrufe über 11 Modelle von vier Anbietern (OpenAI, Anthropic, Google und lokale Open-Source-Modelle) umfasst.

Experimentelles Design

Bedingungen: Identische Testitems wurden unter vier Bedingungen präsentiert:
1. Baseline: Das Item folgt nur dem System-Prompt (keine Historie).
2. No-Saturated: Das Item folgt $N$ vorherigen Turns, bei denen 90 % der Bewertungen „no" (negativ) waren.
3. Yes-Saturated: Das Item folgt $N$ vorherigen Turns, bei denen 90 % der Bewertungen „yes" (positiv) waren.
4. Neutral: Das Item folgt $N$ vorherigen Turns mit einer 50/50-Aufteilung.
Kontextlänge ( $N$ ): Variiert über $\{5, 10, 20, 50\}$ Turns, um die Kumulierung zu testen.
Domänen: Drei binäre Bewertungsbereiche wurden getestet:
1. Code-Review: „Ist dieser Code produktionsreif?"
2. Content-Moderation: „Ist dieser Kommentar angemessen?"
3. Ernährungsbeurteilung: „Ist dies eine gesunde Wahl?"
Testitems: Jeder Bereich umfasste 21 Items, kategorisiert als Klar Positiv, Ambig und Klar Negativ.
Verzerrungswert (Bias Score, BS): Definiert als $P(r^*|\text{treatment}) - P(r^*|\text{baseline})$ , wobei $r^*$ die Zielantwort für die Polaritätsbedingung ist. Ein negativer Wert zeigt eine Verschiebung hin zu „no" an (die beobachtete dominante negative Verzerrung).

Getestete Modelle

Die Studie deckte eine Reihe von Skalen und Architekturen ab, darunter GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro sowie lokale Modelle (Llama 3.2, Qwen3/3.5). Alle API-Modelle verwendeten eine Temperatur von $T=1.0$ .

Wichtige Ergebnisse

1. Existenz und Ausmaß von AMEL

Über alle 11 Modelle hinweg verschiebt die Konversationshistorie die Antworten signifikant in Richtung der vorherrschenden Polarität der Historie, mit einem Gesamteffekt von $d = -0.17$ ( $p < 10^{-46}$ ). Dies zeigt eine systematische Drift hin zu „no" an, unabhängig davon, ob die Historie überwiegend positiv, negativ oder neutral war. Neun von elf Modellen zeigten nach Bonferroni-Korrektur eine signifikante Verzerrung.

2. Anfälligkeit und Unsicherheit

Der Effekt ist nicht einheitlich; er konzentriert sich auf Items, bei denen das Modell an der Baseline genuinely unsicher ist.

High-Entropy-Items: Items, bei denen die Baseline-Wahrscheinlichkeit des Modells $P(\text{yes})$ nicht-deterministisch ist, absorbieren etwa 2× mehr Verzerrung ( $d = -0.34$ ) als Items, bei denen die Baseline deterministisch ist ( $d = -0.15$ ).
Praktische Implikation: Die Items, die am anfälligsten für AMEL sind, sind die Grenzfälle, bei denen eine unverzerrte Bewertung am kritischsten ist.

3. Negativitätsasymmetrie

Negative Historien induzieren eine signifikant stärkere Verzerrung als positive Historien.

Ausmaß: Negative Kontexte erzeugen eine 1,62× stärkere Verschiebung pro Item als positive Kontexte ( $t = 13.46, p < 10^{-39}$ ).
Neutrale Historie: Selbst eine ausgeglichene (50/50) Historie erzeugt eine negative Verschiebung, was darauf hindeutet, dass das bloße Vorhandensein eines bewertenden Kontexts einen kritischeren Modus auslöst, unabhängig von der Inhalts-Polarität.

4. Sättigung und Kontextlänge

Die Verzerrung wächst nicht linear mit der Kontextlänge.

Sofortige Sättigung: Fünf Turns verzerrter Historie erzeugen dieselbe Verschiebung wie fünfzig Turns ($Spearman |r| < 0.01, p > 0.94$).
Mechanismus: Das Modell erkennt das vorherrschende Muster schnell und erreicht ein Gleichgewicht; zusätzliche Beispiele verstärken die Verzerrung nicht.

5. Modellskalierung und Varianz

Skalierung: Größere Modelle innerhalb von Anbieterfamilien zeigen generell weniger Verzerrung (z. B. Anthropic Haiku $d=-0.22$ vs. Opus $d=-0.17$ ), aber keines ist immun.
Ausnahmen:
- Gemini: Der Trend kehrte sich bei Google-Modellen um, wobei Gemini 2.5 Pro mehr Verzerrung als Flash zeigte, möglicherweise aufgrund von „Denk"-Tokens, die die Mustererkennung verstärken.
- Qwen: Qwen3 4B zeigte eine signifikante konträre Verzerrung (Verschiebung weg von der Historie), möglicherweise aufgrund von Instruction-Tuning, das Wiederholungen bestraft.

6. Mechanismen und Charakterisierung

Drei Folgestudien schränkten die plausiblen Mechanismen ein:

Kontinuierliche Verschiebung: Die Logprobs-Analyse bestätigte, dass AMEL eine kontinuierliche Verschiebung in der Token-Wahrscheinlichkeitsverteilung ist und kein Schwellenwert-Artefakt.
Token- vs. Semantische Quellen: Die Negativitätsasymmetrie hat sowohl token-level als auch semantische Komponenten. Bei GPT-4.1 Nano erscheint der „no"-Token selbst klebrig; bei Llama 3.2 3B treibt das Konzept der „Ablehnung" (semantisch) die Asymmetrie an.
Positionsunabhängigkeit: Die Position verzerrter Turns innerhalb einer 50-Turn-Historie (Anfang, Ende oder verteilt) spielt keine Rolle; fünf verzerrte Turns genügen, um den vollen Effekt zu erzeugen.

Bedeutung und Empfehlungen

Die Arbeit argumentiert, dass AMEL eine grundlegende Verwundbarkeit in Multi-Turn-LLM-Bewertungspipelines darstellt. Die Autoren schließen, dass alleinige Skalierung das Problem nicht löst, da selbst Frontier-Modelle anfällig bleiben.

Praktische Empfehlungen:

Frische Kontexte: Die primäre Minderung besteht darin, jedes Item in einem frischen Gespräch ohne vorherige Historie zu bewerten, wodurch der Verzerrungskanal vollständig eliminiert wird.
Ausgewogenes Batching: Wenn Batching unvermeidbar ist, sollten Items randomisiert und ausgewogen sein (Interleaving erwarteter „yes"- und „no"-Ergebnisse), um eine sich selbst verstärkende Polaritätsdrift zu verhindern.
Schutz unsicherer Items: Priorisieren Sie frische Kontexte für Items, bei denen die Baseline-Unsicherheit des Modells hoch ist.
Laufzeitkorrektur: Für Systeme, bei denen frische Kontexte nicht machbar sind, können Antworthistorie-Verzerrungsdetektoren (z. B. B-Score) oder logprobs-basierte Korrekturen verwendet werden, um Drift zu erkennen und teilweise zu korrigieren.

Die Studie betont, dass, obwohl die Effektgröße insgesamt moderat ist, ihre Konzentration auf ambig Items ein signifikantes Risiko für die Zuverlässigkeit automatisierter Bewertungen in hochriskanten Domänen darstellt.