Technische Samenvatting: AMEL (Geaccumuleerde Berichteffecten op LLM-oordelen)

Probleemstelling

Grote taalmodellen (LLMs) worden steeds vaker ingezet als geautomatiseerde beoordelaars voor taken zoals code-review, contentmoderation en scoring. In productiesituaties dicteert efficiëntie vaak dat meerdere items binnen één conversatiesessie worden geëvalueerd, waardoor een geschiedenis van eerdere oordelen ontstaat. Dit artikel onderzoekt of de polariteit van deze eerdere conversatiegeschiedenis latere oordelen beïnvloedt. De auteurs definiëren dit fenomeen als het Geaccumuleerde Berichteffect op LLM-oordelen (AMEL).

De studie onderscheidt AMEL van gerelateerde concepten:

• Sycophantie: In tegenstelling tot sycophantie, waarbij modellen instemmen met meningen van gebruikers, treedt AMEL op wanneer een model zich aanpast aan zijn eigen eerdere patroon van antwoorden zonder externe gebruikersmening.
• Majority Label Bias: In tegenstelling tot few-shot classificatiebias waarbij opgemaakte voorbeelden voorspellingen vertekenen, ontstaat AMEL uit volledige vraag-antwoorduitwisselingen over uiteenlopende onderwerpen.
• Anchoring: In tegenstelling tot anchoring is er geen expliciet numeriek referentiepunt; de bias ontstaat uit de algehele toon van het gesprek.

Methodologie

De studie hanteert een experimenteel ontwerp tussen proefpersonen met 75.898 API-aanroepen verspreid over 11 modellen van vier aanbieders (OpenAI, Anthropic, Google en lokale open-source modellen).

Experimenteel Ontwerp

• Voorwaarden: Identieke testitems werden gepresenteerd onder vier voorwaarden:
  1. Basislijn: Het item volgt alleen de systeemprompt (geen geschiedenis).
  2. Niet-verzadigd: Het item volgt $N$ eerdere beurten waarbij 90% van de evaluaties "nee" was (negatief).
  3. Ja-verzadigd: Het item volgt $N$ eerdere beurten waarbij 90% van de evaluaties "ja" was (positief).
  4. Neutraal: Het item volgt $N$ eerdere beurten met een 50/50-verdeling.
• Contextlengte ($N$): Varieerde over $\{5, 10, 20, 50\}$ beurten om accumulatie te testen.
• Domeinen: Drie binaire evaluatiedomeinen werden getest:
  1. Code-review: "Is deze code productieklaar?"
  2. Contentmoderation: "Is deze opmerking gepast?"
  3. Voedingsbeoordeling: "Is dit een gezonde keuze?"
• Testitems: Elk domein omvatte 21 items gecategoriseerd als Duidelijk Positief, Ambigu en Duidelijk Negatief.
• Bias Score (BS): Gedefinieerd als $P(r^*|\text{behandeling}) - P(r^*|\text{basislijn})$, waarbij $r^*$ de gewenste respons is voor de polariteitsvoorwaarde. Een negatieve score geeft een verschuiving naar "nee" aan (de waargenomen dominante negatieve bias).

Geteste Modellen

De studie bestreek een scala aan schalen en architecturen, waaronder GPT-4.1 Nano, GPT-5.2, Claude Haiku/Sonnet/Opus, Gemini 2.5 Flash/Pro en lokale modellen (Llama 3.2, Qwen3/3.5). Alle API-modellen gebruikten een temperatuur van $T=1.0$.

Belangrijkste Bevindingen

1. Bestaan en Omvang van AMEL

Bij alle 11 modellen verschuift de conversatiegeschiedenis de antwoorden significant naar de heersende polariteit van de geschiedenis, met een algehele effectgrootte van $d = -0.17$ ($p < 10^{-46}$). Dit wijst op een systematische drift naar "nee", ongeacht of de geschiedenis overwegend positief, negatief of neutraal was. Negen van de elf modellen vertoonden na Bonferroni-correctie een significante bias.

2. Gevoeligheid en Onzekerheid

Het effect is niet uniform; het is geconcentreerd op items waarbij het model bij de basislijn werkelijk onzeker is.

• High-Entropy Items: Items waarbij de basislijnwaarschijnlijkheid van het model $P(\text{ja})$ niet-deterministisch is, absorberen ongeveer 2× meer bias ($d = -0.34$) dan items waarbij de basislijn deterministisch is ($d = -0.15$).
• Praktische Implicatie: De items die het meest kwetsbaar zijn voor AMEL zijn de grensgevallen waar een onbevooroordeelde evaluatie het meest kritiek is.

3. Negativiteitsasymmetrie

Negatieve geschiedenissen veroorzaken een aanzienlijk sterkere bias dan positieve geschiedenissen.

• Omvang: Negatieve contexten produceren een 1,62× sterkere verschuiving per item dan positieve contexten ($t = 13.46, p < 10^{-39}$).
• Neutrale Geschiedenis: Zelfs een gebalanceerde (50/50) geschiedenis produceert een negatieve verschuiving, wat suggereert dat de blote aanwezigheid van een evaluatieve context een kritieker modus activeert, onafhankelijk van de contentpolariteit.

4. Verzadiging en Contextlengte

Bias groeit niet lineair met de contextlengte.

• Directe Verzadiging: Vijf beurten met een vertekende geschiedenis produceren dezelfde verschuiving als vijftig beurten ($Spearman |r| < 0.01, p > 0.94$).
• Mechanisme: Het model detecteert het heersende patroon snel en bereikt een evenwicht; extra voorbeelden versterken de bias niet.

5. Modelscaling en Variantie

• Scaling: Grotere modellen binnen aanbiedersfamilies vertonen over het algemeen minder bias (bijvoorbeeld Anthropic Haiku $d=-0.22$ versus Opus $d=-0.17$), maar geen enkel model is immuun.
• Uitzonderingen:
  • Gemini: De trend keerde om voor Google-modellen, waarbij Gemini 2.5 Pro meer bias vertoonde dan Flash, mogelijk door "denk"-tokens die patroonherkenning versterken.
  • Qwen: Qwen3 4B vertoonde een significante contrarische bias (weg van de geschiedenis verschuiven), mogelijk door instructietuning die herhaling bestraft.

6. Mechanismen en Karakterisering

Drie follow-upexperimenten beperkten de plausibele mechanismen:

• Continue Verschuiving: Logprobs-analyse bevestigde dat AMEL een continue verschuiving is in de tokenwaarschijnlijkheidsverdeling, en geen drempelartifact.
• Token versus Semantische Bronnen: De negativiteitsasymmetrie heeft zowel token-niveau als semantische componenten. Bij GPT-4.1 Nano lijkt de "nee"-token zelf plakkerig; bij Llama 3.2 3B drijft het concept van "afwijzing" (semantisch) de asymmetrie.
• Positieonafhankelijkheid: De positie van bevooroordeelde beurten binnen een geschiedenis van 50 beurten (begin, einde of verspreid) maakt niet uit; elke vijf bevooroordeelde beurten volstaan om het volledige effect te produceren.

Betekenis en Aanbevelingen

Het artikel betoogt dat AMEL een fundamentele kwetsbaarheid vertegenwoordigt in multi-turn LLM-evaluatiepijplijnen. De auteurs concluderen dat alleen scaling het probleem niet oplost, aangezien zelfs frontier-modellen vatbaar blijven.

Praktische Aanbevelingen:

1. Verse Contexten: De primaire mitigatie is om elk item te evalueren in een nieuw gesprek zonder eerdere geschiedenis, waardoor het biaskanaal volledig wordt geëlimineerd.
2. Gebalanceerde Batchverwerking: Als batchverwerking onvermijdelijk is, moeten items worden gerandomiseerd en gebalanceerd (interleaving van verwachte "ja"- en "nee"-uitkomsten) om zelfversterkende polariteitsdrift te voorkomen.
3. Bescherming van Onzekere Items: Prioriteit geven aan verse contexten voor items waarbij de onzekerheid van het model bij de basislijn hoog is.
4. Runtime Correctie: Voor systemen waar verse contexten niet haalbaar zijn, kunnen biasdetectoren voor antwoordgeschiedenis (bijvoorbeeld B-score) of logprobs-gebaseerde correcties worden gebruikt om drift te detecteren en gedeeltelijk te corrigeren.

De studie benadrukt dat hoewel de effectgrootte over het algemeen gematigd is, de concentratie op ambiguïteitsitems een significant risico vormt voor de betrouwbaarheid van geautomatiseerde evaluatie in domeinen met hoge stakes.