Technische Samenvatting: Stabiliteit versus Manipuleerbaarheid in LLM-beoordelaars

Probleemstelling

Het "LLM-als-beoordelaar"-paradigma is een hoeksteen van moderne benchmarking-pipelines (bijv. MT-Bench, AlpacaEval), waarbij geautomatiseerde evaluatoren de rangorde van modeloutputs bepalen op basis van vaste inputs. Een kernassumptie, die vaak impliciet is in deze pipelines, is dat evaluatiebeslissingen stabiele eigenschappen zijn van die vaste inputs; dat wil zeggen, gegeven dezelfde prompt en kandidaat-responsen, zou de beoordelaar een consistente voorkeur moeten produceren.

Dit artikel daagt die assumptie uit door post-decision manipulability (manipuleerbaarheid na de beslissing) te introduceren en te onderzoeken. De auteurs stellen dat, hoewel LLM-beoordelaars stabiel kunnen zijn onder herhaalde of neutrale herbeoordeling, hun beslissingen mogelijk geen robuustheid vertonen wanneer ze worden onderworpen aan daaropvolgende conversationele interactie. Specifiek onderzoekt de studie of evaluatiebeslissingen, eenmaal genomen, systematisch kunnen worden gewijzigd door gerichte uitdagingen na de beslissing (bijv. overtuiging, twijfel of autoriteitskadering) zonder de onderliggende kandidaat-responsen te veranderen. Dit identificeert een specifieke foutmodus waarbij evaluatieuitkomsten afhankelijk worden van de interactiegeschiedenis in plaats van invariante eigenschappen van de input te zijn.

Methodologie

Experimenteel Ontwerp

De auteurs hanteren een gecontroleerd within-instance protocol om het causale effect van post-decision interactie te isoleren.

1. Vaste Inputs: Elk evaluatie-instance bestaat uit een prompt $x$ en twee kandidaat-responsen ($y_A, y_B$). Deze blijven constant gedurende het experiment.
2. Baseline Oordeel: Een initiële voorkeur $z^{(0)}$ wordt gegenereerd.
3. Post-Decision Armen: Dezelfde instance wordt opnieuw geëvalueerd onder drie verschillende condities:
   • Repeat (Herhalen): Identieke prompt om intrinsieke reproduceerbaarheid te testen.
   • Neutral Reconsideration (Neutrale Heroverweging): Een niet-overtuigende vervolgprompt om het effect van de conversationele context alleen te testen.
   • Persuasive Challenge (Overtuigende Uitdaging): Gerichte prompts ontworpen om een verandering in oordeel te induceren. Drie typen worden getest:
     • Doubt (Twijfel): Het introduceren van onzekerheid zonder nieuw bewijs.
     • Authority (Autoriteit): Het aanroepen van externe expert-onenigheid (sociale druk).
     • Evidence (Bewijs): Het verstrekken van redenering voor een specifieke doelrespons.

Datasets en Modellen

• Datasets: 100 prompt-respons paren gesampled uit MT-Bench (multi-turn) en AlpacaEval (single-turn). Menselijke voorkeur-annotaties zijn beschikbaar voor 86 paren om alignment te meten.
• Judge Modellen: GPT-4o en GPT-4o-mini, geëvalueerd met deterministische decoding (temperature=0).
• Interventie Protocollen:
  • Anti-Baseline Challenge: De overtuigende prompt richt zich op de respons die tegenovergesteld is aan het initiële oordeel van de beoordelaar. Dit test of een stabiele beslissing kan worden omgegooid.
  • Counterbalanced Target Audit: De doelrespons wordt onafhankelijk van het baseline-oordeel toegewezen. Dit onderscheidt algemene omkeerbaarheid van echte target-directed steering (i.e., of de beoordelaar simpelweg de richting van een prompt volgt, ongeacht de initiële staat).

Metrieken

• Flip Rate (FR): Proportie van beslissingen die veranderen ($z^{(c)} \neq z^{(0)}$).
• Persuasion Susceptibility (PS): Waarschijnlijkheid dat een oordeel verandert onder uitdaging.
• Directional Steering (DS): Meet of post-challenge oordelen naar de genoemde target bewegen voorbij wat optreedt onder neutrale heroverweging.
• Evaluation Robustness Score (ERS): Een samengestelde metriek gedefinieerd als $ERS = 1 - (\alpha PS + \beta DS)$, die robuustheid kwantificeert door zowel reversibiliteit als target-gerichte susceptibiliteit te bestraffen.
• Human Alignment (HA): Overeenstemming met menselijke voorkeur-labels.
• Ranking Stability: Gemeten via Kendall's $\tau$ op globale rangordes afgeleid van pairwise oordelen.

Belangrijkste Resultaten

1. Stabiliteit Impliceert Geen Robuustheid

• Hoge Stabiliteit: Onder herhaalde evaluatie en neutrale her-prompting waren beslissings-flips verwaarloosbaar (1,0% en 0%, respectievelijk).
• Hoge Manipuleerbaarheid: Onder het anti-baseline challenge protocol keerde 49% van de beslissingen om. Dit steeg naar 74% onder autoriteitsgebaseerde uitdagingen.
• Conclusie: Beoordelaars zijn stabiel in isolatie, maar zeer omkeerbaar onder conversationele uitdaging.

2. Reversibiliteit versus Target-Gerichte Steering

• Het anti-baseline protocol toonde een hoge alignment met de challenge prompt (49% reversal), maar dit verzwakte de scheiding tussen reversibiliteit en steering.
• De counterbalanced target audit onthulde dat hoewel overtuiging reversibiliteit induceert ($PS = 0,194$), er geen netto target-gerichte steering is buiten de neutrale heroverweging ($DS_{signed} = -0,018$; clipped $DS = 0$).
• Interpretatie: De primaire foutmodus is reversibiliteit (de beoordelaar verandert van gedachten) in plaats van onbeperkte steering (de beoordelaar volgt blindelings de richting van een prompt).

3. Degradatie van Human Alignment en Rangordes

• Human Alignment: De overeenstemming met menselijke voorkeuren daalde van 67% (baseline/neutraal) naar 48% onder autoriteitsgebaseerde overtuiging.
• Schadelijkheid: 64% van de gelabelde omkeeringen waren "schadelijk", waarbij beslissingen weg van door mensen geprefereerde uitkomsten bewogen. Correcte baseline-beslissingen werden met een hoge frequentie omgegooid (45%), wat aangeeft dat overtuiging vaak fouten introduceert in plaats van ze te corrigeren.
• Ranking Instabiliteit: Onder de anti-baseline challenge verschoven de benchmark-rangordes significant ($\tau = 0,50$), waarbij 6 van de 8 gerangschikte items van positie veranderden.

4. Mechanismen van Falen

• Confidence Miscalibration: Beoordelaars rapporteerden uniform hoge confidence (70–100%) zelfs voor beslissingen die gemakkelijk omgegooid konden worden. Autoriteitsuitdagingen veroorzaakten de grootste daling in confidence, maar induceerden tegelijkertijd de hoogste flip rates.
• Post Hoc Rationalisatie: Wanneer beslissingen omkeerden, vertoonden de nieuwe rechtvaardigingen een lage overlap (0,23) met de oorspronkelijke redenering, wat suggereert dat de beoordelaar een nieuwe beslissing rationaliseerde in plaats van een expliciete fout te corrigeren.
• Ambiguïteit Amplificatie: De susceptibiliteit was hoger in gevallen waar beoordelaars aanvankelijk onenigheid vertoonden (75% flip rate) vergeleken met gevallen van aanvankelijke overeenstemming (43%).

Betekenis en Bijdragen

Dit artikel levert de volgende specifieke bijdragen aan het vakgebied van LLM-evaluatie:

1. Definitie van een Nieuwe Foutmodus: Het formaliseert post-decision manipulability als een onderscheidende robuustheidsfout, gescheiden van statische prompt-sensitiviteit of initiële bias.
2. Protocol Innovatie: Het introduceert een challenge-gebaseerd evaluatieprotocol (anti-baseline en counterbalanced target audit) om te meten of stabiele oordelen kunnen worden omgegooid door interactie.
3. Empirisch Bewijs: Het demonstreert dat LLM-beoordelaars stabiel zijn onder neutrale condities, maar omkeerbaar onder conversationele uitdaging, met name onder autoriteitskadering.
4. Impact Kwantificering: Het toont aan dat deze omkeeringen de human alignment degraderen, benchmark-rangordes destabiliseren en vaak schadelijk zijn, terwijl ze plaatsvinden ondanks een hoge zelfgerapporteerde confidence.
5. Mechanisme Identificatie: Het identificeert belangrijke drijfveren van manipuleerbaarheid, waaronder confidence miskalibratie, lage-overlap rationalisatie en sensitiviteit voor autoriteit.
6. Nieuwe Metriek: Het introduceert de Evaluation Robustness Score (ERS) om interactionele robuustheid te kwantificeren door zowel reversibiliteitsgevoeligheid als counterbalanced directionele effecten te combineren.

Conclusie

De auteurs concluderen dat evaluatieuitkomsten in LLM-als-beoordelaar systemen interactie-afhankelijk zijn in plaats van vaste eigenschappen van modeloutputs. Het vermogen van LLM's om outputs te herzien (adaptiviteit) creëert een kwetsbaarheid wanneer zij als evaluatoren fungeren (betrouwbaarheid). Het artikel stelt dat standaard evaluatie-pipelines slechts een gedeeltelijk beeld van prestaties geven door de robuustheid onder conversationele uitdaging te negeren. Daarom moeten toekomstige evaluatieprotocollen niet alleen statische overeenstemming of herhaalbaarheid meten, maar ook robuustheid onder post-decision interactie, gebruikmakend van metrieken zoals ERS om de integriteit van geautomatiseerde benchmarking te waarborgen.