Technische Samenvatting: De Evaluator is onderdeel van het Experiment

Probleemstelling

Eerder onderzoek naar conformiteit bij Large Language Models (LLM's) heeft grotendeels vertrouwd op het meten van discrete antwoordwijzigingen onder verifieerbare labels (bijv. het overschakelen van een correct meerkeuze-optie naar een incorrecte). Echter, open einde conformiteit vormt een onderscheidende meetuitdaging: de kwaliteit van het antwoord is gegradeerd, latent en wordt imperfect beoordeeld. Bestaande metrieken slagen er niet in om genuanceerde degradaties in epistemische inkadering, feitelijkheid of volledigheid te vangen die optreden zonder een categorische verandering in de propositie van het antwoord. Het evaluatieproces zelf is kwetsbaar; evaluatoren (of het nu mensen of geautomatiseerde systemen zijn) kunnen reageren op zichtbare context van gelijken (peers), waarbij zij veranderingen in het gegenereerde antwoord verwarren met veranderingen in hun eigen oordeel. Dit artikel stelt dat open einde conformiteit een gezamenlijk generatie- en meetprobleem is waarbij de evaluator een actief onderdeel van het experiment is.

Methodologie

De auteurs stellen een experimenteel protocol voor dat is ontworpen om de effecten van revisie aan de zijde van de generator te onderscheiden van de sensitiviteit aan de zijde van de evaluator. De studie maakt gebruik van vier open-weight generatoren (Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Llama-3.1-8B) en drie benchmarks (TruthfulQA, MMLU-Pro, ARC-Challenge).

Experimenteel Ontwerp

Het protocol omvat een proces van twee rondes:

1. Ronde 1: De generator produceert een initieel antwoord ($a^{(1)}$).
2. Ronde 2: De generator wordt geprompt om hetzelfde antwoord op dezelfde vraag opnieuw te beantwoorden onder zeven verschillende condities die voortvloeien uit hetzelfde gerealiseerde antwoord uit Ronde 1:
   • No-Peer: Een baseline herbeantwoording.
   • Content-Only: Blootstelling aan kandidaat-tekst (correct, fout of gemengd) gepresenteerd als een eenvoudige lijst zonder attributie.
   • Peer-Presented: Blootstelling aan dezelfde kandidaat-tekst geformatteerd als een blok met attributies van zes sprekers (simulatie van een discussie tussen gelijken), met variaties in autoriteitskenmerken.

Evaluatiestrategie

Om de sensitiviteit van de evaluator te isoleren, ondergaat elk gegenereerd antwoord een gepaard evaluatieproces:

• Blinde Beoordeling (Blind Rating): Het antwoord wordt beoordeeld zonder enige peer-context.
• Geïnformeerde Beoordeling (Informed Rating): Het identieke antwoord wordt opnieuw beoordeeld met de bijbehorende peer-blok zichtbaar.

Dit ontwerp maakt het mogelijk om de peer-context sensitiviteit van de evaluator ($\gamma_j$) te meten, gedefinieerd als de verschuiving in beoordeling voor hetzelfde antwoord wanneer de peer-context wordt geïntroduceerd. De studie maakt gebruik van een hiërarchisch ordinaal model om de latente antwoordkwaliteit ($\theta_i$) af te leiden uit ordinale ratings (schaal 1–5), waarbij rekening wordt gehouden met de discriminatie ($\alpha_j$) en strengheid ($\beta_j$) van de specifieke beoordelaar.

Decompositie

De auteurs deconstrueren de totale peer-arm verschuiving ($\Delta_{total}$) in drie componenten:

1. Gewone Herbeantwoording ($\Delta_{sp}$): De verschuiving van Ronde 1 naar een Ronde 2 zonder peer-context.
2. Content Blootstelling ($\Delta_{content}$): Het effect van het zien van de kandidaat-tekst zonder de framing van peers.
3. Peer-Presentatie Residu ($\Delta_{pp}$): Het additionele effect van het presenteren van de inhoud binnen een sociale/geattribueerde peer-blok.

Belangrijkste Resultaten

1. Flip Rates zijn ontoereikend

Binaire flip-indicatoren slagen er niet in de aard van open einde conformiteit te vatten. In gevallen waar de brede positie van het antwoord ongewijzigd blijft (bijv. "één ekster brengt ongeluk"), kan de kwaliteit van de uitleg aanzienlijk degraderen (bijv. het verwijderen van nuances over bijgeloof en het overnemen van voorschrijvende rituelen). Op TruthfulQA verloor 9,0% van de revisies die door flip-metrieken als "onveranderd" werden beschouwd, ten minste één punt in de blinde beoordelingen.

2. Foutieve Peers schaden de Revisiekwaliteit

In alle generator-dataset cellen produceert input van uitsluitend foutieve peers de laagste kwaliteit revisies.

• Grootte: De degradatie onder uitsluitend foutieve peers is substantieel. Bijvoorbeeld, op ARC-Challenge vertoonde het Llama-3.1-8B model een latente kwaliteitsverschuiving van $-0,528$ (ongeveer 18% van de afstand tussen de vastgepinde correcte en incorrecte ankers).
• Asymmetrie: Het schadelijke effect van foutieve peers overtreft aanzienlijk elk potentieel voordeel van correcte peers. De metriek voor "schadelijk-voordelige asymmetrie" ($Asym_{total}$) is positief in alle 12 generator-dataset cellen, wat aangeeft dat incorrecte peers de kwaliteit meer verslechteren dan correcte peers deze verbeteren.

3. Evaluatoren vertonen Peer-Context Sensitiviteit

De evaluatie van een identiek antwoord verandert afhankelijk van de vraag of de peer-context zichtbaar is, en de richting van deze verschuiving varieert per evaluator:

• Mistral-7B: Verschuift ratings naar de door de peer gesteunde positie ($\gamma > 0$).
• Gemma-2-9B en Llama-3.1-8B: Verschuift ratings weg van de door de peer gesteunde positie ($\gamma < 0$).
• Qwen2.5-7B: Bij benadering neutraal.
• Frontier Modellen (GPT-4o, GPT-5.4-mini): Beiden vertonen een geloofwaardig negatieve directionele sensitiviteit (verschuiving weg van de peers).
  Dit bevestigt dat evaluatoren geen neutrale waarnemers zijn; hun ratings worden beïnvloed door dezelfde consensus of autoriteitskenmerken die aan de generator worden gepresenteerd.

4. Anker Kalibratie is Noodzakelijk

De studie benadrukt dat latente schalen steunen op ankers (beknopte correcte/incorrecte voorbeelden) om de oorsprong en eenheid van kwaliteit te definiëren. Zonder expliciete referentie-geaugmenteerde scoring tijdens de anker-evaluatie, slaagden beoordelaars er niet in om correcte van incorrecte ankers te onderscheiden in 26,7% van de gevallen, wat de latente schaal destabiliseerde. Referentie-geaugmenteerde scoring verhoogde de correcte ordening naar 97,5%.

Betekenis en Claims

Het artikel betoogt dat open einde conformiteit niet adequaat gemeten kan worden door middel van antwoordwijzigingen (flips) of door ervan uit te gaan dat geautomatiseerde evaluatoren ongevoelig zijn voor de met de behandeling gecorreleerde context. De primaire bijdragen zijn:

1. Meetframework: Een protocol dat de gewone herbeantwoording, de blootstelling aan kandidaat-content, het residuele effect van peer-presentatie en de directionele judge-sensitiviteit van elkaar scheidt.
2. Empirisch Bewijs van Schade: De demonstratie dat incorrecte peers de kwaliteit van open einde revisies consequent meer verslechteren dan correcte peers deze verbeteren, zelfs wanneer de uiteindelijke propositie niet wijzigt.
3. Niet-neutraliteit van de Evaluator: Het bewijs dat "de evaluator onderdeel is van het experiment", waarbij verschillende modellen heterogene sensitiviteiten vertonen voor de peer-context.
4. Vereiste voor Kalibratie: De stelling dat anker-kalibratie een vereiste is voor geldige latente-schaalmeting, aangezien standaard convergentiediagnostiek niet garandeert dat de schaal het beoogde construct vertegenwoordigt.

De auteurs concluderen dat een geloofwaardige evaluatie van multi-agent systemen gepaard moet gaan met passende baseline-controles, expliciete modellering van evaluator-sensitiviteit, onafhankelijke corroboratie (bijv. vaste classificators) en directe audits van schaal-kalibratie. Zij beweren niet dat deze bevindingen universele constanten zijn voor alle LLM-systemen, maar dat het identificeerbare grootheden zijn binnen de gespecificeerde experimentele setting.