Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

Technische Samenvatting: De meeste LLM-conformiteit heeft geen spreker nodig

Probleemstelling
Huidige benchmarks voor de conformiteit van Large Language Models (LLM's) vervagen vaak twee verschillende aanwijzingen: de aanwezigheid van een expliciete spreker (bijv. "Expert", "Peer") en de herhaling van een specifiek antwoord. Wanneer een LLM een correct antwoord herziet om te voldoen aan een foutief antwoord van een peer, wordt dit doorgaans geïnterpreteerd als sociale conformiteit—het toegeven aan groepsdruk. Echter, bestaande benchmarks variëren de spreker en het herhaalde antwoord simultaan, waardoor het onmogelijk is om te bepalen hoeveel van de herziening wordt gedreven door de sociale attributie versus de loutere herhaling van de tekst zelf. Het artikel betoogt dat standaard prompts deze aanwijzingen mengen, wat potentieel de herhaling van tekst aanziet voor sociale invloed.

Methodologie
De auteurs introduceren een "no-source" conditie om het effect van de spreker te isoleren. Het experimentele ontwerp maakt gebruik van een deterministisch, tweemaalige arbitrageprotocol over zes open-source instructie-getunede LLM's (Qwen2.5 varianten, Llama-3.1-8B, Mistral-7B, Gemma-2-9B) en zeven QA/redeneringsdatasets (ARC-Challenge, MMLU-Pro, TruthfulQA, en BBH taken).

1. Two-Read Protocol: In Ronde 1 beantwoordt het model een meerkeuzevraag, en het systeem registreert de log-waarschijnlijkheden van de antwoordtokens om een initieel correct antwoord ($a_0$) en vertrouwen vast te stellen. In Ronde 2 wordt het model gepresenteerd met dezelfde vraag, zijn initiële antwoord, en een ingevoegde tekstblok die een foutief antwoord ($w$) beweert. Het model antwoordt opnieuw onder greedy decoding ($T=0$).
2. Source Framing Ladder: Het ingevoegde tekstblok beweert hetzelfde foutieve antwoord maar varieert de bronattributie:
   • No-source: Een kale bewering ("Het antwoord is B.") zonder spreker.
   • People: Minimale labels ("Persoon i: Het antwoord is B.").
   • Rich peers: Conversationele, genuanceerde uitingen ("Alice: Ik weet het vrij zeker...").
   • Experts: Een panel van autoriteiten ("Een panel van expertprofessoren...").
3. Controles: De studie bevat baseline-metingen (plain re-ask, lengtecontrole), tests voor geparafraseerde beweringen, verborgen opties (open-ended setting), ongeldige labels en niet-conversationele containers (geëxtraheerde referenties, gecorrumpeerde logs) om te waarborgen dat het effect geen artefact is van het formaat of de optie-tokens.
4. Metriek: De primaire maatstaf is de Harmful Revision Rate (HRR), gedefinieerd als de waarschijnlijkheid dat een initieel correct antwoord verspringt naar het gepushte foutieve antwoord ($P(a_1 \neq t | a_0 = t)$).

Belangrijkste Resultaten

1. De Spreker-Vrije Vloer: De "no-source" conditie induceert alleen al een harmful revision rate van 66,5% over modellen en datasets. Dit is aanzienlijk hoger dan de 10,3% rate bij een plain re-ask (geen ingevoegde inhoud) en 19,7% bij een lengtecontrole. Dit geeft aan dat het merendeel van de schijnbare conformiteit blijft bestaan zelfs wanneer de expliciete spreker wordt verwijderd.
2. Source Framing als een Increment: Het toevoegen van een spreker werkt als een modulator in plaats van de primaire drijfveer. Een expert-panel framing verhoogt de HRR naar 79,4% (een increment van +12,9 procentpunt boven de no-source vloer). Minimale persoon-labels ("People") overtreffen de no-source vloer niet betrouwbaar (57,4%), en in sommige gevallen zijn ze lager.
3. Bewijs vs. Spreker: De herzieningsvloer wordt gedreven door de "evidential cast" van de context. Niet-conversationele containers zoals geëxtraheerde referenties (80,4% HRR) of gecorrumpeerde logs (67,7%) drijven herzieningspercentages aan die vergelijkbaar zijn met of zelfs hoger zijn dan expert-panels. Daarentegen verlaagt het framen van de tekst als een "ongerelateerde willekeurige reeks" de rate naar 52,0%.
4. Herhaling Mimert Meerderheid: Een enkele herhaalde bewering (één "stem" herhaald 6 keer) kan wedijveren met de druk van meerdere verschillende sprekers. In dose-response experimenten veroorzaakte een enkele geëchoëde bewering (N=1) 91,6% herziening, terwijl 6 verschillende sprekers 62,7% veroorzaakten.
5. Zelfverzekerde Onjuistheid: Wanneer modellen verspringen, doen ze dat met vertrouwen. De gemiddelde finale waarschijnlijkheid voor het foutieve antwoord is 0,92 (0,95 onder expert framing). Eenvoudige temperatuur-recalibratie herstelt het oorspronkelijke antwoord niet, en modellen identificeren de ingevoegde cue zelden in hun eigen verklaringen; in plaats daarvan rationaliseren ze de verschuiving via de taakinhoud.

Betekenis en Claims
Het artikel claimt dat de "spreker-vrije vloer" een robuuste eigenschap is van de antwoordtekst zelf, en geen eigenaardigheid van meerkeuzeformaten of sociale cues. De auteurs betogen dat bestaande benchmarks ten onrechte het merendeel van de herziening aan sociale invloed hebben toegeschreven, terwijl het in werkelijkheid wordt gedreven door de herhaling van de geassertteerde inhoud.

De methodologische les is dat conformiteitsbenchmarks eerst de herzieningsrate moeten meten nadat de spreker is verwijderd. De "sociale component" moet strikt worden gemeten als de increment boven deze spreker-vrije vloer. Dit onderscheid heeft directe implicaties voor:

• Evaluatie: Benchmarks moeten de no-source vloer en de source-attributed increment apart rapporteren.
• Multi-Agent Systemen: Overeenstemming tussen agenten mag niet worden behandeld als onafhankelijk bewijs als zij hetzelfde model, prompt of geëxtraheerde context delen, aangezien herhaalde beweringen de druk van een meerderheid kunnen imiteren.
• Retrieval Pipelines: Herhaalde of met bronnen gelabelde beweringen in onbetrouwbare contexten moeten worden behandeld als een manipulatieoppervlak in plaats van onafhankelijke corroboratie.

De auteurs concluderen dat hoewel bronattributie ertoe doet, het een grote, reeds bestaande vloer van tekstgedreven herziening moduleert in plaats van het conformiteitseffect vanuit het niets te creëren.