Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

Sintesi Tecnica: La maggior parte della conformità degli LLM non richiede un interlocutore

Definizione del problema
I benchmark attuali per la conformità dei Large Language Model (LLM) spesso confondono due stimoli distinti: la presenza di un interlocutore esplicito (ad es., "Esperto", "Pari") e la ripetizione di una risposta specifica. Quando un LLM revisiona una risposta corretta per adattarsi alla risposta errata di un pari, ciò viene tipicamente interpretato come conformismo sociale — ovvero, deferenza alla pressione del gruppo. Tuttavia, i benchmark esistenti variano simultaneamente l'interlocutore e la risposta ripetuta, rendendo impossibile determinare quanto della revisione sia guidata dall'attribuzione sociale rispetto alla mera ripetizione del testo stesso. Il documento sostiene che i prompt standard mescolano questi stimoli, rischiando di scambiare la ripetizione del testo per influenza sociale.

Metodologia
Gli autori introducono una condizione "senza fonte" (no-source) per isolare l'effetto dell'interlocutore. Il design sperimentale impiega un protocollo di arbitrato a due letture deterministico su sei modelli open-weight istruiti (varianti di Qwen2.5, Llama-3.1-8B, Mistral-7B, Gemma-2-9B) e sette dataset di QA/ragionamento (ARC-Challenge, MMLU-Pro, TruthlessQA e task BBH).

1. Protocollo a due letture: Nella Fase 1, il modello risponde a una domanda a scelta multipla e il sistema registra le log-probabilità dei token della risposta per stabilire una risposta iniziale corretta ($a_0$) e la relativa confidenza. Nella Fase 2, al modello viene presentata la stessa domanda, la sua risposta iniziale e un blocco di testo inserito che afferma una risposta errata ($w$). Il modello risponde nuovamente utilizzando la decodifica greedy ($T=0$).
2. Scala di framing della fonte: Il blocco inserito afferma la stessa risposta errata ma varia l'attribuzione della fonte:
   • Senza fonte (No-source): Un'asserzione nuda ("La risposta è B.") senza un interlocutore.
   • Persone (People): Etichette minime ("Persona i: La risposta è B.").
   • Pari ricchi (Rich peers): Enunciati conversazionali e attenuati ("Alice: Sono piuttosto sicura che...").
   • Esperti (Experts): Un framing da parte di un panel di esperti ("Un panel di professori esperti...").
3. Controlli: Lo studio include baseline (re-ask semplice, controllo della lunghezza), test per asserzioni parafrasate, opzioni nascoste (impostazione open-ended), etichette non valide e contenitori non conversazionali (riferimenti recuperati, log corrotti) per garantire che l'effetto non sia un artefatto del formato o dei token delle opzioni.
4. Metrica: La misura primaria è il Tasso di Revisione Dannosa (HRR), definito come la probabilità che una risposta inizialmente corretta cambi verso la risposta errata spinta ($P(a_1 \neq t | a_0 = t)$).

Risultati Chiave

1. Il pavimento privo di interlocutore (Speaker-Free Floor): La condizione "senza fonte" induce da sola un tasso di revisione dannosa del 66,5% tra i modelli e i dataset. Questo è significativamente superiore al tasso del 10,3% osservato in un re-ask semplice (senza contenuto inserito) e al 19,7% in un controllo della lunghezza. Ciò indica che la maggior parte della conformità apparente sopravvive anche quando l'interlocutore esplicito viene rimosso.
2. Il framing della fonte come incremento: L'aggiunta di un interlocutore agisce come un modulatore piuttosto che come il driver primario. Un framing di un panel di esperti eleva l'HRR al 79,4% (un incremento di +12,9 punti percentuali rispetto al pavimento senza fonte). Le etichette minime di persone ("People") non superano in modo affidabile il pavimento senza fonte (57,4%) e, in alcuni casi, sono inferiori.
3. Evidenza vs. Interlocutore: Il pavimento della revisione è guidato dal "cast di evidenza" del contesto. Contenitori non conversazionali come riferimenti recuperati (80,4% HRR) o log corrotti (67,7%) guidano tassi di revisione comparabili o superiori ai panel di esperti. Al contrario, il framing del testo come "stringa casuale non correlata" abbassa il tasso al 52,0%.
4. La ripetizione imita la maggioranza: Una singola asserzione ripetuta (una sola "voce" ripetuta 6 volte) può eguagliare la pressione di molteplici interlocutori distinti. Negli esperimenti dose-risposta, un'asserzione riecheggiata singola (N=1) ha causato una revisione del 91,6%, mentre 6 interlocutori distinti hanno causato il 62,7%.
5. Erroneità sicura: Quando i modelli cambiano idea, lo fanno con sicurezza. La probabilità media finale per la risposta errata è 0,92 (0,95 sotto il framing dell'esperto). La semplice ricalibrazione della temperatura non recupera la risposta originale e i modelli raramente identificano il cue inserito nelle loro auto-spiegazioni, razionalizzando invece il cambio tramite il contenuto del task.

Significatività e Rivendicazioni
Il documento sostiene che il "pavimento privo di interlocutore" è una proprietà robusta del testo della risposta stessa, non un vezzo dei formati a scelta multipla o dei segnali sociali. Gli autori sostengono che i benchmark esistenti hanno erroneamente attribuito la maggior parte della revisione all'influenza sociale, quando in realtà è guidata dalla ripetizione del contenuto assertivo.

La lezione metodologica è che i benchmark di conformità devono prima misurare il tasso di revisione dopo la rimozione dell'interlocutore. La "componente sociale" dovrebbe essere misurata strettamente come l'incremento sopra questo pavimento privo di interlocutore. Questa distinzione ha implicazioni dirette per:

• Valutazione: I benchmark dovrebbero riportare separatamente il pavimento senza fonte e l'incremento attribuito alla fonte.
• Sistemi Multi-Agente: L'accordo tra agenti non deve essere trattato come evidenza indipendente se condividono un modello, un prompt o un contesto recuperato, poiché le asserzioni ripetute possono mimare la pressione della maggioranza.
• Pipeline di Recupero (Retrieval): Le asserzioni ripetute o etichettate con una fonte in contesti non attendibili dovrebbero essere trattate come una superficie di manipolazione piuttosto che come corroborazione indipendente.

Gli autori concludono che, sebbene l'attribuzione della fonte sia importante, essa modula un ampio e preesistente pavimento di revisione guidata dal testo, piuttosto che creare l'effetto di conformità dal nulla.