Sintesi Tecnica: Le tendenze alla persuasione e alla conformità predicono il processo decisionale di gruppo in esseri umani e modelli linguistici

Definizione del problema

I Large Language Models (LLM) sono sempre più impiegati in scenari di processo decisionale di gruppo insieme ad altri LLM e umani. Tuttavia, i meccanismi che ne guidano l'influenza rimangono poco chiari. Nello specifico, non è noto se l'impatto di un LLM sia guidato principalmente da un'espressione orientata alla persuasione (argomentazione attiva e assertività) o da un'accomodazione orientata alla conformità (ascolto e adattamento agli altri). Mentre la ricerca sulle reti sociali offre due prospettive sull'influenza — coloro con ampi canali di comunicazione in uscita rispetto a coloro che aggregano informazioni in entrata — non è stabilito quale orientamento comportamentale generi migliori risultati di gruppo nei sistemi LLM. Inoltre, è necessario determinare se queste tendenze comportamentali intrinseche siano misurabili e se correlino con la performance nei task, particolarmente in contesti caratterizzati da informazioni asimmetriche e obiettivi nascosti.

Metodologia

Gli autori propongono un framework in due fasi per isolare e valutare queste tendenze:

1. DecisionQE: Misurare le tendenze intrinseche

Per separare le tendenze comportamentali individuali dai fattori confondenti della dinamica di gruppo interattiva (come l'assegnazione dei ruoli), gli autori hanno sviluppato DecisionQE, un framework basato su questionari.

• Struttura: Il framework valuta i modelli attraverso sei domini decisionali: comunicazione pubblica, processo decisionale quotidiano, marketing e persuasione, presentazione ed espressione, comunicazione interpersonale, e negoziazione e interazione strategica.
• Punteggio: Utilizza 70 item derivati dalla letteratura psicologica. Le risposte sono punteggiate su un continuum da 0 (conforme) a 100 (persuasivo).
• Stabilità: I modelli sono stati valutati attraverso cinque esecuzioni ripetute per garantire la stabilità dei profili di tendenza.

2. Gioco del Lupo (Werewolf): Testbed interattivo

Gli autori hanno utilizzato il gioco del Lupo come testbed interattivo per validare come queste tendenze misurate influenzino l'influenza sociale e i risultati di gruppo sotto condizioni di informazione asimmetrica.

• Configurazione: Le partite coinvolgevano otto giocatori (due lupi, quattro villaggi, una strega, un veggente). I lupi conoscevano i loro compagni e miravano a eliminare i villaggi; i villaggi miravano a identificare ed eliminare i lupi.
• Variabili: Lo studio ha manipolato l'assegnazione dei ruoli per creare configurazioni specifiche:
  • Allocazione Casuale: Per valutare la correlazione generale della performance.
  • Allocazione Controllata: Sei configurazioni (Reverse, High, Low) assegnavano ruoli informativi (Lupo, Veggente, Strega) ai modelli in diverse posizioni sul continuum persuasione-conformità per testare gli effetti dipendenti dal ruolo.
• Integrazione Umano-LLM: Per verificare la coerenza comportamentale, gli autori hanno condotto esperimenti in cui un partecipante umano sostituiva un LLM in un ruolo "buono" (villaggio/veggente/strega) o da "lupo", interagendo con sette LLM.

Contributi Chiave

1. Quantificazione delle tendenze comportamentali: Il paper introduce un metodo standardizzato (DecisionQE) per misurare e categorizzare gli LLM lungo uno spettro persuasione-conformità, dimostrando che diversi modelli occupano posizioni distinte e stabili su questo continuum.
2. Disaccoppiamento tra tendenza e performance: Lo studio stabilisce che punteggi di persuasione più elevati non si traducono automaticamente in migliori risultati di gruppo. Al contrario, i modelli orientati alla conformità dimostrano spesso una performance superiore nei compiti cooperativi.
3. Effetto duale della conformità: La ricerca rivela una natura "a due facce" della conformità: essa supporta la cooperazione quando i modelli si trovano in ruoli onesti (villaggi), ma potenzia il occultamento e il successo quando i modelli si trovano in ruoli avversariali (lupi).
4. Coerenza Umano-LLM: I risultati mostrano che i pattern dipendenti dal ruolo osservati nei gruppi composti solo da LLM persistono nelle interazioni miste uomo-LLM, suggerendo che queste tendenze siano un asse comportamentale condiviso per analizzare il processo decisionale mediato sia da agenti artificiali che umani.

Risultati

Profili di tendenza

• Variazione: I modelli valutati hanno mostrato una sostanziale variazione nei punteggi di tendenza. Ad esempio, Kimi K2 e Gemini 3.5 hanno ottenuto i punteggi più alti (più persuasivi), mentre Doubao 1.5 e GLM 4 i più bassi (più conformisti).
• Stabilità: Le deviazioni standard intra-modello erano basse (0,6–2,1 punti), indicando profili comportamentali stabili attraverso le valutazioni ripetute.

Performance di gioco (Allocazione Casuale)

• Tasso di vittoria: I modelli con tendenze persuasive più forti hanno ottenuto tassi di vittoria complessivi inferiori (40,28%–51,39%). Al contrario, i modelli moderatamente conformisti e conformisti hanno ottenuto tassi di vittoria superiori (54,17%–56,94%).
• Sopravvivenza e Identificazione: I modelli conformisti sono sopravvissuti più a lungo (3,10–3,24 round rispetto a 2,94–3,15) e hanno raggiunto una maggiore accuratezza nell'identificazione dei ruoli (43,75%–52,78% rispetto a 35,42%–41,67%).

Risultati dipendenti dal ruolo

• Successo del Team Buono: Le configurazioni in cui i modelli persuasivi erano assegnati ai ruoli di lupo (forzandoli ad essere aggressivi) e i modelli conformisti ai ruoli buoni (H1, R1) hanno prodotto i più alti tassi di vittoria del team buono (90,00%).
• Successo del Team Lupo: Le configurazioni in cui i modelli conformisti erano assegnati ai ruoli di lupo (R2, L1) hanno prodotto i più alti tassi di vittoria del team lupo (45,00%).
• Interpretazione: Il comportamento persuasivo aumenta la visibilità e l'iniziativa, il che aiuta a mobilitare un gruppo ma attira l'attenzione in giochi con ruoli nascosti. Il comportamento conforme permette ai modelli di mimetizzarsi, facilitando la coordinazione nei ruoli onesti ma migliorando l'occultamento nei ruoli avversariali.

Esperimenti Umano-LLM

• Allineamento Comportamentale: I partecipanti umani hanno generalmente ottenuto punteggi più vicini all'estremità della conformità rispetto agli LLM valutati, sebbene con una varianza maggiore.
• Coerenza degli Esiti: Quando gli umani giocavano ruoli buoni, il tasso di vittoria del team (70%) e i giorni di sopravvivenza erano molto simili alla condizione H1 (solo LLM). Quando gli umani giocavano ruoli di lupo, il tasso di vittoria del team lupo (80%) si allineava alla condizione R2, confermando che i pattern dipendenti dal ruolo valgono anche nei gruppi misti.

Significato e Rivendicazioni

Il paper sostiene che le interazioni di gruppo degli LLM fungano da ambiente osservativo controllabile per la ricerca sociologica, rivelando pattern misurabili di tendenze comportamentali intrinseche che vanno oltre il semplice ragionamento sui task.

• Implicazioni per la sicurezza: Gli autori sostengono che le valutazioni sulla sicurezza debbano incorporare le tendenze comportamentali intrinseche. Mentre gli output aggressivi o manipolatori sono facilmente rilevabili, i modelli orientati alla conformità potrebbero rappresentare un rischio unico in contesti avversariali. Il loro stile cooperativo e a bassa salienza può mascherare obiettivi non sicuri, rendendoli più difficili da rilevare durante lo screening.
• Spostamento della valutazione: I risultati suggeriscono che i sistemi LLM affidabili richiedano valutazioni di sicurezza "consapevoli delle tendenze". I modelli dovrebbero essere valutati non solo sulla sicurezza degli output isolati, ma su come le loro tendenze intrinseche (persuasione vs conformità) influenzino la visibilità e la rilevabilità dei rischi in contesti interattivi multi-turno.
• Lente Sociologica: Lo studio pone gli LLM come una lente per osservare l'interazione mediata dal linguaggio, dimostrando che gli "ascoltatori influenti" (agenti conformisti) possono plasmare i risultati di gruppo in modo efficace quanto, o più efficacemente di, i persuaditori attivi, a seconda del contesto e degli obiettivi.