Do language models accommodate their users? A study of linguistic convergence

Titolo: I modelli linguistici si adattano ai loro utenti? Uno studio sulla convergenza linguistica

1. Problema e Contesto

I Large Language Models (LLM) hanno raggiunto un livello di fluidità tale da rendere difficile distinguere il loro output da quello umano. Tuttavia, rimane poco studiato quanto l'uso linguistico dei modelli sia simile a quello umano, in particolare nel contesto dell'accomodamento linguistico.
L'accomodamento è un processo pragmatico umano in cui gli interlocutori adattano il proprio stile di comunicazione (linguaggio, tono, lessico) in base all'identità dell'interlocutore. La domanda centrale della ricerca è: i LLM adattano il proprio linguaggio per riflettere quello dei loro utenti (convergenza linguistica) e questo comportamento segue gli stessi pattern osservati negli esseri umani o ne segue di diversi?

2. Metodologia

Gli autori hanno sviluppato un paradigma sintetico per testare il comportamento dei modelli rispetto a un controllo umano, analizzando la convergenza su tre corpus di dialogo e sedici modelli linguistici diversi.

• Generazione dei Dati:

  • Sono stati utilizzati tre dataset di dialogo in inglese: DailyDialog (dialoghi quotidiani), NPR (trascrizioni di interviste radiofoniche) e Movie Corpus (dialoghi da sceneggiature).
  • Per ogni conversazione, il modello è stato istruito a completare i turni di un parlante specifico (sostituendo l'output umano originale) basandosi sui 5 turni precedenti.
  • Il modello sostituiva l'utente dal turno 6 in poi, mantenendo il ruolo per il resto della conversazione.

• Analisi della Convergenza:

  • L'output del modello ($r_t$) è stato confrontato con il turno precedente dell'altro parlante ($r_{t-1}$) e con due baseline:
    1. Baseline Umana: Quanto l'originale umano si adattava al contesto.
    2. Baseline Random: Quanto un turno casuale estratto dallo stesso dataset si adattava al contesto (livello di rumore).
  • Sono stati misurati quattro indicatori stilometrici (stylometric features):
    1. Lunghezza dell'Enunciato: Similitudine nella lunghezza delle frasi.
    2. Accordo LIWC: Frequenza di classi di parole funzionali (pronomi, articoli, congiunzioni, ecc.) utilizzando il dizionario LIWC2007.
    3. Sovrapposizione dei Nomi Propri (PROPN): Percentuale di nomi propri condivisi tra il turno del modello e quello precedente.
    4. Novità dei Token: Percentuale di token unici nel turno del modello rispetto al precedente (una minore novità indica maggiore allineamento lessicale).

• Modelli Testati:

  • Due famiglie di modelli open-source: Gemma 3 (1B, 4B, 12B, 27B parametri) e Llama 3 (1B, 3B, 8B, 70B).
  • Per ogni modello, sono state analizzate sia le versioni Pre-addestrate (PT) che quelle Istruite (Instruction-Tuned, IT).

3. Risultati Chiave

• Convergenza Generale: I modelli mostrano una forte capacità di adattamento allo stile del contesto, superando significativamente la baseline random nella maggior parte dei casi (es. 81-100% dei casi per lunghezza, PROPN e novità dei token).
• Sovra-adattamento (Overconvergence): In molti casi, i modelli convergono più degli esseri umani rispetto alla baseline umana. Questo è particolarmente evidente per la lunghezza degli enunciati e la novità dei token.
• Impatto del Tipo di Modello:
  • I modelli Pre-addestrati (PT) tendono a convergere molto di più, spesso sovradattandosi (overfitting) agli indicatori linguistici rispetto agli umani.
  • I modelli Istruiti (IT) convergono meno dei loro corrispettivi pre-addestrati e i loro pattern sono spesso più allineati al comportamento umano, sebbene mostrino ancora differenze.
• Impatto delle Dimensioni: I modelli più grandi tendono a convergere leggermente meno rispetto ai modelli più piccoli, avvicinandosi di più alla baseline umana, ma la differenza non è sempre statisticamente significativa su tutte le metriche.
• Analisi Fine-grained (LIWC):
  • La convergenza è specifica per le caratteristiche. Ad esempio, i modelli pre-addestrati tendono a sovrastimare l'uso di certi tipi di parole (es. quantificatori, congiunzioni) rispetto agli umani, mentre i modelli istruiti a volte ne fanno un uso eccessivo (es. congiunzioni) o insufficiente (es. pronomi impersonali).
  • I modelli istruiti Llama si comportano in modo più simile agli umani rispetto ai Gemma istruiti su diverse classi di parole.
• Analisi Temporale (Stepwise): I modelli mostrano sensibilità ai ruoli del parlante, adattandosi diversamente ai turni precedenti a seconda di chi parla. Tuttavia, mostrano un forte bias di recenza (tendenza a ripetere concetti recenti) nell'uso dei nomi propri, diversamente dagli umani.

4. Contributi Principali

1. Nuovo Paradigma Sperimentale: Sviluppo di un metodo sintetico per testare il comportamento dei modelli confrontandoli direttamente con un controllo umano nello stesso contesto dialogico, superando i limiti delle analisi puramente sintetiche.
2. Analisi Quantitativa Estesa: Fornitura di una valutazione dettagliata su come i fattori di modellazione (dimensione, tipo di addestramento) influenzano la convergenza stilistica, utilizzando un ampio set di indicatori stilometrici su tre domini diversi.

5. Significato e Implicazioni

• Meccanismi Diversi: Sebbene i modelli sembrino "accomodare" gli utenti, i meccanismi sottostanti sono probabilmente diversi. L'accomodamento umano è guidato da obiettivi sociali e comunicativi (spesso inconsci), mentre la convergenza dei modelli è guidata dall'obiettivo di pre-addestramento (massimizzare la coerenza statistica con l'input).
• Rischi di Fiducia: I modelli istruiti, che mostrano un comportamento più simile a quello umano, potrebbero essere percepiti come più affidabili o "umani". Tuttavia, se questo adattamento è dovuto a meccanismi statistici e non a comprensione reale, potrebbe portare a un'eccessiva fiducia dell'utente in risposte inaffidabili o sycophantic (adulatrici).
• Interpretazione del Testo: La ricerca suggerisce che l'adattamento stilistico nei LLM è una facciata di coerenza statistica piuttosto che una vera empatia comunicativa, il che ha implicazioni per la progettazione di chatbot e per la valutazione della sicurezza e dell'affidabilità dei modelli.

In conclusione, i LLM convergono linguisticamente ai loro utenti, spesso più degli umani stessi, ma lo fanno attraverso meccanismi statistici che differiscono qualitativamente dall'accomodamento umano, con implicazioni significative per l'interazione uomo-macchina.