💬 NLP

Instruction-Tuned Models Locally Reuse Human Syntax More Than Humans Do

Questo studio dimostra che i modelli linguistici di grandi dimensioni istruiti per il fine-tuning esibiscono una convergenza sintattica con i turni umani precedenti più forte rispetto agli esseri umani, eppure mostrano una ridotta sensibilità verso regole grammaticali specifiche e una maggiore sovrapposizione con stimoli non correlati rispetto alle loro controparti pre-addestrate.

Autori originali: Zandi Eberstadt

Pubblicato 2026-07-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zandi Eberstadt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Specchio Linguistico: Quando i Robot Iniziano a Parlare Come Noi

Immaginate di essere a una festa e di notare che, dopo che un vostro amico ha iniziato a usare un termine gergale specifico o un modo buffo di formulare una frase, iniziate accidentalmente a fare la stessa cosa. Non l'avete pianificato; è successo e basta. Nel mondo della scienza, questo si chiama convergenza sintattica. È un trucco ben noto del cervello umano, per cui imitiamo inconsciamente la grammatica e le strutture delle frasi delle persone con cui parliamo, rendendo le nostre conversazioni più fluide. È come una danza linguistica dove i partner si coordinano naturalmente nel tempo l'uno con l'altro.

Ora, immaginate un nuovo tipo di partner di danza: un programma per computer gigante e super intelligente chiamato Modello di Linguaggio di Grandi Dimensioni (LLM). Questi sono i chatbot IA che possono scrivere storie, rispondere a domande e sostenere conversazioni. Gli scienziati si sono spesso chiesti: questi cervelli digitali compiono la stessa danza di "mirroring" (riflesso) che fanno gli umani? Imitano inconsciamente la grammatica della persona con cui stanno parlando, o si limitano a mantenere il proprio stile robotico? Questa domanda è importante perché, se l'IA inizia a imitarci troppo perfettamente, potrebbe cambiare il modo in cui interagiamo con essa, portandoci potenzialmente a sentire che ci capisce meglio di quanto non faccia realmente, o persino influenzando ciò in cui crediamo.

Lo Studio: Un Esperimento di Scambio Grammaticale

In questo studio, un ricercatore di nome Zandi Eberstadt ha deciso di mettere alla prova questa domanda usando un trucco astuto chiamato "paradigma di sostituzione". Immaginate di avere la trascrizione di una conversazione reale tra due esseri umani. Ora, immaginate un cancellatore magico che cancella la risposta di una persona e la sostituisce con una risposta generata da un'IA. Il ricercatore ha fatto questo con 16 diversi modelli di IA (che vanno dai piccoli con 1 miliardo di parametri ai massicci con 70 miliardi) e ha confrontato le loro risposte "sostituite" con le risposte umane originali.

L'obiettivo era vedere se l'IA, rispondendo a un essere umano, avrebbe riutilizzato i specifici "mattoni" grammaticali (chiamati regole di Grammatica Context-Free) che l'umano aveva appena usato. Per assicurarsi che l'IA non stesse solo copiando per caso, il ricercatore ha anche fornito all'IA una frase casuale e non correlata come prompt e ha controllato se continuasse a copiare la grammatica.

Le Grandi Scoperte: L'IA è uno Specchio Migliore di Noi

I risultati sono stati sorprendenti e un po' divertenti. Ecco cosa ha scoperto lo studio:

1. L'IA Copia Sempre (Più del Caso)
Ogni singolo uno dei 16 modelli di IA ha dimostrato di riutilizzare la grammatica della frase precedente dell'umano molto più spesso di quanto riutilizzasse la grammatica di una frase casuale e non correlata. Quindi, sì, i robot stanno decisamente ballando al ritmo dell'umano.

2. I Robot "Instruction-Tuned" Mostrano la Maggiore Sovrapposizione Totale (Ma è Complicato)
Lo studio ha esaminato due tipi di IA: quelle "pre-addestrate" (che hanno solo letto molti testi) e quelle "instruction-tuned" (che sono state specificamente istruite per seguire le istruzioni umane e chiacchierare in modo naturale). I modelli "instruction-tuned" hanno mostrato la maggiore sovrapposizione grammaticale totale con l'umano. Infatti, riutilizzavano la grammatica dell'umano più spesso rispetto agli esseri umani stessi nelle conversazioni originali. Tuttavia, questa non è tutta la storia. I ricercatori hanno scoperto che i modelli instruction-tuned tendono a generare risposte più lunghe e complesse, il che offre loro naturalmente più "spazio" per sovrapporsi alla grammatica dell'umano. Quando i ricercatori hanno adeguato la foto per questa differenza nella lunghezza e nella struttura della risposta, il quadro è cambiato.

3. Ma C'è un Problema: Copiano Tutto, Non Solo le Cose Giuste
Ecco dove la questione si fa complicata. Sebbene i modelli instruction-tuned avessero la maggiore sovrapposizione totale, sovrapponevano anche di più alle frasi casuali rispetto ai modelli base. È come uno studente che è così desideroso di compiacere l'insegnante da copiare la calligrafia dell'insegnante anche quando l'insegnante non sta guardando, ma copia anche scarabocchi casuali da un quaderno sul pavimento.

Quando i ricercatori hanno adeguato il fatto che le risposte dell'IA fossero talvolta più lunghe e avessero più "spazio" per copiare le cose, il quadro è cambiato. I modelli base, pre-addestrati, erano in realtà più bravi a scegliere di riutilizzare specifiche regole grammaticali quando era sensato farlo. I modelli instruction-tuned, invece, sembravano solo lanciare più parole e strutture al muro, sperando che alcune di esse incollassero. Avevano una sovrapposizione totale più alta, ma una probabilità "condizionale" più bassa di riutilizzare una regola specifica una volta tenuto conto di quanto stavano parlando.

4. L'Effetto della "Parola Rara"
Interessantiamente, sia gli umani che l'IA erano più propensi a copiare le regole grammaticali rare o insolite che sentivano. Se un essere umano usava una struttura di frase strana e poco comune, l'IA era molto propensa a copiarla. Questo suggerisce che l'IA è sensibile all'ambiente locale, cogliendo il "gusto" unico della conversazione, proprio come fanno gli umani.

5. Anche Parole e Significati
Oltre alla grammatica, i modelli di IA hanno anche corrisposto meglio alle parole dell'umano e al significato generale delle loro frasi rispetto agli esseri umani originali. I modelli instruction-tuned erano particolarmente bravi a corrispondere al significato del turno precedente, il che li fa sembrare molto reattivi, anche se la loro copia grammaticale era un po' "rumorosa".

Cosa Significa Questo

Lo studio conclude che i modelli di IA instruction-tuned sono incredibilmente bravi a imitare la conversazione umana, spesso superando gli umani nel modo in cui corrispondono alla grammatica della persona con cui stanno parlando. Tuttavia, questo non è necessariamente dovuto al fatto che siano più "intelligenti" nel copiare; è in parte perché sono addestrati per essere più reattivi e generare più testo, il che dà loro più possibilità di sovrapporsi.

I ricercatori avvertono con cautela che, sebbene l'IA sia un ottimo imitatore, non sappiamo ancora perché lo faccia. È a causa del modo in cui sono stati addestrati? È solo un effetto collaterale del tentativo di predire la parola successiva? Non lo sappiamo con certezza. Ma una cosa è chiara: questi partner di conversazione digitali stanno imparando a ballare il passo umano così bene che potrebbero finire per calpestare i nostri piedi con un entusiasmo eccessivo.

Sintesi Tecnica: I modelli istruiti tramite istruzioni riutilizzano la sintassi umana localmente più degli esseri umani

Definizione del Problema

La convergenza sintattica — la tendenza dei parlanti ad adattare le proprie costruzioni grammaticali per corrispondere a quelle dei propri interlocutori — è un fenomeno ben documentato nel dialogo umano, che opera tipicamente al di sotto della consapevolezza cosciente attraverso meccanismi di priming strutturale. Sebbene i Large Language Models (LLM) siano ormai interlocutori routinari, rimane aperta la questione se essi esibiscano una convergenza sintattica direzionale analoga verso gli utenti umani rispetto ai baseline umani. Nello specifico, non è chiaro se gli LLM riutilizzino le regole della grammatica context-free (CFG) dei turni umani precedenti più di quanto facciano gli umani, e come questo comportamento vari tra famiglie di modelli, scale di parametri e regimi di addestramento (pre-addestrati vs. istruiti tramite istruzioni).

Metodologia

Lo studio utilizza un paradigma di sostituzione basato sui dati di Blevins et al. [2026], in cui i turni generati da LLM sostituiscono i turni di uno dei parlanti in dialoghi preesistenti uomo-uomo dal corpus DailyDialog. Questa configurazione permette un confronto diretto tra gli output del modello e le risposte umane originali nelle medesime posizioni conversazionali.

Dati e Modelli

Corpus: 707 conversazioni diadi in inglese (limitate ai turni 6–fine), che producono 1.901 posizioni corrispondenti per modello.
Modelli: Sedici modelli open-weight appartenenti a due famiglie (Llama-3.1/3.2 e Gemma-3), con un range da 1B a 70B di parametri. Ogni famiglia include sia varianti pre-addestrate (PT) che istruite tramite istruzioni (IT).
Condizioni:
1. HUMAN (UMANO): Risposta umana originale ( $h_i$ ) a un prime umano ( $p_i$ ).
2. ACTUAL (REALE): Generazione del modello ( $m_i$ ) a un prime umano ( $p_i$ ).
3. RANDOM (CASUALE): Generazione del modello ( $m_i$ ) a un prime umano non correlato ( $\tilde{p}_i$ ) campionato da una conversazione diversa.

Pipeline di Misurazione

Annotazione Sintattica: Gli enunciati sono stati analizzati utilizzando benepar per estrarre le regole di produzione della Grammatica Context-Free (CFG). Le regole ammissibili erano non unarie e occorrevano più di una volta nel corpus umano.
Metriche:
- Allineamento Totale dell'Output Naturale: Sovrapposizione delle regole CFG tra il target e il prime effettivo.
- Incremento Actual-vs-Random: La sovrapposizione aggiuntiva attribuibile al vero prime conversazionale rispetto a uno non correlato.
- Propensione al Riutilizzo Condizionale: Odds di sovrapposizione quando si mantiene costante la dimensione del set di regole del target.
Modellazione Statistica: Sono stati applicati modelli lineari misti logistici (GLMM) per ogni modello e raggruppati per coppie di architetture. Gli intercetti casuali hanno tenuto conto della variazione tra posizioni e regole. Le covariate includevano la frequenza delle regole e la dimensione strutturale del prime.
Analisi Esplorative: La similarità coseno TF-IDF (lessicale) e la similarità coseno degli embedding di frase L2-normalizzati (semantica) sono state calcolate per confrontare la similarità del modello e dell'umano con il turno precedente.

Risultati Chiave

1. Riutilizzo Sintattico Universale Sopra il Baseline (RQ1)

Ogni modello (tutti i 16) ha dimostrato una maggiore sovrapposizione di regole CFG con il turno umano precedente effettivo rispetto a un prime non correlato. Il coefficiente actual-versus-random è variato da $\beta = 0.706$ a $1.453 $($ p \le 6.5 \times 10^{-31}$), confermando che tutti i modelli valutati esibiscono una convergenza sintattica direzionale.

2. Allineamento dei Modelli Istruiti vs. Baseline Umano (RQ2)

Output Naturale: Ogni modello istruito tramite istruzioni ha mostrato una maggiore sovrapposizione totale tra actual-prime e l'umano ( $\beta = 0.398$ a $0.796$). I modelli pre-addestrati erano più vicini al baseline umano, con risultati misti (quattro significativamente positivi, quattro indistinguibili dallo zero).
Coppie di Architetture: Tutti gli otto accoppiamenti di architetture hanno mostrato un maggiore riutilizzo totale dell'actual-prime sotto l'addestramento tramite istruzioni rispetto ai rispettivi modelli pre-addestrati.
Il "Confondimento Strutturale": Decomponendo questi risultati, i modelli istruiti tramite istruzioni producono risposte con più struttura sintattica ammissibile (set di regole target più grandi), il che offre intrinsecamente più opportunità di sovrapposizione.
- Incremento Actual-vs-Random: I modelli istruiti tramite istruzioni hanno mostrato un incremento incrementale dal vero prime minore rispetto ai modelli pre-addestrati ( $\beta = -0.310$ ).
- Riutilizzo Condizionale: Quando la dimensione del set di regole del target veniva mantenuta costante, il vantaggio dell'istruzione tramite istruzioni si invertiva. I modelli pre-addestrati esibivano una tendenza più forte a riutilizzare le regole disponibili ( $\beta = -0.505$ per IT vs. PT), mentre i modelli istruiti tramite istruzioni mostravano una minore propensione al riutilizzo condizionale.

3. Profili di Frequenza (RQ3)

Frequenza delle Regole: Per tutti i modelli, l'incremento actual-versus-random era maggiore per le regole a bassa frequenza.
Profili Divergenti: Gli umani e i modelli pre-addestrati mostravano interazioni negative con la frequenza (priming più forte per le regole rare). I modelli istruiti tramite istruzioni mostravano interazioni di frequenza più variegate, con alcuni che esibivano interazioni positive, suggerendo un meccanismo differente nel modo in cui pesano il riutilizzo delle regole in base alla frequenza.

4. Similarità Lessicale e Semantica (RQ4)

Tutti i sedici modelli erano più simili al turno precedente, sia a livello lessicale che semantico, rispetto alle risposte umane corrispondenti.
I modelli istruiti tramite istruzioni hanno prodotto costantemente risposte con una maggiore similarità semantica media rispetto ai loro omologhi pre-addestrati. I risultati sulla similarità lessicale sono stati eterogenei tra le coppie di architetture.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima misurazione della convergenza sintattica locale direzionale nel dialogo uomo-LLM attraverso un ampio inventario di costruzioni e varianti di modelli.

Meccanismo di Convergenza: I risultati suggeriscono che l'addestramento tramite istruzioni ottimizzi i modelli per la "risposta" locale, portando a un maggiore allineamento con il turno precedente. Tuttavia, ciò è in parte guidato dalla generazione di risposte che contengono più struttura sintattica piuttosto che da un puro aumento della propensione a riutilizzare regole specifiche.
Riconciliazione con la Stilometria: I risultati si conciliano con il lavoro precedente (Blevins et al. [2026]) che mostra come i modelli istruiti tramite istruzioni possano convergere meno su certe caratteristiche stilometriche; lo studio attuale suggerisce che ciò possa riflettere una tendenza a introdurre materiale nuovo pur mantenendo un alto allineamento strutturale attraverso una maggiore complessità dell'output.
Implicazioni per i Rischi di Allineamento: Lo studio operazionalizza una componente linguistica locale rilevante per l'ipotesi della "spirale di amplificazione" (Augustin et al. [2026]), dove l'allineamento linguistico combinato con la generazione iper-personalizzata può contribuire alla costruzione di credenze maladattive. I dati confermano che gli LLM, in particolare quelli istruiti tramite istruzioni, esibiscono un forte e misurabile accomodamento sintattico verso gli utenti umani.
Intuizione Psicologica: La presenza di effetti di priming dipendenti dalla frequenza (più forti per le regole rare) in tutti i modelli, inclusi i piccoli modelli pre-addestrati, suggerisce che la sensibilità all'ambiente sintattico locale sia una proprietà fondamentale della predizione del prossimo token, potenzialmente analoga all'apprendimento implicito guidato dall'errore negli esseri umani, sebbene il paper noti che questa analogia richieda ulteriori indagini meccanicistiche.

Lo studio conclude che, sebbene i modelli istruiti tramite istruzioni si allineino più fortemente alla sintassi umana nell'output naturale, tale allineamento è complesso, coinvolgendo sia un aumento dell'opportunità strutturale sia meccanismi distinti di pesatura della frequenza rispetto a umani e modelli pre-addestrati.