💬 NLP

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

Questo studio confronta due generazioni di LLM con testi di notizie scritti da esseri umani utilizzando il formalismo HPSG e metriche di diversità, rivelando che, mentre la scrittura umana rimane stabile, i modelli più recenti istruiti tramite istruzioni mostrano una diversità sintattica e lessicale significativamente ridotta, suggerendo un potenziale restringimento della gamma espressiva nonostante una migliore coerenza.

Autori originali: Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Pubblicato 2026-05-08

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un critico musicale che confronta due band: The Humans (giornalisti professionisti) e The Robots (Intelligenza Artificiale). Vuoi vedere come la loro musica è cambiata nel tempo.

Questo articolo è come un'immersione profonda nello spartito di questi due gruppi. Invece di limitarsi ad ascoltare la melodia (le parole), i ricercatori hanno esaminato la grammatica (gli accordi e la struttura) e il vocabolario (gli strumenti specifici utilizzati) per vedere se i robot stanno suonando più come gli umani o se stanno diventando qualcos'altro.

Ecco la sintesi delle loro scoperte in termini semplici:

1. La Premessa: Due Epoche, Due Band

I ricercatori hanno confrontato due diversi periodi temporali:

The Humans: Hanno analizzato articoli di giornale del New York Times scritti nel 2023 e nel 2025.
The Robots: Hanno confrontato due generazioni di modelli di IA:
- Robot più vecchi (2023): Questi erano i modelli "base". Immaginali come musicisti grezzi e non addestrati che suonano semplicemente ciò che viene loro in mente.
- Robot più recenti (2025): Questi sono i modelli "addestrati alle istruzioni". Immaginali come musicisti a cui è stato dato un rigido regolamento e un allenatore che dice loro esattamente come comportarsi, cosa dire e come essere "utili".

2. La Grande Scoperta: "Più Allineati, Meno Diversi"

La scoperta principale è un po' sorprendente. Potresti aspettarti che, man mano che l'IA diventa più intelligente e più "allineata" alle istruzioni umane, inizi a suonare più come uno scrittore umano.

La Realtà: I modelli di IA più recenti suonano in realtà meno come gli umani e meno come le loro versioni più vecchie.

The Humans: I giornalisti professionisti non sono cambiati molto. Il loro stile di scrittura, la struttura delle frasi e le scelte lessicali sono rimaste stabili e diversificate negli ultimi due anni. Sono come una band jazz che continua a improvvisare con nuove idee.
I Robot più vecchi: Questi modelli erano in realtà piuttosto diversificati. Utilizzavano una vasta gamma di strutture frastiche e parole, a volte persino più variate rispetto agli umani in termini di vocabolario.
I Robot più recenti: Questi modelli sono diventati noiosamente coerenti. Hanno perso il loro "sapore".
- Diversità Sintattica (Struttura): Usano meno tipi di strutture frastiche.
- Diversità Lessicale (Parole): Usano un ventaglio di parole molto più ristretto. Evitano nomi specifici, date e dettagli unici.

3. L'Effetto del "Filtro di Sicurezza"

Perché i robot sono cambiati? L'articolo suggerisce che ciò è dovuto all'Addestramento alle Istruzioni.

Immagina che i robot più vecchi fossero pittori selvaggi che lanciavano vernice ovunque. I robot più recenti sono pittori a cui è stato detto: "Non commettere errori, non allucinare e attieniti ai fatti".

Per seguire queste regole, i modelli di IA più recenti hanno iniziato a giocare sul sicuro.

Hanno smesso di usare nomi specifici (come "Washington" o "Senatore Ben Cardin") perché non volevano sbagliare i fatti.
Hanno smesso di usare strutture frastiche complesse che potrebbero essere rischiose.
Invece, hanno iniziato a usare frasi lunghe, sicure e ripetitive che sono facili da capire ma mancano della "scintilla" della scrittura umana.

4. Il Paradosso "Facile da Leggere"

Ecco un curioso paradosso: i modelli di IA più recenti scrivono frasi più lunghe degli umani, ma quelle frasi sono più facili da analizzare per un computer.

L'Analogia: Immagina uno scrittore umano che costruisce un castello complesso e tortuoso con porte nascoste e passaggi segreti. È bello, ma difficile da mappare.
Il nuovo IA costruisce un corridoio molto lungo e dritto senza porte. È più lungo del castello umano, ma è incredibilmente facile da percorrere perché è così prevedibile.

I ricercatori hanno scoperto che il testo generato dall'IA più recente è così regolare e formulico che un correttore grammaticale automatico può elaborarlo quasi perfettamente (99% di successo), mentre la scrittura umana è leggermente più caotica e più difficile da analizzare (94-95% di successo).

5. La Conclusione

L'articolo conclude che, sebbene i modelli di IA più recenti siano migliori nel seguire le istruzioni e nel suonare "utili", hanno scambiato creatività e varietà con sicurezza e prevedibilità.

Non sono più scrittori "medi"; stanno diventando scrittori "sicuri". Hanno ristretto così tanto il loro range espressivo che ora sono meno diversificati sia dei giornalisti umani che dei modelli di IA più vecchi e meno addestrati.

In sintesi: I robot sono diventati migliori nel seguire le regole, ma nel farlo, hanno dimenticato come essere interessanti.

Riepilogo Tecnico: Più Allineati, Meno Diversi? Analisi della Grammatica e del Lessico di Due Generazioni di LLM

Enunciato del Problema
Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) siano sempre più confrontati con gli scrittori umani lungo dimensioni linguistiche, metodi robusti per quantificare queste differenze rimangono sottosviluppati. Nello specifico, l'impatto del fine-tuning su istruzioni e dell'Apprendimento per Rinforzo dal Feedback Umano (RLHF) sulla diversità grammaticale e lessicale delle uscite dei modelli non è ben compreso. Ricerche precedenti hanno stabilito che i modelli base differiscono dal testo umano, ma non è chiaro come le nuove generazioni, addestrate su istruzioni, si confrontino sia con gli esseri umani sia con i loro stessi predecessori. Questo studio colma tale lacuna indagando se i nuovi LLM, progettati per un migliore allineamento e coerenza, abbiano sacrificato la varietà sintattica e lessicale.

Metodologia
Gli autori adottano un quadro linguistico formale piuttosto che metriche standard basate su compiti NLP per garantire robustezza e generalizzabilità.

Quadro di Riferimento: Lo studio utilizza la Grammatica a Struttura di Frase Guidata dal Nucleo (HPSG) e la Grammatica delle Risorse Inglese (ERG). A differenza dei parser statistici o delle Dipendenze Universali, l'ERG è un parser a chart deterministico ed esaustivo progettato per fornire una struttura per tutte le frasi inglesi ben formate, consentendo l'analisi di fenomeni linguistici rari e della parsibilità.
Dataset:
- Testo Umano: Paragrafi introduttivi del The New York Times (NYT) di due periodi distinti: 2023 (utilizzati in lavori precedenti) e 2025 (nuovamente raccolti).
- Testo LLM: Sono state confrontate due generazioni di modelli:
  - Generazione Precedente (Pre-2023): Modelli base (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B) addestrati prima di ottobre 2023.
  - Generazione Più Recente (2024): Modelli addestrati su istruzioni (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3) addestrati fino al 2024.
- Protocollo di Generazione: Per i dati umani del 2025, gli LLM sono stati sollecitati con i titoli del NYT e le prime tre parole del paragrafo introduttivo per generare lead sintetici. I modelli addestrati su istruzioni hanno richiesto prompt espliciti di sistema/utente per simulare il compito di completamento.
Metriche: La diversità è stata quantificata utilizzando indici ecologici e della teoria dell'informazione:
- Indice di Shannon-Wiener ( $H'$ ): Misura la ricchezza e l'uniformità della distribuzione.
- Indice di Simpson ( $D$ ): Misura la probabilità che due token selezionati casualmente appartengano a categorie diverse.
- Queste metriche sono state applicate ai tipi sintattici (configurazioni della struttura frasale) e ai tipi lessicali (rappresentazioni HPSG complesse dei vincoli delle parole, distinte dal vocabolario superficiale).

Principali Contributi

Confronto Diacronico: A differenza di lavori precedenti che confrontavano una singola generazione di LLM con gli umani, questo studio contrappone direttamente due generazioni di LLM (base vs. addestrati su istruzioni) a due campioni temporali di scrittura umana.
Analisi Linguistica Formale: L'uso di HPSG/ERG fornisce un metodo linguisticamente fondato e indipendente dalla teoria per analizzare sintassi e lessico, evitando i bias intrinseci nelle prestazioni dei compiti NLP o nelle etichettature grossolane delle Parti del Discorso.
Applicazione delle Metriche di Diversità: L'applicazione degli indici di Shannon e Simpson alle strutture grammaticali offre un modo sistematico per tracciare gli spostamenti stilistici attraverso le generazioni di modelli.

Risultati

Stabilità Umana: Il testo giornalistico inglese del 2023 e del 2025 ha mostrato una notevole stabilità nelle metriche di diversità sia sintattica che lessicale, indicando un equilibrio coerente di varietà nel giornalismo professionale.
Divergenza LLM:
- Diversità Sintattica: I nuovi modelli addestrati su istruzioni (2025) hanno mostrato una diversità sintattica significativamente ridotta rispetto ai vecchi modelli base (2023). Mentre i modelli più vecchi erano più vicini alla diversità umana, i modelli più recenti favorivano costruzioni che coinvolgono modificazione e coordinazione (ad esempio, sintagmi nominali con modificatori) evitando dettagli specifici come nomi e date.
- Diversità Lessicale: Il declino è stato ancora più pronunciato nella diversità lessicale. Sorprendentemente, i vecchi LLM (2023) hanno esibito la più alta diversità lessicale, superando sia il testo umano sia i modelli più recenti. I modelli più recenti (2025) hanno mostrato la minore varietà lessicale, affidandosi a "tipi lessicali" di base (aggettivi, sostantivi comuni, verbi transitivi) ed evitando referenti specifici.
- Punteggiatura: I modelli più recenti hanno utilizzato la punteggiatura con una diversità significativamente inferiore, generando meno trattini lunghi, punti e virgola e virgolette rispetto agli scrittori umani e ai modelli più vecchi.
Parsibilità e Lunghezza:
- I modelli più recenti hanno generato frasi più lunghe (dal 15% al 30% più lunghe del testo umano) rispetto ai modelli più vecchi (che erano più corti del testo umano).
- Nonostante l'aumento di lunghezza, le uscite dei nuovi LLM erano più facili da analizzare (avvicinandosi a un tasso di successo del 99%) e richiedevano meno risorse computazionali rispetto al testo umano o alle uscite dei vecchi LLM. Ciò suggerisce che i nuovi modelli producono frasi strutturalmente regolari e snelle che si allineano alle parti più prevedibili della grammatica, mentre il testo umano innesca fenomeni più complessi e meno prevedibili.

Significato e Affermazioni
Il documento afferma che, sebbene il fine-tuning su istruzioni migliori la coerenza e l'aderenza ai prompt, ha l'effetto collaterale di restringere la gamma espressiva dell'output del modello. I risultati suggeriscono un compromesso in cui i paradigmi di allineamento sacrificano la varietà lessicale e sintattica per il controllo stilistico e la sicurezza fattuale (evidenziata dall'evitamento di nomi e date specifici e dalla riduzione di strutture soggette a allucinazioni).

Gli autori concludono che i modelli più grandi e recenti non stanno convergendo verso il comportamento linguistico umano nella scrittura giornalistica professionale; al contrario, si stanno allontanando, diventando più formulaici e meno diversificati sia rispetto agli umani sia rispetto ai precedenti modelli base. Ciò sottolinea la necessità di ricerche future su come il fine-tuning su istruzioni influisca sulle capacità linguistiche e se tali capacità possano essere ripristinate senza compromettere l'allineamento. Lo studio è circoscritto in modo modesto al testo giornalistico inglese, notando che la metodologia è ampiamente applicabile ma attualmente limitata dalla disponibilità di grammatiche HPSG a copertura ampia per altre lingue.