💬 NLP

Pretraining Language Models for Diachronic Linguistic Change Discovery

Questo articolo presenta un metodo di preaddestramento efficiente e segmentato temporalmente su modelli linguistici che, superando i limiti del semplice fine-tuning, permette di scoprire con maggiore velocità e precisione fenomeni di cambiamento linguistico diacronico, come variazioni lessicali, grammaticali e semantiche, fornendo al contempo una pipeline riutilizzabile per altre discipline umanistiche.

Autori originali: Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Pubblicato 2026-03-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler studiare come la lingua italiana è cambiata nei secoli, magari per capire perché una parola come "galantuomo" oggi significa qualcosa di diverso rispetto al 1700.

Fino a poco tempo fa, per fare questo, gli studiosi leggevano milioni di libri vecchi. Oggi, invece, usano i Modelli Linguistici Grandi (LLM), come ChatGPT, che sono come enciclopedie viventi addestrate su tutto internet.

Il problema? Questi modelli sono come studenti universitari che hanno letto tutto, ma non hanno mai smesso di studiare. Se chiedi a un modello moderno di comportarsi come se fosse nel 1800, lui potrebbe "scivolare" e usare parole o concetti del 2024 che non esistevano allora. È come se un attore che interpreta un soldato romano, improvvisamente tirasse fuori un iPhone dalla tunica: rompe l'incantesimo e rende la storia falsa.

Gli autori di questo paper hanno pensato: "E se invece di far leggere tutto al modello, gli dessimo solo i libri giusti per il periodo storico che stiamo studiando?"

Ecco come hanno fatto, spiegato con un'analogia culinaria:

1. Il problema: La "Salsa Universale" vs. Il "Brodo Storico"

L'approccio vecchio (Fine-tuning): Prendi un modello gigante (che sa tutto) e gli dai un po' di libri del 1800 per "aggiornarlo". È come prendere uno chef stellato che cucina tutto il mondo e chiedergli di cucinare solo pasta del 1800. Lui ci prova, ma nel suo cervello ci sono ancora i ricordi dei sushi e delle pizze moderne. Quando cucina, a volte "sbaglia" e mette ingredienti moderni nella pasta antica.
Il loro approccio (Pretraining da zero): Invece di prendere lo chef esperto, ne assumono uno nuovo e gli danno solo i libri del 1800. Non sa nulla del 2024. Non sa cosa sia un iPhone. È un "modello puro" (o scratch, come dicono loro) nato e cresciuto solo in quel periodo.

2. La ricetta: "BabyLlama"

Addestrare un modello da zero richiede solitamente computer costosissimi e anni di tempo. Ma gli autori hanno usato una tecnica intelligente chiamata BabyLlama.
Immagina di dover costruire una casa. Invece di costruire un grattacielo (che richiede enormi risorse), costruiscono una casa piccola ma ben fatta, usando mattoni specifici.

Hanno creato 5 piccoli modelli, uno per ogni periodo storico (dal 1750 al 1940).
Ogni modello ha letto solo 10 milioni di parole di quel periodo specifico.
È come avere 5 detective: uno che vive solo nel 1780, uno nel 1850, ecc. Ognuno conosce solo la sua epoca.

3. Il risultato: La "Memoria Pura"

Hanno messo alla prova questi modelli con un gioco: "Completare la frase".
Gli hanno dato una frase del 1800 con una parola mancante.

Il modello moderno (aggiustato): Spesso indovina la parola giusta, ma a volte "sbaglia" inserendo un concetto moderno. Per esempio, se la frase parla di un "pound" (libbra) nel 1780, il modello moderno potrebbe pensare al "pound" come a un posto dove si tengono i cani o le auto, perché nel 2024 è così. Ma nel 1780 non esistevano le auto! Quindi il modello moderno "inquinerebbe" la storia.
Il loro modello (da zero): Non sa cosa sia un'auto. Se la frase parla di un "pound" nel 1780, lui indovinerà il significato corretto dell'epoca (magari un peso o una moneta) perché non ha mai visto un'auto.

4. Perché è importante? (La scoperta)

Usando questi modelli "puri", gli autori hanno scoperto cose affascinanti:

Hanno visto nascere le parole: Hanno notato come la parola "station" (stazione) nel 1820 fosse ancora legata ai campi militari, ma nel 1850 fosse diventata improvvisamente legata ai treni. Il modello ha "sentito" il cambiamento mentre stava avvenendo.
Hanno scoperto malanni dimenticati: Hanno analizzato la parola "cholera" (colera). Nel 1830, la gente usava questa parola anche per descrivere malattie dei maiali. Il modello moderno non lo sapeva più, ma il loro modello del 1830 sì! Hanno visto come il significato si sia "solidificato" solo per l'uomo col passare del tempo.

In sintesi

Questo studio ci dice che a volte, per capire il passato, non serve la conoscenza di tutto il mondo, ma serve la conoscenza limitata e pura di quel momento.

È come se volessimo capire come si parlava a Venezia nel 1500. Invece di chiedere a un turista moderno che ha letto tutto Wikipedia (che magari confonde il 1500 con il 2000), chiediamo a un veneziano nato nel 1500. Lui non sa cosa sia internet, ma sa esattamente come si usava la parola "piazza" o "gondola" in quel preciso anno.

Gli autori ci hanno dato anche un "manuale" (una procedura) per farlo facilmente, permettendo a chiunque di studiare la storia della lingua, della letteratura o della società senza che il futuro "inquinasse" il passato.

Titolo

Pretraining di Modelli Linguistici per la Scoperta di Cambiamenti Linguistici Diacronici

1. Il Problema

Le discipline umanistiche, come la linguistica storica e gli studi letterari, si basano spesso su distinzioni rigorose tra periodi temporali, generi o epoche specifiche. Tuttavia, l'approccio dominante nella ricerca linguistica moderna utilizza i Grandi Modelli Linguistici (LLM) preaddestrati su enormi corpus di dati eterogenei e "onnivori".

Il conflitto metodologico: I modelli LLM standard, essendo addestrati su dati che coprono secoli di storia senza filtri temporali, tendono a "contaminare" le rappresentazioni linguistiche di un'epoca specifica con conoscenze anacronistiche (dati futuri).
Limiti delle tecniche attuali: L'uso di prompt o tecniche di elicitation non garantisce che l'output di un modello si basi esclusivamente sulle conoscenze appropriate a un determinato periodo storico. Inoltre, il fine-tuning di modelli esistenti su dati storici specifici spesso non elimina le conoscenze pregresse del modello base, portando a una "perdita" (leakage) di informazioni temporali.

2. Metodologia

Gli autori propongono un approccio basato sul pretraining da zero (scratch) su corpora storici limitati e temporaneamente definiti, sfruttando tecniche di efficienza sviluppate dalla comunità BabyLM.

Dataset e Preprocessing:
- Utilizzo del corpus di Project Gutenberg (1750-1940).
- Implementazione di una pipeline multistadio per datare i documenti utilizzando metadati (WikiData, cataloghi Project Gutenberg) e inferenza tramite LLM (Llama3.3-70B quantizzato).
- Suddivisione del corpus in 5 fette temporali (slices) consecutive: 1750-1820, 1820-1850, 1850-1880, 1880-1910, 1910-1940.
- Ogni fetta contiene circa 10 milioni di token per l'addestramento, con ulteriori 5M per il test e 1M per la validazione.
Approcci di Addestramento a Confronto:
1. Modelli "Scratch" (Da zero): Addestrati esclusivamente sui dati storici di ogni fetta temporale utilizzando la ricetta BabyLlama-2 (un modello da 345M parametri con strategia di distillazione). Vengono creati 5 modelli indipendenti per ogni periodo.
2. Modelli "Fine-tuned": Adattati tramite DoRA (Weight-Decomposed Low-Rank Adaptation) partendo da un modello base più grande (Llama3-8B) e addestrati sulle stesse fette di dati.
3. Baseline: Modelli non adattati (Llama3-8B e BabyLlama-2 release).
Valutazione:
- Perplessità: Misurata sia sui dati del proprio periodo (fluenza) che su dati di altri periodi (specificità storica).
- BLiMP: Valutazione delle capacità linguistiche generali su un set filtrato per garantire la presenza di vocaboli nel training set.
- Cloze Evaluation Set (Nuovo): Un dataset costruito basandosi sull'Oxford English Dictionary (OED) per testare la conoscenza dei "senso delle parole" (word senses) specifici di un'epoca.
- Metrica di "Leakage" (Perdita): Misura quanto un modello addestrato su un periodo $t$ conosce erroneamente sensi di parole introdotti dopo $t$ . Viene calcolata anche una versione normalizzata per il richiamo (Recall Normalized Leakage) per correggere i falsi positivi dovuti a contesti collocation.

3. Contributi Chiave

Dimostrazione dell'Efficienza del Pretraining "Scratch": Si dimostra che, con budget computazionali e di dati limitati (10M token), è possibile addestrare modelli efficaci per la scoperta di cambiamenti linguistici, superando i limiti del fine-tuning su modelli grandi.
Garanzia di Confini Epistemologici: I modelli addestrati da zero rispettano rigorosamente le divisioni storiche, evitando la contaminazione anacronistica tipica dei modelli preaddestrati su corpus moderni.
Pipeline di Scoperta Ipotesi: Viene presentata una metodologia completa per generare ipotesi su cambiamenti lessicali, grammaticali e di senso delle parole, sia in modo "bottom-up" (analisi della perplessità) che "top-down" (analisi dei cloze task).
Efficienza Computazionale: I modelli scratch sono addestrati quasi due volte più velocemente rispetto ai modelli fine-tuned con DoRA, pur mantenendo prestazioni adeguate per compiti specifici.

4. Risultati

Specificità Storica vs. Fluenza:
- I modelli fine-tuned mostrano una fluenza generale superiore (perplessità più bassa su BLiMP), ma soffrono di un alto leakage temporale: riescono a completare frasi con sensi di parole futuri anche quando addestrati su periodi storici precedenti, rendendoli inadatti per studiare l'evoluzione reale.
- I modelli scratch hanno una fluenza leggermente inferiore ma una specificità storica eccezionale. Mostrano una bassa perplessità solo sui dati del loro periodo e una perplessità che aumenta monotonicamente quando testati su testi più vecchi o più nuovi, indicando un adattamento puramente periodico.
Analisi del Leakage:
- I modelli fine-tuned "sanno" troppo sul futuro (es. il senso di "pound" come parcheggio auto nel 1750-1820).
- I modelli scratch rifiutano correttamente questi sensi futuri, a meno che non siano supportati da forti indizi contestuali (collocazioni) presenti nel loro periodo.
Scoperta di Cambiamenti:
- Bottom-up: L'analisi della perplessità normalizzata ha permesso di tracciare l'ascesa di nuovi sensi (es. "station" per stazione ferroviaria vs. accampamento), mostrando un calo improvviso della perplessità nel periodo di introduzione della tecnologia.
- Top-down: L'analisi del termine "cholera" ha rivelato come il concetto si sia solidificato da una malattia intestinale generica (inclusa quella dei maiali) a una specifica patologia umana (colera asiatico) solo dopo la teoria dei germi, un cambiamento che i modelli scratch hanno catturato dinamicamente, mentre i modelli fine-tuned hanno mantenuto una visione moderna costante.

5. Significato e Implicazioni

Questo lavoro offre un nuovo paradigma per le scienze umane computazionali:

Validità Metodologica: Fornisce uno strumento per le discipline che richiedono confini temporali netti, permettendo di studiare il cambiamento linguistico senza l'interferenza di conoscenze anacronistiche.
Accessibilità: Dimostra che non è necessario l'addestramento su terabyte di dati per ottenere modelli utili in contesti accademici specifici; l'efficienza (BabyLM) è la chiave.
Scoperta di Nuove Conoscenze: La capacità di tracciare la "nascita" e la "morte" di sensi delle parole offre agli storici e ai linguisti uno strumento potente per formulare e verificare ipotesi su come la cultura e la conoscenza si evolvono nel tempo, andando oltre la semplice analisi statistica.

In sintesi, il paper sostiene che per lo studio del cambiamento linguistico diacronico, la precisione storica e la purezza del corpus (ottenute tramite pretraining da zero su dati limitati) sono preferibili alla fluenza generale e alla vastità delle conoscenze dei modelli LLM standard.