Sintesi Tecnica: Quanto è sorprendente l'italiano storico per i modelli linguistici?

Definizione del problema

I grandi modelli linguistici (LLM) sono sempre più integrati nei flussi di lavoro delle biblioteche digitali per compiti quali la post-correzione dell'OCR, l'indicizzazione e il recupero delle informazioni. Tuttavia, la capacità di questi modelli di elaborare il linguaggio storico rimane scarsamente compresa. Le valutazioni attuali spesso trattano la "difficoltà storica" come una barriera monolitica, confondendo tre fattori distinti: variazione ortografica, distanza linguistica ed esposizione durante il pre-addestramento. Questa confusione oscura se i modelli incontrino difficoltà a causa di inefficienze di codifica meccanica (tokenizzazione) o di veri deficit di comprensione (incertezza predittiva). Inoltre, l'affidamento su testi storici canonici (ad esempio, I Promessi Sposi di Manzoni) come benchmark può produrre risultati eccessivamente ottimistici a causa dell'elevata esposizione nei corpora di addestramento, fallendo nel rappresentare le sfide poste dai materiali d'archivio non canonici e pre-standardizzati.

Metodologia

Gli autori propongono un framework diagnostico che decompone la difficoltà storica in quattro dimensioni distinte:

1. Costo di Tokenizzazione: Misurazione della "inflazione di token" (l'aumento relativo del conteggio dei token rispetto a un baseline modernizzato) per quantificare l'inefficienza di codifica.
2. Incertezza Predittiva (Surprisal): Misurazione della perplessità ($PPL$) per valutare l'incertezza del modello nella predizione del token successivo, fungendo da proxy per la difficoltà di comprensione.
3. Robustezza Semantica: Calcolo della similarità del coseno tra gli embedding di coppie di frasi storiche e moderne per determinare se le forme superficiali arcaiche mappano in spazi semantici stabili.
4. Sensibilità al Contesto: Valutazione dell'impatto di prompt di contesto temporale minimo (ad esempio, "testo italiano del 1687") nel ridurre la perplessità.

Dataset:
Lo studio valuta tre dataset che coprono tre secoli per isolare specifiche fonti di difficoltà:

• Italiano del XVII secolo (1610–1689): Un corpus di cinque testi non canonici (trattati religiosi, prosa accademica, ecc.) di nuova creazione, digitalizzati da immagini di pagine originali. Questo dataset presenta un'ortografia arcaica (ad esempio, la s lunga ſ), sintassi influenzata dal latino e una bassa probabilità di esposizione verbatim durante il pre-addestramento.
• Italiano del XIX secolo (I Promessi Sposi, edizione Quarantana): Una condizione di controllo ad alta esposizione. Come testo canonico, funge da baseline "best-case" per illustrare il comportamento del modello quando l'ortografia è standardizzata e la familiarità lessicale è alta.
• Libri di stampa civile russa del XVIII secolo: Un test di stress contrastivo che presenta un'estrema divergenza ortografica (caratteri obsoleti come yat, fita) ma una distanza lessicale e sintattica comparativamente limitata rispetto al russo moderno.

Modelli:

• Tokenizzazione: Tokenizer o200k_base (famiglia GPT-4o/5) e Qwen 2.5.
• Perplessità: Qwen 2.5-1.5B (checkpoint base) per garantire distribuzioni di probabilità grezze.
• Embedding: OpenAI text-embedding-3-large, Google LaBSE e stati nascosti di Qwen 2.5-1.5B.

Risultati Chiave

1. Dissociazione tra Costo di Codifica e Comprensione

Lo studio rivela un netto disaccoppiamento tra efficienza di tokenizzazione e difficoltà predittiva.

• Tassa di Tokenizzazione: Sia il russo del XVIII secolo che l'italiano del XVII secolo incurrono in penalità di tokenizzazione comparabili (circa 25–30% di inflazione). Nel russo, ciò è guidato dal fallback a livello di byte per i caratteri obsoleti; nell'italiano, è guidato principalmente dalla s lunga (ſ), che causa frammentazione sub-word nonostante sia presente nel vocabolario.
• Difficoltà Predittiva: Nonostante simili costi di codifica, i rapporti di perplessità divergono drasticamente.
  • Russo: Mostra solo un modesto aumento della perplessità (1.25× rispetto al baseline moderno), indicando che la sola interruzione ortografica non confonde significativamente le capacità predittive del modello.
  • Italiano del XVII secolo: È in media 2.4 volte più sorprendente del suo equivalente moderno, con la prosa accademica che raggiunge 3.2×.
• Conclusione: Il costo di tokenizzazione è un cattivo proxy per la complessità storica. Un'alta inflazione di token non implica necessariamente un'alta difficoltà di comprensione, e viceversa.

2. Il Genere e il Registro Prevalgono sulla Cronologia

La difficoltà storica non è una funzione lineare del tempo.

• All'interno del corpus del XVII secolo, il testo più difficile (Prefazione Accademica, 1687) e il più facile (Ritratti Descrittivi, 1689) sono stati pubblicati a soli due anni di distanza.
• Il testo accademico ha presentato un rapporto di perplessità di 3.22×, mentre il testo descrittivo di 1.81×.
• Risultato: Il registro (ad esempio, la frammentazione strutturale nella prosa accademica rispetto alla ridondanza ritmica nella narrazione teologica) è un determinante della performance del modello più forte rispetto all'età cronologica. I testi canonici del XIX secolo si comportano come baseline ad alta esposizione, mascherando le sfide strutturali dei materiali non canonici.

3. Robustezza Semantica nonostante l'Instabilità Generativa

L'alta perplessità non implica degradazione rappresentazionale.

• La similarità degli embedding tra frasi storiche e moderne rimane robusta in tutti i dataset (Similarità del Coseno $\ge$ 0.85).
• Il modello Qwen 2.5 ha raggiunto una similarità di 0.938 per l'italiano del XVII secolo, nonostante l'alta perplessità osservata nei compiti di generazione.
• Implicazione: I modelli possono mappare con successo le forme superficiali arcaiche nello spazio semantico corretto anche quando mancano della fiducia probabilistica per generarle token per token.

4. Mitigazione tramite Contesto Temporale

Un intervento minimo e indipendente dal modello riduce significativamente la difficoltà.

• Precedere un breve prompt di contesto temporale (ad esempio, "testo italiano del 1687") ha ridotto la sorpresa storica di circa il 60% per l'italiano del XVII secolo.
• L'effetto è stato meno pronunciato per il russo (riduzione del 17%), suggerendo che il priming del contesto è più critico per i testi con alta divergenza distributiva (drift lessicale/sintattico) piuttosto che per quelli con principalmente rumore ortografico.

Significato e Rivendicazioni

L'articolo sostiene che la "difficoltà storica" non è un singolo problema insolubile, ma un insieme di fattori interagenti che devono essere valutati separatamente:

1. Metriche Disaccoppiate: Lo studio dimostra che l'efficienza di tokenizzazione (una tassa meccanica) è non correlata alla robustezza semantica. Le biblioteche digitali possono implementare in sicurezza gli LLM per compiti di recupero semantico (ricerca, clustering, classificazione), anche quando si tratta di testi che incurrono in alti costi di tokenizzazione e alta perplessità, poiché i modelli mantengono rappresentazioni interne stabili.
2. Validità dei Benchmark: L'affidamento su testi canonici ad alta esposizione (come Manzoni) porta a una sottostima sistematica delle sfide poste dai materiali d'archivio della "coda lunga". Le valutazioni devono includere testi non canonici e pre-standardizzati per valutare accuratamente l'idoneità del modello.
3. Implementazione Strategica:
   • Recupero (Retrieval): Può essere implementato con una normalizzazione minima, poiché l'allineamento semantico rimane elevato.
   • Generazione: Compiti come la correzione dell'OCR o la sintesi rimangono sensibili all'alta sorpresa e richiedono strategie di mitigazione specifiche.
4. Mitigazione a Basso Costo: Gli autori dimostrano che il semplice prompting temporale è una strategia altamente efficace e priva di costi per colmare il divario tra le aspettative del modello e i registri storici, riducendo l'errore predittivo di oltre la metà senza la necessità di fine-tuning o di un'aggressiva normalizzazione del testo.

In conclusione, l'articolo propone un cambio negli schemi di valutazione: andare oltre le metriche superficiali come il conteggio dei token per distinguere tra il costo meccanico della codifica, l'incertezza della predizione e la stabilità della rappresentazione semantica. Ciò consente alle biblioteche digitali di sfruttare efficacemente gli LLM come "lettori capaci" della storia, anche se non sono ancora "parlanti perfetti".