💬 NLP

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

Stoicheia è un modello di diffusione mascherata a livello di carattere da 405M di parametri, addestrato su un corpus di greco antico decontaminato che unifica restauro testuale, analisi sintattica e scansione metrica in un unico framework, raggiungendo prestazioni allo stato dell'arte in molteplici compiti superando significativamente sistemi precedenti come Ithaca e Aeneas.

Autori originali: Eric Cullhed, Albin Thörn Cleland

Pubblicato 2026-08-10

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Eric Cullhed, Albin Thörn Cleland

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate una biblioteca dove i libri hanno migliaia di anni, scritti in una lingua che si è evoluta e trasformata nel corso dei millenni. Questo è il mondo della filologia computazionale, un campo in cui scienziati informatici collaborano con storici e linguisti per leggere, restaurare e comprendere testi antichi. La sfida è che questi vecchi libri sono spesso danneggiati, con pagine mancanti, o scritti in un flusso disordinato e continuo di lettere senza spazi, virgole o quei piccoli segni di accento che usiamo oggi. Per dare un senso a loro, i ricercatori utilizzano i modelli di IA — programmi informatici addestrati a prevedere cosa viene dopo in una sequenza, proprio come il tuo telefono che indovina la prossima parola mentre digiti. Ma ecco il problema: la maggior parte di questi modelli di IA è addestrata su "subword" (frammenti di lettere), il che li rende scarsi nel riparare minuscoli buchi, lettera per lettera, in antiche incisioni su pietra o rotoli di papiri. Inoltre, spesso "memorizzano" i libri che hanno studiato, il che significa che non possono essere considerati affidabili per risolvere misteri su testi che non hanno ancora visto. Questo articolo pone una domanda semplice ma vitale: Possiamo costruire un'IA più intelligente e onesta che legga il greco antico lettera per lettera, comprenda la storia disordinata di come il testo è stato scritto e risolva enigmi su nuovi documenti antichi che non ha mai incontrato prima?

Entra in scena Stoicheia, un nuovo modello di IA progettato specificamente per essere il detective definitivo per il greco antico. Pensatelo come un maestro restauratore che non si limita a guardare un vaso rotto e indovinare la sua forma; invece, osserva l'argilla, le crepe, la vernice e il modo in cui i pezzi si incastrano, tutto contemporaneamente.

Il problema della vecchia IA

Prima di Stoicheia, i migliori strumenti di IA per il greco antico erano come studenti che avevano imparato a memoria le risposte di un test specifico. Se chiedevi loro di un testo che avevano studiato, erano bravissimi. Ma se consegnavi loro un'iscrizione nuova e danneggiata che non avevano mai visto, avrebbero potuto semplicemente recitare un passaggio simile a memoria o confondersi. Inoltre, questi modelli trattavano spesso le parole come blocchi singoli. Ma il danno antico non è ordinato; una crepa in una pietra potrebbe tagliare proprio nel mezzo di una parola. Per ripararlo, è necessario vedere ogni singola lettera, ogni segno di accento e ogni segno di punteggiatura individualmente.

Come funziona Stoicheia: Il sandwich a cinque strati

I creatori di Stoicheia hanno costruito un modello con un'architettura unica a "sandwich a cinque strati". Invece di vedere solo una sequenza di lettere, il modello vede cinque cose diverse che accadono contemporaneamente, perfettamente allineate:

Le Lettere: L'alfabeto di base.
I Confini: Dove una parola finisce e la successiva inizia (anche se non ci sono spazi nel testo originale).
Gli Accenti: Quei piccoli segni sopra le vocali che cambiano la pronuncia.
La Capitalizzazione: Quali lettere sono maiuscole e quali sono minuscole.
La Punteggiatura: Virgole, punti e altri segni di arresto.

Immaginate di cercare di riparare una mappa strappata. Un'IA normale potrebbe cercare di indovinare un'intera città mancante tutta in una volta. Stoicheia, invece, osserva separatamente i bordi strappati, il colore dell'inchiostro, le linee della griglia e la rosa dei venti, per poi cucirli tutti insieme. Ciò le permette di prendere un testo antico disordinato, senza spazi e senza accenti, e "restaurarlo" riempiendo le parti mancanti, aggiungendo gli accenti corretti e capendo dove si interrompono le frasi, il tutto senza dover essere riaddestrata per ogni compito specifico.

L'addestramento "onesto": Mai visto prima

Una delle parti più ingegnose di questo progetto è il modo in cui hanno addestrato l'IA a essere "onesta". Di solito, i modelli di IA vengono addestrati su tutto ciò che è disponibile, il che significa che potrebbero aver memorizzato la risposta a un puzzle specifico prima ancora che glielo mostriate. I ricercatori volevano essere sicuri che Stoicheia stesse effettivamente risolvendo il problema, non solo ricordando la risposta.

Per fare ciò, hanno creato undici versioni diverse del modello. Hanno preso la loro enorme biblioteca di 361 milioni di parole e l'hanno divisa in dieci gruppi diversi. Ogni modello è stato addestrato su nove gruppi ed è stato testato sul decimo. Ciò significa che per qualsiasi testo antico che gli presenterete, esiste almeno una versione di Stoicheia che non ha mai visto quel testo prima nella sua intera vita. È come avere un team di dieci detective e, per ogni scena del crimine, scegliere il detective che non è mai stato in quel quartiere prima d'ora. Questo garantisce che, quando il modello risolve un puzzle, stia usando il suo cervello, non la sua memoria.

I Risultati: Battere i migliori

Il team ha messo alla prova Stoicheia in tre modi principali, confrontandola con i migliori sistemi esistenti (come Ithaca e Aeneas) e persino contro un modello che partiva da pesi casuali e "stupidi" per vedere quanto l'addestramento aiutasse realmente.

Riparare pietre e rotoli rotti: Quando le è stato chiesto di riempire le lettere mancanti in iscrizioni e papiri danneggiati, Stoicheia è stata una campionessa. In un test standard di 3.000 lacune, ha ridotto il tasso di errore al 15,5%, battendo il precedente record (Ithaca) che era del 24,6%. Ha anche indovinato la "scelta migliore" il 74,5% delle volte, rispetto al vecchio record del 63,0%. Ancora più impressionante, quando testata su documenti completamente nuovi che sono stati editati dopo che tutti gli altri modelli di IA avevano terminato l'addestramento, Stoicheia è uscita comunque in cima, dimostrando che non stava solo memorizzando vecchie risposte.
Comprendere la grammatica: Il team ha anche testato se Stoicheia potesse comprendere la grammatica del greco antico (etichettando le parole e capendo come si relazionano tra loro). In questo, ha battuto ogni altro modello, inclusi quelli addestrati su dataset molto più grandi. La scoperta chiave è stata che il "pre-addestramento" (la fase massiccia di apprendimento) è stato responsabile di un enorme salto nelle prestazioni — circa 12,9 punti in più rispetto a un modello che partiva da zero. Questo dimostra che il "cervello" del modello stava facendo il lavoro pesante, non solo gli strumenti specifici ad esso attaccati.
Leggere il ritmo della poesia: La poesia greca antica si basa sulla lunghezza delle vocali (lunghe o brevi) per creare un ritmo, ma il testo scritto non lo mostra. Stoicheia è stata in grado di individuare queste lunghezze nascoste con un'accuratezza del 93,37%, superando un sistema specializzato basato su regole che doveva "astenersi" (rinunciare) dal 40% delle parole perché non era sicuro. Stoicheia non si è mai arresa.

Perché questo è importante

L'articolo conclude che Stoicheia è un punto di svolta perché combina apertura (i dati e il codice sono pubblici), precisione (funziona a livello di lettera) e integrità (sappiamo esattamente quali testi ha visti e quali no). Permette agli studiosi di guardare un testo antico danneggiato e chiedere: "Cosa dice questo?", con la certezza che l'IA non stia solo recitando una risposta da un libro di testo memorizzata. È uno strumento che ci permette di leggere il passato con occhi nuovi, assicurando che le storie della Grecia antica siano restaurate non dalla memoria, ma dalla comprensione.

Tuttavia, gli autori fanno attenzione a sottolineare che questo non è un bastone magico. Il modello è bravo quanto i dati su cui è stato addestrato, e gran parte di quei dati è stata "riparata" da altri strumenti di IA, il che introduce un piccolo rischio di errori. Inoltre, il modello fornisce sempre una risposta, anche quando potrebbe non essere sicuro, il che significa che gli esperti umani devono ancora controllare il lavoro. Ma per la prima volta, abbiamo un sistema che può affrontare questi misteri antichi con un livello di onestà e precisione che prima era impossibile.

Sintesi Tecnica: Stoicheia

Definizione del Problema

La ricerca computazionale sul greco antico affronta quattro criticità fondamentali negli attuali approcci neurali:

Dati Chiusi: I corpora di alta qualità (es. TLG) sono spesso soggetti a licenze restrittive e anche gli sforzi di pretraining open-source (es. GreBERTa, Logion) omettono frequentemente i propri dati di addestramento, impedendo la riproducibilità e la verifica della contaminazione dei dati.
Tokenizzazione Subword: I vocabolari subword standard non si allineano con i compiti filologici che richiedono precisione a livello di carattere, come la misurazione delle lacune nelle lettere o la determinazione delle quantità metriche nelle sillabe.
Stratificazione Editoriale: I modelli addestrati su edizioni moderne ingeriscono testi accentati, punteggiati e divisi come verità di base (ground truth), codificando duramente secoli di interpretazione editoriale e rendendo difficile interrogare la trasmissione grezza dei segni.
Memorizzazione: I modelli general-purpose addestrati sull'intero corpus superstite non possono garantire di non aver già "visto" passaggi specifici, rendendoli inadatti alla ricostruzione di testi danneggiati dove l'ignoranza del modello deve essere dimostrabile per evitare il ragionamento circolare.

Metodologia

Costruzione dei Dati

Gli autori hanno costruito un corpus di pretraining aperto e con versione bloccata (revision-pinned) di circa 361 milioni di parole derivato da nove fonti, tra cui volumi dell'Internet Archive, PleIAs Greek-PD e Opera Graeca Adnotata.

Tier di Qualità: Il testo è stato elaborato attraverso una pipeline di normalizzazione e assegnato a diversi livelli (tier) in base alla pulizia. Un tier "pristino" (~~90M di parole) è stato rilasciato intatto. Un tier "riparato" (~~271M di parole) è stato ricostruito utilizzando un LLM istruito (instruction-tuned) (Qwen3.6-27B) vincolato a correggere solo confusioni OCR ben attestate e a scartare piuttosto che fabbricare dati.
Augmentation Sintetica: Un tier "bronze" di circa 1,4 miliardi di caratteri è stato creato traducendo meccanicamente i volumi latini dal Corpus Corporum in greco antico.
Decontaminazione: Per garantire un'ignoranza dimostrabile, gli autori hanno implementato una pipeline in 13 fasi per raggruppare i record per identità di opera ed estirpare qualsiasi testo dai fold di addestramento che apparisse nei set di test tenuti separati, garantendo che per ogni dato passaggio, almeno un modello rilasciato non lo abbia mai visto.

Architettura del Modello: Stoicheia

Stoicheia è un Transformer a diffusione mascherata a livello di carattere con 405 milioni di parametri.

Fattorizzazione dell'Input: A differenza dei modelli subword, l'input è fattorizzato in cinque piani allineati e indipendentemente mascherabili:
1. Identità della lettera base (alfabeto di 24 simboli).
2. Confini di parola e di frase.
3. Diacritici (accento, respiro, iota subscript, diaeresi).
4. Capitalizzazione.
5. Categorie di punteggiatura.
Dettagli dell'Architettura: Il modello utilizza una profondità di 32, $d_{model}=1024$ , e QK-norm. L'attenzione è a bande (banded): tre blocelli su quattro operano all'interno di una finestra di 256 caratteri, mentre il quarto opera globalmente.
Obiettivo di Addestramento: Il modello impiega un obiettivo di diffusione discreta. Le sequenze di addestramento sono corrotte a un tasso $t$ estratto da una distribuzione Beta troncata. I pattern di corruzione imitano il danno reale, includendo intervalli contigui che ignorano i confini delle parole, intere parole e mascheramento elastico (dove un intervallo di lunghezza $L$ è sostituito da $M \ge L$ slot di maschera, insegnando l'infilling a lunghezza variabile).
Regime di Pretraining: L'addestramento prevede un warmup, un tasso di apprendimento massimo costante e un decadimento coseno. Un processo di annealing a stadi riduce gradualmente il peso dei dati sintetici e dei dati etichettati tramite regole, terminando con i soli dati gold.

Checkpoint

Gli autori hanno rilasciato undici checkpoint:

Dieci Fold Ruotati: Stoicheia_fold_0 attraverso fold_9, che rappresentano divisioni ruotate 80/10/10 del corpus letterario. Ciò garantisce che per ogni specifico passaggio, esista almeno un modello che non lo ha mai visto in modo dimostrabile.
Un Modello Documentale-Pulito: Stoicheia_doc_clean, che esclude tutte le iscrizioni, i papiri e qualsiasi testo che citi essi, servendo come base immune da perdite (leak-proof) per il lavoro epigrafico e papirologico.

Disegno Sperimentale

Il paper valuta Stoicheia attraverso tre compiti, ciascuno accoppiato a un controllo con inizializzazione casuale corrispondente. Questo design isola il contributo specifico del pretraining addestrando sia il braccio pre-addestrato che quello a inizializzazione casuale verso la convergenza sotto ricette identiche. La significatività è valutata tramite test accoppiati (sign-flip permutation, test esatto di McNemar).

Risultati Chiave

1. Ricostruzione Documentaria (Iscrizioni e Papiri)

Performance: Sul proprio split di test di Ithaca (3.000 campioni congelati), Stoicheia v2 ha raggiunto un Tasso di Errore di Carattere (CER) di 15,5, superando significativamente Ithaca (24,6) e il framework Aeneas del 2025 (23,5).
Accuratezza: L'accuratezza Top-1 è salita al 74,5%, rispetto al 63,0% (Ithaca) e 64,0% (Aeneas).
Generalizzazione: Su documenti di recente edizione (editati dopo i cutoff di addestramento di tutti i sistemi), Stoicheia ha ridotto l'errore di carattere del 31–36% rispetto ai baseline delle iscrizioni e del 12,4% rispetto a un Llama da 8B istruito su papiri.
Impatto del Pretraining: Sostituendo il backbone pre-addestrato con un controllo a inizializzazione casuale nella ricetta v1, il CER è aumentato di 5,64 punti sulle iscrizioni e di 3,42 sui papiri.

2. Tagging Morfosintattico e Parsing delle Dipendenze

Performance: Stoicheia ha raggiunto un 83,81 LAS (Labeled Attachment Score) sullo split del treebank di Celano (2025).
Confronto: Questo ha superato il più forte baseline subword (PhilBERTa con 82,89 LAS) e ha superato significativamente tutti gli altri encoder esterni (es. Logion, XLM-R, mBERT).
Impatto del Pretraining: Il divario tra il modello pre-addestrato (83,89 LAS) e il controllo a inizializzazione casuale (71,00 LAS) alla convergenza è stato di 12,9 LAS, dimostrando che il pretraining contribuisce in modo sostanziale oltre la capacità architettonica.

3. Macronizzazione e Scansione Metrica

Macronizzazione: Stoicheia ha raggiunto il 93,37% di accuratezza sul benchmark Norma, superando un transformer a caratteri dedicato (90,55%) e un sistema basato su regole (che si asteneva nel 40% dei casi).
Scansione: Il modello ha raggiunto l'89,74% di accuratezza bilanciata per la scansione del peso sillabico.
Impatto del Pretraining: Il pretraining ha contribuito con +6,0 punti di accuratezza bilanciata alla macronizzazione. Gli autori notano che la scansione è ampiamente computabile dall'ortografia (i modelli a inizializzazione casuale performano bene), ma la macronizzazione richiede conoscenza lessicale e morfologica che solo il pretraining fornisce.

Significato e Rivendicazioni

Il paper sostiene che Stoicheia risponde ai quattro desiderata della filologia digitale:

Apertura: Fornisce un corpus aperto e con versione bloccata e il codice, a differenza dei precedenti sistemi allo stato dell'arte.
Risoluzione a Livello di Carattere: Operando direttamente sui caratteri con piani indipendenti, gestisce compiti (lacune, metro) che la tokenizzazione subword non può supportare naturalmente.
Livelli Editoriali Separabili: L'input multi-piano permette al modello di elaborare sia la scriptio continua non accentata che il testo pienamente editato senza codificare le decisioni editoriali.
Ignoranza Garantita: I checkpoint dei fold ruotati e del modello documentale-pulito assicurano che per ogni dato testo, esista un modello che non lo abbia mai visto, eliminando la circolarità nelle attività di ricostruzione.

Gli autori concludono che i guadagni di performance osservati in tutti e tre gli esperimenti sono attribuibili al pretraining stesso piuttosto che alla capacità del modello o alla ricetta, come dimostrato dai controlli a inizialità casuale corrispondenti. Ciò consente agli editor di interrogare la tradizione con un modello che non sta semplicemente "ricordando" il testo, offrendo un nuovo paradigma per la restaurazione e l'analisi testuale.