Riepilogo Tecnico: Morpheus – Un Tokenizzatore e un Word Embedder Neurali Consapevoli della Morfologia per il Turco

1. Definizione del Problema

Il turco è una lingua agglutinante in cui il significato semantico è veicolato da catene di suffissi derivazionali e flessionali attaccati a una radice. Gli attuali strumenti di Elaborazione del Linguaggio Naturale (NLP) per il turco affrontano due limitazioni primarie:

• Deficienze di Tokenizzazione: I comuni tokenizer di subword (BPE, WordPiece, Unigram) segmentano le parole sulla base della statistica del corpus piuttosto che sulla morfologia linguistica. Ciò porta alla frammentazione di suffissi semanticamente carichi, gonfiando la lunghezza delle sequenze (fertilità) e aumentando i costi computazionali. Inoltre, molti tokenizer ampiamente utilizzati non sono reversibili; eliminano i diacritici o applicano una ri-armonizzazione canonica (normalizzazione), il che significa che decode(encode(w)) non è uguale alla stringa originale w. Questa perdita di fedeltà superficiale corrompe gli output dei modelli generativi. Al contrario, gli analizzatori basati su regole (es. Zemberek) e i segmentatori non supervisionati (es. Morfessor) offrono un migliore allineamento morfologico, ma sono o lossy (con perdita di informazioni), vincolati a un dizionario o non ottimizzati per la modellazione del linguaggio.
• Lacune di Rappresentazione: Gli attuali sistemi di rappresentazione delle parole trattano la tokenizzazione e l'embedding come processi separati e disgiunti. Gli encoder contestuali come BERTurk sono pesanti, si affidano a vocabolari di subword lossy e trattano la morfologia solo implicitamente. Manca un sistema unificato che produca token discreti e senza perdite (lossless) producendo simultaneamente embedding di parole strutturati che rispettino intrinsecamente le relazioni morfologiche (ad es. raggruppando kitap, kitaplar, kitabımız per costruzione).

2. Metodologia

Il documento presenta Morpheus, un modello neurale di confini morfologici progettato per funzionare simultaneamente come un tokenizzatore lossless, consapevole della morfologia, e come produttore di word embedding.

Architettura

Morpheus elabora una parola come una sequenza di caratteri e produce sia i confini dei morfemi che un singolo embedding di parola in un unico passaggio forward:

1. Encoder di Caratteri: Gli embedding dei caratteri sono concatenati con embedding di flag di caso appresi e passati attraverso convoluzioni multi-scala (ampiezza del kernel 2–6) e tre strati di self-attention. Fondamentalmente, vengono applicati gli Embedding di Posizione Rotativi (RoPE) per catturare gli offset relativi tra i caratteri, permettendo al modello di ragionare sulle posizioni dei suffissi rispetto alla radice anziché su indici assoluti.
2. Rilevatore di Confini: Uno stack di quattro strati di auto-attenzione RoPE seguiti da una testa di punteggio predice una probabilità $p_i \in [0, 1]$ per un confine in ogni posizione inter-carattere.
3. Segmentazione Poisson–Binomiale Differenziabile: Per evitare operazioni argmax non differenziabili che bloccherebbero il flusso del gradiente, Morpheus impiega un programma dinamico differenziabile. Tratta le probabilità di confine come prove di Bernoulli indipendenti e calcola una matrice di appartenenza morbida dei morfemi $M$ utilizzando una distribuzione Poisson–binomiale.
   • Addestamento: I gradienti fluiscono attraverso la matrice di appartenenza morbida $M$ verso il rilevatore di confini, modellati sia da etichette supervisionate che da obiettivi auto-supervisionati.
   • Inferenza: Man mano che le probabilità convergono a 0 o 1, la matrice morbida diventa una segmentazione hard one-hot, recuperando i confini esatti senza cambiamenti architettonici.
   • Preservazione della Superficie: Il meccanismo raggruppa solo i caratteri; non inserisce, elimina o riscrive mai. Ciò garantisce che decode(encode(w)) = w sia rispettato per costruzione.
4. Word Embedding: I vettori di segmento sono calcolati tramite attention-pooling di vettori di caratteri pesati dalla loro appartenenza a $M$. Questi vengono aggregati in un embedding di parola finale a 320 dimensioni ($e_w$) tramite una rete feed-forward.

Obiettivi di Addestramento

Il modello è addestrato con una somma pesata di quattro perdite:

• Perdita Ausiliaria ($L_{aux}$): Una Binary Cross-Entropy (BCE) di confine e un regolarizzatore di conteggio contro le etichette di un analizzatore Morfessor non supervisionato (con correzione della radice). Questo peso decade curricularmente da 0.50 a 0.08.
• Skip-Gram Negative Sampling ($L_{sgns}$): Obiettivo standard in stile word2vec.
• Perdita Contrastiva ($L_{ctr}$): Una perdita InfoNCE sull'identità della radice, che avvicina tutte le inflessioni della stessa radice.
• Masked Language Modeling ($L_{mlm}$): Un compito di ricostruzione a livello di carattere senza vocabolario, dove le parole mascherate vengono rigenerate carattere per carattere.

3. Contributi Chiave

1. Modello Unificato: Morpheus è il primo modello ad agire sia come un tokenizzatore lossless e consapevole della morfologia, sia come produttore di word-embedding strutturato per il turco, unificando tokenizzazione e rappresentazione.
2. Segmentazione Differenziabile: L'introduzione di un programma dinamico Poisson–binomiale differenziabile consente l'addestramento end-to-end del rilevamento dei confini garantendo al contempo una segmentazione hard esatta e reversibile in fase di inferenza.
3. Valutazione Esaustiva: Il documento stabilisce un nuovo asse di valutazione per la tokenizzazione del turco: la reversibilità. Dimostra che molti tokenizer ad alte prestazioni sono invalidi per compiti generativi a causa della decodifica non reversibile.

4. Risultati

Prestazioni di Tokenizzazione

• Reversibilità: Morpheus raggiunge il 100% di reversibilità (decode(encode(w)) = w), mentre WordPiece (58.2%) e il TurkishTokenizer basato su regole (95.4%) falliscono rispettivamente a causa della rimozione dei diacritici e della normalizzazione canonica.
• Allineamento Morfologico: Sul benchmark MorphScore (UD Turkish-Kenet), Morpheus raggiunge un macro-F1 di 0.61, circa il doppio rispetto ai tokenizer di subword (~0.32) e comparabile al TurkishTokenizer basato su regole (0.65), ma senza le avvertenze di decodifica lossy.
• Efficienza e Qualità: Tra i tokenizer reversibili, Morpheus ottiene i più bassi Bits-Per-Character (BPC) di 1.425 (contro 1.436 per BPE). Utilizza circa il 19% in meno di memoria GPU di picco rispetto ai tokenizer di subword con vocabolario da 64K durante la generazione.
• Fertilità: Morpheus ha un rapporto token-per-parola più alto (1.73) rispetto ai tokenizer di subword (~1.5), un compromesso per la granularità a livello di morfema.

Prestazioni di Embedding

Valutato su vettori congelati rispetto a BERTurk e BGE-M3:

• Compiti Lessicali/di Radice: Morpheus guida decisamente nel recupero della famiglia di radici (MAP 0.85 vs 0.80 per BGE-M3) e nella verifica della stessa radice (ROC-AUC 1.00 vs 0.98). La geometria centrata sulla radice raggruppa efficacemente le inflessioni.
• Compiti Contestuali/Inflessionali: Morpheus è meno performante nei compiti che richiedono contesto della frase o distinzioni inflessionali fini (es. NER, probing di numero/caso), dove gli encoder contestuali più pesanti (BERTurk, BGE-M3) rimangono superiori.

5. Significato e Rivendicazioni

Il documento sostiene che la reversibilità sia il cancello decisivo per i tokenizer destinati ai modelli generativi. Filtrando i tokenizer non reversibili, Morpheus emerge come l'opzione superiore per l'NLP in turco, offrendo simultaneamente il minor BPC, il massimo allineamento morfologico e la minore impronta di memoria.

Gli autori posizionano Morpheus non come un sostituto degli encoder contestuali, ma come un encoder lessicale complementare e consapevole della morfologia. Il suo embedding centrato sulla radice è ideale per il recupero lessicale, la deduplicazione e il matching di parole chiave in sistemi RAG multi-vettore, mentre gli encoder contestuali gestiscono la semantica a livello di frase.

Il lavoro dimostistra che un singolo meccanismo neurale può colmare con successo il divario tra tokenizzazione e rappresentazione, fornendo un'alternativa "lossless, consapevole della morfologia e produttrice di embedding" agli strumenti attualmente disponibili per le lingue agglutinanti, che sono spesso frammentati, lossy o ciechi alla morfologia.