Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages

Titolo

Oltre i Sottotoken: Un Ricco Embedding di Caratteri per Linguaggi a Risorse Limitate e Complessi dal Punto di Vista Morfologico

1. Il Problema

I modelli attuali di elaborazione del linguaggio naturale (NLP), come Word2Vec, BERT e le serie GPT, si basano prevalentemente su tokenizzazione o sottotokenizzazione (es. WordPiece). Questi approcci presentano limitazioni significative, specialmente per le lingue a risorse limitate e quelle morfologicamente complesse (altamente flesse):

• Perdita di similarità ortografica: I modelli basati su dizionari non catturano le somiglianze ortografiche tra parole. Ad esempio, "quality" e "qualification" potrebbero essere trattati come token distinti senza una relazione intrinseca nel loro input, nonostante la radice comune.
• Gestione delle variazioni ortografiche: I modelli faticano con errori di battitura o varianti di spelling se non presenti esplicitamente nel corpus di addestramento.
• Scarsità di dati: Per le lingue a risorse limitate (es. Faroese, Islandese) o lingue morte, i corpus sono piccoli. Addestrare modelli che richiedono enormi quantità di dati per ogni variazione flessiva di una parola è spesso impossibile.
• Inefficienza dei metodi basati su caratteri puri: Approcci che trattano ogni lettera come un token aumentano drasticamente la lunghezza della sequenza di input, rendendo i modelli Transformer (che hanno complessità quadratica nella memoria rispetto alla lunghezza della sequenza) computazionalmente proibitivi.

2. Metodologia: Rich Character Embedding (RCE)

Gli autori propongono Rich Character Embeddings (RCE), un approccio che genera vettori di parole direttamente dalle stringhe di caratteri, integrando informazioni semantiche e sintattiche senza fare affidamento su un dizionario di token predefiniti.

Architettura e Input:

• Rappresentazione dei caratteri: Ogni parola viene scomposta nei suoi caratteri costituenti. Ogni carattere è rappresentato come un vettore one-hot.
• Modificatori: Per gestire maiuscole, diacritici (es. accenti) e legature, vengono utilizzati modificatori specifici (es. un token [UP] per le maiuscole, modificatori per accenti acuti, gravi, ecc.).
• Struttura della sequenza: Ogni parola è delimitata da token speciali [BEG] (inizio) e [END] (fine), seguiti da padding [PAD] se necessario.
• Codifica: La sequenza di caratteri (inclusi i token speciali) viene trasformata in una matrice 2D e passata attraverso un Encoder Transformer.
• Output: Il vettore di embedding della parola è rappresentato dall'output dell'encoder corrispondente al token [BEG]. Questo vettore può essere utilizzato come sostituto diretto ("drop-in replacement") per gli embedding tradizionali in architetture esistenti.

Obiettivi di Addestramento:
Il modello viene addestrato con tre obiettivi combinati per garantire la preservazione sia del significato che della struttura:

1. Predizione del Contesto (Context Prediction): Simile a Word2Vec, ma prevede le stringhe di caratteri delle parole circostanti invece dei token del dizionario. Questo cattura il significato semantico.
2. Predizione dell'Identità (Identity Prediction): Il modello cerca di ricostruire la stringa di caratteri di input a partire dal vettore di embedding (simile a un autoencoder). Questo preserva le informazioni sintattiche e ortografiche.
3. Predizione del Dizionario (Context Dictionary Prediction): Una task ausiliaria per prevedere i token del dizionario delle parole vicine, facilitando l'addestramento.

Modello Ibrido:
Gli autori propongono anche un modello ibrido che combina i meccanismi Transformer (RCE) con meccanismi convoluzionali (simili a char2vec), sfruttando i punti di forza di entrambi.

3. Contributi Chiave

• Indipendenza dal Dizionario: RCE non richiede un vocabolario predefinito di token o sottotoken, permettendo di gestire parole mai viste, errori di battitura e varianti morfologiche basandosi sulla similarità dei caratteri.
• Integrazione Semantica e Sintattica: A differenza degli embedding statici tradizionali, RCE codifica sia il contesto semantico che la struttura ortografica/sintattica della parola.
• Efficienza per Lingue a Risorse Limitate: L'approccio è progettato per funzionare bene anche con corpus piccoli, superando i limiti dei modelli basati su grandi quantità di dati.
• Compatibilità: Può essere utilizzato come strato di embedding in sostituzione di Word2Vec o BERT in modelli esistenti senza modificare l'architettura principale.

4. Risultati Sperimentali

Il metodo è stato valutato su diverse lingue (Faroese, Latino, Uzbek, Islandese, Norvegese, Tedesco) e compiti:

• Metriche di Valutazione Intrinseca (TopK e Odd-One-Out):

  • Su dataset a bassa risorsa, RCE e il modello ibrido (RCE + char2vec) hanno superato costantemente FastText e WordPiece.
  • Il modello ibrido ha ottenuto i migliori risultati, dimostrando che la combinazione di approcci basati su caratteri e convoluzionali cattura meglio le proprietà delle parole.
  • RCE ha mostrato una capacità superiore di generalizzare da lingue ad alta risorsa (es. Islandese) a lingue a bassa risorsa (es. Faroese) rispetto ai metodi tradizionali.

• Predizione della Declinazione (Lingua Latina):

  • Nel compito di prevedere il caso e il numero di un nome latino dalla sua forma nominale/genitiva, RCE e il modello ibrido hanno ottenuto punteggi di accuratezza superiori (circa 0.90) rispetto a FastText (0.50 quando addestrato su una lingua diversa).
  • Questo dimostra che RCE cattura efficacemente le informazioni morfologiche flessive.

• Rilevamento di Figure Retoriche (Chiasmo e Metafora):

  • Nel rilevamento di chiasmi e metafore (in tedesco e Medio Alto Tedesco), il modello ibrido RCE+c2v ha ottenuto le prestazioni migliori, superando sia i modelli puramente convoluzionali che quelli basati su Transformer puro.
  • Ciò suggerisce che i due approcci codificano informazioni complementari.

• Integrazione in Modelli BERT-like:

  • Sostituendo l'embedding layer di un modello simile a BERT con RCE, le prestazioni nel compito di previsione della frase successiva (SWAG-like) sono migliorate, specialmente per le lingue a risorse limitate (Faroese), anche quando il pre-addestramento avveniva su lingue diverse (Norvegese/Islandese).

5. Significato e Conclusioni

Il lavoro dimostra che è possibile superare i limiti della tokenizzazione tradizionale per le lingue morfologicamente complesse e a risorse limitate.

• Vantaggi: RCE offre una rappresentazione più ricca che tiene conto della similarità ortografica e morfologica, essenziale per lingue come il Latino o il Faroese dove le variazioni di una parola sono frequenti e i dati scarsi.
• Limitazioni: L'attuale implementazione è ottimizzata per sistemi di scrittura lineari basati su alfabeti latini. Non supporta direttamente sistemi complessi bidimensionali (come Cinese o Giapponese) o altri alfabeti (Cirillico, Devanagari) senza un ridisegno del mappaggio dei token.
• Impatto Futuro: Questo approccio apre la strada a modelli NLP più robusti ed efficienti per una vasta gamma di lingue globali, riducendo la dipendenza da corpus di addestramento massicci e permettendo una migliore comprensione delle strutture linguistiche profonde.