Examining the Limits of Word2Vec with Toki Pona

Sintesi Tecnica: Esaminare i Limiti di Word2Vec con il Toki Pona

Problema
I word embedding, in particolare Word2Vec, sono stati ampiamente validati su lingue naturali con vocabolari estesi (da decine a centinaia di migliaia di parole). Tuttavia, la loro efficacia al limite inferiore estremo della dimensione del vocabolario rimane non testata. Questo studio indaga se Word2Vec possa catturare con successo le relazioni semantiche nel Toki Pona, una lingua costruita con un nucleo di circa 130 parole. In un sistema così minimalista, le parole sono altamente polisemiche (ad esempio, tomo si riferisce sia a stanze che a veicoli) e i profili di co-occorrenza sono intrinsecamente meno discriminanti a causa delle interazioni ad alta frequenza tra un piccolo insieme di termini.

Una sfida secondaria affrontata è la presenza di "rumore linguistico". Circa il 23% delle frasi nel corpus della comunità Toki Pona contiene token non core, inclusi nomi propri, prestiti e neologismi. Non è chiaro se questi token forniscano un necessario arricchimento contestuale o agiscano come rumore che oscura la struttura semantica del vocabolario core.

Metodologia
I ricercatori hanno costruito un corpus di 1,42 milioni di frasi (7,95 milioni di token) dalla comunità Toki Pona (2016–2025). Per isolare l'impatto dei token non core, sono stati preparati due dataset distinti:

1. Corpus Completo (Full Corpus): Mantiene tutti i token, inclusi i termini non appartenenti al Toki Pona.
2. Corpus Pure Toki Pona: Filtra tutte le frasi contenenti token non core, risultando in 1,10 milioni di frasi (5,90 milioni di token).

Due modelli Word2Vec sono stati addestrati da zero utilizzando l'algoritmo skip-gram con una finestra di dimensione 5 su 10 epoche. In base alla dimensione del lessico e alle caratteristiche del corpus, la dimensionalità ottimale dei vettori è stata determinata in 24 dimensioni.

La valutazione è stata condotta utilizzando tre metodi primari, adattati per i vincoli di un vocabolario minimo:

• Prossimità del Centroide di Categoria: Un set di verità fondamentale (ground-truth) di 27 categorie semantiche (derivate dai supersenses di WordNet ma adattate alla flessibilità sintattica del Toki Pona) è stato utilizzato. La similarità del coseno tra i vettori delle parole e i centroidi delle categorie è stata misurata rispetto a una soglia dinamica (media della similarità + 1 deviazione standard).
• Clustering Non Supervisionato: È stato applicato il clustering gerarchico agglomerativo con complete linkage per determinare se emergano naturalmente cluster semantici. Gli score di Silhouette sono stati calcolati attraverso varie soglie di distanza per identificare l'ottimale separazione dei cluster, confrontandoli con un baseline casuale.
• Confronto Cross-Linguistico: L'Analisi della Similarità Rappresentazionale (RSA) è stata utilizzata per confrontare la struttura semantica dei modelli Toki Pona con un modello pre-addestrato in inglese (corpus Google News) per valutare la validità convergente.

Risultati Chiave

• Stabilità Strutturale: Entrambi i modelli hanno raggiunto score di Silhouette (0,261 per il Full Corpus, 0,267 per il Pure Toki Pona) significativamente superiori al baseline casuale (0,166). La disposizione strutturale dei cluster (ad esempio, animali, colori, parentela) è rimasta ampiamente invariante tra i due modelli, indicando che i token non core sparsi non disturbano la fondamentale topologia semantica.
• Impatto dei Token Non Core: Contrariamente all'ipotesi che i token non core agiscano come rumore, il modello Full Corpus ha dimostrato una maggiore densità semantica. La media della similarità del coseno rispetto ai centroidi delle categorie era più alta nel modello Full Corpus ($\mu=0,879$) rispetto al modello Pure Toki Pona ($\mu=0,817$). Ciò suggerisce che i token incidentali (ad esempio, l'entità nominata Jutu per YouTube) forniscono ponti contestuali che avvicinano concetti core correlati (ad esempio, lipu per sito web) nello spazio vettoriale.
• Recupero delle Categorie: Entrambi i modelli hanno identificato con successo 124 assegnazioni parola-categoria su 125. Sebbene la struttura complessiva fosse stabile, la rimozione dei token non core ha influenzato specifiche categorie astratte (ad esempio, evaluative.positive) più di quelle concrete (ad esempio, animals).
• Consistenza Cross-Linguistica: L'analisi qualitativa delle matrici di similarità rappresentazionale ha rivelato che i pattern di prossimità relativa tra le categorie semantiche nel Toki Pona rispecchiavano quelli trovati nel modello inglese, suggerendo che i modelli abbiano appreso strutture semantiche reali piuttosto che artefatti del corpus.

Significatività e Rivendicazioni
Il documento sostiene che l'efficacia di Word2Vec sia guidata più dai pattern distribuzionali che dalla sola dimensione del lessico, anche al limite inferiore estremo di circa 130 parole. Lo studio dimostra che una struttura semantica significativa può emergere in una lingua altamente polisemica e minimalista. Inoltre, esso sfida l'assunto che il "rumore" sotto forma di prestiti e nomi propri degradi necessariamente la qualità dell'embedding; in questo contesto, tali token sembrano migliorare la coesione dei cluster semantici fornendo un ulteriore contesto distributivo. I risultati suggeriscono che i modelli di word embedding siano abbastanza robusti da funzionare in ambienti con vocabolari radicalmente ridotti, a condizione che siano disponibili sufficienti dati distribuzionali.