Examining the Limits of Word2Vec with Toki Pona

Resumo Técnico: Examinando os Limites do Word2Vec com o Toki Pona

Definição do Problema
Os embeddings de palavras, particularmente o Word2Vec, foram extensivamente validados em línguas naturais com vocabulários vastos (dezenas a centenas de milhares de palavras). No entanto, sua eficácia no limite inferior extremo de tamanho de vocabulário permanece não testada. Este estudo investiga se o Word2Vec pode capturar com sucesso relações semânticas no Toki Pona, uma língua construída com um vocabulário central de apenas ~130 palavras. Em um sistema tão minimalista, as palavras são altamente polissêmicas (ex: tomo refere-se tanto a quartos quanto a veículos), e os perfis de coocorrência são inerentemente menos discriminativos devido às interações de alta frequência entre um pequeno conjunto de termos.

Um desafio secundário abordado é a presença de "ruído linguístico". Aproximadamente 23% das sentenças no corpus da comunidade Toki Pona contêm tokens não centrais, incluindo entidades nomeadas, empréstimos linguísticos e neologismos. Não está claro se esses tokens fornecem enriquecimento contextual necessário ou se atuam como ruído que obscurece a estrutura semântica do vocabulário central.

Metodologia
Os pesquisadores construíram um corpus de 1,42 milhão de sentenças (7,95 milhões de tokens) a partir da comunidade Toki Pona (2016–2025). Para isolar o impacto dos tokens não centrais, dois conjuntos de dados distintos foram preparados:

1. Corpus Completo (Full Corpus): Mantém todos os tokens, incluindo palavras que não são do Toki Pona.
2. Corpus de Toki Pona Puro (Pure Toki Pona Corpus): Filtra todas as sentenças que contêm tokens não centrais, resultando em 1,10 milhão de sentenças (5,90 milhões de tokens).

Dois modelos Word2Vec foram treinados do zero usando o algoritmo skip-gram com uma janela de tamanho 5 ao longo de 10 épocas. Com base no tamanho do léxico e nas características do corpus, a dimensionalidade vetorial ideal foi determinada como sendo de 24 dimensões.

A avaliação foi conduzida utilizando três métodos primários, adaptados para as restrições de um vocabulário mínimo:

• Proximidade de Centroide de Categoria: Um conjunto de verdade fundamental (ground-truth) de 27 categorias semânticas (derivadas de supersenses do WordNet, mas adaptadas para a flexibilidade sintática do Toki Pona) foi utilizado. A similaridade de cosseno entre os vetores de palavras e os centroides das categorias foi medida contra um limiar dinâmico (média de similaridade + 1 desvio padrão).
• Agrupamento Não Supervisionado (Unsupervised Clustering): O agrupamento hierárquico aglomerativo com ligação completa (complete linkage) foi aplicado para determinar se clusters semânticos emergem naturalmente. Scores de silhueta foram calculados através de vários limiares de distância para identificar a separação ideal de clusters, comparados a uma linha de base aleatória.
• Comparação Translinguística: A Análise de Similaridade Representacional (RSA) foi utilizada para comparar a estrutura semântica dos modelos de Toki Pona contra um modelo pré-treinado em inglês (corpus Google News) para avaliar a validade convergente.

Resultos Principais

• Estabilidade Estrutural: Ambos os modelos atingiram scores de silhueta (0,261 para o Corpus Completo, 0,267 para o Toki Pona Puro) significativamente superiores à linha de base aleatória (0,166). O arranjo estrutural dos clusters (ex: animais, cores, parentesco) permaneceu amplamente invariante entre os dois modelos, indicando que tokens não centrais esparsos não perturbam a topologia semântica fundamental.
• Impacto de Tokens Não Centrais: Contrariando a hipótesia de que tokens não centrais atuam como ruído, o modelo do Corpus Completo demonstrou maior densidade semântica. A similaridade de cosseno média aos centroides de categoria foi maior no modelo do Corpus Completo ($\mu=0,879$) em comparação ao modelo de Toki Pona Puro ($\mu=0,817$). Isso sugere que tokens incidentais (ex: a entidade nomeada Jutu para YouTube) fornecem pontes contextuais que aproximam conceitos centrais relacionados (ex: lipu para website) no espaço vetorial.
• Recuperação de Categorias: Ambos os modelos identificaram com sucesso 124 de 125 atribuições de palavra-categoria. Embora a estrutura geral tenha sido estável, a remoção de tokens não centrais afetou categorias abstratas específicas (ex: evaluative.positive) mais do que categorias concretas (ex: animals).
• Consistência Translinguística: A análise qualitativa das matrizes de similaridade representacional revelou que os padrões de proximidade relativa entre categorias semânticas no Toki Pona espelharam aqueles encontrados no modelo em inglês, sugerindo que os modelos aprenderam estruturas semânticas genuínas em vez de artefatos do corpus.

Significância e Alegações
O artigo afirma que a eficácia do Word2Vec é impulsionada mais por padrões distributivos do que pelo tamanho bruto do léxico, mesmo no limite inferior extremo de ~130 palavras. O estudo demonstra que uma estrutura semântica significativa pode emergir em uma língua minimalista e altamente polissêmica. Além disso, desafia a suposição de que o "ruído" na forma de empréstimos e entidades nomeadas necessariamente degrada a qualidade do embedding; neste contexto, tais tokens parecem aumentar a coesão dos clusters semânticos ao fornecerem contexto distributivo adicional. Os achados sugerem que os modelos de embedding são robustos o suficiente para funcionar em ambientes com vocabulários radicalmente reduzidos, desde que dados distributivos suficientes estejam disponíveis.