Resumo Técnico: QuechuaTok

Definição do Problema

A tokenização é uma etapa de pré-processamento crítica no Processamento de Linguagem Natural (PLN), mas as métricas de avaliação padrão, particularmente a taxa de fertilidade (o número médio de tokens por palavra), falham em capturar a correção morfológica para línguas aglutinantes. Em línguas como o Quechua Meridional (quz), uma única forma de palavra de superfície codifica informações gramaticais complexas (raízes verbais, aspecto, pessoa, número, caso, evidencialidade) através de uma sufixação rigorosa. Tokenizadores de subpalavras padrão (ex: BPE, Unigram), projetados principalmente para línguas europeias e treinados em padrões de frequência, frequentemente fragmentam essas formas arbitrariamente ou memorizam formas de superfície longas como unidades atômicas. Esse comportamento ignora as fronteiras morfológicas que carregam significado gramatical, levando a um descompasso entre a eficiência de tokenização e a estrutura linguística. Apesar de o Quechua ser uma das famílias linguísticas indígenas mais faladas nas Américas, há uma carência de avaliação sistemática das estratégias de tokenização para esta língua de baixos recursos e aglutinante.

Metodologia

Os autores apresentam o QuechuaTok, um benchmark sistemático que avalia quatro estratégias de tokenização em um corpus de 200.193 sentenças de Quechua Meridional. O corpus foi derivado do conjunto de dados Llamacha/monolingual-quechua-iic (fontes da Wikipedia e OSCAR) e do corpus paralelo somosnlp-hackathon-2022, pré-processado com normalização Unicode e remoção de ruído.

Tokenizadores Avaliados

1. BPE (Byte-Pair Encoding): Treinado em vocabulários de 4k, 8k e 16k.
2. Unigram LM: Treinado em vocabulários de 4k, 8k e 16k.
3. WordPiece: Treinado em 4k.
4. PRPE (Prefix-Root-Postfix Encoding): Um tokenizador consciente da morfologia utilizando um léxico de sufixos construído à mão com 23 morfemas de Quechua, cobrindo TAM (tempo, aspecto e modo), concordância de pessoa, caso nominal, evidenciais e sufixos derivacionais.

Todos os modelos estatísticos utilizaram SentencePiece com byte_fallback=True e preservaram o apóstrofo para consoantes ejetivas.

Métricas de Avaliação

O estudo introduz uma nova métrica primária ao lado das padrões:

• Taxa de Fertilidade: Média de tokens por palavra (menor é melhor).
• Taxa de OOV (Out-of-Vocabulary): Porcentagem de tokens mapeados para ? (0% para todos os modelos devido ao byte fallback).
• Acurácia de Fronteira Morfológica (MorphAcc): A proporção de fronteiras de tokenizador que coincidem com as fronteiras do "padrão prateado" (silver standard). O padrão prateado foi gerado usando o analisador morfológico de estado finito SQUOIA (Rios, 2016) e verificado manualmente.
  $$\text{MorphAcc} = \frac{| \text{pred\_bounds} \cap \text{silver\_bounds} |}{| \text{silver\_bounds} |}$$

Avaliação Downstream

Para avaliar o impacto na modelagem de linguagem, os autores treinaram um modelo de linguagem bigrama suavizado sobre o texto tokenizado e mediram a perplexidade (PPL) em sentenças de teste (held-out).

Principais Resultados

Achados Quantitativos

• BPE: Alcançou a menor taxa de fertilidade (1.636 com vocabulário de 16k), mas manteve uma MorphAcc consistentemente baixa de 6,67% em todos os tamanhos de vocabulário. Isso indica que o BPE reduz a contagem de tokens ao memorizar formas de superfície frequentes como unidades atômicas, em vez de aprender a estrutura morfológica.
• Unigram LM: Mostrou uma relação não monotônica entre o tamanho do vocabulário e a MorphAcc. Alcançou 66,67% de MorphAcc com 4k de vocabulário, mas caiu para 26,67% com 8k e 33,33% com 16k. Isso sugere que, conforme o tamanho do vocabulário aumenta, o Unigram LM começa a sofrر overfitting à frequência de superfície, colapsando múltiplos morfemas em tokens únicos.
• PRPE: Alcançou a maior MorphAcc de 83,33% com uma taxa de fertilidade competitiva de 1,797. Seu desempenho é independente das estatísticas do corpus, baseando-se, em vez disso, na qualidade do léxico de sufixos morfológicos.
• WordPiece: Avaliado em 4k, apresentou uma taxa de OOV de 0,05% e não reportou MorphAcc na tabela final, embora a análise qualitativa tenha mostrado problemas semelhantes aos de outros métodos estatísticos.

Análise de Perplexidade

• Unigram 4k alcançou a menor perplexidade (1344), provavelmente devido ao vocabulário pequeno que força uma segmentação que coincide acidentalmente com os morfemas.
• PRPE alcançou uma perplexidade de 1879, superior à do Unigram 4k, mas significativamente melhor que a do BPE 16k (2553).
• BPE 16k teve a maior perplexidade (2553), apesar da menor fertilidade, confirmando que a baixa fertilidade neste contexto reflete a memorização de formas de superfície em vez de um aprendizado eficaz da estrutura linguística.

Observações Qualitativas

A análise qualitativa de palavras como rimankichikmi ("vocês todos falam [testemunhado]") e wasiykikunapiqa ("em suas casas") revelou que tokenizadores estatísticos (BPE/Unigram) frequentemente colapsam múltiplos morfemas em tokens únicos (ex: riman|kichikmi), enquanto o PRPE segmentou corretamente o prefixo, a raiz e os sufixos (ex: wasi|yki|kuna|pi|qa).

Principais Contribuições

1. Benchmark Sistemático: A primeira avaliação abrangente de tokenizadores BPE, Unigram, WordPiece e PRPE em um grande corpus de Quechua Meridional.
2. Nova Métrica: A introdução e validação da Acurácia de Fronteira Morfológica (MorphAcc) contra o analisador de estado finito SQUOIA, estabelecendo-a como uma métrica necessária para línguas aglutinantes.
3. Evidência Empírica: Demonstração de que a taxa de fertilidade é um indicador (proxy) pouco confiável para a qualidade morfológica. O artigo mostra que um tokenizador pode alcançar alta eficiência (baixa fertilidade) enquanto falha em capturar a estrutura gramatical (baixa MorphAcc).

Significância e Alegações

O artigo argumenta que, para línguas aglutinantes e de baixos recursos, otimizar a contagem de tokens (fertilidade) é insuficiente e potencialmente prejudicial. Os autores afirmam que a acurácia da fronteira morfológica é uma métrica complementar necessária para garantir que os tokenizadores respeitem a estrutura linguística da língua.

O estudo destaca que, embora tokenizadores estatísticos (BPE, Unigram) possam alcançar baixa perplexidade com vocabulários pequenos ou baixa fertilidade com vocabulários grandes, eles frequentemente o fazem memorizando formas de superfície em vez de aprender regras morfológicas. Em contraste, o PRPE demonstra que a codificação explícita da estrutura morfológica produz uma acurácia de fronteira superior, mesmo que nem sempre minimize a contagem de tokens ou a perplexidade ao nível absoluto mínimo. Os autores concluem que nenhum único tokenizador vence todas as métricas simultaneamente, exigindo uma abordagem de avaliação multifacetada que priorize a correção morfológica para línguas como o Quechua.

Trabalhos futuros identificados pelos autores incluem a expansão do padrão prateado de MorphAcc para mais de 500 palavras e a integração do tokenizador PRPE em um modelo de linguagem específico para o Quechua (QuechuaBERT).