Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages

Título: Além dos Subtokens: Um Embedding Rico de Caracteres para Idiomas de Baixos Recursos e Morfologicamente Complexos

1. O Problema

Os modelos atuais de Processamento de Linguagem Natural (PLN), como BERT, GPT e word2vec, baseiam-se predominantemente em tokenização ou subtokenização (ex: WordPiece). Embora eficazes para idiomas de alto recurso como o inglês, essas abordagens apresentam limitações críticas:

• Falha na Captura de Similaridades Ortográficas: Modelos baseados em dicionário tratam palavras com grafias similares (ex: quality e qualification) como tokens distintos ou fragmentos desconexos, perdendo a relação morfológica intrínseca.
• Vulnerabilidade a Variações de Grafia: Erros de digitação ou variações ortográficas exigem que o corpus de treinamento contenha explicitamente essas variações para que o modelo aprenda representações significativas.
• Desafios em Idiomas de Baixos Recursos e Ricos em Morfologia: Em idiomas altamente flexionados (ex: Latim, Islandês, Feroês) ou com poucos dados disponíveis, aprender representações para cada variação inflexional de uma palavra é inviável. Além disso, a tokenização tradicional não aproveita a similaridade entre palavras em idiomas relacionados (ex: germânicos).
• Ineficiência em Abordagens Baseadas em Caracteres: Métodos que tratam cada letra como um token aumentam drasticamente o comprimento da sequência de entrada, limitando o contexto disponível e aumentando o custo computacional em modelos Transformer (que crescem quadraticamente em memória).

2. Metodologia: Rich Character Embedding (RCE)

Os autores propõem o RCE, uma abordagem baseada em Transformer que gera vetores de palavras diretamente a partir de suas strings de caracteres, integrando informações semânticas e sintáticas.

• Representação de Entrada:
  • Cada palavra é tratada como uma sequência de caracteres.
  • Os caracteres são convertidos em vetores one-hot.
  • Modificadores: Caracteres especiais (maiúsculas, acentos, diacríticos) são codificados usando modificadores específicos (ex: [UP] para maiúsculas, modificadores para acentos agudos, graves, etc.) antes do caractere base.
  • A sequência é delimitada por tokens [BEG] (início) e [END] (fim), com preenchimento ([PAD]) para uniformidade.
• Arquitetura do Modelo:
  • Utiliza um Encoder Transformer clássico.
  • A entrada é uma matriz de tamanho $|A| \times |C|$ (tamanho do alfabeto/modificadores $\times$ comprimento da string).
  • Após uma camada linear e codificação posicional, a saída do token [BEG] do encoder é utilizada como o vetor de embedding da palavra inteira.
• Objetivos de Treinamento (Híbrido):
  O modelo é treinado com três objetivos simultâneos para garantir a preservação de informações semânticas e sintáticas:
  1. Previsão de Contexto (Semântica): Prever as strings de caracteres das palavras vizinhas (similar ao word2vec, mas operando no nível de caracteres).
  2. Previsão de Identidade (Sintática): Prever a própria string de caracteres da palavra de entrada (atuando como um autoencoder para capturar a estrutura ortográfica).
  3. Previsão de Dicionário (Contexto Tradicional): Prever os tokens de dicionário das palavras vizinhas (se existirem), servindo como um sinal de treinamento auxiliar mais simples.
• Modelo Híbrido: Os autores também propõem uma combinação do RCE com mecanismos convolucionais (denotado como c2v), criando um modelo híbrido que aproveita as vantagens de ambas as arquiteturas.

3. Principais Contribuições

• Abordagem "Drop-in Replacement": O RCE pode substituir diretamente embeddings baseados em dicionário ou subtokens em arquiteturas existentes (como word2vec ou BERT) sem alterar a estrutura do modelo principal.
• Generalização para Palavras Não Vistas: Capacidade de codificar palavras raras ou inexistentes no corpus de treinamento, inferindo representações baseadas na similaridade de caracteres com palavras conhecidas.
• Eficiência em Baixos Recursos: Elimina a necessidade de corpora massivos para cobrir todas as variações morfológicas, sendo particularmente eficaz para idiomas com pouca disponibilidade de dados.
• Captura de Morfologia: Preserva informações sobre flexão (caso, número, gênero) através da estrutura da string de caracteres, permitindo inferências gramaticais.

4. Resultados Experimentais

Os autores avaliaram o RCE em várias tarefas e idiomas (Feroês, Latim, Uzbeque, Alemão, Islandês, Norueguês), comparando com FastText e char2vec (c2v).

• Métricas Intrínsecas (TopK e Odd-One-Out):
  • O RCE (especialmente em combinação com c2v) superou consistentemente o FastText na capacidade de agrupar palavras semanticamente relacionadas e distinguir palavras de categorias diferentes em idiomas de baixos recursos.
  • Em tarefas de Odd-One-Out, o modelo híbrido RCE+c2v obteve os melhores resultados, demonstrando uma melhor alinhamento com propriedades semânticas desejadas.
• Predição de Flexão (Latim):
  • Na tarefa de prever a declinação de substantivos latinos a partir de suas formas nominativa e genitiva, o RCE e o c2v superaram o FastText.
  • O FastText sofreu queda drástica de desempenho quando treinado em um idioma diferente do alvo (ex: treinado em Italiano, testado em Latim), enquanto o RCE manteve robustez, indicando melhor captura de informações morfológicas universais.
• Detecção de Dispositivos Estilísticos:
  • Quiasmo: A combinação RCE+c2v superou significativamente os modelos individuais na detecção de quiasmos, sugerindo que as abordagens convolucionais e Transformer capturam informações complementares.
  • Metáfora: O RCE superou o c2v e o FastText na detecção de metáforas adjetivo-substantivo.
• Modelos Baseados em Contexto (BERT-like):
  • Ao substituir a camada de embedding de um modelo tipo BERT pelo RCE, o desempenho em tarefas de previsão da próxima frase (estilo SWAG) foi superior ao do modelo com tokenização WordPiece tradicional.
  • Em cenários de baixos recursos (idioma Feroês), o modelo RCE treinado em idiomas relacionados (Norueguês ou Islandês) superou o modelo WordPiece, demonstrando forte capacidade de transferência de aprendizado.

5. Significância e Limitações

• Significância: O trabalho demonstra que é possível superar as limitações da tokenização tradicional em idiomas complexos e com poucos dados, gerando embeddings que capturam tanto o significado quanto a estrutura ortográfica/gramatical. Isso abre caminho para modelos de linguagem mais eficientes e acessíveis para uma gama mais ampla de idiomas globais.
• Limitações:
  • O método foi desenvolvido para sistemas de escrita lineares e unidimensionais (baseados no alfabeto latino).
  • Não suporta nativamente sistemas não alfabéticos ou bidimensionais complexos (ex: Chinês, Japonês) ou outros alfabetos (Cyrílico, Devanagari) sem reengenharia do mapeamento de tokens.
  • A avaliação atual é limitada pelo escopo de idiomas testados e recursos computacionais disponíveis.

Conclusão: O RCE representa um avanço significativo na representação de palavras para PLN, oferecendo uma alternativa robusta e eficiente aos métodos baseados em subtokens, especialmente crucial para a preservação e processamento de idiomas de baixos recursos e morfologicamente ricos.