Resumo Técnico: FLEXITOKENS

Declaração do Problema

Adaptar modelos de linguagem (LMs) a novas distribuições de dados, como domínios não vistos, idiomas ou scripts, por meio de simples ajuste fino é frequentemente dificultado pela rigidez de tokenizadores de subpalavras (por exemplo, BPE). Esses tokenizadores permanecem estáticos durante a adaptação, levando a uma tokenização ineficiente caracterizada por superfragmentação em contextos fora da distribuição. Essa sobresegmentação aumenta os comprimentos das sequências, resultando em maior sobrecarga computacional, uso de memória e custos de inferência, enquanto degrada o desempenho a jusante.

Embora abordagens "livres de tokenizador" que modelam bytes diretamente ou utilizam módulos de tokenização aprendíveis dentro do LM tenham surgido para resolver isso, elas introduzem uma nova forma de rigidez. Os métodos existentes de tokenização baseados em gradiente geralmente dependem de uma perda auxiliar (por exemplo, uma perda binomial) que impõe uma taxa de compressão fixa predeterminada durante o pré-treinamento. Essa taxa fixa impede que o tokenizador se adapte aos requisitos estruturais específicos de novos domínios (por exemplo, idiomas morfologicamente ricos ou terminologia médica especializada) ou scripts não vistos, levando frequentemente a uma segmentação subótima.

Metodologia

Os autores propõem FLEXITOKENS (FXT), um framework de tokenização baseado em gradiente e flexível, projetado para permitir que estratégias de tokenização evoluam dinamicamente durante a adaptação.

Arquitetura do Modelo

O modelo é um Transformer em nível de bytes que integra um módulo de tokenização aprendível diretamente na arquitetura, seguindo o design de Nawrot et al. (2023). A arquitetura consiste em três etapas principais:

1. Tokenização/Redução de Amostragem: Um módulo Transformer leve (1–2 camadas) processa a sequência de bytes de entrada. Um preditor de limites estima a probabilidade de um limite de segmento em cada posição. Limites discretos são obtidos por meio de uma reparametrização de sigmoid Gumbel dura da distribuição Bernoulli para manter a diferenciabilidade.
2. Modelagem de Linguagem: O modelo agrega estados ocultos em nível de bytes entre os limites previstos para criar representações em nível de token, que são processadas por blocos Transformer padrão.
3. Aumento de Amostragem: Um módulo final reconstrói as probabilidades de saída em nível de bytes a partir das representações em nível de token usando conexões de salto e um Transformer leve.

O Objetivo FLEXITOKENS

A inovação central reside no objetivo de treinamento para o preditor de limites. Diferentemente de métodos anteriores que impõem uma taxa de compressão alvo estrita $\alpha$ por meio de uma perda binomial, o FLEXITOKENS introduz uma perda do tipo hinge que define uma faixa de taxas de compressão aceitáveis em vez de um único ponto.

A função de perda $L_{BP}$ é definida como:
$$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$$
Onde:

• $k$ é o número de limites previstos.
• $N$ é o número total de bytes.
• $\alpha$ é o limite superior da taxa de compressão.
• $\beta = \alpha - \lambda\sigma$ é o limite inferior, onde $\sigma$ é o desvio padrão das taxas de tokenização sobre as amostras e $\lambda$ é um hiperparâmetro.

Mecanismo Chave: Se a taxa de compressão ($k/N$) cair dentro da faixa $[\beta, \alpha]$, a perda é zero. Isso remove a penalidade para taxas de compressão variáveis dentro da faixa aceitável, permitindo que o modelo ajuste dinamicamente a segmentação com base na estrutura da sequência de entrada sem ser forçado a uma média global rígida.

Adaptação Multilíngue

Para lidar com o treinamento multilíngue, onde diferentes scripts exigem diferentes complexidades de bytes (por exemplo, Latim vs. Devanagari), os autores propõem o uso de um preditor de limites compartilhado com hiperparâmetros específicos do idioma ($\alpha_L$). Esses parâmetros são derivados de um pequeno corpus paralelo entre um idioma âncora (Inglês) e o idioma alvo, garantindo tokenização equitativa entre scripts sem a necessidade de preditores separados para cada idioma.

Contribuições Principais

1. Objetivo de Treinamento Flexível: A introdução de uma função de perda baseada em faixa que relaxa a restrição de taxas de compressão fixas, permitindo que tokenizadores se adaptem a distribuições de dados variáveis durante o ajuste fino.
2. Adaptação Dinâmica: Demonstração de que os limites de tokenização aprendidos podem se deslocar para capturar padrões específicos do domínio (por exemplo, tratar termos médicos como unidades inteiras) ou lidar com scripts não vistos sem superfragmentação.
3. Framework Multilíngue Unificado: Um método para alcançar tokenização equitativa entre scripts diversos usando um único preditor compartilhado com limites específicos do idioma derivados, evitando a complexidade de preditores específicos de script.

Resultados

Os autores avaliaram o FLEXITOKENS em múltiplos benchmarks multilíngues (cobrindo scripts Latim, Cirílico, Devanagari e Telugu) e tarefas diversas, incluindo tradução, reconhecimento de entidades nomeadas (NER) e análise de sentimentos.

• Ganhos de Desempenho: O FLEXITOKENS superou consistentemente as linhas de base (BPE, agrupamento de bytes estático e tokenizadores baseados em perda binomial). Em tarefas generativas como tradução automática, melhorias de até 21 pontos sobre o BPE foram observadas. No XNLI (Inferência em Linguagem Natural), ganhos de mais de 3 pontos foram registrados em comparação com a linha de base binomial.
• Eficiência de Compressão: O método alcançou taxas de compressão médias significativamente mais altas (menos tokens por sequência) em comparação com as linhas de base, levando a uma redução no tempo de execução da inferência.
• Redução de Fragmentação: A análise qualitativa mostrou que o FLEXITOKENS reduziu a superfragmentação de tokens, particularmente para idiomas morfologicamente ricos (Hindi, Telugu) e scripts não vistos (Urdu), onde o BPE produziu até 6× mais tokens.
• Escalabilidade: Experimentos com tamanhos de modelo variados (Pequeno: 126M, Médio: 388M) e configurações de camadas confirmaram que o método escala efetivamente, com modelos mais profundos alcançando ainda maior compressão e desempenho.

Significado e Alegações

O artigo afirma que o FLEXITOKENS aborda uma limitação crítica na adaptação atual de modelos de linguagem: a incapacidade de tokenizadores estáticos ou rigidamente restritos de evoluir com os dados. Ao permitir que o tokenizador ajuste flexivelmente sua estratégia de segmentação dentro de uma faixa definida, o método possibilita:

• Inferência Eficiente: Taxas de compressão mais altas reduzem custos computacionais.
• Robustez a Mudanças de Distribuição: O modelo se adapta a novos domínios e idiomas não vistos sem a necessidade de retreinar o tokenizador ou substituições heurísticas.
• Alinhamento Semântico: O tokenizador aprende a recuperar tokens semanticamente significativos relevantes para tarefas específicas (por exemplo, terminologia médica) em vez de depender de unidades de subpalavras pré-treinadas.

Os autores concluem que estratégias de tokenização adaptáveis são essenciais para construir modelos de linguagem mais eficientes e generalizáveis, particularmente em configurações multilíngues e específicas de domínio. Eles reconhecem limitações relacionadas ao orçamento computacional para escalas maiores e aos desafios potenciais com idiomas que apresentam morfemas descontínuos (por exemplo, idiomas semíticos), mas afirmam que o método é geral e provavelmente se traduzirá para uma diversidade linguística mais ampla.