Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Este artigo quantifica o significativo overhead de tokenização enfrentado pelo ucraniano e outras línguas cirílicas em sistemas modernos de IA em comparação ao inglês, demonstrando que essa disparidade decorre da alocação de dados de treinamento, mas pode ser efetivamente mitigada por meio de técnicas de compressão em tempo de inferência ou pelo treinamento de tokenizadores BPE de nível de byte balanceados.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Quando um computador lê uma frase, ele não vê palavras da mesma forma que um humano. Em vez disso, ele decompõe o texto em pequenos pedaços chamados tokens, que são as unidades básicas que a máquina usa para entender o significado e calcular custos. Para idiomas escritos com o alfabeto latino, como o inglês, esses pedaços são frequentemente eficientes porque as próprias letras ocupam muito pouco espaço na memória do computador. No entanto, para idiomas escritos com o alfabeto cirílico, como o ucraniano, a situação é diferente. Os caracteres usados nesses alfabetos exigem mais espaço digital para armazenamento e, como a maior parte dos dados usados para treinar a inteligência artificial é em inglês, o computador aprendeu a lidar com o texto em inglês de forma muito eficiente, enquanto tem dificuldade com o cirílico. Isso cria um imposto oculto: para processar a mesma quantidade de informação, um computador pode precisar decompor uma frase em ucraniano em quase o dobro de pedaços de uma frase em inglês, tornando o processo mais lento e caro.
Um estudo recente do pesquisador independente Ivan Dobrovolskyi investiga essa disparidade, focando especificamente no ucraniano, mas extraindo conclusões que se aplicam a muitos outros idiomas que utilizam o alfabeto cirílico. A pesquisa faz uma pergunta simples, mas crítica: por que o computador tem tanta dificuldade com esses idiomas e podemos consertar isso sem esperar por uma reformulação completa da tecnologia? O estudo sugere que o problema não é apenas sobre a forma das letras ou quanto espaço elas ocupam, mas sim sobre como o computador foi ensinado a lê-las. Ao analisar como diferentes sistemas modernos decompõem o texto, o pesquisador descobriu que o desequilíbrio vem dos próprios dados de treinamento. O computador viu muito mais texto em inglês do que em ucraniano, por isso aprendeu menos atalhos para o idioma ucraniano.
Para medir a escala do problema, o pesquisador testou nove sistemas comerciais diferentes usados por grandes empresas de tecnologia. Eles alimentaram esses sistemas com milhões de palavras de texto em ucraniano e compararam quantos pedaços cada sistema criou em relação a quantos pedaços foram criados para o inglês. Os resultados mostraram uma lacuna significativa. Nos sistemas mais modernos, o texto em ucraniano exigiu entre 68% e 121% mais pedaços do que o texto em inglês. Em sistemas mais antigos, a lacuna foi ainda maior, chegando a 220% mais pedaços. Isso significa que, para cada dólar gasto para processar texto em inglês, um usuário pode gastar quase o dobro para processar a mesma quantidade de texto em ucraniano, simplesmente porque o computador tem que trabalhar mais para decompor as palavras.
O estudo também analisou se a mudança para o alfabeto latino, um processo conhecido como romanização, resolveria o problema. Alguns sugeriram que escrever o ucraniano com letras latinas tornaria o texto mais barato e rápido para os computadores lerem. No entanto, a pesquisa descobriu o oposto para os sistemas modernos. Como esses sistemas já aprenderam formas eficientes de lidar com as letras cirílicas nativas encontradas na web ucraniana, forçar o texto para letras latinas na verdade confundiu o computador. Isso fez com que o texto fosse dividido em ainda mais pedaços, aumentando o custo em até 19% em alguns sistemas. O computador trabalha melhor com o alfabeto que viu com mais frequência em seus dados de treinamento e, para o ucraniano, esse é o alfabeto cirílico nativo.
Para entender se o problema poderia ser resolvido na fonte, o pesquisador criou um novo sistema personalizado projetado para tratar o inglês e o ucraniano de forma igual. Em vez de deixar o computador aprender com a internet vasta e carregada de inglês, este novo sistema foi treinado com uma mistura perfeitamente equilibrada de textos em inglês e ucraniano. Os resultados foram impressionantes. Quando este sistema equilibrado foi utilizado, a lacuna de eficiência diminuiu drasticamente. O texto em ucraniano não exigia mais o dobro de pedaços; em vez disso, exigia apenas cerca de 30% mais pedaços do que o texto em inglês. Isso prova que o alto custo não é um limite físico inevitável das próprias letras, mas um resultado de como o computador foi treinado. Se os dados de treinamento forem equilibrados, o computador aprende a ser eficiente para ambos os idiomas.
A pesquisa também explorou uma maneira de reduzir custos sem alterar o treinamento do computador. Ao utilizar uma técnica que remove inteligentemente palavras desnecessárias do texto antes de o computador lê-lo, os pesquisadores conseguiram reduzir a quantidade de texto em ucraniano em quase metade. Crucialmente, essa compressão não prejudicou a capacidade do computador de encontrar as respostas corretas em um teste envolvendo milhares de produtos reais e perguntas de clientes. O sistema ainda recuperava os preços, avaliações e detalhes corretos com a mesma precisão que fazia com o texto completo e não comprimido. Isso sugere que, embora o desequilíbrio no treinamento seja um problema profundo, existem maneiras práticas de reduzir custos agora mesmo, enquanto a tecnologia não alcança.
Em última análise, o estudo revela que a ineficiência na leitura de idiomas cirílicos é um problema de alocação de dados solucionável, e não uma falha inerente aos alfabetos. O computador não está quebrado; ele está simplesmente enviesado para os dados que mais viu. Ao ajustar os dados de treinamento para incluir mais desses idiomas sub-representados, ou ao usar ferramentas de compressão inteligentes, o abismo digital de custo e velocidade pode ser diminuído. As descobertas oferecem um caminho claro para tornar a inteligência artificial mais equitativa, garantindo que os benefícios dessas ferramentas poderosas não sejam limitados àqueles que escrevem nos alfabetos mais comuns.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.