A Pilot Study of Autocompleting Tokenizers

Todos os dias, milhões de pessoas digitam mensagens em smartphones ou computadores usando sistemas que adivinham a próxima palavra antes de terminarem de digitar. Esses recursos de preenchimento automático funcionam porque a linguagem humana é repleta de padrões; uma vez que você vê o início de uma frase, o restante frequentemente segue um caminho previsível. Esse mesmo princípio de previsão reside no cerne da inteligência artificial moderna, especificamente nos grandes modelos computacionais que impulsionam a tradução e a geração de texto. Esses modelos, conhecidos como Transformers, são incrivelmente poderosos, mas exigem quantidades massivas de dados para funcionar. Para processar texto, eles dividem as frases em unidades minúsculas chamadas tokens. Durante anos, o método padrão tem sido agrupar letras em blocos que representam palavras inteiras ou partes de palavras, uma técnica que mantém os dados gerenciáveis. No entanto, existe uma alternativa mais simples: dividir o texto em bytes individuais, as menores unidades de informação digital. Embora essa abordagem de nível de byte seja universal e não exija dicionários especiais para diferentes idiomas, ela cria sequências tão longas que tornam o computador lento e o modelo menos eficaz.

Pesquisadores do Williams College partiram para resolver esse problema fazendo uma pergunta simples: se um computador pode prever a próxima letra em uma sequência com alta confiança, ele realmente precisa ver essa letra para entender a frase? Eles propuseram um novo método que atua como um filtro inteligente, removendo as partes de um texto que são óbvias demais para serem úteis. Ao treinar um programa pequeno e leve para atuar como um assistente de preenchimento automático, eles identificaram quais bytes em uma frase eram tão previsíveis que poderiam ser removidos com segurança antes mesmo que o principal modelo de tradução os visse. O resultado é uma versão comprimida do texto que é significativamente mais curta, mas ainda carrega todo o significado necessário. Seus experimentos mostraram que, para idiomas como inglês e francês, eles puderam remover quase um terço dos caracteres sem perder qualquer qualidade de tradução. Essa descoberta sugere que uma grande parte dos dados que alimentamos nesses poderosos sistemas de IA é redundante e que, ao remover as partes previsíveis, podemos tornar esses modelos mais rápidos e eficientes sem sacrificar sua capacidade de compreender o mundo.

O cerne deste trabalho envolve um processo de três etapas que transforma a maneira como o texto é alimentado em uma máquina. Primeiro, um modelo pequeno e rápido lê o texto original byte por byte, prevendo o que vem a seguir com base no que já viu. Se o modelo tiver muita certeza sobre o próximo caractere, ele marca esse caractere como previsível. Na segunda etapa, o sistema remove esses caracteres marcados da sequência. Para garantir que o modelo principal não fique confuso pelas peças ausentes, o sistema modifica o byte precedente para indicar que um caractere foi removido, permitindo que o modelo infira a lacuna a partir do contexto. Finalmente, essa sequência encurtada e comprimida é passada para um modelo de tradução grande e padrão, que então gera o resultado no idioma de destino. Os pesquisadores testaram várias maneiras de lidar com essas peças ausentes, descobrindo que o método mais eficaz envolvia o uso deste tipo específico de marcador que simplesmente anotava a ausência de um caractere ao alterar o byte anterior, permitindo que o modelo principal infira o restante pelo contexto.

Quando a equipe aplicou essa técnica para traduzir inglês para o francês, os resultados foram impressionantes. Eles descobriram que podiam comprimir o texto de origem para cerca de 68 por cento de seu comprimento original mantendo exatamente a mesma qualidade de tradução da versão não comprimida. Em alguns casos, a versão comprimida até teve um desempenho ligeiramente superior. Os pesquisadores também testaram o método em idiomas com sistemas de escrita e estruturas muito diferentes, incluindo o finlandês, que possui uma gramática complexa; o russo, que utiliza um alfabeto diferente; e o chinês, onde os caracteres representam palavras inteiras em vez de sons. Em todos esses casos, a abordagem funcionou bem, reduzindo o comprimento do texto para proporções específicas de 0,646 para o finlandês, 0,468 para o russo e 0,668 para o chinês, preservando ou até melhorando a qualidade da tradução. Essa consistência através de idiomas tão diversos sugere que a capacidade de prever e remover informações redundantes é uma propriedade fundamental da linguagem humana, não apenas uma peculiaridade do inglês.

O estudo também comparou este método de compressão inteligente contra formas mais simples e menos sofisticadas de encurtar o texto, como remover todas as vogais ou manter apenas as primeiras letras de cada palavra. Esses métodos rudimentares falharam em manter a qualidade da tradução, provando que a chave não é apenas remover caracteres, mas remover os caracteres certos. Os pesquisadores demonstraram que, ao usar um modelo para identificar quais partes do texto são verdadeiramente previsíveis, eles poderiam remover o ruído enquanto mantinham o sinal intacto. Esta abordagem oferece uma maneira prática de reduzir o custo computacional de executar grandes modelos de linguagem, potencialmente permitindo que eles rodem mais rápido em hardware menos potente. O trabalho sugere que muitos dos bytes que atualmente forçamos os computadores a processar são desnecessários e que, ao deixar o modelo preencher as lacunas por conta própria, podemos alcançar os mesmos resultados com menos esforço. Embora o estudo seja uma investigação piloto, as descobertas fornecem um caminho claro para sistemas de IA mais eficientes que podem lidar com diversos idiomas sem o pesado fardo de processar cada caractere explicitamente.