Resumo Técnico: Fronteiras de Taxa–Utilidade para Codificações de Linguagem

Declaração do Problema

Modelos de linguagem processam texto através de várias codificações: tokens de subpalavras, bytes brutos ou pixels renderizados. Embora trabalhos anteriores tenham estabelecido que os tokenizadores introduzem desequilíbrios multilinguais (por exemplo, variando a "fertilidade" ou o comprimento das sequências entre idiomas), essas comparações frequentemente confundem três fatores distintos: a taxa de origem (número de posições de entrada), a capacidade a jusante (dimensão latente disponível após a codificação) e a informação relevante para a tarefa preservada.

Estudos existentes costumam comparar codificações usando comprimentos de sequência ou orçamentos computacionais fixos. No entanto, como demonstrado na Figura 1, um comprimento de entrada fixo expõe diferentes quantidades de conteúdo linguístico dependendo da codificação e do idioma (por exemplo, o chinês requer mais tokens, mas menos bytes, do que o inglês para a mesma frase). Consequentemente, as diferenças de desempenho observadas podem refletir quanto conteúdo foi mostrado ao modelo ou quanta capacidade foi alocada, em vez da utilidade intrínseca da codificação em si. A questão central abordada é: Qual codificação preserva informações úteis e relevantes para a tarefa sob compressão quando tanto o conteúdo quanto a capacidade a jusante são estritamente controlados?

Metodologia

Os autores propõem uma análise controlada de fronteira de taxa–utilidade para desacoplar a taxa de origem da capacidade latente.

1. Regimes de Conteúdo e Idioma Controlados

• Conjunto de Dados: O estudo utiliza o SIB-200, um conjunto de dados paralelo traduzido por humanos com 13 idiomas e 5 escritas. Cada frase aparece em todos os idiomas com um rótulo de tópico idêntico, garantindo que o conteúdo seja constante.
• Regimes: Cinco regimes específicos são testados para isolar variáveis:
  • Monolíngue: Inglês (escrita Latina) e Chinês (escrita Han).
  • Multilíngue de Mesma Escrita: Latin-5 (Inglês, Espanhol, Turco, Indonésio, Suaíli) e Cirílico-5 (Russo, Búlgaro, Ucraniano, Sérvio, Cazaque).
  • Multiescrita: Cinco idiomas com cinco escritas distintas (Inglês, Russo, Árabe, Hindi, Chinês).
• Treinamento do Tokenizador: Para evitar o viés de tokenizadores pré-treinados, os autores re-treinam tokenizadores SentencePiece (Unigram, tamanho de vocabulário 32k) em traduções paralelas da Bíblia correspondentes para cada regime linguístico específico.

2. Codificações

Três codificações são comparadas sobre o mesmo conteúdo:

• Tokens: Segmentação de subpalavras aprendida via SentencePiece.
• Bytes: Sequências de bytes UTF-8 brutos (alfabeto fixo de 256).
• Pixels: Texto renderizado como imagens em tons de cinza (16pt Noto Sans) e fatiado em patches de pixels de $36 \times 32$ não sobrepostos.

3. Arquitetura de Gargalo Compartilhado

Para controlar a capacidade a jusante, todas as codificações passam por um codificador baseado em Transformer compartilhado seguido por uma camada de gargalo.

• Arquitetura: Um Transformer de 6 camadas com pre-norm e tamanho oculto de 256.
• Gargalo: Uma única consulta aprendida (estilo Perceiver) atende à saída do codificador e a comprime em um único vetor de largura $D$.
• Varredura de Capacidade: A largura do gargalo $D$ é percorrida através de 15 valores ($256, 128, \dots, 1$). Isso permite rastrear as fronteiras de utilidade: como o desempenho degrada conforme a capacidade é reduzida.

4. Utilidades de Avaliação

Três tarefas distintas sondam diferentes aspectos da representação comprimida:

1. Preservação de Forma: Auto-recuperação (perda InfoNCE) para medir se a forma de superfície da frase pode ser recuperada do latente.
2. Alinhamento Cross-Lingual: Recuperação cross-lingual (multi-positive InfoNCE) para medir se traduções da mesma frase permanecem próximas no espaço de representação.
3. Classificação de Tópico: Um cabeçalho de classificador linear para medir se a informação do tópico semântico é preservada para predição a jusante.

Principais Resultados

1. Disparidades de Taxa de Origem

As taxas de origem variam significamente por idioma e escrita, independentemente da eficiência intrínseca da codificação.

• Tokens: O chinês é o mais caro (1,71$\times$ tokens de inglês), enquanto o inglês é o mais barato.
• Bytes: O chinês é mais barato que o inglês (0,94$\times$), mas o hindi é o mais caro (2,59$\times$).
• Pixels: Chinês, Árabe e Hindi são os mais baratos (0,72–0,83$\times$ inglês), enquanto as escritas latinas são mais caras.
• Conclusão: A codificação "mais barata" depende inteiramente da mistura de idiomas e escritas; nenhuma codificação é universalmente mais curta.

2. Fronteiras de Utilidade

Nenhuma codificação domina em todas as tarefas ou regimes de capacidade. A escolha ideal depende da utilidade específica e da largura do gargalo ($D$).

• Preservação de Forma:

  • Pixels dominam quando a capacidade é ampla ($D \ge 48$), alcançando Recall@1 quase perfeito. Eles preservam detalhes de superfície (glifos, espaçamento) de forma mais eficaz.
  • Bytes superam pixels e tokens em gargalos muito estreitos ($D < 10$) em regimes de mesma escrita, pois retêm a sequência UTF-8 exata que degrada lentamente.
  • Tokens colapsam mais rápido conforme $D$ diminui, falhando em preservar itens de vocabulário específicos em latentes estreitos.

• Alinhamento Cross-Lingual:

  • Bytes são a codificação mais robusta para alinhar traduções, superando tokens e pixels em todas as larguras e regimes.
  • Pixels performam mal, especialmente em configurações multiescritas, pois a similaridade visual não correlaciona com equivalência semântica entre diferentes escritas.
  • Tokens ficam entre bytes e pixels.
  • Insight: O pareamento por bytes explora a sobreposição de caracteres em idiomas de mesma escrita (ex: Russo-Ucraniano), mas essa vantagem diminui em configurações multiescritas.

• Classificação de Tópico:

  • Tokens dominam esta tarefa, mantendo altos escores de Macro-F1 mesmo em baixos $D$ (até 8). Suas unidades densas e portadoras de significado são eficientes para decisões semânticas grosseiras.
  • Bytes performam moderadamente, mas requerem mais capacidade para remontar palavras a partir de caracteres.
  • Pixels são geralmente fracos, performando próximo ao acaso, exceto no Chinês. No Chinês, os pixels alcançam um aumento significativo (0,36 Macro-F1) porque caracteres logográficos são unidades portadoras de significado, permitindo que patches visuais codifiquem diretamente unidades semânticas.

3. Custo Computacional

• FLOPs de Treinamento: Bytes são geralmente os mais caros para treinar (devido aos comprimentos de sequência mais longos), enquanto pixels são os mais baratos.
• Convergência: Modelos de tokens convergem mais rápido para preservação de forma; modelos de bytes convergem mais rápido para recuperação cross-lingual.
• Trade-offs: Para recuperação cross-lingual em regimes de mesma escrita, o ganho de performance dos bytes sobre os tokens custa apenas 1,4–1,6$\times$ os FLOPs. No entanto, em regimes multiescritas, o ganho é negligenciável (0,01 Recall@1) enquanto o custo salta para 4,2$\times$.

Significância e Alegações

O artigo argumenta que a escolha da codificação de texto não é uma preferência fixa por tokens, bytes ou pixels, mas sim um tradeoff de taxa–utilidade dependente de:

1. A Tarefa: Tarefas de superfície favorecem pixels; alinhamento semântico favorece bytes; predição de tópico favorece tokens.
2. A Mistura de Idiomas: A diversidade de escritas (ex: multiescrita vs. mesma escrita) altera drasticamente qual codificação preserva informações úteis.
3. O Regime de Capacidade: Entradas curtas podem descartar significado útil, enquanto entradas longas podem preservar estruturas que comprimem bem.

Principais Contribuições:

• Comparação Controlada: Introduz uma metodologia que mantém o conteúdo linguístico e a capacidade a jusante constantes para isolar a utilidade das codificações.
• Desacoplamento de Quantidades: Separa a taxa de origem, a capacidade latente e a informação preservada, demonstrando que a taxa de origem sozinha não prevê a utilidade.
• Fronteiras Empíricas: Fornece evidência empírica de que codificações "mais baratas" (em termos de comprimento de sequência) não são necessariamente "melhores", e que a codificação ideal muda com base no requisito de gargalo de informação e nos requisitos da tarefa.

Os autores concluem que a codificação de entrada deve ser escolhida junto com a arquitetura do modelo e os objetivos de treinamento, em vez de ser tratada como um passo de pré-processamento estático, já que sua eficácia é contingente à utilidade específica que está sendo otimizada e à capacidade disponível do sistema.