Resumo Técnico: A Multiplicidade de Tokenização Leva à Variação Arbitrária de Preços em LLM-as-a-service

1. Declaração do Problema

O artigo aborda uma questão crítica, porém negligenciada, na economia dos Grandes Modelos de Linguagem oferecidos como serviço (LLM-as-a-service). Atualmente, os provedores utilizam predominantemente um modelo de precificação por token, onde os usuários são cobrados um preço fixo por token gerado. A suposição padrão é que prompts de entrada idênticos que resultam em sequências de saída (strings) idênticas devem resultar em custos idênticos.

No entanto, os autores demonstram que essa suposição é falha devido à multiplicidade de tokenização. Mesmo quando um LLM gera exatamente a mesma string de saída (caractere por caractere) a partir do mesmo prompt de entrada, a sequência subjacente de tokens pode diferir. Como a precificação é baseada na contagem de tokens e não na contagem de caracteres, essas diferentes tokenizações levam a variações arbitrárias de preço para a mesma saída. Este fenômeno é particularmente prevalente em línguas não inglesas e afeta tanto modelos proprietários quanto modelos de pesos abertos (open-weights).

2. Metodologia

Investigação Empírica

Os autores realizaram estudos empíricos extensos em três tarefas de linguagem natural: tradução, verificação ortográfica (spell checking) e refraseamento.

• Configuração: Eles construíram 100 prompts de entrada por tarefa usando textos curtos da Wikipedia. Para tradução, testaram pares de 1 idioma de origem (Inglês) para 5 idiomas de destino; para verificação ortográfica e refraseamento, testaram 6 idiomas.
• Execução: Cada prompt foi enviado ao LLM 100 vezes com parâmetros idênticos, mas sementes aleatórias (random seeds) diferentes, para simular diferentes usuários solicitando a mesma tarefa.
• Modelos: O estudo incluiu modelos proprietários (GPT-4o-mini, GPT-4.1, GPT-5-mini, Gemini, Claude) e modelos de pesos abertos (Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct).
• Medição: Eles identificaram pares de saídas onde as strings decodificadas eram idênticas, mas os comprimentos de tokenização diferiam. Mediram a probabilidade dessa ocorrência e a magnitude da variação de preço resultante.

Análise Teórica

O artigo define formalmente a tokenização canônica como a tokenização única que uma string recebe durante o processo de treinamento do LLM (determinada pelo codificador). Os autores provam um resultado teórico fundamental sobre tokenizadores não recuperáveis:

• Teorema: Para tokenizadores BPE, Unigram e Wordpiece, se uma sequência parcial de tokens for não canônica, qualquer extensão dessa sequência (anexando mais tokens) também será não canônica.
• Implicação: Para gerar uma sequência de saída canônica, o modelo deve gerar sequências parciais canônicas em cada etapa. Esta propriedade permite estratégias de geração restrita.

Solução Proposta: Geração Canônica

Para eliminar a variação de preço, os autores introduzem a geração canônica, um método de geração restrita que limita o LLM a gerar apenas a tokenização canônica de qualquer string de saída.

• Algoritmo: Eles propõem um algoritmo de amostragem eficiente baseado no truque Gumbel-Max.
  • Em vez de computar explicitamente uma nova distribuição de probabilidade (o que exigiria verificar todos os tokens do vocabulário quanto à canonicidade), o algoritmo amostra ruído Gumbel para cada token.
  • Ele classifica os tokens por suas log-probabilidades perturbadas.
  • Ele itera através dos tokens classificados e seleciona o primeiro que, ao ser anexado à sequência atual, resulta em uma sequência canônica.
  • Esta abordagem efetivamente redistribui a massa de probabilidade dos tokens não canônicos para os tokens canônicos restantes sem uma normalização dispendiosa.

3. Resultados Principais

Multiplicidade de Tokenização

• Prevalência: A multiplicidade de tokenização foi observada em todos os modelos e tarefas testados. Para modelos de pesos abertos (Llama, Qwen), ocorreu regularmente em todas as três tarefas. Modelos proprietários também exibiram o problema, embora com frequências variadas.
• Dependência de Idioma: O fenômeno é significativamente mais prevalente em línguas minoritárias (ex: turco, suaíli) comparado ao inglês. Por exemplo, em tarefas de tradução, até 7% dos prompts para turco e suaíli resultaram em strings idênticas com comprimentos de tokenização diferentes.
• Variação de Preço: Quando a multiplicidade ocorre, a diferença de preço pode ser substancial. Os autores observaram diferenças de preço relativas de até 15% para a mesma string de saída entre a tokenização mais curta e a mais longa.
• Saídas Longas: Em textos longos, erros de tokenização tendem a se propagar; se uma palavra é gerada com uma tokenização não canônica, ocorrências subsequentes dessa palavra frequentemente seguem o mesmo padrão não canônico, agravando a diferença de preço.

Desempenho da Geração Canônica

• Garantia Teórica: Os autores provam que a distribuição de sequências de tokens geradas via geração canônica é comprovadamente mais próxima (em termos de divergência KL) da verdadeira distribuição de sequências vistas durante o treinamento do que a geração padrão.
• Desempenho Empírico: Experimentos em tradução, verificação ortográfica, refraseamento e no benchmark MGSM (matemática multilíngue) mostram que a geração canônica é comparável à geração padrão em termos de:
  • Qualidade: Métricas como pontuações de qualidade de tradução, distância de edição e similaridade de cosseno mostraram diferenças negligenciáveis (frequentemente dentro da margem de erro).
  • Tempo de Execução: O tempo por token aumentou apenas marginalmente (ex: de 0.019s para 0.020s), demonstrando a eficiência do algoritmo de amostragem baseado em Gumbel-Max.
• Taxa de Não-Canonicidade: A geração padrão produziu saídas não canônicas em 6% a 29% dos casos, dependendo do modelo e da tarefa, enquanto a geração canônica reduziu essa taxa para 0% por design.

4. Significância e Alegações

O artigo afirma fornecer a primeira evidência empírica de que a multiplicidade de tokenização leva a variações de preço arbitrárias e indesejáveis em LLM-as-a-service, mesmo quando os provedores são "fiéis" (ou seja, não manipulam intencionalmente as contagens de tokens).

• Impacto Econômico: As descobertas desafiam a justiça do modelo de cobrança por token, mostrando que os usuários podem ser cobrados por valores significativamente diferentes para o mesmo valor (texto) devido a variações estocásticas na tokenização.
• Contribuição Técnica: A introdução da geração canônica oferece uma solução prática que elimina essa variação de preço sem sacrificar o desempenho do modelo ou aumentar significativamente a latência.
• Insight Teórico: A prova de que BPE, Unigram e Wordpiece são não-recuperáveis fornece uma compreensão fundamental de por que sequências não canônicas surgem e como elas podem ser evitadas via restrições passo a passo.

Os autores concluem que, embora a geração canônica restrinja ligeiramente o espaço de amostragem (potencialmente levando a um desempenho marginalmente inferior em cenários específicos e restritos), ela resolve efetivamente o problema do preço arbitrário mantendo a geração de saída de alta qualidade.