Auditing Pay-Per-Token in Large Language Models

Título: Auditoria de Pagamento por Token em Grandes Modelos de Linguagem

1. O Problema

O mercado de serviços de Grandes Modelos de Linguagem (LLMs) baseia-se predominantemente em um modelo de preços "pay-per-token" (pago por token). O artigo identifica uma falha crítica neste mecanismo: a assimetria de informação entre o provedor do serviço e o usuário.

• Moral Hazard: O provedor observa todo o processo gerativo (incluindo a tokenização interna), enquanto o usuário vê apenas a string de saída final e paga com base no número de tokens reportados.
• Não Unicidade da Tokenização: Uma mesma string de texto pode ser representada por diferentes sequências de tokens (ex: "Morocco" pode ser 1 token ou 3 tokens dependendo da quebra).
• Incentivo Financeiro: Provedores desonestos podem explorar essa ambiguidade para reportar uma tokenização com mais tokens do que a gerada pelo modelo, aumentando seus lucros às custas do usuário, sem que este possa verificar a fraude.

2. Metodologia e Framework de Auditoria

Os autores propõem um framework de auditoria baseado em um terceiro confiável (auditor) que tem acesso às probabilidades de "próximo token" do modelo servido pelo provedor. O problema é formalizado como um teste de hipótese sequencial.

• Formulação Estatística:

  • Hipótese Nula ($H_0$): O provedor é fiel (reporta os tokens corretamente, $I(\pi) = 0$).
  • Hipótese Alternativa ($H_1$): O provedor é desonesto e reporta tokens com intensidade de erro positiva ($I(\pi) > 0$).
  • A intensidade de reporte incorreto ($I(\pi)$) mede o número médio de tokens extras reportados em comparação com a geração real do modelo.

• Componentes Chave do Framework:

  1. Estimador Não Viesado de Comprimento: O auditor utiliza um processo de geração modificado (com máscara) para estimar, de forma não viesada e eficiente, o comprimento médio esperado da sequência de tokens que o modelo usaria para gerar uma string específica $s$. Isso é feito usando uma técnica de Monte Carlo com truncamento aleatório (baseada em estimadores de variância reduzida).
  2. Teste Estatístico Sequencial (Martingales): O auditor compara o comprimento real reportado pelo provedor ($len(\tilde{T})$) com a estimativa do comprimento esperado ($L$). A evidência de fraude é acumulada ao longo do tempo usando um processo estocástico $M_i$ (uma martingale sob $H_0$):
     $$M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$$
     Onde $E_i$ é a diferença entre o token reportado e a estimativa, e $\lambda_i$ é um parâmetro de ponderação.
  3. Regra de Decisão: O auditor rejeita $H_0$ (marca o provedor como desonesto) assim que o processo $M_i$ excede um limiar $1/\alpha$.

• Garantias Teóricas:

  • Controle de Falsos Positivos: O framework garante que a probabilidade de acusar falsamente um provedor fiel é limitada por $\alpha$ (usando a desigualdade de Ville).
  • Detecção Garantida: Sob condições específicas para $\lambda_i$, o framework garante que um provedor desonesto será detectado em um número finito de passos, independentemente da política de reporte utilizada pelo provedor.

3. Contribuições Principais

1. Primeiro Framework de Auditoria para Tokenização: Introduz a primeira abordagem sistemática para auditar a contagem de tokens em LLMs, abordando uma ameaça econômica negligenciada.
2. Novo Estimador: Desenvolveu um estimador não viesado e eficiente para o comprimento médio de sequências de tokens que codificam uma string específica, uma ferramenta que pode ser útil independentemente deste contexto.
3. Garantias de Worst-Case: Prova teoricamente que o método detecta qualquer política de reporte incorreto, desde que a intensidade do erro seja positiva, sem depender de suposições sobre a sofisticação da fraude.
4. Validação Empírica: Implementação e teste do framework em modelos reais (famílias Llama, Gemma e Ministral) com políticas de fraude simuladas.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando prompts do dataset LMSYS Chatbot Arena e modelos de diferentes tamanhos.

• Provedores Fiéis: O processo de teste $M$ permaneceu estável e próximo de 1, sem cruzar o limiar de detecção. Nenhum provedor fiel foi falsamente flagrado em 150 execuções, mantendo a taxa de falsos positivos bem abaixo do limite teórico de $\alpha = 0.05$.
• Provedores Desonestos: O framework detectou com sucesso a fraude em menos de ~70 saídas reportadas (em média).
• Intensidade vs. Tempo de Detecção: Existe uma correlação inversa clara: quanto maior a intensidade do reporte incorreto ($I(\pi)$), mais rápido o sistema detecta a fraude.
• Robustez: O método demonstrou ser robusto mesmo quando o auditor acessa uma versão aproximada do modelo (ex: versão quantizada) em comparação com a versão exata usada pelo provedor.

5. Significado e Impacto

• Proteção ao Consumidor: O trabalho oferece uma ferramenta prática para proteger usuários de empresas de IA contra práticas comerciais desonestas em um mercado de bilhões de dólares.
• Regulação e Conformidade: O framework alinha-se com regulamentações emergentes, como o AI Act da UE, que prevê o acesso de auditores de terceiros ao código-fonte ou modelos proprietários para verificação.
• Mudança de Paradigma: Demonstra que a transparência em LLMs-as-a-Service não é apenas uma questão técnica, mas econômica. Sem auditoria, o modelo de preços atual incentiva a fraude.
• Futuro: O estudo sugere a necessidade de desenvolver benchmarks padronizados para políticas de reporte incorreto e a criação de mecanismos de auditoria que funcionem com acesso limitado ao modelo.

Em resumo, o artigo estabelece as bases teóricas e práticas para garantir a integridade financeira e técnica dos serviços de LLM, transformando a auditoria de tokens em um processo estatisticamente rigoroso e garantido.