Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways

Título: Análise de Consistência Comportamental e Transparência em Gateways de API de Grandes Modelos de Linguagem (LLMs)

1. Problema e Motivação

Os Gateways de API de LLMs de terceiros estão surgindo rapidamente como pontos de acesso unificados que agregam modelos de múltiplos provedores (como OpenAI, Anthropic, Google), simplificando a integração, o gerenciamento de chaves e a faturação para desenvolvedores e empresas.

No entanto, esses gateways operam como caixas-pretas para os clientes, criando graves lacunas de transparência e consistência:

• Substituição de Modelos (Downgrading): O gateway pode rotear solicitações para modelos mais baratos ou menos capazes do que o anunciado, sem notificar o usuário.
• Truncamento Silencioso: O gateway pode impor limites de contexto ou de saída menores que a capacidade nativa do modelo, descartando partes do histórico de conversa ou da resposta sem avisar.
• Inexatidão na Faturação: Discrepâncias entre o consumo de tokens reportado e o cobrado, incluindo falhas em aplicar descontos de cache ou cobrar por tokens não processados.
• Instabilidade de Latência: Variações significativas no tempo de resposta devido a roteamento dinâmico, sobrecarga de servidores ou troca de modelos.

A falta de visibilidade impede que os usuários verifiquem se estão recebendo o serviço contratado, gerando riscos de qualidade, custos e confiabilidade.

2. Metodologia: O Framework GateScope

Os autores apresentam o GateScope, um framework leve de auditoria black-box (caixa-preta) projetado para avaliar a transparência e consistência comportamental desses gateways. O sistema opera exclusivamente através das APIs públicas, sem necessidade de acesso privilegiado ou instrumentação interna.

O GateScope audita os gateways em quatro dimensões críticas:

1. Análise de Conteúdo da Resposta (Detecção de Troca de Modelo):

   • Utiliza um conjunto de sondas (probes) estruturadas em quatro domínios: Matemática (AIME), Raciocínio Profundo (GPQA), Recordação Factual (2021-2025) e Inferência Geográfica.
   • As respostas são forçadas a seguir um esquema JSON padronizado (com passos de raciocínio e resposta final) para extrair "assinaturas comportamentais" robustas.
   • São extraídas características como qualidade da resposta, estrutura de raciocínio, estilo e qualidade de parsing.
   • Classificadores leves (XGBoost) são treinados para distinguir se a resposta veio do modelo reclamado ou de outro.

2. Desempenho em Conversas Multi-turno (Consistência de Contexto):

   • Utiliza um template de conversa de 25 turnos com checkpoints explícitos de memória.
   • O teste verifica se o gateway mantém o contexto, atualiza preferências do usuário e evita a perda de informações (truncamento silencioso).
   • Indicadores: Taxa de aprovação dos checkpoints de memória, estabilidade da system_fingerprint (que muda se o modelo subjacente for alterado) e taxa de uso de tokens em cache.

3. Precisão da Faturação:

   • Compara o custo esperado (calculado localmente com base no consumo real de tokens e preços públicos) com o custo real cobrado pelo gateway.
   • Avalia se descontos de cache são aplicados corretamente e se há cobranças indevidas.

4. Características de Latência:

   • Mede a distribuição de latência (tempo de resposta) sob condições controladas.
   • Utiliza o Coeficiente de Variação (CV) para quantificar a estabilidade. Uma alta variabilidade ou distribuições multimodais sugerem comportamentos inconsistentes no backend (como troca de modelos ou sobrecarga).

3. Contribuições Principais

• Identificação da Lacuna: Mapeamento sistemático da falta de garantias de transparência e consistência em gateways comerciais de LLM.
• Design do GateScope: Criação de um framework de auditoria leve e automatizado que cobre conteúdo, contexto, faturamento e latência.
• Validação e Aplicação: Validação rigorosa em APIs oficiais de fornecedores e aplicação em 10 gateways comerciais reais, revelando discrepâncias significativas entre o comportamento esperado e o observado.
• Reprodutibilidade: Liberação de artefatos no GitHub para permitir auditorias contínuas pela comunidade.

4. Resultados Principais

A avaliação em 10 gateways comerciais revelou falhas generalizadas:

• Substituição de Modelos:
  • Para modelos como gpt-4o, a maioria dos gateways manteve a identidade, mas plataformas como b*ie e a*yi apresentaram consistência baixa (<63%).
  • Para gpt-5, a inconsistência foi severa: várias plataformas classificaram as respostas como pertencentes a famílias de modelos diferentes da reclamada, indicando substituição frequente.
• Degradação de Memória e Contexto:
  • Muitos gateways falharam em manter o contexto em conversas longas (turnos 24 e 25), perdendo identidades e preferências do usuário.
  • Plataformas como a*yi mostraram baixas taxas de uso de cache e falhas de checkpoint, sugerindo truncamento silencioso ou troca para modelos com janelas de contexto menores.
• Inexatidão na Faturação:
  • A maioria dos gateways cobrou corretamente, mas alguns apresentaram desvios significativos.
  • O gateway o*ey cobrou 62,8% a mais do que o esperado para gpt-4o, e a*ix cobrou 7,6% a mais, mesmo com uso de tokens similar aos outros.
• Instabilidade de Latência:
  • O gateway b*ie exibiu uma instabilidade marcante, com um Coeficiente de Variação (CV) muito superior à média e latências máximas extremas (até 273 segundos), sugerindo problemas de roteamento ou carga de servidor.

5. Significado e Impacto

Este trabalho é fundamental para o ecossistema de IA Generativa, pois:

1. Expõe Riscos Ocultos: Demonstra que a conveniência dos gateways de terceiros vem com riscos reais de degradação de serviço e custos ocultos.
2. Fornece Ferramentas de Auditoria: O GateScope oferece uma metodologia prática para desenvolvedores e empresas verificarem a integridade de seus provedores de API.
3. Incentiva Transparência: Os resultados pressionam os provedores de gateways a serem mais transparentes sobre suas políticas de roteamento, cache e faturamento.
4. Base para Futuras Pesquisas: Estabelece uma linha de base para monitoramento contínuo e a detecção de comportamentos maliciosos ou negligentes em serviços de IA.

Em resumo, o artigo alerta que a abstração oferecida pelos gateways de LLM não é isenta de falhas e que, sem auditoria ativa, os usuários estão operando às cegas em relação à qualidade e ao custo real dos serviços de IA que consomem.