💬 NLP

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

Este artigo propõe um teste de uniformidade baseado em classificação para auditar APIs de LLMs como caixas-pretas, permitindo a detecção eficiente e robusta de substituições de modelos não autorizadas, como quantização ou ajustes maliciosos, sem acesso aos pesos ou logits do modelo.

Autores originais: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Publicado 2026-03-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaoyuan Zhu, Yaowen Ye, Tianyi Qiu, Hanlin Zhu, Sijun Tan, Ajraf Mannan, Jonathan Michala, Raluca Ada Popa, Willie Neiswanger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em um restaurante famoso que promete servir o "Melhor Prato do Mundo", feito pelo Chef Original. Você paga caro por essa experiência. Mas, e se o dono do restaurante, para economizar ingredientes ou tempo, começar a servir uma versão "gelada" e congelada do prato, ou até mesmo um prato totalmente diferente, sem você perceber?

No mundo da Inteligência Artificial, isso está acontecendo com os Modelos de Linguagem (LLMs). Muitas pessoas e empresas usam esses modelos através de "APIs" (como um cardápio digital). O problema é que, como o modelo é uma "caixa preta" (você não vê como ele é feito por dentro), o provedor do serviço pode trocar o modelo original por um mais barato, mais rápido, ou até um que foi modificado para ser perigoso, e você não saberia a diferença.

Este artigo apresenta uma nova ferramenta chamada RUT (Teste de Uniformidade Baseado em Ranks). Vamos explicar como ela funciona usando uma analogia simples: O Jogo do "Chapéu de Palha".

O Problema: O Truque do Provedor

Imagine que você pede ao garçom (a API) para trazer um copo de água.

O que deveria acontecer: O garçom traz um copo de água pura, cristalina, exatamente como prometido.
O que pode acontecer: O garçom, para economizar, traz água de uma fonte diferente, ou mistura um pouco de suco, ou usa um copo que goteja.
O desafio: Você não pode ver a fonte da água, nem o copo de dentro. Você só pode beber e tentar achar a diferença. Se você pedir "água estranha" (perguntas muito específicas), o garçom esperto pode perceber que você está testando e trazer a água pura de novo só para você, enganando seu teste.

A Solução: O Teste RUT (O Jogo do Roteiro)

Os autores criaram um método inteligente que não precisa de perguntas estranhas. Em vez disso, eles usam a estatística e a sorte.

Aqui está como o RUT funciona, passo a passo:

O Copo de Referência (O Modelo Local):
Você tem uma cópia perfeita do "Chef Original" rodando no seu próprio computador. Você sabe exatamente como ele deveria responder. Vamos chamar isso de Modelo de Referência.
O Copo da API (O Modelo Suspeito):
Você faz a mesma pergunta para o serviço online (a API) que você está auditando. Vamos chamar isso de Modelo Alvo.
O Jogo do "Quem é Quem" (A Analogia do Roteiro):
Imagine que você tem um roteiro de perguntas.
- Você faz a pergunta para o Modelo Alvo apenas uma vez (para não gastar dinheiro e não levantar suspeitas).
- Você faz a mesma pergunta para o Modelo de Referência (o seu local) muitas vezes (digamos, 100 vezes).
A Classificação (O Rank):
Agora, você pega a resposta única do Modelo Alvo e a coloca dentro da pilha de 100 respostas do Modelo de Referência.
- Você pergunta: "Onde essa resposta única se encaixa se eu ordenar todas as 101 respostas do mais provável ao menos provável?"
- Se o Modelo Alvo for idêntico ao Modelo de Referência, a resposta dele deve cair em qualquer lugar da lista com a mesma probabilidade. É como jogar uma moeda: às vezes cai na frente, às vezes atrás, mas a distribuição é uniforme.
O Detetive Estatístico:
O RUT usa uma ferramenta matemática (chamada Teste de Cramér-von Mises) para verificar se a posição da resposta do Modelo Alvo está "espalhada" de forma aleatória e justa entre as respostas do Modelo de Referência.
- Se for uniforme: Tudo bem! O modelo é o original.
- Se não for uniforme: O modelo está "viciado". A resposta do Alvo está sempre caindo em lugares estranhos (muito no topo, muito no fundo, ou sempre no meio). Isso significa que o modelo da API não é o mesmo que o que você tem em casa.

Por que isso é genial?

Invisível: Como você faz perguntas normais (como um usuário comum faria) e pede apenas uma resposta da API, o provedor malicioso não consegue perceber que você está testando. Ele não consegue "fingir" ser o original só para você, porque você não está usando um padrão de perguntas óbvio.
Barato: Você só precisa pagar por uma chamada na API para cada pergunta. Os outros métodos exigiam centenas de chamadas, o que custaria uma fortuna.
Eficaz: O teste consegue detectar até mesmo se o modelo foi "comprimido" (quantizado) para ser mais rápido, ou se foi modificado para obedecer a comandos perigosos (jailbreaks), ou se foi totalmente trocado por outro modelo.

Resumo da Ópera

O RUT é como um detetive silencioso. Em vez de tentar forçar o suspeito a confessar com perguntas difíceis, ele observa o comportamento do suspeito em comparação com a "verdade" que ele já conhece. Se o suspeito (a API) estiver agindo de forma diferente da "verdade" (o modelo local), o teste pega a discrepância estatística e avisa: "Ei, esse não é o modelo que você disse que era!"

Isso é crucial para garantir que, quando pagamos por uma inteligência artificial, estamos realmente recebendo o produto que prometido, e não uma versão barata ou perigosa escondida atrás de um cardápio digital.

Título: Auditoria de APIs de LLMs em Caixa-Preta com um Teste de Uniformidade Baseado em Ranks (RUT)

1. O Problema

O acesso a Grandes Modelos de Linguagem (LLMs) via APIs tornou-se o padrão para aplicações comerciais e de pesquisa. No entanto, os usuários interagem com sistemas de "caixa-preta", sem visibilidade sobre a implementação do modelo subjacente.

Riscos: Provedores de API podem, intencionalmente ou não, substituir o modelo anunciado por variantes quantizadas (para reduzir custos), modelos com fine-tuning malicioso (para introduzir comportamentos inseguros), prompts de sistema de "jailbreak" ou até modelos completamente diferentes.
Desafio de Detecção: Os usuários não têm acesso aos pesos do modelo nem aos logits de saída (apenas o texto gerado). Métodos existentes dependem de distribuições de consultas especiais que podem ser detectadas e contornadas por provedores desonestos (que redirecionam essas consultas específicas para o modelo original), ou exigem um número proibitivo de chamadas de API.

2. Metodologia: Rank-Based Uniformity Test (RUT)

Os autores propõem o RUT, um teste de hipótese assimétrico de duas amostras projetado para verificar a igualdade comportamental entre um modelo alvo (API) e um modelo de referência localmente implantado (autêntico).

Princípios Fundamentais:

Abordagem Assimétrica: Para cada prompt de entrada, o auditor faz uma única chamada à API alvo e múltiplas chamadas (amostragem local) ao modelo de referência. Isso minimiza custos e evita padrões de consulta detectáveis.
Função de Pontuação (Score Function): O método utiliza uma função escalar para mapear a resposta do modelo e o prompt para um número real. Após análise empírica, os autores selecionaram o Log-Rank (logaritmo do rank do token) como a função mais discriminativa.
- O Log-Rank baseia-se na posição do token gerado na distribuição de probabilidade do modelo de referência.
Estatística de Rank Uniforme:
- Para cada resposta da API, calcula-se seu rank (percentil) dentro da distribuição de ranks das múltiplas respostas do modelo de referência.
- Sob a hipótese nula ( $H_0$ : os modelos são idênticos), esses ranks devem seguir uma distribuição uniforme no intervalo [0, 1].
- Se o modelo da API for diferente (ex: quantizado ou alterado), a distribuição dos ranks desviará da uniformidade.
Teste Estatístico: A uniformidade é verificada utilizando o Teste de Cramér–von Mises (CvM), que mede a distância entre a distribuição empírica dos ranks e a distribuição uniforme teórica.

Robustez: O método é projetado para ser robusto contra provedores adversários que tentam detectar o teste. Como as consultas são indistinguíveis do tráfego de usuários normais e o método não depende de distribuições de prompts artificiais, é difícil para o provedor identificar e redirecionar seletivamente as consultas de auditoria.

3. Contribuições Principais

Novo Teste de Auditoria (RUT): Um método que atende simultaneamente a três critérios críticos: precisão, eficiência de consultas (apenas 1 chamada de API por prompt) e robustez contra ataques adversariais (como detecção de padrões de consulta).
Validação Empírica Abrangente: O RUT foi testado em diversos cenários de ameaça, incluindo:
- Substituição por versões quantizadas (4-bit e 8-bit).
- Injeção de prompts de jailbreak ocultos.
- Fine-tuning supervisionado (SFT) em dados benignos e maliciosos.
- Substituição completa por modelos diferentes.
Validação em Ambientes Reais: O método foi aplicado em endpoints de APIs comerciais reais, demonstrando sua praticidade e superioridade sobre métricas baseadas em strings (que falham com pequenas discrepâncias de decodificação).

4. Resultados Experimentais

Os experimentos compararam o RUT com o MMD (Maximum Mean Discrepancy) e o teste KS (Kolmogorov–Smirnov) como baselines.

Desempenho Geral: O RUT consistentemente superou os métodos existentes em termos de poder estatístico (probabilidade de detectar corretamente uma substituição) sob orçamentos limitados de consultas.
Cenários de Quantização: O RUT detectou com sucesso substituições por modelos quantizados de 4-bit. Embora a detecção de quantização de 8-bit seja difícil para todos os métodos (devido à alta similaridade), o RUT manteve-se superior ou comparável.
Jailbreaks e SFT: O método alcançou um poder de detecção (AUC) superior a 0.75 em todos os cenários de jailbreak e detectou mudanças comportamentais já no primeiro epoch de fine-tuning.
Substituição Completa: O RUT demonstrou alta sensibilidade na distinção entre modelos totalmente diferentes (ex: Mistral vs. Llama vs. Gemma).
Robustez a Erros de Decodificação: Em testes com APIs reais, o RUT foi robusto a pequenas discrepâncias de formatação (ex: espaços em branco) que confundiram o teste MMD (que usa distância de Hamming em strings).
Domínios Diversos: O método manteve sua eficácia em domínios especializados como matemática (MATH) e programação (BigCodeBench).

5. Significância e Impacto

Este trabalho aborda uma lacuna crítica na segurança e confiabilidade da infraestrutura de IA generativa.

Transparência: Oferece aos usuários e reguladores uma ferramenta prática para auditar se os provedores de API estão entregando o que prometem.
Segurança: Permite a detecção de modelos comprometidos ou mal configurados que poderiam gerar conteúdo inseguro ou tóxico.
Eficiência Econômica: Ao exigir apenas uma chamada de API por prompt, torna a auditoria escalável e economicamente viável, ao contrário de métodos que exigem milhares de consultas.
Futuro: O RUT estabelece um novo padrão para auditoria de modelos em cenários de caixa-preta, incentivando a integridade dos provedores de serviços de LLM.

Recurso: O código do projeto está disponível publicamente no repositório GitHub mencionado no artigo.