Resumo Técnico: KBF – Fronteira do Conhecimento como Impressão Digital para Auditoria de Modelos de Linguagem e APIs de Caixa Preta

1. Formulação do Problema

O artigo aborda o "problema de confiança" inerente ao ecossistema crescente de APIs de retransmissão e revenda para Modelos de Linguagem de Grande Escala (LLMs). Os usuários frequentemente acessam LLMs por meio de intermediários de terceiros que agregam modelos, oferecendo faturamento unificado e capacidades de troca. No entanto, esses intermediários podem silenciosamente substituir um modelo principal anunciado e caro por um backend mais barato e menos capaz para aumentar as margens.

O desafio central é a auditoria de retransmissão em caixa preta: determinar se um ponto final de retransmissão suspeito ($O_{sus}$) está servindo o modelo específico que alega ($O_{ref}$) sem acesso a:

• Pesos do modelo, logits ou dados de treinamento.
• Logs de roteamento do lado do servidor ou prompts de sistema ocultos.
• Cooperação do provedor (por exemplo, marcas d'água ou inferência verificável).

O auditor possui apenas acesso público à API tanto do ponto final de referência oficial quanto do ponto final suspeito. O objetivo é detectar substituição total (servir um modelo completamente diferente) e roteamento misto (servir uma mistura do modelo reivindicado e um substituto mais barato), mantendo uma baixa taxa de falsos positivos (evitando acusações falsas contra provedores honestos) e permanecendo robusto a variações benignas de implantação (por exemplo, prompts de sistema diferentes, temperaturas ou wrappers RAG).

Métodos existentes de caixa preta não atendem a esses requisitos simultaneamente. A identificação de impressão digital comportamental (por exemplo, LLMmap) depende de sondas fixas que são facilmente evadidas ou sensíveis a wrappers. Testes distribucionais (por exemplo, MET) sofrem de alta variância sob mudanças de configuração. Prompts de autoidentificação são pouco confiáveis, pois os modelos frequentemente distorcem sua identidade.

2. Metodologia: Identificação de Impressão Digital de Fronteira do Conhecimento (KBF)

Os autores propõem o KBF, um protocolo que aproveita a recuperação numérica estável próxima à fronteira do conhecimento como uma impressão digital.

Intuição Central

Os autores observam que, embora os modelos concordem sobre fatos comuns (baixo sinal) e falhem em fatos obscuros (instável), eles exibem um comportamento distinto próximo à "fronteira do conhecimento":

1. Dentro da fronteira: Os modelos recuperam estávelmente fatos numéricos corretos.
2. Logo fora da fronteira: Os modelos frequentemente produzem valores numéricos estáveis, mas factualmente incorretos.
   Esses valores "errados, mas estáveis" atuam como associações paramétricas persistentes e específicas do modelo. Um modelo substituto é improvável de reproduzir exatamente o mesmo erro estável ou o valor correto estável específico do modelo de referência.

O Protocolo KBF

O KBF opera em três etapas:

Fase 1: Geração de Sondagem (Offline)

• Busca Adaptativa de Fronteira: O auditor consulta o ponto final de referência oficial ($O_{ref}$) para propor fatos numéricos candidatos em vários domínios (química, astronomia, matemática, etc.). A busca se adapta para avançar em direção a fatos cada vez mais obscuros próximos à fronteira da recuperação estável.
• Verificações de Consistência de Referência: Os candidatos são consultados novamente sob múltiplas configurações benignas (por exemplo, prompts de sistema variados, temperaturas). Apenas candidatos onde $O_{ref}$ produz um valor numérico estável e analisável (mesmo que factualmente errado) são retidos.
• Triagem Contrastiva (Opcional): Para melhorar a eficiência, os candidatos são filtrados contra um substituto mais barato conhecido (por exemplo, um modelo de 9B parâmetros). Se o substituto corresponder à referência, a sonda é descartada para garantir poder discriminativo.
• Saída: Um conjunto compacto de sondas $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, onde $a_i$ é o valor de consenso da referência.

Fase 2: Auto-calibração

• O auditor consulta novamente $O_{ref}$ com as sondas inscritas sob a configuração de auditoria específica destinada ao suspeito.
• O sistema conta discrepâncias internas ($k_{self}$) para estimar o "ruído interno ordinário" do ponto final de referência.
• Um limiar superior de confiança de Clopper-Pearson (CP) ($p_0$) é calculado. Isso define uma tolerância nula conservadora para o número de erros esperados da própria referência.

Fase 3: Auditoria do Ponto Final Suspeito (Online)

• O auditor envia as sondas inscritas para o ponto final suspeito ($O_{sus}$).
• As respostas são analisadas e comparadas com o consenso de referência $a_i$ usando regras de correspondência específicas de domínio.
• Um teste estatístico binomial é realizado: Se o número de discrepâncias ($k$) exceder o limiar definido por $p_0$ (ao nível de significância $\alpha = 0.05$), a hipótese nula ($H_0$: $O_{sus} \approx O_{ref}$) é rejeitada, e o ponto final é sinalizado como DIFERENTE.

Extensão de Roteamento Adaptativo
Para roteamento misto (onde apenas uma fração $\alpha$ do tráfego é substituída), o KBF emprega uma auditoria de duas rodadas:

1. Rodada 1: Auditoria de todas as sondas.
2. Rodada 2: Reauditoria apenas das sondas que não corresponderam na Rodada 1.
   Isso concentra as consultas no tráfego mais provável de ser substituído, permitindo a detecção mesmo quando a taxa de substituição é baixa (por exemplo, 5–10%).

3. Principais Contribuições

1. Identificação de Sinal Novel: O artigo identifica a "recuperação numérica na fronteira do conhecimento" (incluindo respostas erradas repetíveis) como um sinal estável e distinto do modelo que não depende de autoidentificação, estilo ou metadados privilegiados.
2. Protocolo de Ponta a Ponta (KBF): Um protocolo de auditoria em caixa preta que transforma esse sinal em conjuntos compactos de sondas por meio de busca adaptativa de fronteira, filtragem de estabilidade de configuração e triagem contrastiva.
3. Avaliação Abrangente: Avaliação em 16 pontos finais de LLM de produção (8 famílias, 3 faixas de preço) demonstrando alta discriminação contra substituições economicamente relevantes.
4. Aplicação no Mundo Real: Implantação em seis plataformas de "APIs sombra", sinalizando com sucesso pontos final estatisticamente inconsistentes em um cenário do mundo real sem cooperação do provedor.
5. Recursos Abertos: Lançamento de código, dados e conjuntos de sondas de referência para apoiar a reprodutibilidade.

4. Resultados Empíricos

Os autores avaliaram o KBF contra três baselines (MET, LLMmap, ZeroPrint) e encontraram:

• Alta Precisão: O KBF detectou todos os 155 substituições economicamente relevantes (incluindo degradações dentro da mesma família) com 0 falsos positivos em controles de mesma referência. As baselines sofreram de altas taxas de falsos positivos (até 37,5% para LLMmap) ou perderam substituições.
• Robustez: Sob seis configurações de implantação diferentes (prompts de função, mudanças de temperatura, wrappers RAG), o KBF manteve 0 falsos positivos e detectou 100% das substituições. As baselines geraram alarmes falsos excessivos ou perderam modelos substituídos devido à sensibilidade a wrappers.
• Detecção de Roteamento Misto: O KBF detectou substituições quando apenas 5–10% do tráfego foi roteado para um substituto (para modelos baseados em Opus) e até 50% para casos mais difíceis (baseados em Sonnet).
• Eficiência de Custos:
  • Custo de Inscrição: ~$22 de custo único para gerar sondas para uma versão do modelo.
  • Custo de Auditoria: ~$0,39 total para auditar todos os 16 modelos (aproximadamente $0,02–$0,24 por modelo).
• Descobertas de API Sombra: Em uma auditoria de 27 pontos finais em 6 plataformas sombra:
  • 7 pontos finais foram sinalizados como estatisticamente inconsistentes.
  • 6 dos 7 sinais estavam concentrados em pontos finais premium do Claude (Opus e Sonnet), alinhando-se com o incentivo econômico de substituir modelos caros.
  • Análise de Faixas: Em plataformas que oferecem múltiplas faixas de preço para o mesmo modelo, as faixas de preço mais baixas tinham significativamente mais probabilidade de serem sinalizadas do que as faixas de preço mais altas, sugerindo substituição de backend dependente da faixa.

5. Significado e Alegações

O artigo afirma que o KBF fornece uma solução prática, de baixo custo e robusta para auditoria de terceiros de APIs de retransmissão de LLM. Seu significado reside em:

• Viabilidade Operacional: Funciona estritamente em um cenário de caixa preta, não exigindo cooperação do provedor do modelo ou do retransmissor.
• Relevância Econômica: Alvo especificamente os incentivos econômicos dos retransmissores (substituir modelos caros por baratos) em vez de identificação genérica de modelos.
• Confiabilidade: Ao calibrar contra o ruído interno específico do ponto final de referência, evita as altas taxas de falsos positivos que afligem métodos de identificação de impressão digital distribucionais ou comportamentais quando as configurações de implantação variam.
• Ação: Permite que usuários e pesquisadores verifiquem alegações de serviço e identifiquem APIs "sombra" que podem estar fornecendo serviços degradados ou inconsistentes, particularmente para modelos proprietários de alto valor.

Os autores mantêm uma postura modesta, observando que o KBF é uma ferramenta de triagem estatística e não uma prova criptográfica da identidade do backend. Eles reconhecem que o uso operacional de alto risco requer calibração adicional (por exemplo, auditorias repetidas ao longo do tempo e em regiões) e que o modelo binomial atual assume independência das sondas, o que pode precisar de correção para correlações de blocos de domínio.