Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

1. O Problema

O artigo aborda uma lacuna crítica na avaliação de Agentes de IA (especialmente LLMs): a falta de uma métrica confiável e com garantias formais para determinar o nível de confiança que um praticante pode ter na saída de um sistema de caixa preta (black-box) para uma tarefa específica.

Os métodos de avaliação atuais apresentam falhas fundamentais:

• Avaliação de amostra única: É não tendenciosa (unbiased), mas possui alta variância, resultando em uma "fotografia" ruidosa da capacidade real do agente.
• Consistência própria ingênua (Self-Consistency): Ao selecionar a resposta mais frequente de múltiplas amostras, reduz-se a variância, mas pode-se amplificar o viés. Se a resposta mais comum estiver errada (alucinação estável), mais amostras tornam o erro parecer mais certo.
• LLM como Juiz (LLM-as-judge): Introduz vieses sistemáticos irreduzíveis (como preferência por respostas verbosas ou viés de posição) e não oferece garantias formais de confiabilidade.

O objetivo é fornecer um nível de confiabilidade (um único número) para cada par (Sistema, Tarefa) que sirva como um "portão de implantação" (deployment gate) com garantias exatas, de amostra finita e livres de distribuição.

2. Metodologia

O framework proposto combina duas técnicas principais: Amostragem de Consistência Própria (Self-Consistency) e Calibração Conformal (Conformal Calibration). O processo funciona em três etapas principais:

A. Amostragem de Consistência Própria e Canonização

1. Amostragem: Para cada pergunta de teste $x$, o sistema de IA é consultado $K$ vezes (ex: $K=10$).
2. Canonização: As respostas brutas são mapeadas para classes canônicas (ex: "42", "42.0" e "quarenta e dois" tornam-se a mesma classe). Isso é crucial para agrupar respostas semanticamente equivalentes.
3. Ranking: As classes canônicas são classificadas por frequência. A resposta mais popular é o "modo".

B. Pontuação de Não Conformidade (Nonconformity Score)

O framework utiliza a posição (rank) da resposta correta na lista ordenada por frequência como pontuação de não conformidade.

• Se a resposta correta é a mais frequente (Rank 1), a pontuação é baixa (alta confiança).
• Se a resposta correta está em posições inferiores ou ausente, a pontuação é alta (baixa confiança).
• Diferente de métodos anteriores que exigem logits internos (probabilidades do modelo), este método usa apenas frequências externas, tornando-o aplicável a APIs de caixa preta.

C. Calibração Conformal

Utilizando um pequeno conjunto de calibração ($n$ itens, onde $n \approx 50-100$) com respostas conhecidas (ou verificadas por humanos):

1. Calculam-se as pontuações de não conformidade para os itens de calibração.
2. Determina-se um limiar conformal ($M^*$) que garante que, para uma nova pergunta de teste, o conjunto de predição (as top $M^*$ respostas) conterá a resposta aceitável com probabilidade $\ge 1-\alpha$.
3. Nível de Confiabilidade: É definido como o nível máximo de confiança ($1-\alpha^*$) no qual o modo (a resposta mais frequente) sozinho é suficiente para garantir a cobertura. É calculado como:
   $$1 - \alpha^* = \frac{|\{i : s_i \le 1\}|}{n + 1}$$
   Onde $s_i$ é a pontuação de não conformidade do item de calibração $i$.

3. Principais Contribuições

1. Certificação de Confiabilidade para Implantação:

   • Introduz o conceito de Nível de Confiabilidade (um número único por par agente-tarefa).
   • Fornece garantias de cobertura marginal exatas e livres de distribuição, independentes do viés do agente.
   • Permite que praticantes decidam: "Precisamos de 90% de confiabilidade; quais modelos se qualificam?"

2. Pontuação de Não Conformidade "Black-Box":

   • Desenvolve uma pontuação baseada puramente em frequências de consenso ranqueado, eliminando a necessidade de acesso aos pesos ou logits internos do modelo. Isso é essencial para avaliar APIs proprietárias (como GPT-4).

3. Teoremas de Confiabilidade e Transparência de Viés:

   • Imunidade ao Viés: A garantia de cobertura é válida independentemente do perfil de viés do agente (Teorema 7.3).
   • Transparência: O viés do agente não é escondido; ele se manifesta como conjuntos de predição maiores. Um agente fraco ou enviesado gera conjuntos maiores (ex: precisa das top 3 respostas para garantir a cobertura), enquanto um agente forte gera conjuntos unitários (top 1).
   • Erro de Avaliação: O erro de cobertura da avaliação conformal é limitado a $1/(n+1)$, decaindo com o tamanho do conjunto de calibração, ao contrário do viés de "LLM como juiz" que é irreduzível.

4. Parada Sequencial Certificada:

   • Propõe uma regra de parada baseada em Hoeffding que permite interromper a amostragem assim que o consenso é claro. Isso reduz o custo de API em ~50% sem sacrificar a cobertura.

4. Resultados Empíricos

O framework foi validado em 5 benchmarks (HumanEval, TruthfulQA, BigBench, GSM8K, MMLU) e 5 modelos (família GPT-4.1, Llama 4 Maverick, Mistral Small).

• Cobertura e Calibração:
  • A cobertura condicional em itens "solúveis" (onde o modelo tem capacidade de acertar) excede 0,93 em todas as configurações.
  • Quando a cobertura marginal cai abaixo do alvo, o framework identifica corretamente que a causa é a incapacidade do modelo de resolver certos itens (lacuna de capacidade), e não falha de calibração.
• Comparação com Baselines:
  • Em tarefas ambíguas (ex: BigBench), a avaliação conformal superou a precisão do "LLM como juiz" (79,2% vs 73,6%), mesmo com custos de API equivalentes.
  • Em tarefas estruturadas (GSM8K), o método atingiu níveis de confiabilidade de 94,6% para o GPT-4.1.
• Efeito de Canonização:
  • A canonização reduziu o tamanho do conjunto de predição em até 39,2% (BigBench), consolidando massa de probabilidade fragmentada.
• Redução de Custo:
  • A parada sequencial reduziu o número médio de chamadas de API de 20 para ~10 (economia de ~50%), mantendo a qualidade da cobertura.
• Métricas de Confiabilidade (Exemplos):
  • GPT-4.1: 94,6% (GSM8K), 96,8% (TruthfulQA).
  • GPT-4.1-nano: 89,8% (GSM8K), 66,5% (MMLU).
  • O framework distingue claramente modelos mais fracos através de níveis de confiabilidade menores e conjuntos de predição maiores, em vez de apenas "acurácia" enganosa.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na avaliação de IA:

1. De "Acurácia Estimada" para "Garantia de Confiabilidade": Em vez de tentar estimar a acurácia média (que é difícil de garantir em caixas pretas), o método fornece um limite inferior garantido para a confiança em uma resposta.
2. Transparência Radical: O sistema não esconde os erros do modelo. Se um modelo é ruim, ele recebe um "nível de confiabilidade" baixo e conjuntos de resposta grandes, alertando o usuário para o risco.
3. Viabilidade Prática: Ao exigir apenas acesso à API e um pequeno conjunto de calibração (50-100 itens), o método é aplicável a qualquer sistema comercial ou open-weight, sem necessidade de acesso interno ao modelo.
4. Decisão de Implantação: O "Nível de Confiabilidade" serve como uma métrica acionável direta para gates de implantação em produção, permitindo que empresas definam thresholds de segurança (ex: "não implantamos nada abaixo de 90% de confiabilidade").

Em resumo, o artigo apresenta um framework robusto que transforma a incerteza de modelos de IA em uma métrica quantificável e garantida, permitindo uma adoção mais segura e responsável de agentes de IA em cenários críticos.