📊 statistics

Replicable Conformal Prediction

Este artigo introduz um método para alcançar a predição conformal replicável ao compartilhar uma semente aleatória e arredondar limiares para uma grade grosseira, o que garante conjuntos de predição idênticos entre analistas independentes enquanto mantém garantias de cobertura válidas a um custo quantificável em tamanho de conjunto e requisitos de dados.

Autores originais: Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial moderna, os modelos são frequentemente tratados como produtos acabados, como uma lente de câmera ou um scanner médico, prontos para serem usados por qualquer pessoa que precise deles. Mas antes que um modelo possa ser confiado para tomar decisões no mundo real, ele precisa ser calibrado. Este processo é como sintonizar um rádio para encontrar a frequência exata onde o sinal está limpo e o ruído desapareceu. No campo específico da predição de conformidade (conformal prediction), esse ajuste determina quanta incerteza um modelo admite. Em vez de fornecer uma única resposta, o modelo fornece um conjunto de respostas possíveis, prometendo que a resposta verdadeira está dentro desse conjunto na maior parte do tempo. Isso é crucial em campos de alto risco, como a medicina ou o direito, onde conhecer os limites de uma predição é tão importante quanto a própria predição. No entanto, um problema estranho surge quando duas equipes diferentes tentam ajustar o mesmo modelo usando seus próprios dados separados. Mesmo que sigam exatamente as mesmas regras, elas acabam com configurações ligeiramente diferentes, levando a conjuntos de respostas distintos. Essa inconsistência não é apenas um incômodo menor; ela cria uma brecha onde um ator mal-intencionado poderia tentar repetidamente diferentes configurações até encontrar uma que pareça boa no papel, mas que falhe na realidade, tudo isso enquanto parece seguir as regras.

Os pesquisadores Marios Papamichalis, Regina Ruane e Theofanis Papamichalis propuseram-se a resolver este problema de inconsistência. Eles fizeram uma pergunta simples, mas profunda: duas equipes independentes, trabalhando com seus próprios dados, podem produzir exatamente o mesmo conjunto de respostas todas as vezes? Eles descobriram que, se as equipes tentarem ser perfeitamente precisas, não conseguirão ter sucesso sem ignorar seus dados inteiramente, o que tornaria o sistema inútil. A matemática prova que o acordo exato é impossível quando os dados são contínuos e as equipes são independentes. No entanto, a equipe encontrou uma maneira de chegar muito perto. Eles desenvolveram um método chamado RECAL, que envolve um truque inteligente de arredondar as configurações de ajuste para a marca mais próxima em uma grade invisível compartilhada. Ao concordarem com essa grade e um ponto de partida previamente, as equipes podem garantir que suas configurações finais caiam no mesmo lugar com uma probabilidade muito alta.

Os pesquisadores testaram essa ideia em dados do mundo real, incluindo imagens de um banco de dados massivo de fotografias e textos gerados por vários modelos de linguagem de grande escala diferentes. Eles descobriram que, sem o método deles, duas equipes honestas quase nunca produziriam o mesmo resultado; suas respostas difeririam em quase metade dos casos. Com o novo método, eles conseguiram forçar as equipes a concordar com o mesmo classificador exatamente em mais de 90 por cento dos casos, e até 100 por cento das vezes quando visavam um acordo mais rigoroso. Esse acordo vem com um pequeno preço: os conjuntos de respostas tornam-se ligeiramente maiores para garantir que a resposta verdadeira ainda seja capturada. Mas os pesquisadores mostraram que esse custo é inevitável para qualquer sistema que exija níveis tão altos de consistência. O tamanho da penalidade depende de quanta informação está disponível; com mais dados, a penalidade diminui, mas nunca desaparece completamente.

Talvez a descoberta mais crítica seja como este método protege contra manipulação. Os pesquisadores demonstraram que, se um adversário tentar executar o processo de calibração vinte vezes e escolher a versão que pareça mais favorável, o método padrão falha completamente, produzindo respostas que são perigosamente não confiáveis. O novo método, no entanto, atua como um escudo. Como as configurações estão travadas na grade compartilhada, o adversário não pode encontrar uma versão "melhor"; ele é forçado a escolher de uma lista muito pequena de opções idênticas ou quase idênticas. Isso significa que o sistema permanece honesto e confiável, mesmo quando alguém está tentando ativamente enganá-lo. A equipe verificou esses resultados em diferentes tipos de dados, desde registros hospitalares até modelos de linguagem, mostrando que a teoria se sustenta na prática. Eles também provaram que, sem um ponto de partida compartilhado, o melhor que alguém pode fazer é reduzir as possibilidades a apenas duas opções adjacentes, o que ainda é uma melhoria significativa em relação ao caos total do padrão atual.

Este trabalho estabelece um novo padrão para como podemos confiar em sistemas de inteligência artificial quando eles são implantados por diferentes grupos. Ele mostra que, embora o acordo perfeito e independente de dados seja matematicamente impossível, podemos chegar perto o suficiente para tornar os sistemas verificáveis e seguros. A solução requer uma semente compartilhada, uma espécie de aperto de mão digital que garante que todos estejam olhando para o mesmo mapa, e uma disposição para aceitar um pouco de incerteza extra em troca de total consistência. Em um mundo onde a IA é cada vez mais usada para tomar decisões críticas, a capacidade de garantir que dois analistas diferentes cheguem à mesma conclusão não é apenas um detalhe técnico; é um requisito fundamental para a confiança. Os pesquisadores forneceram as ferramentas para tornar essa garantia uma realidade, transformando uma impossibilidade teórica em um padrão prático e replicável.

Resumo Técnico: Predição Conformal Replicável

Problema
A predição conformal de divisão (split conformal prediction) padrão produz classificadores de valores de conjunto com garantias de cobertura em amostras finitas. No entanto, quando dois analistas independentes realizam a calibração de um preditor conformal em amostras de calibração separadas e mantidas em reserva, eles quase certamente implantam classificadores diferentes. Isso ocorre porque o limiar calibrado é um estatístico de ordem de escores de distribuições contínuas; assim, a probabilidade de duas calibrações independentes resultarem no mesmo limiar (e, consequentemente, no mesmo classificador) é zero.

Essa falta de replicabilidade cria problemas significativos para artefatos de implantação que exigem hashing, cache, versionamento ou auditoria. Além disso, a instabilidade é explorável: um adversário pode redesenhar seu conjunto de calibração várias vezes e selecionar o desenho mais favorável, levando a uma subcobertura sistemática que permanece indetectável pelos controles de suporte padrão. Embora existam noções de "estabilidade de um ponto", elas não garantem que o próprio classificador implantado seja idêntico entre as execuções.

Metodologia: RECAL
O artigo propõe o RECAL (Replicable Calibration), um procedimento que garante que dois analistas independentes implantem o mesmo classificador com alta probabilidade ( $1-\rho$ ), preservando simultaneamente as garantias de cobertura marginal.

Semente Compartilhada e Arredondamento: O RECAL utiliza uma semente aleatória compartilhada para gerar um deslocamento aleatório $u$ para uma largura de grade fixa $\beta$ . Os analistas computam o limiar conformal padrão $\hat{\tau}$ e o arredondam para cima para o ponto de grade mais próximo definido por $u + \beta\mathbb{Z}$ .
- O arredondamento para cima garante que a garantia de cobertura marginal ( $\ge 1-\alpha$ ) seja preservada incondicionalmente, pois os conjuntos de predição apenas crescem.
- A grade compartilhada garante que, se os limiares não arredondados $\hat{\tau}$ e $\hat{\tau}'$ caírem dentro da mesma célula de grade (ou cruzarem uma fronteira de uma forma específica), os limiares arredondados $\tau$ e $\tau'$ serão idênticos.
Estrutura Teórica:
- Impossibilidade de Replicação Exata: O artigo prova que a replicação exata (probabilidade 1 de saída idêntica) é impossível para qualquer procedimento que permaneça uniformemente válido para toda e qualquer distribuição. Além disso, com uma semente compartilhada, a replicação exata força a saída a ser avessa aos dados (data-oblivious), tornando o classificador não informativo.
- Suposição de Margem Local: A análise baseia-se em uma condição de margem local (Suposição 1), assumindo que a distribuição do escore possui uma densidade limitada entre zero e infinito em uma vizinhança do quantil alvo. Isso permite constantes explícitas nos limites de complexidade de amostra.
- Variante Sem Semente: Sem uma semente compartilhada, o artigo mostra que a replicação de singleton exata é impossível abaixo de uma probabilidade de falha de $1/2$ . No entanto, uma grade determinística pode confinar todos os analistas a uma lista comum de dois classificadores adjacentes com alta probabilidade, o que é ótimo para configurações sem semente.
Robustez à Seleção: O artigo analisa a "recalibração seletiva", onde um adversário seleciona o melhor de $M$ desenhos de calibração. Prova-se que, se um procedimento é $\rho$ -replicável, a probabilidade de um adversário encontrar um classificador distinto entre $M$ desenhos é limitada por $\min\{1, (M-1)\rho\}$ . Isso evita a subcobertura sistemática vista na predição conformal de divisão padrão sob seleção.

Principais Contribuições

Teoria da Impossibilidade: Os autores estabelecem que a replicação exata é incompatível com validade não trivial e que a aleatoriedade compartilhada é necessária para uma replicabilidade significativa. Eles caracterizam a fronteira para a replicação sem semente como uma lista de dois elementos de classificadores adjacentes.
Algoritmo RECAL: Um calibrador de predição conformal de divisão replicável que preserva a valididade. O artigo fornece constantes de amostra finitas explícitas para o tamanho de calibração $n$ necessário para atingir um alvo de replicabilidade $\rho$ e erro de cobertura $\epsilon$ : $n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$ , onde $\kappa$ limita a razão da densidade de escore local.
Limites Inferiores: O artigo deriva limites inferiores com constantes explícitas, mostrando que a complexidade de amostra e a inflação no tamanho do conjunto são inevitáveis para qualquer calibrador de limiar. O custo de tamanho do conjunto é mostrado como $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$ .
Procedimento de Plug-in: Um procedimento piloto é introduzido para estimar a constante de densidade $\kappa$ a partir dos dados, removendo a necessidade de um $\hat{\kappa}$ pré-especificado assintoticamente.
Validação Empírica: Experimentos no ImageNet (sintético e real), uma tarefa de dígitos de pequenos dados e quatro famílias de grandes modelos de linguagem (GPT-2, Pythia, Qwen, Llama) demonstram que o RECAL atinge os alvos de replicabilidade previstos. Os experimentos confirmam que a predição conformal padrão tem identidade próxima de zero, enquanto o RECAL alcança alta identidade (ex: 0,95–1,00) com um custo quantificável no tamanho do conjunto de predição.

Resultados

Replicabilidade: O RECAL alcança com sucesso a taxa de não-replicação alvo $\rho$ . Por exemplo, para $\rho=0,1$ , o método alcançou taxas de identidade de 0,95 em dados de imagem sintética e 0,89–0,96 em modelos de linguagem reais.
Cobertura: A cobertura marginal é preservada ( $\ge 1-\alpha$ ). A cobertura realizada concentra-se em átomos de grade, evitando as flutuações da distribuição Beta da predição conformal padrão.
Custo de Tamanho do Conjunto: O método incorre em um custo no tamanho dos conjuntos de predição. Em modelos de linguagem reais, o tamanho do conjunto aumentou de 55% a 59% em $\rho=0,1$ . O artigo observa que para modelos com vocabulários de cauda pesada (ex: Qwen), este custo pode ser significativamente maior devido à geometria da distribuição do escore, embora isso seja uma propriedade do espaço de escore, não uma falha do método.
Ataque de Seleção: Em um teste de estresse onde um adversário selecionou o desenho de menor cobertura entre 20 recalibrações, a predição conformal de divisão padrão apresentou subcobertura significativa (0,892 vs. nominal 0,900). O RECAL, contudo, manteve a cobertura acima do nível nominal porque todos os candidatos foram arredondados para cima, sendo limiares válidos.

Significância e Alegações
O artigo afirma fornecer a primeira estrutura para replicabilidade na predição conformal, abordando uma lacuna crítica onde os métodos padrão falham em produzir artefatos idênticos entre execuções independentes. A significância reside em:

Auditabilidade e Cache: Permitir a implantação de preditores conformais verificáveis, em cache e versionados, o que é essencial para auditorias regulatórias e sistemas de produção.
Robustez à Seleção: Fornecer uma defesa teórica e prática contra "ataques de seleção" onde partes escolhem a dedo conjuntos de calibração para manipular a cobertura.
Caracterização de Trade-off: Quantificar explicitamente o custo da replicabilidade em termos de tamanho de amostra e tamanho do conjunto de predição, mostrando que esses custos são inevitáveis e fornecendo as taxas ótimas.

Os autores mantêm modéstia sobre as limitações, observando que os experimentos de imagens reais usaram probabilidades de validação cruzada em vez de logits brutos de uma única rede congelada, e que o rastreamento de divisão de site clínico foi limitado por amostras pequenas ( $n \le 303$ ). Eles também reconhecem que, embora a remoção assintótica da constante de densidade $\kappa$ seja possível, a remoção uniforme em amostra finita permanece um problema em aberto.

Mais como este