🤖 machine learning

Universal distribution of the empirical coverage in split conformal prediction

Este artigo estabelece as distribuições exatas e universais da cobertura empírica para a predição conforme dividida (split conformal prediction) em modo de lote, demonstrando que essas distribuições dependem exclusivamente do nível de erro de cobertura nominal e do tamanho da amostra de calibração para fornecer um critério para determinar o mínimo de dados de calibração necessários.

Autores originais: Paulo C. Marques F

Publicado 2026-08-18

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Paulo C. Marques F

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da previsão moderna, desde a previsão do tempo para o dia de amanhã até a estimativa do preço de uma casa, o resultado mais comum é um único número. Um modelo analisa os dados e diz: "A temperatura será de 22 graus" ou "A casa vale US$ 450.000". Embora essas previsões pontuais sejam úteis, elas frequentemente escondem uma informação crucial: o quão seguro o modelo está. Se um modelo está adivinhando de forma desenfreada, um único número oferece uma falsa sensação de precisão. Para corrigir isso, estatísticos desenvolveram uma estrutura chamada previsão conformal (conformal prediction). Em vez de oferecer apenas uma resposta, este método produz um intervalo de possibilidades, ou um conjunto de resultados prováveis, que vem acompanhado de uma garantia estatística. Ele promete que a resposta verdadeira cairá dentro deste conjunto uma certa porcentagem das vezes, digamos, 95 por cento. Esta abordagem é poderosa porque funciona com quase qualquer ferramenta de previsão existente, não requer suposições específicas sobre como os dados estão distribuídos e fornece essas garantias mesmo quando a quantidade de dados é limitada.

No entanto, uma questão prática permanece para qualquer pessoa que tente usar essas ferramentas: quanta quantidade de dados é necessária para que a garantia se mantenha verdadeira? Em uma configuração típica, um conjunto de dados é dividido em duas partes. Uma parte treina o modelo e a outra parte, conhecida como amostra de calibração, é usada para ajustar o tamanho do conjunto de previsão. Se a amostra de calibração for muito pequena, os conjuntos de previsão resultantes podem ser estreitos demais para realmente conter os valores reais, quebrando a promessa de garantia. Se for muito grande, os conjuntos de previsão tornam-se desnecessariamente amplos, tornando-os menos úteis. Durante anos, os profissionais tiveram que adivinhar o tamanho certo para essa amostra de calibração, muitas vez baseando-se em regras práticas aproximadas ou estimativas conservadoras que poderiam desperdiçar dados valiosos.

Um estudo recente de Paulo C. Marques F., no Insper (Instituto de Ensino e Pesquisa), no Brasil, resolveu este problema ao encontrar o comportamento matemático exato desses conjuntos de previsão. O pesquisador focou em uma versão específica do método chamada previsão conformal dividida (split conformal prediction), que opera em lotes (batches). Imagine um cenário onde um modelo já foi treinado e calibrado, e agora está sendo solicitado a prever resultados para um grande grupo de eventos futuros de uma só vez. O estudo faz uma pergunta simples, mas profunda: se olharmos para um lote de previsões futuras, qual é a distribuição real de quantas delas resultam corretas?

O artigo estabelece que a resposta é universal. Ela não depende do tipo específico de dados, da complexidade do modelo ou dos padrões subjacentes no mundo. Em vez disso, o comportamento dos conjuntos de previsão é determinado inteiramente por dois números: o nível de confiança desejado (o nível de erro nominal de cobertura) e o tamanho da amostra de calibração usada para ajustar o sistema. O pesquisador provou que, para um lote finito de observações futuras, o número de previsões corretas segue um padrão estatístico preciso conhecido como distribuição Beta-Binomial. Além disso, à medida que o lote de observações futuras cresce infinitamente, a proporção de previsões corretas estabiliza-se em um padrão específico conhecido como distribuição Beta. Essas descobertas não são meras sugestões ou resultados de simulações computacionais; são provas matemáticas rigorosas derivadas da suposição de que os pontos de dados são permutáveis (exchangeable), o que significa que sua ordem não importa e eles vêm da mesma fonte subjacente.

O resultado mais significativo deste trabalho é um novo critério preciso para escolher o tamanho da amostra de calibração. Como o pesquisador agora conhece a distribuição exata da cobertura, é possível calcular a quantidade mínima de dados de calibração necessária para garantir que os conjuntos de previsão sejam precisos dentro de uma margem de erro específica, com um alto grau de certeza. Por exemplo, se um usuário deseja ter 95 por cento de certeza de que seus conjuntos de previsão estão corretos dentro de uma margem de erro de 5 por cento, o artigo fornece uma maneira direta de encontrar o número exato de amostras de calibração necessárias. O estudo apresenta uma tabela abrangente que lista esses tamanhos de amostra mínimos para várias combinações de níveis de confiança, margens de erro e requisitos de certeza.

Esta tabela revela que o tamanho de amostra necessário pode variar dramaticamente dependendo de quão rigorosos são os requisitos. Para um nível de confiança padrão de 90 por cento com uma margem de erro generosa de 10 por cento, uma amostra de calibração relativamente pequena de cerca de 40 a 50 observações pode ser suficiente. No entanto, se o usuário exigir um nível de confiança de 99 por cento com uma margem de erro muito apertada de 1 por cento, o tamanho de amostra necessário salta para mais de 40.000 observações. O estudo esclarece que esses números não são arbitrários; eles são os mínimos matemáticos derivados da distribuição exata da cobertura empírica. Isso permite que os profissionais parem de adivinhar e comecem a calcular, garantindo que utilizem apenas o necessário para atingir seus objetivos de confiabilidade sem desperdiçar recursos com calibração excessiva.

O artigo também aborda uma distinção sutil, mas importante, sobre como essas previsões se comportam. Embora o desempenho médio dos conjuntos de previsão seja conhecido por estar próximo do nível de confiança alvo, o desempenho real em qualquer lote individual pode variar. O estudo mostra que essa variação não é ruído aleatório, mas segue um formato previsível. Ao compreender esse formato, os usuários podem apreciar que, mesmo com um modelo perfeito e uma amostra de calibração corretamente dimensionada, existe uma flutuação natural na quantidade de previsões futuras que serão corretas. A pesquisa confirma que essa flutuação é inerente ao método e é totalmente caracterizada pelo tamanho da amostra de calibração e pelo nível de confiança escolhido.

No contexto das aplicações de aprendizado de máquina, este trabalho fornece uma ferramenta fundamental para a confiabilidade. Ele transforma a escolha do tamanho da amostra de calibração de uma arte em uma ciência. O pesquisador demonstra que as propriedades da previsão conformal dividida são robustas e universais, mantendo-se independentemente do algoritmo específico usado para gerar as previsões. Quer a tarefa seja prever um valor contínuo como o preço de uma ação ou um rótulo categórico como um diagnóstico de doença, as regras para determinar os dados de calibração necessários permanecem as mesmas. O estudo não pretende melhorar a precisão dos modelos subjacentes em si, mas sim garantir que os intervalos de confiança construídos em torno desses modelos sejam matematicamente sólidos e otimizados em tamanho.

As descobertas são particularmente relevantes para campos onde os dados são caros ou escassos, pois permitem que os usuários determinem o limite inferior preciso de dados necessários para alcançar um nível desejado de confiança. Inversamente, em cenários onde os dados são abundantes, o estudo alerta contra a ineficiência de usar conjuntos de calibração desnecessariamente grandes, que podem levar a intervalos de previsão excessivamente conservadores e pouco informativos. Ao fornecer uma fórmula clara e universal para a distribuição da cobertura empírica, o artigo equipa pesquisadores e profissionais com a capacidade de projetar seus sistemas de previsão com um nível de precisão que era anteriormente indisponível. O resultado é uma estrutura mais eficiente e confiável para quantificar a incerteza na era da inteligência artificial.

Resumo Técnico: Distribuição Universal da Cobertura Empírica na Predição Conforme Dividida (Split Conformal Prediction)

Enunciado do Problema
A predição conforme dividida é uma técnica amplamente adotada para gerar conjuntos de predição com garantias estatísticas, equilibrando o desempenho preditivo e a eficiência computacional. Embora a validade marginal desses conjuntos seja bem estabelecida (garantindo que o rótulo verdadeiro esteja dentro do conjunto de predição com probabilidade de pelo menos $1-\alpha$ ), o comportamento da cobertura empírica sobre um lote finito de observáveis futuros permanece menos caracterizado. Especificamente, há uma necessidade de compreender a distribuição exata da cobertura empírica quando aplicada a um lote finito de dados futuros, bem como a distribuição de seu limite quando o tamanho do lote tende ao infinito. Essa compreensão é crítica para determinar o tamanho mínimo da amostra de calibração necessário em aplicações práticas para garantir que a cobertura empírica permaneça dentro de uma tolerância desejada do nível nominal.

Metodologia
O artigo opera dentro de um arcabouço de aprendizado supervisionado assumindo uma sequência de pares aleatórios $(X, Y)$ que são permutáveis (exchangeable). Os dados são particionados em uma amostra de treinamento, uma amostra de calibração de tamanho $n$ e uma sequência de observáveis futuros. A metodologia baseia-se nos seguintes componentes principais:

Permutabilidade e Escores de Conformidade: O autor utiliza a suposição de permutabilidade dos dados. Eles definem uma função de conformidade $\rho$ e os associados escores de conformidade $S_i$ . Um lema fundamental estabelece que, sob a suposição de permutabilidade, a sequência de escores de conformidade é, por si só, permutável.
Conjuntos de Predição: Para um nível de erro de cobertura nominal $\alpha$ especificado, os conjuntos de predição conforme são construídos usando o $\lceil(1-\alpha)(n+1)\rceil$ -ésimo estatístico de ordem dos escores de conformidade da calibração.
Indicadores de Cobertura: O artigo define indicadores de cobertura binários $Z_i$ para observáveis futuros, onde $Z_i=1$ se a resposta verdadeira estiver contida no conjunto de predição.
Derivação Estatística:
- Lote Finito: Ao alavancar a permutabilidade dos indicadores de cobertura (derivada da permutabilidade dos escores de conformidade) e ferramentas combinatórias padrão, o autor deriva a distribuição exata da soma desses indicadores para um lote de tamanho $m$ .
- Limite de Lote Infinito: O artigo aplica o teorema de representação de de Finetti à sequência de indicadores de cobertura permutáveis para determinar a distribuição do limite quase certo da cobertura empírica conforme o tamanho do lote $m \to \infty$ .

Principais Contribuições e Resultados

Distribuição Exata para Lotes Finitos (Teorema 1):
O artigo deriva a distribuição exata da cobertura empírica $C_m^{(n,\alpha)}$ para um lote finito de $m$ observáveis futuros. O resultado mostra que $m \times C_m^{(n,\alpha)}$ segue uma distribuição Beta-Binomial com parâmetros determinados pelo nível de erro de cobertura nominal $\alpha$ e pelo tamanho da amostra de calibração $n$ . Especificamente, os parâmetros são $\lceil(1-\alpha)(n+1)\rceil$ e $\lfloor\alpha(n+1)\rfloor$ . Esta distribuição é "universal", o que significa que depende apenas de $n$ e $\alpha$ , não da distribuição subjacente dos dados ou do modelo preditivo específico utilizado.
Distribuição do Limite Quase Seguro (Teorema 2):
À medida que o tamanho do lote futuro $m$ tende ao infinito, a cobertura empírica $C_m^{(n,\alpha)}$ converge quase certamente para uma variável aleatória $C_\infty^{(n,\alpha)}$ . O artigo prova que esta variável aleatória limite segue uma distribuição Beta com os mesmos parâmetros do caso finito: $\text{Beta}(\lceil(1-\alpha)(n+1)\rceil, \lfloor\alpha(n+1)\rfloor)$ .
Critério Universal para Tamanho de Amostra de Calibração:
Com base na distribuição limite, o autor estabelece um critério para selecionar o tamanho mínimo da amostra de calibração $n$ . Dado um nível nominal $\alpha$ , uma tolerância $\epsilon$ e um limiar de probabilidade $\tau$ , é possível calcular o menor $n$ tal que a probabilidade de a cobertura empírica desviar de $1-\alpha$ em mais de $\epsilon$ seja de no máximo $1-\tau$ .

Significância e Aplicação Prática
O artigo enfatiza que estes resultados são eminentemente práticos. As distribuições derivadas permitem que os praticantes avancem além dos limites conservadores da validade marginal para um controle mais preciso da cobertura empírica.

Tabelas Universais: O autor fornece "Tabelas universais de tolerância de cobertura" (Tabela 1) que listam o tamanho mínimo de amostra de calibração necessário para várias combinações de $\alpha$ , $\epsilon$ e $\tau$ .
Comparação com Trabalhos Anteriores: O artigo observa que, embora a necessidade de compreender a distribuição da cobertura empírica tenha sido discutida anteriormente (ex: [8]), os valores derivados neste trabalho são ligeiramente menores do que os da literatura anterior, oferecendo um critério mais eficiente para a seleção do tamanho da amostra.
Reprodutibilidade: O autor fornece código R em um repositório para reproduzir os valores da tabela e simular os resultados dos Teoremas 1 e 2, facilitando a aplicação destes achados teóricos em cenários do mundo real.

Em resumo, o artigo fornece uma caracterização rigorosa e livre de distribuição da cobertura empírica na predição conforme dividida, transformando a seleção de tamanhos de amostra de calibração de um processo heurístico em um fundamentado em limites probabilísticos exatos.

Mais como este