📊 statistics

Auditing Conformal Prediction under Distribution Shift: A Detectability Boundary, Exact Label-Budget Design, and Repair

Este artigo apresenta o DriftGuard, um framework de auditoria de dois estágios que estabelece limites teóricos de detectabilidade para desvio de distribuição e fornece um protocolo rigoroso, com orçamento de rótulos, para diagnosticar falha de cobertura e recalibrar modelos de predição conformal sob desvios de covariável e de conceito.

Autores originais: Maha Moussa

Publicado 2026-08-07

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maha Moussa

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um meteorologista que passou anos prevendo chuva em sua cidade natal. Você construiu um sistema que diz: "Tenho 90% de certeza de que choverá amanhã" e, por anos, ele acertou cerca de 90% das vezes. Esse sistema é chamado de Previsão Conforme (Conformal Prediction). É um truque inteligente que permite aos computadores fornecer uma "rede de segurança" ao redor de seus palpites, prometendo que a resposta real estará dentro dessa rede na maioria das vezes, sem precisar conhecer as leis exatas da física por trás das nuvens.

Mas há um porém: o que acontece quando você muda sua estação meteorológica para uma cidade completamente diferente? Talvez a umidade seja diferente, ou o vento sopre de uma nova direção. Isso é chamado de Mudança de Distribuição (Distribution Shift). O ar (os dados) mudou, mas suas regras antigas podem estar rodando no piloto automático. Você ainda pode dizer "Tenho 90% de certeza", mas se os padrões climáticos mudaram, você pode estar errado com muito mais frequência do que imagina. A grande questão para os cientistas é: você consegue dizer se sua rede de segurança ainda está aguentando apenas olhando para as novas nuvens, sem esperar para ver se realmente chove?

Este artigo, intitulado "Auditando a Previsão Conforme sob Mudança de Distribuição", aborda exatamente esse enigma. O autor, Maha Moussa, introduz um novo sistema chamado DriftGuard para atuar como um inspetor de controle de qualidade para essas redes de segurança de previsão. A história revela uma verdade surpreendente: nem sempre você consegue dizer se sua rede de segurança está quebrada apenas olhando para as nuvens. Se o tipo de clima mudar (como a chuva se transformando em neve, mesmo que as nuvens pareçam as mesmas), seu sistema antigo pode falar silenciosamente. No entanto, o artigo também oferece uma solução inteligente: uma maneira de testar a rede com uma amostra pequena e cuidadosamente escolhida de dados de chuva reais para provar se ela ainda está funcionando e, se não estiver, como consertá-la sobre a marcha.

A Armadilha Invisível: Quando as Nuvens Parecem Iguais, mas a Chuva é Diferente

O artigo começa explicando uma limitação complicada. Imagine que você tem uma máquina que prevê se uma estação de compartilhamento de bicicletas estará movimentada. Você a treinou com dados de um verão ensolarado em Logan, Utah. Agora, você a implanta em um inverno chuvoso no Cairo. A máquina observa o clima (as "covariáveis") e tenta adivinhar a demanda de bicicletas.

Os pesquisadores descobriram que você pode facilmente notar se o clima mudou. Se os novos dados parecem muito diferentes dos dados antigos, você pode dizer: "Ei, as nuvens parecem estranhas!". Isso é chamado de Mudança de Covariável (Covariate Shift). O sistema DriftGuard pode medir isso verificando o quão diferentes os novos dados são em relação aos dados de treinamento. Ele calcula uma pontuação chamada "Tamanho de Amostra Efetivo" (ESS), que é como perguntar: "Quantos desses novos dias realmente se parecem com os dias em que eu treinei?". Se a pontuação for baixa, é um sinal de alerta.

Mas aqui está a grande descoberta: Você não pode detectar se as regras do jogo mudaram apenas olhando para as nuvens. Isso é chamado de Mudança de Conceito (Concept Shift). Imagine que o clima é exatamente o mesmo (ensolarado, 24°C), mas de repente, as pessoas na nova cidade decidem andar de bicicleta duas vezes mais porque um novo festival começou. A entrada (clima) é a mesma, mas a saída (demanda de bicicletas) mudou.

O artigo prova matematicamente que nenhuma quantidade de observação dos novos dados meteorológicos pode dizer se a demanda de bicicletas mudou. É como tentar adivinhar se um truque de mágica mudou suas regras apenas observando as mãos do mágico; se as mãos parecem as mesmas, você não pode saber se o coelho está realmente no chapéu ou se o mágico agora está puxando um frango do nada. O autor chama isso de "Fronteira de Detectabilidade". Sem ver os resultados reais (as contagens de bicicletas), você está cego para esse tipo de falha.

O Detetive de Dois Estágios: DriftGuard e DriftGuard-L

Para resolver isso, o artigo propõe uma história de detetive de dois passos chamada DriftGuard.

Estágio 1: A Auditoria Sem Rótulos (O "Olhadinha")
Primeiro, o sistema olha para os novos dados sem precisar de respostas. Ele verifica a "sobreposição" entre os dados antigos e os novos.

A Pontuação de Sobreposição: Este é um número entre 0 e 1. Se for alto (próximo de 1), os novos dados parecem muito semelhantes aos antigos. Se for baixo, os novos dados estão em um território "estrangeiro".
O Aviso: Se a sobreposição for baixa, o sistema avisa que sua rede de segurança pode estar esticada demais. Ele pode até dizer: "Eu não sei, estou me abstendo", em vez de dar um palpite arriscado.
A Ressalva: Mesmo que a sobreposição seja alta, o sistema admite que ainda não sabe se as regras mudaram (a mudança de conceito). Ele só pode dizer: "As nuvens parecem familiares", não "A chuva cairá da mesma forma".

Estágio 2: A Auditoria de Orçamento de Rótulos (O "Teste de Verificação")
É aqui que o artigo fica realmente inteligente. Como você não pode saber com certeza sem ver os resultados, o autor sugere um "Orçamento de Rótulos". Isso é como um gerente dizendo: "Não podemos verificar cada bicicleta, mas podemos pagar para verificar 5 de cada 50".

O Teste Exato: O sistema escolhe uma pequena amostra aleatória dos novos dados (por exemplo, 50 contagens de bicicletas) e verifica se a rede de segurança as captura.
A Matemática: Eles usam um teste estatístico preciso para dizer: "Se nossa rede de segurança estivesse funcionando, haveria apenas 5% de chance de vermos tantos erros". Se os erros forem muito altos, o sistema sabe que a rede está quebrada.
O Conserto: Se a rede estiver quebrada, o sistema não apenas desiste. Ele usa essas 50 novas respostas para recalibrar a rede de segurança. Ele encolhe ou expande a rede para que ela capture a nova realidade novamente.

A Prova: Simulações e Bicicletas do Mundo Real

O autor não apenas falou sobre isso; eles testaram com simulações e dados reais.

Os Experimentos Gaussianos:
Em uma simulação de computador controlada onde sabiam exatamente como os dados estavam mudando, descobriram que, quando o "clima" mudava pesadamente, a antiga rede de segurança falhava. Ela capturava a resposta correta apenas 78,9% das vezes, em vez dos 90% prometidos.

O Conserto: Quando usaram o novo método "Ponderado" (que leva em conta o clima diferente), a taxa de captura subiu para 92,6%.
O Dilema: No entanto, há uma nuance crucial. Se o sistema tentar adivinhar as proporções do clima sem conhecê-las perfeitamente (usando pesos estimados), o método torna-se uma aproximação, não uma garantia exata. O artigo mostra que erros na estimativa dessas proporções significam que a rede de segurança não é matematicamente perfeita. Às vezes, para evitar uma falsa sensação de segurança, o sistema deve admitir que não sabe (fornecendo um "intervalo infinito" ou se abstendo), ou pode acidentalmente esconder o fato de que está subcobertando.

O Teste de Compartilhamento de Bicicletas:
A parte mais emocionante foi um teste com dados reais do sistema Capital Bikeshare em Washington D.C. Eles pegaram um modelo treinado em 2011 e tentaram usá-lo em 2012.

A Falha: O modelo antigo foi terrível em 2012. Ele capturava a resposta correta apenas cerca de 56% das vezes! A "rede de segurança" tinha buracos do tamanho de um caminhão.
O Reparo: Eles esperaram até ter 2.176 contagens de bicicletas dos primeiros três meses de 2012 (os "rótulos atrasados"). Usaram estes para consertar a rede.
O Resultado: Após o conserto, a rede de segurança capturou 88,4% das respostas. Não era perfeita, mas foi uma melhoria massiva em relação ao desastre de 56%.

A Comparação "Dupla Robusta":
O artigo também comparou seu método com outro método sofisticado chamado "Calibração Duplamente Robusta". Eles descobriram que este outro método funciona muito bem se você acertar a matemática. Mas se você errar uma única parte da matemática, ele falha tão mal quanto o método antigo. A abordagem do DriftGuard é diferente: ela não tenta adivinhar a matemática complexa; ela apenas pede alguns resultados reais para verificar o trabalho.

A Conclusão: O Que Você Pode e o Que Não Pode Saber

O artigo conclui com uma mensagem muito importante para quem usa IA no mundo real: Não confie em uma rede de segurança apenas porque ela parece boa.

Você pode detectar se os dados parecem diferentes. (As nuvens mudaram).
Você não pode detectar se as regras mudaram sem ver os resultados. (A chuva se tornou neve).
Você precisa de uma pequena amostra aleatória de resultados reais para ter certeza. (O "Orçamento de Rótulos").
Se a rede estiver quebrada, você pode consertá-la com essa pequena amostra. (Recalibração).

O autor enfatiza que isso não é uma varinha mágica. Se você verificar apenas 25 bicicletas, pode perder um problema pequeno. Mas se verificar 100, pode ter muita confiança. E se verificar 200, pode consertar a rede para que ela funcione novamente.

O artigo termina dizendo que, no futuro, as empresas não devem apenas implantar a IA e torcer pelo melhor. Elas devem ter um "projeto" para auditoria: verificar a sobreposição, definir um orçamento para verificar resultados reais e estar prontas para recalibrar. Isso transforma a ideia assustadora de "falha silenciosa da IA" em um processo gerenciável de passo a passo de verificação e conserto.

Em suma, o DriftGuard é o lembrete de que, em um mundo em constante mudança, a única maneira de saber se seu mapa ainda é preciso é ocasionalmente parar para checar os pontos de referência. E se o mapa estiver errado, você não precisa redesenhar o mundo inteiro — você só precisa ajustar a escala usando alguns novos pontos.

Resumo Técnico: Auditoria de Predição Conforme sob Desvio de Distribuição

Enunciado do Problema
A predição conforme (CP) fornece garantias de cobertura marginal em amostras finitas para modelos preditivos sob a suposição de permutabilidade entre os dados de origem (treinamento/calibração) e de destino (implantação). No entanto, a implantação no mundo real frequentemente envolve desvios de distribuição, especificamente o desvio de covariáveis (mudanças na distribuição marginal dos inputs, $P_X$ ) e o desvio de conceito (mudanças na distribuição condicional do resultado, $P_{Y|X}$ ). A Predição Conforme Ponderada (WCP) pode restaurar a validade sob desvio de covariáveis se as razões de densidade forem conhecidas, mas os profissionais frequentemente enfrentam uma lacuna operacional crítica: eles possuem dados rotulados de origem e covariáveis de destino não rotuladas, mas carecem de rótulos de destino. A questão central abordada é se apenas os dados de destino não rotulados podem determinar se a cobertura permanece credível e, se não, como adquirir eficientemente a quantidade mínima de rótulos de destino necessária para auditar e reparar o sistema.

Metodologia: O Framework DriftGuard
O artigo introduz o DriftGuard, um framework de auditoria em dois estágios projetado para diagnosticar desvios de distribuição e reparar a validade da cobertura.

Estágio 1: Auditoria Sem Rótulos (DriftGuard)
- Objetivo: Avaliar a "detectabilidade" do desvio sem rótulos de destino.
- Mecanismo: Um classificador probabilístico distingue entre covariáveis de origem e de destino para estimar a Área Sob a Curva ROC ( $A$ ) e o Tamanho Efetivo da Amostra (ESS) das razões de densidade estimadas.
- Diagnósticos: Reporta discriminabilidade de domínio, estabilização de pesos e abstenção visível (intervalos de predição infinitos). Opcionalmente, calcula um escore de sobreposição $R \in [0, 1]$ para resumir a sobreposição de covariáveis e a não concentração de pesos.
- Limite Teórico: O autor estabelece uma Fronteira de Detectabilidade (Proposição 2). Eles provam que, sob desvio condicional irrestrito, nenhum estatístico de auditoria sem rótulos pode certificar uniformemente a cobertura de destino. Se a lei condicional $Q_{Y|X}$ muda enquanto a marginal $Q_X$ permanece semelhante, a cobertura pode cair arbitrariamente (para 0) enquanto a auditoria sem rótulos permanece indistinguível do nulo. Isso resulta em um conjunto identificado agudo para a cobertura de destino de $[0, 1]$ na ausência de rótulos.
Estágio 2: Falsificação e Reparo com Mínimo de Rótulos (DriftGuard-L)
- Objetivo: Cruzar a fronteira de detectabilidade usando um orçamento mínimo e pré-especificado de rótulos de destino.
- Mecanismo:
  - Auditoria Exata: Uma amostra aleatória simples de $b$ rótulos de destino é extraída. Um teste binomial unilateral exato verifica a hipótese nula $H_0: c_t \geq 1-\alpha$ (onde $c_t$ é a cobertura real).
  - Design Prospectivo: O artigo deriva fórmulas exatas para calcular o orçamento mínimo de rótulos ( $b_{min}$ ) necessário para atingir um nível de potência estatística específico ( $1-\beta$ ) contra um nível de cobertura alternativa cientificamente relevante.
  - Reparo: Se a subcobertura for detectada, a amostra de auditoria de destino substitui o conjunto de calibração de origem. Um novo limiar conformal é computado usando os escores de não conformidade de destino, restaurando a validade de amostra finita sob a suposição de permutabilidade de destino.

Principais Contribuições

Teoria de Identificação: O artigo caracteriza a auditoria sem rótulos como um problema de identificação, provando que, sem restrições sobre $Q_{Y|X}$ , a cobertura não é identificável apenas por dados não rotulados. Estabelece limites de teste minimax e um conjunto identificado agudo de $[0, 1]$ para a cobertura.
Diagnósticos Operacionais: Separa o diagnóstico de sobreposição de covariáveis (via AUC e ESS) da suposição não verificável de estabilidade condicional. Reporta explicitamente a "abstenção visível" (intervalos infinitos) em vez de silenciosamente truncar os pesos, o que pode ocultar a subcobertura.
Design de Orçamento de Rótulos Exato: Ao contrário de abordagens heurísticas, o DriftGuard-L fornece um teste de amostra finita exato para subcobertura marginal e um cálculo pré-especificado do orçamento de rótulos necessário para detectar níveis específicos de subcobertura com potência garantida.
Avaliação Abrangente: O framework é validado através de desvios Gaussianos sintéticos, benchmarks públicos (diabetes, câncer de mama, vinho, dígitos) e duas implantações externas complexas: um conjunto de dados cronológico de Compartilhamento de Bicicletas (8.734 observações horárias) e transferências de mercado acionário contínuas.

Resultos

Limites de Detectabilidade: Em experimentos com desvio de covariáveis puro, a auditoria sem rótulos sinalizou com sucesso desvios severos (escores de sobreposição caindo de 0,96 para 0,37) enquanto a cobertura permaneceu próxima da nominal (0,90). Inversamente, sob desvio de conceito puro, o escore de sobreposição permaneceu alto (~0,96) enquanto a cobertura colapsou (de 0,90 para 0,40), confirmando a impossibilidade teórica de detectar o desvio condicional sem rótulos.
Predição Conforme Ponderada (WCP): Sob forte desvio de covariável Gaussiano, a cobertura da CP ordinária caiu para 0,789. A WCP Oracle e a WCP estimada via cross-fitting restauraram a cobertura para ~0,926 e 0,923, respectivamente. No entanto, o truncamento dos pesos para evitar intervalos infinitos reduziu a cobertura para 0,873, demonstrando um compromisso entre abstenção visível e subcobertura oculta.
Comparação de Robustez Dupla: Um comparador de robustez dupla publicado manteve a cobertura quando pelo menos um modelo de incerteza (razão ou escore condicional) foi corretamente especificado. No entanto, quando ambos os modelos foram mal especificados sob desvio severo (desvio de média Gaussiana de 2.0), a cobertura caiu para 0,812. Em contraste, a calibração de robustez dupla estimada (usando modelos de incerteza ajustados) atingiu 0,882 no mesmo nível de desvio, enquanto a WCP estimada atingiu 0,895.
Validação Externa (Bike Sharing): Em uma implantação de 2012 intocada, a CP de origem, a WCP estimada e a calibração de robustez dupla estimada apresentaram subcobertura severa (0,568–0,594), falhando em considerar a evolução temporal fora do modelo de desvio de covariável.
Eficácia do Reparo: O uso de 2.176 rótulos de destino atrasados (Jan–Mar 2012) para recalibração restaurou a cobertura no período de Abril–Dezembro de 0,558 (a linha de base pré-recalibração para esse período específico) para 0,884. Em implantações mensais contínuas, a recalibração usando apenas 7–30 dias de rótulos anteriores restaurou consistentemente a cobertura para ~0,90–0,92.
Eficiência do Orçamento de Rótulos: Cálculos de potência exatos mostraram que detectar subcobertura severa (ex: 0,70) requer pequenos orçamentos (~~25 rótulos), enquanto detectar subcobertura leve (ex: 0,85) requer orçamentos significativamente maiores (~~270 rótulos para 80% de potência).

Significância e Alegações
O artigo afirma fornecer um problema de decisão formalmente especificado para monitoramento de implantação, em vez de um novo teorema de cobertura baseado em um escore composto. Sua significância reside em:

Separar o Observável do Inverificável: Esclarece que diagnósticos sem rótulos podem apenas avaliar a sobreposição de covariáveis e a estabilidade de pesos, não a estabilidade do mecanismo de resultado.
Operacionalizar o Reparo: Transforma a aquisição de rótulos de destino de uma análise retrospectiva oportunista em um design de monitoramento prospectivo com controle de erro exato e potência conhecida.
Incerteza Honesta: Ao reportar intervalos infinitos e taxas de abstenção junto com a cobertura, o framework evita que a "conveniência" de pesos truncados mascare falhas distributivas severas.
Complementaridade: O autor posiciona o DriftGuard-L não como um substituto para métodos de robustez dupla assintótica, mas como um mecanismo de auditoria e reparo de amostra finita que é ativado quando rótulos de destino representativos cruzam a fronteira de informação.

O estudo conclui que, embora a auditoria sem rótulos tenha um papel útil, porém estritamente limitado, o fluxo de trabalho combinado do DriftGuard e do DriftGuard-L permite que os profissionais reportem avisos observáveis, o custo das suposições não verificáveis, a potência comprada por um orçamento de rotulagem e o custo da largura do intervalo para restaurar a cobertura marginal honesta.

A Armadilha Invisível: Quando as Nuvens Parecem Iguais, mas a Chuva é Diferente

O Detetive de Dois Estágios: DriftGuard e DriftGuard-L

A Prova: Simulações e Bicicletas do Mundo Real

A Conclusão: O Que Você Pode e o Que Não Pode Saber

Mais como este