Resumo Técnico: Recorte de Pesos para Inferência Conformal Robusta sob Deslocamentos de Covariáveis Ilimitados

1. Declaração do Problema

A Previsão Conformal (PC) oferece conjuntos de previsão livres de distribuição com garantias rigorosas de cobertura, mas essas garantias dependem fundamentalmente da troca (exchangeability) dos dados de treinamento (calibração) e de teste. Na prática, essa suposição é frequentemente violada devido a deslocamentos de covariáveis, onde a distribuição marginal das entradas muda entre o treinamento ($P_X$) e o teste ($Q_X$), enquanto a distribuição condicional dos rótulos permanece invariante ($P(Y|X) = Q(Y|X)$).

A Previsão Conformal Ponderada (WCP) aborda isso reponderando as amostras de calibração usando a razão de densidade $w^*(x) = dQ_X/dP_X$. No entanto, a WCP enfrenta dois modos de falha críticos quando a razão de densidade verdadeira é ilimitada ou deve ser aprendida a partir dos dados:

1. Alta Variância: Razões ilimitadas levam a estimativas de alta variância do limiar da pontuação de não conformidade, reduzindo drasticamente o "tamanho efetivo da amostra".
2. Sobreajuste e Má Generalização: Quando $w^*$ é aprendida (por exemplo, via Ajuste de Importância por Mínimos Quadrados, LSIF), os limites de generalização frequentemente dependem do erro $L_1$ da estimativa de peso. Se a razão verdadeira tiver caudas pesadas (momentos superiores ilimitados), estimadores padrão podem sofrer sobreajuste catastrófico, levando a uma subcobertura significativa mesmo com grandes conjuntos de dados.

O artigo aborda a seguinte questão: Podemos obter garantias de cobertura conformal confiáveis e condicionais ao conjunto de dados sob deslocamento de covariáveis quando a razão de densidade verdadeira é ilimitada ou deve ser aprendida?

2. Metodologia

Os autores propõem um framework chamado Previsão Conformal Ponderada com Recorte (CWCP), que integra uma técnica novel de estimação de razão de densidade com um mecanismo de correção de viés.

2.1. Ajuste de Importância por Mínimos Quadrados com Recorte (CLISF)

Em vez de aprender uma razão de densidade ilimitada, os autores propõem aprender uma razão recortada $\hat{w}$ restrita ao intervalo $[0, B]$ para algum limiar $B \ge 1$.

• Mecanismo: O algoritmo minimiza o objetivo padrão do LSIF sobre uma classe de funções recortadas $\mathcal{W}_B = \{x \mapsto \min(w(x), B) : w \in \mathcal{W}\}$.
• Compromisso Viés-Variância: O recorte introduz um viés controlável (a diferença entre a razão verdadeira e a razão recortada), mas reduz significativamente a variância do estimador.
• Vantagem Teórica: Diferentemente de heurísticas de recorte post-hoc usadas em trabalhos anteriores, o CLISF integra o recorte diretamente na etapa de estimação. Isso permite limites de generalização para amostras finitas onde a complexidade da amostra depende do parâmetro de recorte $B$ e da complexidade de Rademacher da classe recortada, em vez dos momentos superiores da razão verdadeira ilimitada.

2.2. Estimação e Correção de Viés

O recorte inevitavelmente leva à subcobertura porque os pesos recortados subestimam a importância verdadeira de regiões de alta densidade.

• Quantificação do Viés: O viés é definido como $\Delta_B = \mathbb{E}_P[(w^*(X) - B)_+]$.
• Estimação: Os autores mostram que $\Delta_B$ pode ser estimado com precisão a partir dos dados usando a razão recortada aprendida $\hat{w}$ e uma amostra de estimação de viés. Especificamente, $\hat{\Delta}_B = 1 - \frac{1}{m}\sum \hat{w}(X_i)$.
• Nível de Cobertura Inflado: Para restaurar a cobertura válida, a CWCP executa a WCP com um nível de cobertura alvo inflado de $1 - \alpha + \hat{\Delta}_B + \text{termos de erro}$. Essa correção contabiliza a subcobertura sistemática causada pelo recorte.

2.3. Minimização de Risco Estrutural (SRM) para Seleção de Parâmetros

Selecionar o parâmetro de recorte $B$ é crítico. A validação cruzada padrão é pouco confiável porque o próprio objetivo do CLISF pode ter alta variância. Os autores propõem o uso de Minimização de Risco Estrutural (SRM) para selecionar $B$ minimizando um limite superior do risco verdadeiro, que inclui o risco empírico e uma penalidade de complexidade derivada da complexidade de Rademacher da classe recortada.

3. Principais Contribuições

1. Técnica de Estimação Novel (CLISF): O artigo introduz o CLISF, o primeiro método a fornecer teoria para amostras finitas para o recorte de pesos em inferência conformal. Ele aprende razões em uma classe recortada, reduzindo variância e sobreajuste enquanto fornece garantias de generalização prováveis para a razão de densidade estimada.
2. Garantias Condicionais ao Conjunto de Dados: Os autores provam que a CWCP alcança cobertura marginal condicional ao conjunto de dados. Crucialmente, a complexidade da amostra necessária para alcançar essas garantias não explode com os momentos superiores da razão de densidade verdadeira (uma limitação chave de trabalhos anteriores).
3. Garantias de Dois Lados: Diferentemente de grande parte do trabalho anterior que fornece apenas garantias de cobertura de um lado (limite inferior), a CWCP fornece garantias de dois lados. Isso garante que o método não atinja a cobertura alvo cobrindo trivialmente em excesso (produzindo conjuntos de previsão excessivamente grandes).
4. Estimação de Viés: O artigo fornece um método para estimar com precisão o viés de recorte a partir dos dados, permitindo a inflação precisa do nível de cobertura alvo necessária para restaurar a validade.

4. Resultados

Resultados Teóricos

• Teorema 3.4: Estabelece um limite de generalização de erro $L_2$ para o CLISF que depende de $B$ e da complexidade de Rademacher, independente dos momentos superiores de $w^*$.
• Teorema 4.4: Prova que a CWCP alcança cobertura condicional ao conjunto de dados com alta probabilidade. A cobertura é limitada inferiormente por $1 - \alpha - 2\sqrt{2\Delta_R}$ (onde $\Delta_R$ é o erro de especificação) e superiormente por um termo envolvendo o viés $\Delta_B$ e o erro de estimação.
• Corolário 4.5: Combina os itens acima para fornecer garantias de ponta a ponta para o pipeline completo (aprendizado de $\hat{w}$, estimação de viés e construção de conjuntos de previsão).

Resultados Empíricos

Os autores validam seu método em dados sintéticos e benchmarks do mundo real:

• Conjunto de Dados iWildCam: Em uma tarefa de classificação de imagens de vida selvagem com deslocamento de covariáveis (diferentes localizações de câmeras), a CWCP demonstrou cobertura mais apertada e estável em torno do nível nominal de 0,8 em comparação com a WCP padrão e a Conformal Dividida (Split Conformal). A Conformal Dividida sofreu subcobertura significativa devido ao deslocamento não contabilizado, enquanto a WCP exibiu alta variância.
• Conjunto de Dados Comunidades e Crime: Em uma tarefa de previsão de taxas de criminalidade com deslocamentos de covariáveis baseados em demografia, a CWCP manteve cobertura estável com baixa variância, enquanto a WCP mostrou variância muito alta, particularmente em deslocamentos de populações hispânicas e asiáticas.
• Dados Sintéticos: Experimentos com distribuições gaussianas deslocadas confirmaram que a CWCP equilibra as vantagens da WCP (contabilizar o deslocamento) e da Conformal Dividida (baixa variância), especialmente quando a razão de densidade verdadeira segue uma distribuição de cauda pesada (lei de potência).

5. Significado e Alegações

O artigo alega fornecer as primeiras garantias teóricas para o recorte de pesos em inferência conformal. Seu significado primário reside em abordar a instabilidade da WCP sob deslocamentos de covariáveis ilimitados sem exigir suposições sobre razões de densidade ou momentos limitados.

• Robustez: O método é robusto a deslocamentos de cauda pesada onde a WCP tradicional falha catastróficamente.
• Praticidade: Ao estimar o fator de inflação necessário a partir dos dados, o método evita a necessidade de ajuste manual dos níveis de cobertura para compensar viés desconhecido.
• Avanço Teórico: Os resultados representam um avanço qualitativo para a previsão conformal em cenários realistas onde as razões de densidade podem ser ilimitadas, oferecendo complexidade de amostra que escala com o parâmetro de recorte $B$ em vez dos momentos potencialmente infinitos da razão verdadeira.

Os autores observam que, embora o método foque na cobertura marginal, trabalhos futuros poderiam estender esse framework para garantias condicionais à classe ou condicionais ao grupo. Eles também reconhecem que o problema de otimização do CLISF é geralmente não convexo, sugerindo pesquisas futuras sobre substitutos convexos ou estratégias de otimização eficientes para classes de funções específicas.