Localized conformal model selection

Resumo Técnico: Seleção de Modelos Conformal Localizada

Autores: Yuhao Wang e Tengyao Wang
Instituições: Universidade Tsinghua, Instituto Qizhi de Xangai, London School of Economics and Political Science (LSE).

1. O Problema

A quantificação de incerteza é fundamental no aprendizado estatístico moderno. A Predição Conformal (Conformal Prediction) oferece intervalos de previsão com garantias de cobertura exata em amostras finitas e sem distribuição (distribution-free), independentemente da complexidade do modelo.

No entanto, na prática, os analistas frequentemente possuem um conjunto de modelos candidatos (com diferentes suavidades, complexidades ou suposições) e precisam selecionar ou combinar o melhor deles para obter intervalos de previsão mais curtos. O desafio central abordado neste trabalho é:

• Viés de Seleção: Métodos conformais padrão assumem um modelo fixo. Quando a seleção do modelo é feita nos mesmos dados usados para construir o intervalo, a suposição de troca (exchangeability) é violada, levando a uma cobertura sistemática inferior à nominal (subcobertura).
• Limitação de Adaptabilidade Local: Métodos recentes que corrigem o viés de seleção operam em nível global/populacional e não permitem que o modelo selecionado varie ao longo do espaço de covariáveis. Isso é limitante em cenários não paramétricos onde a função de regressão exibe heterogeneidade espacial (estruturas que mudam de complexidade em diferentes regiões).
• Limitação de Métodos Locais: A "Predição Conformal Localizada" (LCP) adapta-se ao ruído local, mas assume um modelo preditivo fixo, ignorando a incerteza da seleção de modelos.

O objetivo do artigo é criar um framework que seja simultaneamente localmente adaptativo e válido após a seleção de modelos.

2. Metodologia Proposta: LCP-MS

Os autores propõem um novo framework chamado LCP-MS (Localized Conformal Model Selection). A abordagem combina a Predição Conformal Localizada (LCP) com uma técnica de indexação segura (safe indexing) para restaurar a simetria necessária para a validade conformal.

Principais Componentes:

1. Predição Conformal Localizada (LCP):

   • Em vez de usar quantis empíricos globais dos resíduos, a LCP pondera os resíduos de calibração com base na proximidade do ponto de teste $X_{n+1}$ (usando um localizador $H$, como kernels exponenciais ou gaussianos).
   • Isso gera intervalos que se adaptam ao nível de ruído local e ao ajuste do modelo.

2. O Desafio da Simetria:

   • Selecionar o modelo que produz o intervalo mais curto em um ponto de teste específico quebra a simetria, pois a decisão depende da resposta não observada $Y_{n+1}$.

3. Solução: Indexação Segura (Safe Indexing):

   • Para manter a troca (exchangeability), a seleção do modelo deve ser realizada simetricamente em todos os pontos de dados, não apenas no ponto de teste final.
   • O método constrói intervalos surrogate superiores e inferiores para cada modelo $k$ e cada ponto de calibração $i$:
     • $C^+_k$: Intervalo hipotético assumindo a pior conformidade possível para $Y_{n+1}$.
     • $C^-_k$: Intervalo hipotético assumindo a melhor conformidade possível.
   • Define-se um Conjunto de Índices Seguros $K_i(\gamma)$ para cada ponto de calibração, contendo todos os modelos cujo "melhor caso" de comprimento de intervalo é menor ou igual ao "pior caso" do modelo concorrente mais curto.
   • Garantia Chave: O modelo "oráculo" (o modelo que produziria o menor intervalo esperado) está garantidamente contido neste conjunto seguro.

4. Construção do Intervalo Final:

   • Calculam-se níveis de cobertura empíricos ($\hat{\gamma}_L$ e $\hat{\gamma}_U$) baseados na cobertura dos conjuntos seguros sobre os dados de calibração.
   • O intervalo final é a união dos intervalos conformais mais curtos gerados por modelos dentro do conjunto seguro, para todos os níveis de erro admissíveis.

3. Contribuições Principais

• Primeiro Framework Unificado: É a primeira estrutura de inferência conformal que alcança simultaneamente adaptabilidade local e validade pós-seleção em um cenário totalmente não paramétrico.
• Restauração da Exchangeability: Resolve o problema de viés de seleção ao forçar a regra de seleção a ser simétrica em todos os pontos de dados através de intervalos surrogate, em vez de depender da resposta não observada no ponto de teste.
• Garantias Exatas: O método mantém garantias de cobertura marginal exata em amostras finitas ($P(Y_{n+1} \in C) \geq 1 - \alpha$), independentemente da complexidade dos modelos candidatos.
• Adaptabilidade Espacial: O ensemble resultante favorece automaticamente modelos mais complexos (ou com menor largura de banda) em regiões de alta oscilação e modelos mais simples em regiões suaves.

4. Resultados das Simulações

Os autores testaram o método em dois cenários:

1. Cenário Paramétrico (Sinais Oscilatórios Locais):

   • Função de regressão com mudança de frequência e amplitude.
   • Comparação entre o ensemble LCP-MS e o "melhor modelo único" (escolhido a posteriori).
   • Resultado: Sob baixo ruído ($\sigma=0.1$), o LCP-MS produziu intervalos consistentemente mais curtos que o melhor modelo único, demonstrando o benefício da seleção adaptativa local. Sob alto ruído, o desempenho foi similar.

2. Cenário Não Paramétrico (Curvatura Variável):

   • Função $Y = \sin(X^3) + \epsilon$, onde a curvatura varia.
   • Combinação de estimadores de Kernel de Nadaraya-Watson com diferentes larguras de banda.
   • Resultado: Redução substancial no comprimento do intervalo (25–35% menor) em comparação com o melhor modelo único, mantendo a cobertura nominal. A melhoria foi mais pronunciada com baixo ruído e grandes tamanhos de amostra.
   • Visualização: Figuras mostram que o método seleciona dinamicamente larguras de banda menores em regiões de alta curvatura e maiores em regiões suaves, algo que nenhum estimador de banda fixa consegue fazer uniformemente.

5. Significado e Discussão

• Viabilidade Prática: O método permite que a prática de seleção de modelos seja feita de forma segura dentro do framework conformal, evitando a subcobertura comum em abordagens ingênuas.
• Custo Computacional: O método é computacionalmente mais pesado que a predição conformal padrão devido à necessidade de construções "leave-one-out" e avaliação sobre múltiplos modelos e níveis de erro. No entanto, essas operações são naturalmente paralelizáveis.
• Limitações e Futuro: A garantia de cobertura permanece marginal (não condicional). A eficiência é máxima quando a família de candidatos contém um modelo que aproxima bem a função local. O conceito de indexação segura baseada em simetria pode ser estendido para outros cenários adaptativos onde decisões dependentes de dados ameaçam a troca.

Em suma, o artigo apresenta uma solução elegante e rigorosa para o dilema de como selecionar modelos localmente adaptativos sem sacrificar as garantias estatísticas de cobertura que tornam a predição conformal tão valiosa.