Robust Conditional Conformal Prediction via Branched Normalizing Flow

Resumo Técnico: Predição Conformal Condicional Robusta via Fluxo Normalizante Ramificado

1. Formulação do Problema

A Predição Conformal (PC) fornece conjuntos de previsão com garantias de cobertura marginal sob a suposição de que os dados de calibração e teste são independentes e identicamente distribuídos (i.i.d.). No entanto, na presença de deslocamentos de distribuição (onde a distribuição de teste $Q_{XY}$ difere da distribuição de calibração $P_{XY}$), os métodos existentes geralmente alinham apenas as distribuições marginais da pontuação conformal. Embora isso preserve a cobertura marginal, falha em controlar o erro de cobertura condicional em entradas de teste individuais. Consequentemente, os conjuntos de PC podem tornar-se não confiáveis em regiões específicas onde as distribuições de pontuação condicional não correspondem, levando a subcobertura ou supercobertura excessiva para entradas específicas. O desafio central é garantir garantias de cobertura condicional robustas ($Pr(Y \in C(X) | X=x) \ge 1-\alpha$) sob deslocamentos de distribuição conjunta sem exigir conhecimento dos rótulos verdadeiros de teste durante a inferência.

2. Metodologia

A solução proposta introduz um quadro teórico que liga o deslocamento de distribuição à degradação da cobertura condicional e uma arquitetura inovadora para mitigá-lo.

Quadro Teórico:

• Lacuna de Cobertura Condicional (CCG): Os autores definem a CCG para medir a discrepância entre a cobertura condicional de uma entrada de teste sob $Q_{XY}$ versus a garantia sob $P_{XY}$.
• Lacuna de Cobertura Integrada (ICG): Definida como a expectativa da CCG sobre a distribuição de características de teste $Q_X$, servindo como uma métrica de robustez holística.
• Limite de Wasserstein: O artigo deriva um limite superior para a ICG usando a distância de Wasserstein ($W$) entre as distribuições conjuntas de calibração e teste ($P_{XY}$ e $Q_{XY}$). Especificamente, $ICG(P, Q) \le \sqrt{2\kappa L} (\eta \cdot W(P_{XY}, Q_{XY}) + 1/4)$. Este limite implica que minimizar a distância de Wasserstein entre as distribuições pode teoricamente promover uma cobertura condicional robusta.

Algoritmo: Fluxo Normalizante Ramificado (BNF)
Para operacionalizar o limite de Wasserstein, os autores propõem o Fluxo Normalizante Ramificado (BNF), um mapeamento invertível $f_\theta(x, y) = (f_{\theta_X}(x), f_{\theta_Y}(y))$ projetado para transformar a distribuição de teste $Q_{XY}$ para corresponder à distribuição de calibração $P_{XY}$.

• Arquitetura: O BNF utiliza duas ramificações independentes. A ramificação $X$ ($f_{\theta_X}$) normaliza as entradas de teste, enquanto a ramificação $Y$ ($f_{\theta_Y}$) transforma os rótulos. Crucialmente, as ramificações não compartilham parâmetros, garantindo que a transformação de $X$ não dependa do rótulo de teste não observado $Y$.
• Processo de Inferência:
  1. Transformar uma entrada de teste $X_{n+1}$ em uma entrada normalizada $\bar{X}_{n+1} = f_{\theta_X}(X_{n+1})$.
  2. Construir um conjunto de previsão condicional $CC(\bar{X}_{n+1})$ usando a distribuição de calibração $P_{XY}$ (por exemplo, via Regressão Quantílica Conformalizada).
  3. Transformar o conjunto de volta ao espaço de teste usando $f_{\theta_Y}^{-1}$ para obter o conjunto de previsão robusto final $C_{BNF}(X_{n+1})$.
• BNF Aumentado: Para lidar com distribuições complexas onde transformações monótonas univariadas (necessárias para mapeamento inverso simples) são insuficientes, os autores introduzem o BNF Aumentado. Esta variante adiciona um componente de ruído estocástico $\epsilon \sim \mathcal{N}(0,1)$ à transformação da ramificação $Y$ ($f_{\theta_Y}^{aug}(y; \epsilon)$). Isso aumenta a expressividade, mas requer a resolução de um problema de busca de raiz (ou busca em grade) durante a inferência para construir o conjunto de previsão, pois a transformação não é mais estritamente monótona.
• Generalização de Domínio Multi-Fonte (MSDG): Em cenários onde a distribuição de teste é uma mistura de $K$ distribuições de origem, o método minimiza a distância média de Wasserstein entre o conjunto de calibração e os conjuntos de origem transformados, assumindo pesos de mistura uniformes.

3. Contribuições Principais

1. Quantificação de Robustez: A definição da Lacuna de Cobertura Condicional (CCG) e da Lacuna de Cobertura Integrada (ICG) fornece uma métrica teórica para avaliar a robustez da cobertura condicional sob deslocamento de distribuição.
2. Limite Teórico: A derivação de um limite superior para a ICG em termos da distância de Wasserstein entre distribuições conjuntas, estabelecendo um vínculo teórico entre a minimização de transporte e a preservação da cobertura condicional.
3. Fluxo Normalizante Ramificado (BNF): A introdução de uma arquitetura invertível de duas ramificações que permite a transformação de entradas de teste para uma distribuição semelhante à de calibração sem exigir rótulos de teste, preservando assim as garantias condicionais após a transformação inversa.
4. BNF Aumentado: Uma extensão usando aumento estocástico para melhorar a capacidade de ajuste para distribuições complexas, acoplada a um método para recuperar garantias condicionais apesar da perda de monotonicidade.

4. Resultados Experimentais

O método foi avaliado em nove conjuntos de dados cobrindo deslocamentos sintéticos e desafios do mundo real (previsão de vendas, previsão de tráfego, tomada de decisão médica e modelagem de epidemias) sob configurações de Generalização de Domínio Multi-Fonte (MSDG).

• Métricas: O desempenho foi medido usando Cobertura Marginal, Cobertura da Pior Fatia (WSC) e a proposta Lacuna de Cobertura da Pior Fatia (WSCG), que penaliza tanto a subcobertura quanto a supercobertura.
• Descobertas:
  • Robustez: O BNF Aumentado combinado com Regressão Quantílica Conformalizada (CQR) alcançou consistentemente a menor WSCG em todos os conjuntos de dados e níveis de confiança, superando linhas de base incluindo PC Dividida, PC Ponderada por Importância, PC do Pior Caso e PC Regularizada por Wasserstein.
  • Cobertura: O método manteve a cobertura marginal e a WSC próximas ao nível de confiança alvo ($1-\alpha = 0.9$), enquanto reduziu significativamente o desvio do alvo nas fatias condicionais.
  • Eficiência: Embora o BNF Aumentado padrão produzisse conjuntos de previsão maiores para contabilizar a incerteza da origem, uma variante "Condicionada ao Aumento" (que condiciona na origem conhecida durante a inferência) reduziu significativamente o tamanho do conjunto mantendo a cobertura.
  • Generalização: O método demonstrou robustez em tamanhos de amostra variados, números de domínios de origem ($K$) e diferentes níveis de confiança.

5. Significado e Alegações

O artigo afirma que seu principal significado reside em abordar a degradação da cobertura condicional da Predição Conformal sob deslocamentos de distribuição, um problema em grande parte não abordado por métodos existentes focados em marginais. Ao limitar a invalidade condicional via distância de Wasserstein e implementar isso através de um fluxo ramificado invertível, o trabalho fornece um mecanismo teoricamente fundamentado e empiricamente eficaz para garantir que a quantificação de incerteza permaneça confiável para entradas de teste individuais, mesmo quando as distribuições de dados se deslocam. Os autores posicionam isso como um passo em direção a aplicações de IA mais seguras em domínios críticos (por exemplo, saúde, tráfego, modelagem de epidemias) onde deslocamentos de distribuição são inevitáveis e a confiabilidade condicional é primordial.

O artigo reconhece limitações, incluindo o custo computacional da busca de raiz no BNF Aumentado, a natureza estocástica dos conjuntos de previsão e restrições arquitetônicas que exigem entradas multivariadas. Também observa que, embora os dados de calibração sejam reutilizados para treinar o fluxo (um viés de ajuste potencial), estudos de ablação sugerem que esse impacto é mínimo na prática.