Multivariate Standardized Residuals for Conformal Prediction

Resumo Técnico: Resíduos Padronizados Multivariados para Predição Conformal

Enunciado do Problema
A predição conformal oferece um framework agnóstico ao modelo para a construção de conjuntos preditivos com cobertura marginal garantida em amostras finitas. No entanto, uma limitação significativa é a dificuldade de alcançar cobertura condicional, onde a validade se mantém para entradas observadas específicas, e não apenas em média. Isso é particularmente crítico em cenários heterocedásticos, onde a incerteza da predição varia com as características de entrada. Abordagens existentes enfrentam trade-offs:

• Métodos univariados: Técnicas como "resíduos padronizados" (normalizando erros pela variância local) melhoram a cobertura condicional em regressão univariada, mas não se estendem naturalmente a saídas multivariadas.
• Estimação de densidade multivariada: Métodos que estimam a densidade condicional completa podem gerar conjuntos válidos, mas são computacionalmente caros, frequentemente exigindo amostragem, e lutam contra a "maldição da dimensionalidade".
• Métodos de forma fixa: Abordagens que produzem conjuntos de tamanho fixo ou não adaptativos falham em capturar a incerteza dependente da entrada.
• Métodos baseados em amostragem: Estratégias recentes para melhorar a cobertura condicional frequentemente introduzem aleatoriedade e variabilidade para entradas idênticas, minando a reprodutibilidade.

Metodologia
Os autores propõem um framework que estende o conceito de resíduos padronizados para o cenário multivariado. A ideia central é aprender uma matriz de covariância local dependente de características para "branquear" os resíduos, efetivamente desacoplando correlações de saída e padronizando a variância local.

1. Modelagem: Dado um vetor de características $X$ e uma resposta multivariada $Y \in \mathbb{R}^k$, o método aprende duas funções:

   • Um preditor $f_\theta(X)$ estimando a média condicional $\mathbb{E}[Y|X]$.
   • Um estimador de covariância $\Sigma_\varphi(X)$ estimando a matriz de covariância condicional.
     Estas podem ser aprendidas conjuntamente via máxima verossimilhança (assumindo uma aproximação Gaussiana) ou aplicadas sobre um preditor pontual pré-existente de caixa-preta.

2. Pontuação de Não Conformidade: O método define uma pontuação de não conformidade baseada na distância de Mahalanobis:
   $$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$$
   Esta pontuação mede a distância de um resíduo em relação à média, escalada pela estrutura de covariância local.

3. Conjuntos Conformais: O conjunto preditivo resultante $C_\alpha(X_{\text{test}})$ é um elipsoide centrado em $f_\theta(X_{\text{test}})$, com forma e tamanho determinados por $\Sigma_\varphi(X_{\text{test}})$ e um limiar derivado do conjunto de calibração. Isso permite que o conjunto se adapte à heterocedasticidade.

4. Extensões: O framework suporta naturalmente várias extensões práticas:

   • Saídas Faltantes: Ao marginalizar a densidade Gaussiana para dimensões observadas e usar a CDF do Qui-quadrado, o método constrói pontuações válidas mesmo quando os dados de calibração possuem valores faltantes.
   • Saídas Parcialmente Reveladas: Se parte da saída $Y_r$ for revelada no momento do teste, o método usa propriedades Gaussianas condicionais para refinar o conjunto preditivo para a parte oculta $Y_h$ sem retreinamento.
   • Transformações de Saída: Para transformações lineares da saída (e.g., retornos de carteira), o método constrói conjuntos conformais diretamente sobre as variáveis transformadas usando a média e covariância transformadas, evitando o conservadorismo de projetar conjuntos existentes.

Garantias Teóricas
O artigo estabelece uma condição suficiente para que o método alcance cobertura condicional assintótica. Especificamente, se o resíduo padronizado $U = \Sigma(X)^{-1/2}(Y - f(X))$ for independente de $X$, o método produz cobertura condicional exata assintoticamente. Esta condição vale para uma ampla classe de distribuições, incluindo distribuições elípticas, mas não exige estritamente que o ruído seja elíptico. Mesmo quando esta independência não se mantém, demonstra-se que o método melhora a cobertura condicional ao normalizar os dois primeiros momentos dos resíduos.

Contribuições Principais

• Extensão Multivariada: Uma generalização natural de resíduos padronizados para regressão multivariada usando uma matriz de covariância local aprendida.
• Eficiência em Forma Fechada: Diferentemente de métodos baseados em densidade que exigem amostragem, esta abordagem gera conjuntos conformais em forma fechada, tornando-a computacionalmente eficiente no momento da inferência.
• Caracterização Teórica: Uma condição suficiente caracterizando distribuições para as quais resíduos padronizados produzem cobertura condicional assintótica.
• Flexibilidade Prática: O framework permite o tratamento de saídas de calibração faltantes, o refinamento de conjuntos mediante revelação parcial de saídas e a construção de conjuntos válidos para transformações de saída.

Resultados Experimentais
Os autores avaliam o método em conjuntos de dados sintéticos e do mundo real (e.g., Bias, CASP, House, rf1, scm1d, Taxi) contra baselines incluindo HPD (baseado em densidade), C-PCP, L-CP, ECM (covariância empírica) e OT (transporte ótimo).

• Cobertura Condicional: O método alcança cobertura condicional mais próxima do nível alvo (e.g., 90%) do que baselines multivariadas existentes, superando particularmente métodos "apenas marginais" que supercobrem em algumas regiões para compensar subcobertura em outras.
• Tamanho do Conjunto: O método produz conjuntos conformais mais apertados (menor volume) comparado a métodos baseados em densidade, mantendo a cobertura.
• Eficiência Computacional: O método é significativamente mais rápido do que abordagens baseadas em densidade (HPD, PCP, C-PCP), que frequentemente exigem amostragem de Monte Carlo dispendiosa. Por exemplo, avaliar a cobertura para 1.000 pontos leva tempo negligenciável comparado aos centenas ou milhares de segundos exigidos pelas baselines.
• Robustez: O método performa bem mesmo quando a suposição Gaussiana subjacente é mal especificada (e.g., com ruído exponencial), sugerindo robustez além das suposições teóricas.

Significado e Alegações
O artigo alega que esta abordagem constitui um "passo encorajador" em direção ao objetivo de cobertura condicional confiável sob suposições mínimas. Ao evitar a necessidade de estimação completa de densidade condicional, o método oferece uma alternativa computacionalmente tratável e robusta que equilibra o trade-off entre as garantias estritas de cobertura marginal e a adaptabilidade da cobertura condicional. Os autores enfatizam que, embora a cobertura condicional estrita não possa ser garantida para todas as distribuições, o método a alcança assintoticamente para uma ampla classe e fornece cobertura aproximada robusta na prática. A capacidade de lidar com valores faltantes e refinar predições com informação parcial estende ainda mais a aplicabilidade da predição conformal a cenários do mundo real onde os dados são frequentemente incompletos ou parcialmente observados.