Minimum Volume Conformal Sets for Multivariate Regression

1. Problema e Motivação

A conformal prediction (predição conformal) oferece um framework rigoroso para construir conjuntos preditivos com validade de amostra finita, garantindo que a resposta verdadeira esteja contida no conjunto com probabilidade de pelo menos $1-\alpha$. Enquanto métodos univariados são bem estabelecidos (ex: intervalos de quantis), a extensão para regressão multivariada (onde a resposta $Y \in \mathbb{R}^k$ é vetorial) apresenta desafios significativos:

• Dependências entre dimensões: Métodos simples que criam produtos cartesianos de intervalos marginais ignoram as correlações entre as variáveis de resposta, resultando em conjuntos preditivos excessivamente conservadores e ineficientes (grandes volumes).
• Limitações Geométricas: Alternativas estruturadas, como conjuntos elipsoidais baseados em covariância empírica, assumem simetria elíptica, o que falha em capturar distribuições complexas, multimodais ou assimétricas.
• Custo Computacional e Volume: Métodos flexíveis (baseados em cópulas, estimadores de densidade ou transporte ótimo) podem modelar dependências complexas, mas frequentemente carecem de um critério explícito de minimização de volume, levando a conjuntos desnecessariamente grandes, ou são computacionalmente proibitivos em altas dimensões.

O objetivo deste trabalho é desenvolver um framework que aprenda conjuntos preditivos multivariados que sejam validos (garantia de cobertura), adaptativos à geometria dos dados e mínimos em volume.

2. Metodologia

Os autores propõem uma abordagem baseada em otimização que integra a aprendizagem do modelo preditivo, a estrutura de incerteza e a conformalização.

A. Conjuntos de Cobertura de Volume Mínimo (MVCS)

O núcleo da proposta é a formulação de um problema de otimização para encontrar o conjunto de menor volume que contém uma fração $1-\alpha$ de um conjunto de pontos dados.

• Formulação Geral: O conjunto é definido por uma bola sob uma norma arbitrária $\|\cdot\|$, centrada em $\mu$ e transformada por uma matriz $M \succeq 0$: $B(\|\cdot\|, M, \mu) = \{y \mid \|M(y-\mu)\| \le 1\}$.
• Otimização da Norma ($p$-norms): Em vez de fixar a norma (ex: Euclidiana $p=2$), o método aprende o parâmetro $p \in (0, \infty)$. Isso permite que o conjunto se adapte à geometria dos resíduos (ex: formas alongadas para $p < 1$, elipsoidais para $p=2$, retangulares para $p \to \infty$).
• Multi-normas: Para capturar assimetrias locais, o espaço é particionado em regiões, cada uma com sua própria norma $p_j$ e transformação, permitindo conjuntos preditivos altamente flexíveis e não convexos globalmente.
• Reformulação do Problema: O problema original é não convexo e NP-difícil devido à restrição de cardinalidade. Os autores propõem uma reformulação exata usando uma estrutura Diferença de Funções Convexas (DC) e uma relaxação convexa.
  • Utilizam o algoritmo DCA (Difference-of-Convex Algorithm) para otimização local eficiente.
  • Para a versão que aprende $p$, utilizam métodos de otimização de primeira ordem (gradiente descendente/Adam) com reparametrizações para lidar com restrições (ex: $M = AA^T$ para garantir semidefinida positiva).

B. Aprendizado Supervisionado Integrado

Diferente dos métodos conformais tradicionais que ajustam o conjunto post-hoc (após treinar o modelo), esta abordagem otimiza conjuntamente:

1. O modelo preditivo $f_\theta$.
2. A transformação de incerteza $M(x)$ (que pode ser dependente de $x$ para adaptividade local).
3. A estrutura da norma ($p$).

Isso resulta em um modelo que não apenas minimiza o erro de previsão, mas também ajusta sua forma para gerar o menor conjunto de incerteza possível.

C. Conformalização

Para garantir a validade de amostra finita em dados de teste não vistos:

• O framework utiliza o esquema de Split Conformal Prediction.
• Um conjunto de calibração separado é usado para calcular escores de não conformidade baseados nas MVCS aprendidas.
• Um limiar (quantil empírico) é calculado para escalar o conjunto preditivo, garantindo a cobertura marginal $1-\alpha$ sem assumir distribuições específicas para os resíduos.

3. Contribuições Principais

1. Framework de Otimização para MVCS: Introdução de um método geral para construir conjuntos de volume mínimo em $\mathbb{R}^k$ usando normas arbitrárias e adaptativas, com formulações DC e relaxações convexas para computação eficiente.
2. Aprendizado Supervisionado com Conjuntos Adaptativos: Proposição de um esquema de otimização integrado que aprende simultaneamente o preditor e a estrutura de incerteza (norma e transformação), eliminando a necessidade de correções de viés separadas e produzindo conjuntos mais apertados.
3. Conformalização de MVCS: Integração do framework de otimização com a teoria conformal, garantindo cobertura finita rigorosa enquanto preserva a forma adaptativa e mínima dos conjuntos aprendidos.
4. Flexibilidade Geométrica: Capacidade de aprender normas únicas ou múltiplas (multi-normas) que se adaptam a distribuições complexas, heterocedásticas e assimétricas, superando as limitações de métodos elipsoidais ou retangulares rígidos.

4. Resultados Experimentais

Os autores validaram a metodologia em dados sintéticos e nove conjuntos de dados reais de benchmark.

• Dados Sintéticos:

  • Em cenários com ruído exponencial, gaussiano e heterocedástico (dependente de $X$), o método MVCS produziu conjuntos com volume significativamente menor (normalizado pela dimensão) em comparação com:
    • Regressão de Quantis Ingênua (Naïve QR).
    • Matriz de Covariância Empírica Global.
    • Matriz de Covariância Empírica Local.
  • O método manteve a cobertura marginal desejada (ex: 90% ou 99%) em todos os cenários.
  • Demonstrou robustez a outliers, onde métodos baseados em quantis falharam devido ao deslocamento dos quantis ótimos.

• Dados Reais:

  • Testado em 9 datasets (ex: Energy, House, Taxi, etc.).
  • O método MVCS alcançou o menor volume médio em 16 de 18 experimentos (para $\alpha=0.1$ e $\alpha=0.01$), mantendo a cobertura válida.
  • A adaptação local (onde a forma do conjunto muda com $X$) provou ser crucial para capturar a heterocedasticidade, superando abordagens globais.

5. Significado e Impacto

Este trabalho representa um avanço significativo na quantificação de incerteza multivariada ao resolver o dilema entre validade, eficiência (volume) e flexibilidade.

• Eficiência: Ao minimizar explicitamente o volume, os conjuntos preditivos são mais informativos e menos conservadores do que os métodos tradicionais, o que é crucial para tomada de decisão em aplicações críticas.
• Adaptabilidade: A capacidade de aprender a geometria do conjunto (via $p$ e multi-normas) permite que o modelo se ajuste a distribuições de resíduos complexas e não gaussianas, algo que métodos baseados em covariância não conseguem fazer.
• Escalabilidade: A reformulação do problema permite o uso de otimizadores de primeira ordem modernos, tornando o método escalável para dados de alta dimensão e grandes volumes, ao contrário de métodos baseados em transporte ótimo ou densidade que são computacionalmente caros.

Em resumo, a proposta oferece um framework unificado, baseado em dados, para gerar conjuntos preditivos multivariados que são matematicamente válidos, geometricamente adaptativos e otimizados para serem o mais compactos possível.