Resumo Técnico: Predição Conformal com Múltiplas Distribuições (Multi-Distribution Robust Conformal Prediction)

Definição do Problema

O artigo aborda o desafio de construir conjuntos de predição que mantenham garantias de cobertura válidas quando os dados de teste podem originar-se de um membro arbitrário ou de uma mistura de $K$ distribuições heterogêneas de origem. Em muitos cenários do mundo real — como a predição de risco clínico entre diferentes hospitais, a equidade (fairness) entre grupos protegidos sem a observação de rótulos de grupo, ou aprendizado de múltiplas fontes — a distribuição de teste é desconhecida e pode diferir significativamente da distribuição de treinamento.

A predição conformal padrão, quando calibrada em dados agrupados (pooled), garante apenas a cobertura para a mistura específica de distribuição induzida pela amostra de treinamento. Por outro lado, calibrar em uma única fonte falha em garantir a cobertura quando o ponto de teste provém de uma fonte diferente. Os autores formalizam o objetivo como a construção de um único conjunto de predição $\hat{C}(X_{n+1})$ que alcance cobertura uniforme:
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
Isso garante que a garantia de cobertura se aplique simultaneamente a todas as possíveis distribuições de origem, independentemente de qual delas gerou o ponto de teste.

Metodologia: Predição Conformal de Múltiplas Distribuições (MDCP)

O framework proposto, MDCP, consiste em dois componentes principais: um mecanismo de validade e uma estratégia de otimização de eficiência.

1. Agregação Max-p para Validade

A base do método é um esquema de agregação livre de distribuição (distribution-free).

• P-valores de Fonte Única: Para cada fonte $k$, um escore de conformidade $s_k$ é computado. Um p-valor conformal $p^{(k)}(y)$ é derivado para um rótulo candidato $y$ com base na dobra de calibração da fonte $k$.
• Agregação: O método agrega esses p-valores calculando o seu máximo: $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• Conjunto de Predição: O conjunto de predição final é o conjunto de rótulos onde o p-valor agregado é superior ao nível de significância $\alpha$: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• Garantia Teórica: Os autores provam que este conjunto agregado é exatamente a união dos conjuntos conformais de fonte única. Consequentemente, ele fornece validade uniforme de amostra finita para qualquer mistura das distribuições de origem, sem exigir o conhecimento da origem do ponto de teste.

2. Otimização de Eficiência via Formulação Dual

Embora a agregação max-p garanta a validade, aplicar o método ingenuamente aos escores padrão de fonte única frequentemente resulta em conjuntos de predição excessivamente conservadores (grandes). Para abordar isso, o artigo deriva o conjunto de predição ótimo ao nível populacional que minimiza o tamanho sujeito a restrições de cobertura uniforme.

• Escore Ótimo: Os autores mostram que o conjunto de predição ótimo corresponde ao conjunto supernível de um escore de conformidade "compartilhado" $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$, onde $f_k$ é a densidade condicional da fonte $k$ e $\lambda_k^*(x)$ são pesos duais não negativos.
• Aprendizado dos Pesos: Os pesos $\lambda_k^*(x)$ são determinados resolvendo um problema de otimização dual que equilibra as restrições de cobertura entre as fontes.
• Algoritmo Empírico: O artigo propõe um procedimento de ponta a ponta para aprender esses pesos:
  1. Ajustar modelos de densidade condicional (ou classificadores) para cada fonte e um modelo agrupado.
  2. Parametrizar as funções de peso $\lambda_k(x)$ (ex: usando splines ou redes neurais).
  3. Otimizar um objetivo dual empírico (derivado do Lagrangiano do problema populacional) para aprender os parâmetros $\hat{\Theta}$.
  4. Construir o conjunto MDCP final usando os escores aprendidos e a agregação max-p.

Principais Contribuições

1. Esquema de Agregação Max-p Geral: Introdução de um mecanismo simples e livre de distribuição que alcança cobertura uniforme de amostra finita através de múltiplas fontes heterogêneas ao agregar p-valores conformais de fonte única.
2. Caracterização da Otimalidade: Derivação teórica dos conjuntos de predição ótimos sob restrições de cobertura uniforme. Os autores provam que a agregação max-p é assintoticamente ótima e precisa quando combinada com os escores de conformidade corretamente aprendidos (especificamente, o escore compartilhado ótimo $h^*$).
3. Algoritmo de Ponta a Ponta: Um pipeline prático para aprender os escores de conformidade ótimos tanto para tarefas de classificação quanto de regressão, utilizando minimização de risco empírico sobre um objetivo dual.
4. Validação Empírica: Experimentos extensos demonstrando que o MDCP alcança uma cobertura de pior caso estrita enquanto reduz significativamente os tamanhos dos conjuntos de predição em comparação com baselines de agregação ingênua.

Resultados

O artigo avalia o MDCP em dados sintéticos e três conjuntos de dados do mundo real:

• Experimentos Sintéticos: Através de configurações lineares, não lineares e de temperatura variável (heterogeneidade) para classificação e regressão, o MDCP mantém consistentemente a cobertura de pior caso próxima ao nível nominal ($1-\alpha$). Em contraste, baselines de fonte única sofrem de subcobertura em dados deslocados, e a agregação ingênua (BASELINE-AGG) é excessivamente conservadora. O MDCP reduz os tamanhos dos conjuntos de predição em aproximadamente 34% na classificação e 22% na regressão em comparação com a agregação ingênua, aproximando-se frequentemente da eficiência de um oráculo com acesso às densidades reais.
• Aplicações no Mundo Real:
  • FMoW (Imagens de Satélite): Demonstra robustez contra deslocamentos geográficos em seis regiões. O MDCP fornece cobertura válida em todas as regiões com tamanhos de conjunto menores que alguns conjuntos de fonte única.
  • PovertyMap: Aborda deslocamentos urbano-rurais. O MDCP mantém cobertura estrita onde métodos de fonte única falham (cobertura tão baixa quanto 0.6) e a agregação ingênua é muito ampla.
  • MEPS (Gastos Médicos): Lida com a heterogeneidade entre grupos sensíveis (raça) sem exigir rótulos de grupo no momento da inferência. O MDCP alcança cobertura equalizada e intervalos mais curtos em comparação com os baselines.

Significância e Alegações

O artigo afirma que o MDCP oferece uma solução robusta para a quantificação de incerteza em ambientes heterogêneos, unindo a robustez distributiva e a equidade (fairness).

• Equidade sem Atributos Protegidos: O método permite garantias de cobertura condicional ao grupo (garantindo confiabilidade para todos os subgrupos) sem a necessidade de observar o atributo de grupo sensível no momento da inferência, abordando uma limitação crítica no aprendizado de máquina justo.
• Proteção contra Deslocamento de Subpopulação: Fornece garantias contra deslocamentos arbitrários de subpopulação, assegurando confiabilidade mesmo quando a distribuição de teste é uma mistura de fontes diferentes da mistura de treinamento.
• Compromisso Eficiência-Validade: O trabalho demonstra que é possível alcançar validade uniforme sem as severas penalidades de eficiência tipicamente associadas à robustez de pior caso, desde que se aprenda um escore de conformidade compartilhado apropriado.

Os autores posicionam o MDCP como uma alternativa prática à predição conformal padrão em cenários de múltiplas fontes, oferecendo garantias exatas de amostra finita e otimalidade assintótica sob condições de consistência brandas.