Resumo Técnico: Sistemas Preditivos Conformes Generalizados sob Deslocamentos Distribuicionais

1. Definição do Problema

Sistemas de aprendizado de máquina implantados em contextos de tomada de decisão requerem não apenas previsões pontuais precisadas, mas também quantificação de incerteza estatisticamente confiável. Especificamente, as distribuições preditivas devem ser calibradas, o que significa que as probabilidades previstas devem corresponder às frequências empíricas, e os intervalos de predição devem atingir sua cobertura alvo.

Um obstáculo primário para alcançar a calibração fora da amostra é o deslocamento distributivo (distributional shift). Métodos clássicos de predição conformal dependem da suposição de permutabilidade (exchangeability) — que os pontos de dados são identicamente distribuídos e independentes da ordem. Essa suposição é rotineiramente violada na prática por:

• Deslocamento de covariáveis (covariate shift): mudanças na distribuição de entrada.
• Deslocamento de rótulos (label shift).
• Deriva temporal (temporal drift).
• Coleta de dados adaptativa ou impulsionada por feedback (ex: em design biomolecular).

Embora trabalhos anteriores tenham estendido os Sistemas Preditivos Conformes (CPS) para regimes de deslocamento específicos (ex: deslocamento de covariável conhecido via razões de verossimilhança), faltava um framework geral para Sistemas Preditivos Conformes Generalizados (GCPS) que lidasse com deslocamentos distributivos arbitrários enquanto considera a incerteza na estimativa dos pesos de deslocamento. O desafio central é construir envelopes preditivos (conjuntos de Funções de Distribuição Acumulada, CDFs) que permaneçam válidos e calibrados mesmo quando o ponto de teste é extraído de uma distribuição diferente dos dados de treinamento, e quando os pesos que corrigem esse deslocamento são estimados em vez de conhecidos.

2. Metodologia

2.1. Framework Teórico: Pesos de Permutação

Os autores estendem o GCPS para cenários não permutáveis modelando os efeitos de ordenação através de pesos de permutação. Em vez de assumir que o ponto de teste $Z_{n+1}$ é permutável com o conjunto de treinamento $\{Z_1, \dots, Z_n\}$, o método condiciona no multiconjunto não ordenado de átomos observados. A identidade do ponto de teste entre esses átomos é modelada como uma extração ponderada com probabilidades $w_i$.

• Lei Empírica Ponderada: Para um valor de resposta candidato $y'$, o método constrói uma medida observada ponderada $\mu_{obs}$ e uma medida hipotética completa $\tilde{\mu}$ incorporando o ponto de teste com seu peso realizado $w_{n+1}$.
• Envelopes Sensíveis ao Deslocamento: O sistema preditivo é construído inserindo o átomo de teste com seu peso específico no conjunto de calibração. O Teorema 1 estabelece que, se o procedimento de regressão distributiva subjacente $G$ for calibrado dentro da amostra (probabilístico, isotônico ou autocalibrado), o sistema preditivo resultante $\Pi[X_{n+1}]$ contém uma CDF preditiva calibrada para $Y_{n+1}$ sob a verdadeira lei (potencialmente não permutável).

2.2. Lidar com a Incerteza dos Pesos

Na prática, os pesos de deslocamento raramente são conhecidos e devem ser estimados (ex: via razões de densidade), introduzindo incerteza epistêmica. Para abordar isso, os autores introduzem caixas de incerteza de peso:

• Definição: Uma caixa multiplicativa por coordenada em torno dos pesos estimados $\hat{w}_i$, definida como $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$.
• Região de Confiança: Esta caixa $WWU_\alpha$ é tratada como uma região de confiança de $(1-\alpha)$ para os verdadeiros pesos.
• Envelopes Robustos: O método constrói envelopes de CDF robustos ao peso ao otimizar os limites do sistema preditivo sobre todos os vetores de peso dentro da caixa de incerteza. Isso resulta em um conjunto de CDFs que garante a contenção de uma distribuição calibrada com probabilidade de pelo menos $1-\alpha$, mesmo que os pesos sejam mal especificados dentro da caixa.

2.3. Computação Eficiente

O artigo deriva regras de computação eficiente para três instâncias específicas de $G$, evitando a necessidade de uma varredura ingênua sobre todos os valores candidatos de $y'$:

1. Agrupamento Conformal (CBIN): Utiliza CDFs empíricas ponderadas dentro de agrupamentos (bins). Os envelopes robustos possuem expressões de forma fechada derivadas ao empurrar os átomos com $Y_i \leq y$ para seus limites superiores de peso e aqueles com $Y_i > y$ para seus limites inferiores.
2. CPS de Medida de Conformidade (CMCPS): Aplica a mesma lógica que o CBIN, mas opera sobre escores de conformidade em vez de resultados brutos.
3. Regressão Distributiva Isotônica Conforme (CIDR): Utiliza regressão antitônica. Os envelopes robustos são computados executando a rotina de regressão isotônica (PAVA) duas vezes: uma com os pesos definidos em seus limites superiores e outra com os limites inferiores, dependendo dos valores dos indicadores.

3. Principais Contribuições

O artigo apresenta três contribuições principais:

1. Extensão para Não-Permutabilidade: Estende o GCPS para sequências não permutáveis ao codificar os desvios da permutabilidade via pesos de permutação, construindo envelopes preditivos sensíveis ao deslocamento que permanecem válidos sob deslocamentos distributivos arbitrários.
2. Robustez à Incerteza de Peso: Desenvolve sistemas preditivos robustos baseados em caixas de incerteza de peso. Estas fornecem garantias de confiança de amostra finita ou assintótica de que o envelope contém uma CDF preditiva calibrada, sendo a espessura do envelope um reflexo tanto da incerteza de amostra finita quanto da má especificação do peso.
3. Algoritmos Eficientes e Validação Empírica: Fornece regras de avaliação eficientes e formas fechadas para CBIN, CMCPS e CIDR. Demonstra empiricamente que a ponderação sensível ao deslocamento melhora o desempenho preditivo e preserva a calibração sob deslocamento de covariável por feedback, enquanto a largura da banda quantifica efetivamente a incerteza epistêmica.

4. Resultados Experimentais

4.1. Deslocamento de Covariável Sintético

Experimentos foram conduzidos em uma tarefa de regressão 5D com deslocamento de covariável.

• Calibração: Métodos não ponderados apresentaram subcobertura significativa (cobertura $\approx 0,83-0,88$ vs. nominal de $0,90$).
• Métodos Ponderados: A ponderação Oracle e a estimada restauraram a cobertura para níveis próximos ao nominal ($\approx 0,91-0,93$).
• Propagação de Incerteza: O método "Estimativa de peso de CI" (usando a caixa de incerteza) foi o mais conservador, alcançando cobertura de até $\approx 0,97$. Isso ocorreu ao custo de um CRPS (Pontuação de Probabilidade Classificada Contínua) ligeiramente maior e bandas mais largas, refletindo corretamente a incerteza epistêmica adicional da estimativa de peso.
• Tamanho da Amostra: À medida que o treinamento e o tamanho da amostra de calibração aumentavam, as bandas conformes tornavam-se mais estreitas, indicando redução da incerteza epistêmica.

4.2. Design Biomolecular Baseado em Feedback (Capsídeos AAV)

O método foi aplicado ao design de empacotamento de capsídeos de vírus Adeno-associado (AAV), um cenário envolvendo Deslocamento de Covariável por Feedback (FCS), onde as distribuições de teste são projetadas com base nas previsões do modelo.

• Configuração: As distribuições de teste foram geradas com variando parâmetros de "temperatura inversa" ($\lambda$), deslocando a massa para sequências com alta aptidão de empacotamento prevista.
• Desempenho: A ponderação por importância restaurou a cobertura próxima à nominal em todo o espectro de deslocamentos comparado às variantes não ponderadas.
• Deslocamentos Extremos: No deslocamento mais extremo ($\lambda=7$), os métodos ponderados mostraram um CRPS ligeiramente pior e bandas mais largas, consistentes com um colapso no tamanho de amostra efetivo e aumento da incza incerteza epistêmica.
• Confiabilidade: Os procedimentos ponderados mantiveram boa calibração para resultados de alto valor e raros (eventos extremos), confirmando sua utilidade em configurações de design de alto risco.

5. Significância e Alegações

O artigo afirma estabelecer a primeira garantia de calibração fora da amostra para preditores do tipo Venn-Abers (um caso especial de IDR conforme) sob deslocamentos distributivos e incerteza de peso dentro de um framework unificado de sistemas preditivos.

Os autores enfatizam que a largura da banda preditiva é uma métrica informativa da incerteza epistêmica. Em seu cenário de sensibilidade ao deslocamento, a largura da banda captura tanto a incerteza no aprendizado da distribuição condicional $Y|X$ quanto a incerteza na estimativa dos pesos de deslocamento. Isso permite aos praticantes:

• Relatar uma previsão representativa única para uso rotineiro.
• Relatar simultaneamente limites implícitos pela banda sobre quantidades relevantes para a decisão (ex: riscos de cauda) para garantir que as decisões sejam robustas à incerteza epistêmica.

O trabalho posiciona o GCPS não meramente como um wrapper para escores de conformidade, mas como um framework de calibração flexível que pode envolver qualquer procedimento de regressão distributiva calibrado dentro da amostra, estendendo sua validade muito além da suposição de permutabilidade.

6. Limitações

Os autores observam duas limitações específicas:

1. Regiões de Confiança Conjuntas: O Teorema 2 exige que a caixa de incerteza de peso seja uma região de confiança conjunta válida para os verdadeiros pesos. Nos experimentos, esta foi construída assintoticamente via um modelo de propensão ajustado.
2. Conjuntos Ativos Fixos: Os envelopes de forma fechada para CBIN e CIDR assumem que o conjunto ativo (para agrupamento) ou a ordenação (para IDR) é fixo através da caixa de incerteza. Isso restringe as escolhas de agrupamento e ordenação às definidas antes da ponderação.