Resumo Técnico: Conformal Bayes sob Desvio de Rótulo (Label Shift)

1. Definição do Problema

O artigo aborda o desafio de construir conjuntos de predição estatisticamente válidos sob desvio de rótulo (label shift), um desvio de distribuição onde a distribuição marginal dos rótulos muda entre os domínios de origem ($p_s(y)$) e alvo ($p_t(y)$), enquanto a distribuição condicional das características permanece invariante ($p_t(x|y) = p_s(x|y)$).

No Conformal Bayes padrão, os conjuntos de predição são construídos usando a preditiva bayesiana posterior $p(y|x, D_{tr})$ e uma pontuação de não conformidade (tipicamente a densidade negativa de log-preditiva, NLPD). Sob desvio de rótulo, os dados de calibração extraídos do domínio de origem e os dados de teste do domínio alvo não são mais intercambiáveis sob a mesma medida. Consequentemente, conjuntos de predição calibrados em dados de origem falham em atingir o nível de cobertura nominal em pontos de teste do alvo. Este problema é particularmente relevante em domínios como a otimização de compostos líderes (lead-optimization), onde os dados de treinamento são enriquecidos com compostos de alta atividade, mas as predições são necessárias sobre uma biblioteca química completa com uma distribuição de rótulos diferente.

2. Metodologia

Os autores propõem um framework unificado analisando duas estratégias complementares para restaurar a cobertura nominal no domínio alvo. Ambas as estratégias dependem da calibração ponderada por importância (IW - importance-weighted) para garantir a validade, mas diferem fundamentalmente na forma como ajustam a geometria preditiva.

Premissas Fundamentais

1. Desvio de Rótulo (Invariância Condicional): $p_t(x|y) = p_s(x|y)$, mas $p_t(y) \neq p_s(y)$.
2. Razão de Densidade: O desvio é modelado via inclinação exponencial (exponential tilting): $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$, onde $\beta$ é um parâmetro conhecido (ou estimado).
3. Modelo: Um backbone congelado $\phi(x)$ com uma cabeça linear gaussiana: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$.

Estratégia A: Calibração Post-Hoc (Inclinação Preditiva)

• Mecanismo: A posterior de parâmetros $\pi_s(\theta|D_{tr})$ permanece inalterada. A correção é aplicada ao nível preditivo.
• Processo:
  1. A preditiva alvo é derivada inclinando a preditiva de origem: $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$.
  2. A pontuação de não conformidade é o log-negativo da densidade desta preditiva inclinada: $s_A(x, y) = -\log p_A(y|x, D_{tr})$.
  3. O limiar de conformidade é computado usando um quantil ponderado pela importância das pontuações de calibração.
• Geometria: O centro do conjunto de predição resultante inclui um deslocamento proporcional à incerteza epistêmica ($\phi(x)^\top \Sigma_\theta \phi(x)$). Entradas distantes da distribuição de treinamento recebem intervalos mais largos.
• Requisitos: Não requer acesso ao pipeline de treinamento; trata o modelo de origem como uma caixa preta.

Estratégia B: Adaptação Durante o Treinamento (Inclinação de Posterior)

• M mecanismo: A correção é aplicada ao nível de parâmetros antes da calibração.
• Processo:
  1. Uma posterior "inclinada para o alvo" é construída ajustando a posterior de origem usando razões de verossimilhança por observação: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$.
  2. Para cabeças gaussianas, isso resulta em uma posterior gaussiana de forma fechada com uma média deslocada: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$, onde $\bar{\phi}$ é a média das características do conjunto de treinamento.
  3. A pontuação de não conformidade é a NLPD da distribuição preditiva derivada desta posterior corrigida.
  4. O limiar de conformidade utiliza o mesmo quantil ponderado pela importância da Estratégia A.
• Geometria: O deslocamento no centro do conjunto de predição depende da similaridade entre o ponto de teste e a distribuição de treinamento ($\phi(x)^\top \bar{\phi}$), em vez da incerteza epistêmica.
• Requisitos: Requer acesso ao pipeline de treinamento e às características de treinamento para computar a correção da média.

Pipeline Algorítmico

Ambas as estratégias seguem um pipeline unificado (Algoritmo 1):

1. Computar os parâmetros da regressão linear bayesiana de origem.
2. Computar a função de pontuação (seja $s_A$ ou $s_B$).
3. Pontuar o conjunto de calibração.
4. Computar o limiar de quantil ponderado pela importância.
5. Construir o conjunto de predição $C(x) = \{y : s(x, y) \leq \hat{q}\}$.

3. Principais Contribuições

1. Framework Unificado: Uma separação da validade (governada pelo quantil ponderado pela importância) da eficiência (governada pela escolha da geometria da pontuação: inclinação preditiva vs. de posterior).
2. Soluções de Forma Fechada: Derivação de uma posterior inclinada para o alvo de forma fechada para cabeças gaussianas, permitindo o cálculo exato da distribuição preditiva corrigida.
3. Análise Comparativa: Uma comparação direta identificando os regimes onde cada estratégia é preferível:
   • Treinamento Não Enviesado: Ambas as estratégias alcançam cobertura válida, mas a Estratégia A (Inclinação Preditiva) produz intervalos mais estreitos. A Estratégia B introduz viés desnecessário se os dados de origem já forem representativos.
   • Treinamento Enviesado/Enriquecido (Otimização de Compostos Líderes): A Estratégia B atua como um operador de debiasing (redução de viés). Ao corrigir a posterior de parâmetros, ela reduz o viés de parâmetros, o viés preditivo e a largura do intervalo simultaneamente, mantendo a cobertura válida.

4. Resultados Experimentais

Os autores avaliam os métodos em dados sintéticos de regressão linear gaussiana sob dois regimes:

• Experimento 1 (Regime Não Enviesado): Os dados de treinamento são uma amostra uniforme da distribuição de origem.

  • Cobertura: Todos os métodos que usam o quantil IW (CB-IW, Estratégia A, Estratégia B) mantêm a cobertura nominal de 90%, independentemente da intensidade do desvio de rótulo ($\beta$). O baseline não ponderado falha, perdendo cobertura conforme $\beta$ aumenta.
  • Eficiência: A Estratégia A produz os intervalos mais estreitos. A Estratégia B é mais larga porque a correção MAP move a posterior para longe da verdade em um cenário não enviesado.

• Experimento 2 (Regime de Otimização de Compostos Líderes): Os dados de treinamento são enriquecidos para compostos de alta resposta (origem enviesada).

  • Cobertura: Todos os métodos baseados em IW mantêm cobertura válida de 90%. O baseline não ponderado sobre-cobre (91–95%) devido a pontuações de calibração infladas pelo modelo enviesado.
  • Debiasing: A Estratégia B reduz o viés de parâmetros em aproximadamente 40% e o viés preditivo em 34% comparado à posterior de origem enviesada.
  • Eficiência: A Estratégia B produz intervalos estritamente mais estreitos do que a Estratégia A (redução de até 16% na largura em $\beta=0.6$) mantendo a mesma cobertura. Isso demonstra que corrigir a posterior de parâmetros é mais eficiente do que corrigir a densidade preditiva quando os dados de treinamento de origem são enviesados.

5. Significância e Alegações

O artigo afirma fornecer uma visão unificada e principista para lidar com o desvio de rótulo no Conformal Bayes: sua principal significância reside na distinção entre calibração para validade e adaptação para eficiência:

• A validade é garantida unicamente pela regra do quantil ponderado pela importância, independentemente de a pontuação ser corrigida post-hoc ou durante o treinamento.
• A eficiência é dependente do contexto. Em cenários não enviesados, a inclinação preditiva post-hoc é superior, pois evita alterar a posterior de parâmetros. No entanto, em cenários com dados de treinamento enriquecidos/enviesados (comuns em otimização de compostos líderes), a adaptação de posterior durante o treinamento atua como um passo de debiasing necessário, melhorando tanto a precisão do modelo subjacente quanto a eficiência dos conjuntos de predição.

Os autores observam que o framework atualmente depende de premissas fortes (desvio de rótulo puro, parâmetro de inclinação conhecido, cabeças lineares gaussianas) e validação sintética. Eles sugerem que a extensão para modelos profundos requer inferência aproximada (ex: aproximação de Laplace) e que a validação no mundo real é deixada para trabalhos futuros. Eles também delineiam um procedimento de dois passos para estimar $\beta$ sem dados rotulados do alvo usando pseudo-rótulos, referenciando um artigo complementar para aplicações em propriedades moleculares.