Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Resumo Técnico: Conformal Bayes para Regressão Gaussiana com Censura de Dois Lados sob Deslocamento de Rótulo (Label Shift)

1. Definição do Problema

O artigo aborda o desafio de construir conjuntos de predição válidos para tarefas de regressão onde a variável de resposta está sujeita a censura de dois lados e deslocamento de rótulo (label shift).

• Censura de Dois Lados: As respostas contínuas latentes $Y^*$ são observadas como $\tilde{Y} = T(Y^*)$, onde valores abaixo de um limite inferior $L$ são registrados como $L$, valores acima de um limite superior $U$ são registrados como $U$, e valores dentro de $(L, U)$ são observados exatamente. Isso cria um espaço de observação misto $\{L\} \cup (L, U) \cup \{U\}$ com massas pontuais (átomos) nos limites e uma densidade contínua no interior.
• Deslocamento de Rótulo (Label Shift): A distribuição marginal da resposta muda entre os ambientes de treinamento (fonte) e implantação (alvo).
• A Dificuldade Central: A predição conformal padrão assume respostas contínuas. Neste cenário, a distribuição observada é uma mistura de átomos discretos e densidade contínua. Além disso, um deslocamento de rótulo latente (um inclinação exponencial sobre o $Y^*$ não observado) não induz uma simples razão de densidade na escala censurada observada. Em vez disso, o deslocamento induz pesos de média de cauda nos átomos das extremidades e uma razão de densidade padrão no interior. Esse descompasso complica tanto a calibração da cobertura quanto a geometria dos conjuntos de predição.

2. Metodologia

O método proposto, Weighted Tilted Conformal Bayes (WT), combina modelagem preditiva bayesiana com calibração conformal ponderada no espaço misto observado.

A. Cabeça de Predição Bayesiana
Os autores empregam um modelo Tobit Gaussiano de dois lados com uma aproximação de posterior de Laplace.

• Modelo Latente: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$.
• Posterior: Aproximada como $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ via aproximação de Laplace no MAP.
• Distribuição Preditiva: A distribuição preditiva resultante para o $\tilde{Y}$ observado é uma medida mista:
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  onde $\pi_L, \pi_U$ são as probabilidades de cauda censuradas e $f_s$ é a densidade Gaussiana interior.

B. Pesos de Importância em Espaço Misto
Para corrigir o deslocamento de rótulo, o método define um peso de importância de espaço misto $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$.

• Interior ($L < \tilde{y} < U$): O peso é uma razão de densidade comum, modelada como uma inclinação exponencial $w(\tilde{y}) \propto \exp(\beta \tilde{y})$.
• Átomos ($\tilde{y} = L$ ou $U$): O peso é a razão das probabilidades de censura marginal ($\rho_{t,L}/\rho_{s,L}$ e $\rho_{t,U}/\rho_{s,U}$).
• Insight Chave: Uma inclinação exponencial latente induz pesos de média de cauda nos átomos, que são geralmente dependentes da entrada. O algoritmo prático aproxima esses pesos com razões marginais escalares, uma distinção que o artigo destaca explicitamente como fonte de erro de aproximação.

C. Inclinação Preditiva e Calibração
O método distingue entre o score (que determina a geometria do conjunto) e o peso (que determina a validade da calibração).

1. Distribuição Preditiva Inclinada (Tilted): A distribuição preditiva da fonte é inclinada pela razão de rótulo observada para alinhar-se com a distribuição alvo:
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   Isso gera uma nova distribuição mista com um normalizador de três termos em forma fechada $Z(x)$, ajustando tanto a média interior quanto as massas dos átomos.
2. Score: O score conformal é o logaritmo negativo da densidade da distribuição preditiva inclinada: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$.
3. Calibração: Um quantil conformal ponderado é computado usando os dados da fonte, onde cada amostra é ponderada pelo ratio marginal observado no espaço $w(\tilde{y})$.

D. Conjuntos de Predição (Mixed-HDR)
O conjunto de predição resultante é uma Região de Densidade Máxima Mista (Mixed-HDR). Ela é definida como o nível de contorno da densidade mista inclinada:
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
Devido à medida mista, este conjunto pode assumir três formas:

1. Um intervalo interior $[y_\ell, y_u]$.
2. Um intervalo interior unido a um ou ambos os átomos de fronteira (ex: $\{L\} \cup [y_\ell, y_u]$).
3. Um conjunto de apenas átomos (ex: $\{U\}$) sob censura forte ou deslocamento extremo.

3. Principais Contribuições

O artigo apresenta quatro contribuições técnicas primárias:

1. Normalizador Inclinado em Forma Fechada: Derivação das distribuições preditivas da fonte e inclinadas para um modelo Tobit de dois lados com aproximação de Laplace. O normalizador inclinado decompõe-se em termos de átomo esquerdo, interior e átomo direito, permitindo o cálculo exato da lei preditiva mista.
2. Caracterização do Deslocamento Latente-para-Observado: Identificação de que um deslocamento de rótulo latente não mapeia para uma única razão de densidade na escala observada. Em vez disso, cria um peso misto onde os componentes dos átomos são razões de média de cauda e o interior é uma razão de densidade. O artigo distingue explicitamente o pushforward latente exato da aproximação marginal prática.
3. Geometria de Mixed-HDR: Caracterização de conjuntos de predição no espaço censurado. Os conjuntos são uniões de átomos de fronteira opcionais e um único intervalo interior. O artigo prova que conjuntos desconectados (ex: $\{L\} \cup \{U\}$ com um intervalo entre eles) são não-genéricos sob a cabeça de predição Gaussiana.
4. Hierarquia de Métodos e Eficiência: Comparação de três configurações de calibração:
   • UT (Unweighted Tilted): Usa scores inclinados, mas sem pesos (mal calibrado sob deslocamento).
   • WS (Weighted Source): Usa scores da fonte com pesos (válido, mas com geometria subótima).
   • WT (Weighted Tilted): Usa scores inclinados com pesos (válido e eficiente).
     A análise mostra que o WT restaura a cobertura marginal enquanto reduz significativamente o tamanho dos conjuntos em comparação ao WS.

4. Resultados Experimentais

Experimentos sintéticos em um modelo de regressão Gaussiana latente com censura de dois lados demonstram:

• Validade da Cobertura: A regra WT candidata-ponderada exata atinge a cobertura marginal nominal (ex: 90%) sob deslocamento de rótulo, enquanto métodos não ponderados (UT) superestimam ou subestimam a cobertura dependendo da direção do deslocamento.
• Eficiência: O WT produz conjuntos de predição significativamente menores que o WS. Para um parâmetro de deslocamento $\beta=1.2$, o tamanho médio do conjunto diminuiu de 2.894 (WS) para 1.740 (WT), uma redução de ~40%.
• Gap de Aproximação: Estimadores que ignoram a variância residual (pseudo-rótulos de ponto) sofem de compressão de variância, levando a estimativas de inclinação atenuadas e conjuntos excessivamente grandes. A amostragem preditiva inclinada mostra-se como o padrão principiado para estimar o parâmetro de inclinação $\beta$, restaurando a variância necessária.
• Adaptação de Geometria: À medida que a intensidade da censura aumenta, os conjuntos de predição transitam de intervalos interiores para conjuntos dominados por átomos de fronteira. Sob censura forte, os conjuntos frequentemente colapsam para átomos únicos (ex: $\{U\}$), refletindo corretamente a incerteza de que o valor real está além do limite de detecção.
• Estimativa de Razão de Densidade: O uso de amostragem preditiva inclinada é fundamental para evitar a compressão de variância que ocorre quando se ignora a variância residual.

5. Significância e Alegações

O artigo afirma fornecer um framework rigoroso para predição conformal em cenários onde as respostas são censuradas e as distribuições sofrem deslocamento.

• Separação Teórica: Ele separa claramente a validade (garantida pela identidade de importância de espaço misto e calibração ponderada) da eficiência (garantida pelo score inclinado e geometria de mixed-HDR).
• Novidade da Censura: O trabalho enfatiza que o deslocamento de rótulo censurado não é meramente uma variante notacional do deslocamento contínuo. A transformação "latente-para-misto" cria sutilezas técnicas únicas, especificamente a natureza de média de cauda dos pesos dos átomos e a resultante geometria de mixed-HDR.
• Utilidade Prática: O método oferece uma solução computacionalmente tratável (expressões em forma fechada) que se adapta ao regime de censura específico, evitando a ineficiência de tratar fronteiras censuradas como valores numéricos comuns.

Os autores mencionam limitações, incluindo a dependência da aproximação de Laplace e a suposição de erros Gaussianos latentes, e identificam trabalhos futuros em likelihoods não-Gaussianas e aplicações em dados moleculares reais.