Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Resumen Técnico: Conformal Bayes para Regresión Gaussiana con Censura de Dos Lados bajo Desplazamiento de Etiquetas (Label Shift)

1. Planteamiento del Problema

El artículo aborda el desafío de construir conjuntos de predicción válidos para tareas de regresión donde la variable de respuesta está sujeta a censura de dos lados y desplazamiento de etiquetas (label shift).

• Censura de dos lados: Las respuestas continuas latentes $Y^*$ se observan como $\tilde{Y} = T(Y^*)$, donde los valores por debajo de un límite inferior $L$ se registran como $L$, los valores por encima de un límite superior $U$ se registran como $U$, y los valores dentro de $(L, U)$ se observan exactamente. Esto crea un espacio de observación mixto $\{L\} \cup (L, U) \cup \{U\}$ con masas puntuales (átomos) en los límites y una densidad continua en el interior.
• Desplazamiento de etiquetas: La distribución marginal de la respuesta cambia entre los entornos de entrenamiento (fuente) y despliegue (objetivo).
• La dificultad central: La predicción conformal estándar asume respuestas continuas. En este escenario, la distribución observada es una mezcla de átomos discretos y densidad continua. Además, un desplazamiento de etiqueta latente (un sesgo exponencial sobre el $Y^*$ no observado) no induce un simple cociente de densidades en la escala censurada observada. En cambio, el desplazamiento induce pesos promediados en las colas en los átomos de los límites y un cociente de densidades estándar en el interior. Este desajuste complica tanto la calibración de la cobertura como la geometría de los conjuntos de predicción.

2. Metodología

El método propuesto, Weighted Tilted Conformal Bayes (WT), combina el modelado predictivo bayesiano con la calibración conformal ponderada en el espacio mixto observado.

A. Cabeza de Predicción Bayesiana
Los autores emplean un modelo Tobit Gaussiano de dos lados con una aproximación de Laplace posterior.

• Modelo Latente: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$.
• Posterior: Aproximada como $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ mediante la aproximación de Laplace en el MAP.
• Distribución Predictiva: La distribución predictiva resultante para el $\tilde{Y}$ observado es una medida mixta:
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  donde $\pi_L, \pi_U$ son las probabilidades de cola censuradas y $f_s$ es la densidad gaussiana interior.

B. Pesos de Importancia en Espacio Mixto
Para corregir el desplazamiento de etiquetas, el método define un peso de importancia en el espacio mixto $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$.

• Interior ($L < \tilde{y} < U$): El peso es un cociente de densidades ordinario, modelado como un sesgo exponencial $w(\tilde{y}) \propto \exp(\beta \tilde{y})$.
• Átomos ($\tilde{y} = L$ o $U$): El peso es el cociente de las probabilidades marginales de censura ($\rho_{t,L}/\rho_{s,L}$ y $\rho_{t,U}/\rho_{s,U}$).
• Perspectiva clave: Un sesgo exponencial latente induce pesos de átomos promediados en las colas, que son generalmente dependientes de la entrada; el algoritmo práctico los aproxima con ratios marginales escalares, una distincción que el artículo resalta explícitamente como una fuente de error de aproximación.

C. Sesgo Predictivo (Predictive Tilting) y Calibración
El método distingue entre el score (que determina la geometría del conjunto) y el peso (que determina la validez de la calibración).

1. Distribución Predictiva Sesgada (Tilted): La distribución predictiva de la fuente se sesga mediante el ratio de etiquetas observado para alinearse con la distribución objetivo:
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   Esto genera una nueva distribución mixta con un normalizador de tres términos en forma cerrada $Z(x)$, ajustando tanto la media interior como las masas de los átomos.
2. Score: El score conformal es el logaritmo negativo de la densidad de la distribución predictiva sesgada: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$.
3. Calibración: Se calcula un cuantil conformal ponderado utilizando los datos de la fuente, donde cada muestra es ponderada por el ratio marginal en el espacio observado $w(\tilde{y})$.

D. Conjuntos de Predicción (Mixed-HDR)
El conjunto de predicción resultante es una Región de Máxima Densidad Mixta (Mixed-HDR). Se define como el conjunto de nivel de la densidad mixta sesgada:
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
Debido a la medida mixta, este conjunto puede tomar tres formas:

1. Un intervalo interior $[y_\ell, y_u]$.
2. Un intervalo interior unido con uno o ambos átomos de los límites (ej. $\{L\} \cup [y_\ell, y_u]$).
3. Un conjunto de solo átomos (ej. $\{U\}$) bajo fuerte censura o desplazamiento extremo.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones técnicas primarias:

1. Normalizador Sesgado en Forma Cerrada: Derivación de las distribuciones predictivas de la fuente y la sesgada para un modelo Tobit de dos lados con aproximación de Laplace. El normalizador sesgado se descompone en términos de átomo izquierdo, interior y átomo derecho, permitiendo el cálculo exacto de la ley predictiva mixta.
2. Caracterización del Desplazamiento Latente-a-Observado: Identificación de que un desplazamiento de etiqueta latente no mapea a un único cociente de densidades en la escala observada. En su lugar, crea un peso mixto donde los componentes de los átomos son ratios promediados en las colas y el interior es un cociente de densidades. El artículo distingue explícitamente el pushforward exacto latente del aproximación marginal práctica.
3. Geometría de Mixed-HDR: Caracterización de los conjuntos de predicción en el espacio censurado. Los conjuntos son uniones de átomos de frontera opcionales y un único intervalo interior. El artículo demuestra que los conjuntos desconectados (ej. $\{L\} \cup \{U\}$ con un hueco) son no genéricos bajo la cabeza de predicción gaussiana.
4. Jerarquía de Métodos y Eficiencia: Comparación de tres configuraciones de calibración:
   • UT (Unweighted Tilted): Utiliza scores sesgados pero sin pesos (mal calibrado bajo desplazamiento).
   • WS (Weighted Source): Utiliza scores de la fuente con pesos (válido pero con geometría subóptima).
   • WT (Weighted Tilted): Utiliza scores sesgados con pesos (válido y eficiente).
     El análisis muestra que WT restaura la cobertura marginal mientras reduce significativamente el tamaño de los conjuntos en comparación con WS.

4. Resultados Experimentales

Experimentos sintéticos en un modelo de regresión gaussiana latente con censura de dos lados demuestran:

• Validez de la Cobertura: La regla WT candidata ponderada exacta logra la cobertura marginal nominal (ej. 90%) bajo desplazamiento de etiquetas, mientras que los métodos no ponderados (UT) sobrecubren o subcubren dependiendo de la dirección del desplazamiento.
• Eficiencia: WT produce conjuntos de predicción significativamente más pequeños que WS. Para un parámetro de desplazamiento $\beta=1.2$, el tamaño medio del conjunto disminuyó de 2.894 (WS) a 1.740 (WT), una reducción de aproximadamente un 40%.
• Brecha de Aproximación: Los estimadores que utilizan la aproximación de "átomo escalar" (usando ratios marginales en lugar de promedios de cola dependientes de la entrada) y los umbrales de "solo calibración" introducen un error de cobertura marginal negligible dentro del régimen sintético probado, aunque no garantizan la cobertura componente a componente.
• Adaptación de la Geometía: A medida que aumenta la intensidad de la censura, los conjuntos de predicción transicionan de intervalos interiores a conjuntos dominados por átomos de frontera. Bajo censura fuerte, los conjuntos a menudo colapsan a átomos únicos (ej. $\{U\}$), reflejando correctamente la incertidumbre de que el valor real está más allá del límite de detección.
• Estimación del Cociente de Densidad: Los estimadores que ignoran la varianza residual (pseudo-etiquetas de punto) sufren de compresión de varianza, lo que conduce a estimaciones de sesgo atenuadas y conjuntos sobredimensionados. El muestreo predictivo sesgado se muestra como la opción principal para estimar el parámetro de sesgo $\beta$, restaurando la varianza necesaria.

5. Significancia y Reivindicaciones

El artículo afirma proporcionar un marco riguroso para la predicción conformal en entornos donde las respuestas están censuradas y las distribuciones se desplazan.

• Separación Teórica: Separa limpiamente la validez (garantizada por la identidad de importancia en el espacio mixto y la calibración ponderada) de la eficiencia (garantizada por el score sesgado y la geometría de Mixed-HDR).
• Novedad de la Censura: El trabajo enfatiza que el desplazamiento de etiqueta censurado no es simplemente una variante notacional del desplazamiento continuo. La transformación "latente-a-mixto" crea sutilezas técnicas únicas, específicamente la naturaleza de los pesos de los átomos promediados en las colas y la resultante geometría de Mixed-HDR.
• Utilidad Práctica: El método ofrece una solución computacionalmente tratable (expresiones en forma cerrada) que se adapta a los regímenes de censura específicos, evitando la ineficiencia de tratar los límites censurados como valores numéricos ordinarios.

Los autores señalan limitaciones, incluyendo la dependencia de la aproximación de Laplace y la suposición de errores gaussianos latentes, e identifican trabajos futuros en verosimilitudes no gaussianas y aplicaciones de datos moleculares del mundo real.