Resumen Técnico: Conformal Bayes bajo Desplazamiento de Etiquetas (Label Shift)

1. Planteamiento del Problema

El artículo aborda el desafío de construir conjuntos de predicción estadísticamente válidos bajo desplazamiento de etiquetas (label shift), un desplazamiento de distribución donde la distribución marginal de las etiquetas cambia entre los dominios de origen ($p_s(y)$) y de destino ($p_t(y)$), mientras que la distribución condicional de las características permanece invariante ($p_t(x|y) = p_s(x|y)$).

En el método Conformal Bayes estándar, los conjuntos de predicción se construyen utilizando la densidad predictiva posterior bayesiana $p(y|x, D_{tr})$ y una puntuación de no conformidad (típicamente la densidad log-predictiva negativa, NLPD). Bajo el desplazamiento de etiquetas, los datos de calibración extraídos del dominio de origen y los datos de prueba del dominio de destino ya no son intercambiables bajo la misma medida. En consecuencia, los conjuntos de predicción calibrados en los datos de origen no logran alcanzar el nivel de cobertura nominal en los puntos de prueba del dominio de destino. Este problema es particularmente relevante en dominios como la optimización de compuestos líderes (lead-optimization), donde los datos de entrenamiento están enriquecidos con compuestos de alta actividad, pero las predicciones se requieren sobre una biblioteca química completa con una distribución de etiquetas diferente.

2. Metodología

Los autores proponen un marco unificado que analiza dos estrategias complementarias para restaurar la cobertura nominal en el dominio de destino. Ambas estrategias dependen de la calibración ponderada por importancia (IW, importance-weighted) para asegurar la validez, pero difieren fundamentalmente en cómo ajustan la geometría predictiva.

Supuestos Centrales

1. Desplazamiento de Etiquetas (Invariancia Condicional): $p_t(x|y) = p_s(x|y)$, pero $p_t(y) \neq p_s(y)$.
2. Relación de Densidad: El desplazamiento se modela mediante un sesgo exponencial (exponential tilting): $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$, donde $\beta$ es un parámetro conocido (o estimado).
3. Modelo: Un backbone congelado $\phi(x)$ con una cabeza lineal gaussiana: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$.

Estrategia A: Calibración Post-Hoc (Sesgo Predictivo / Predictive Tilting)

• Mecanismo: La posterior de los parámetros $\pi_s(\theta|D_{tr})$ permanece sin cambios. La corrección se aplica a nivel predictivo.
• Proceso:
  1. La posterior predictiva de destino se deriva sesgando la predictiva de origen: $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$.
  2. La puntuación de no conformidad es la densidad log-negativa de la predictiva sesgada: $s_A(x, y) = -\log p_A(y|x, D_{tr})$.
  3. El umbral de conformalidad se calcula utilizando un cuantil ponderado por importancia de las puntuaciones de calibración.
• Geometría: El centro del conjunto de predicción incluye un desplazamiento proporcional a la incertidumbre epistémica ($\phi(x)^\top \Sigma_\theta \phi(x)$). Las entradas alejadas de la distribución de entrenamiento reciben intervalos más amplios.
• Requisitos: No requiere acceso al proceso de entrenamiento; trata al modelo de origen como una caja negra.

Estrategia B: Adaptación Durante el Entrenamiento (Sesgo de la Posterior / Posterior Tilting)

• Mecanismo: La corrección se aplica a nivel de parámetros antes de la calibración.
• Proceso:
  1. Se construye una posterior "sesgada hacia el destino" ajustando la posterior de origen mediante razones de verosimilitud por observación: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$.
  2. Para cabezas gaussianas, esto produce una posterior gaussiana de forma cerrada con una media desplazada: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$, donde $\bar{\phi}$ es la media de las características del conjunto de entrenamiento.
  3. La puntuación de no conformidad es la NLPD de la distribución predictiva derivada de esta posterior corregida.
  4. El umbral de conformalidad utiliza el mismo cuantil ponderado por importancia que la Estrategia A.
• Geometría: El desplazamiento en el centro del conjunto de predicción depende de la similitud entre el punto de prueba y la distribución de entrenamiento ($\phi(x)^\top \bar{\phi}$), en lugar de la incertidumbre epistémica.
• Requisitos: Requiere acceso al proceso de entrenamiento y a las características de entrenamiento para calcular la corrección de la media.

Flujo Algorítmico

Ambas estrategias siguen un flujo unificado (Algoritmo 1):

1. Calcular los parámetros de la regresión lineal bayesiana de origen.
2. Calcular la función de puntuación (ya sea $s_A$ o $s_B$).
3. Puntuar el conjunto de calibración.
4. Calcular el umbral del cuantil ponderado por importancia.
5. Construir el conjunto de predicción $C(x) = \{y : s(x, y) \leq \hat{q}\}$.

3. Contribuciones Clave

1. Marco Unificado: Una separación de la validez (gobernada por el cuantil ponderado por importancia) de la eficiencia (gobernada por la elección de la geometría de la puntuación: sesgo predictivo vs. sesgo de la posterior).
2. Soluciones de Forma Cerrada: Derivación de una posterior sesgada hacia el destino de forma cerrada para cabezas gaussianas, permitiendo el cálculo exacto de la distribución predictiva corregida.
3. Análisis Comparativo: Una comparación directa que identifica los regímenes donde cada estrategia es preferible:
   • Entrenamiento Sin Sesgo (Unbiased): Ambas estrategias logran una cobertura válida, pero la Estrategia A (Sesgo Predictivo) produce intervalos más estrechos. La Estrategia B introduce un sesgo innecesario si los datos de origen ya son representativos.
   • Entrenamiento Sesgado/Enriquecido (Optimización de Compuestos Líderes): La Estrategia B actúa como un operador de eliminación de sesgo (debiasing operator). Al corregir la posterior de los parámetros, reduce simultáneamente el sesgo de los parámetros, el sesgo predictivo y el ancho del intervalo, manteniendo una cobertura válida.

4. Resultados Experimentales

Los autores evalúan los métodos en datos sintéticos de regresión lineal gaussiana bajo dos regímenes:

• Experimento 1 (Régimen Sin Sesgo): Los datos de entrenamiento son una muestra uniforme de la distribución de origen.

  • Cobertura: Todos los métodos que utilizan el cuantil IW (CB-IW, Estrategia A, Estrategia B) mantienen la cobertura nominal del 90% independientemente de la intensidad del desplazamiento de etiquetas ($\beta$). El baseline sin ponderación falla, perdiendo cobertura a medida que $\beta$ aumenta.
  • Eficiencia: La Estrategia A produce los intervalos más estrechos. La Estrategia B es más amplia porque la corrección MAP aleja la posterior de la verdad en un entorno sin sesgo.

• Experimento 2 (Régimen de Optimización de Compuestos Líderes): Los datos de entrenamiento están enriquecidos con compuestos de alta respuesta (origen sesgado).

  • Cobertura: Todos los métodos basados en IW mantienen una cobertura válida del 90%. El baseline sin ponderación sobrecobertura (91–95%) debido a puntuaciones de calibración infladas por el modelo sesgado.
  • Eliminación de Sesgo: La Estrategia B reduce el sesgo de los parámetros en aproximadamente un 40% y el sesgo predictivo en un 34% en comparación con la posterior de origen sesgada.
  • Eficiencia: La Estrategia B produce intervalos estrictamente más estrechos que la Estrategia A (una reducción de hasta el 16% en el ancho con $\beta=0.6$) manteniendo la misma cobertura. Esto demuestra que corregir la posterior de los parámetros es más eficiente que corregir la densidad predictiva cuando los datos de origen están sesgados.

5. Significado y Reivindicaciones

El artículo afirma proporcionar una visión unificada y fundamentada para manejar el desplazamiento de etiquetas en Conformal Bayes. Su principal significancia radica en distinguir entre la calibración para la validez y la adaptación para la eficiencia:

• La validez está garantizada únicamente por la regla del cuantil ponderado por importancia, independientemente de si la puntuación se corrige post-hoc o durante el entrenamiento.
• La eficiencia depende del contexto. En entornos sin sesgo, el sesgo predictivo post-hoc es superior ya que evita alterar la posterior de los parámetros. Sin embargo, en escenarios con datos de entrenamiento enriquecidos o sesgados (comunes en la optimización de compuestos líderes), la adaptación de la posterior durante el entrenamiento actúa como un paso necesario de eliminación de sesgo, mejorando tanto la precisión del modelo subyacente como la eficiencia de los conjuntos de predicción.

Los autores señalan que el marco actual depende de supuestos fuertes (desplazamiento de etiquetas puro, parámetro de sesgo conocido, cabezas lineales gaussianas) y de validación sintética. Sugieren que extender esto a modelos profundos requiere inferencia aproximada (por ejemplo, la aproximación de Laplace) y que la validación en el mundo real queda para trabajos futuros. También esbozan un procedimiento de dos pasos para estimar $\beta$ sin datos de destino etiquetados utilizando etiquetas pseudo (pseudo-labels), haciendo referencia a un artículo complementario para aplicaciones de propiedades moleculares.