Resumen Técnico: Sistemas Predictivos Conformes Generalizados bajo Desplazamientos Distribucionales

1. Planteamiento del Problema

Los sistemas de aprendizaje automático desplegados en contextos de toma de decisiones requieren no solo predicciones puntuales precisas, sino también una cuantificación de la incertidumbre estadísticamente fiable. Específicamente, las distribuciones predictivas deben estar calibradas, lo que significa que las probabilidades predichas deben coincidir con las frecuencias empíricas, y los intervalos de predicción deben alcanzar su cobertura objetivo.

Un obstáculo principal para lograr la calibración fuera de la muestra es el desplazamiento distribucional (distributional shift). Los métodos clásicos de predicción conforme dependen del supuesto de intercambiabilidad (que los puntos de datos están distribuidos de forma idéntica y son independientes del orden). Este supuesto se viola rutinariamente en la práctica debido a:

• Desplazamiento de covariables (covariate shift): cambios en la distribución de entrada.
• Desplazamiento de etiquetas (label shift).
• Deriva temporal (temporal drift).
• Recolección de datos adaptativa o impulsada por retroalimentación (por ejemplo, en el diseño biomolecular).

Si bien trabajos previos han extendido los Sistemas Predictivos Conformes (CPS) a regímenes de desplazamiento específicos (por ejemplo, desplazamiento de covariables conocido mediante razones de verosimilitud), ha faltado un marco general para los Sistemas Predictivos Conformes Generalizados (GCPS) que maneje desplazamientos distribucionales arbitrarios y que, al mismo tiempo, considere la incertidumbre en la estimación de los pesos de desplazamiento. El desafío central es construir envolventes predictivas (conjuntos de Funciones de Distribución Acumulativa, CDF) que permanezcan válidas y calibradas incluso cuando el punto de prueba se extrae de una distribución diferente a la de los datos de entrenamiento, y cuando los pesos que corrigen este desplazamiento son estimados en lugar de conocidos.

2. Metodología

2.1. Marco Teórico: Pesos de Permutación

Los autores extienden los GCPS a entornos no intercambiables modelando los efectos de ordenación mediante pesos de permutación. En lugar de asumir que el punto de prueba $Z_{n+1}$ es intercambiable con el conjunto de entrenamiento $\{Z_1, \dots, Z_n\}$, el método condiciona en el multiconjunto no ordenado de átomos observados. La identidad del punto de prueba entre estos átomos se modela como un muestreo ponderado con probabilidades $w_i$.

• Ley Empírica Ponderada: Para un valor de respuesta candidato $y'$, el método construye una medida observada ponderada $\mu_{obs}$ y una medida hipotética completa $\tilde{\mu}$ que incorpora el punto de prueba con su peso realizado $w_{n+1}$.
• Envolventes Sensibles al Desplazamiento: El sistema predictivo se construye insertando el átomo de prueba con su peso específico en el conjunto de calibración. El Teorema 1 establece que si el procedimiento de regresión distribucional subyacente $G$ está calibrado en la muestra (probabilístico, isotónico o autocalibrado), el sistema predictivo resultante $\Pi[X_{n+1}]$ contiene una CDF predictiva calibrada bajo la verdadera ley (potencialmente no intercambiable).

2.2. Manejo de la Incertidumbre de los Pesos

En la práctica, los pesos de desplazamiento rara vez se conocen y deben estimarse (por ejemplo, mediante razones de densidad), lo que introduce incertidumbre epistémica. Para abordar esto, los autores introducen cajas de incertidumbre de pesos:

• Definición: Una cota multiplicativa por coordenadas alrededor de los pesos estimados $\hat{w}_i$, definida como $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$.
• Región de Confianza: Esta caja $WWU_\alpha$ se trata como una región de confianza de $(1-\alpha)$ para los pesos reales.
• Envolventes Robustas: El método construye envolventes de CDF robustas al peso optimizando las cotas del sistema predictivo sobre todos los vectores de pesos dentro de la caja de incertidumbre. Esto produce un conjunto de CDFs que garantiza la contención de una distribución calibrada con una probabilidad de al menos $1-\alpha$, incluso si los pesos están mal especificados dentro de la caja.

2.3. Computación Eficiente

El artículo deriva reglas de computación eficientes para tres instancias específicas de $G$, evitando la necesidad de un barrido ingenuo sobre todos los valores candidatos de $y'$:

1. Agrupación Conforme (CBIN): Utiliza CDFs empíricas ponderadas dentro de grupos (bins). Las envolventes robustas tienen expresiones de forma cerrada derivadas al empujar los átomos con $Y_i \leq y$ hacia sus cotas superiores de peso y aquellos con $Y_i > y$ hacia sus cotas inferiores.
2. CPS de Medida de Conformidad (CMCPS): Aplica la misma lógica que CBIN pero opera sobre puntuaciones de conformidad en lugar de resultados brutos.
3. Regresión Distribucional Isotónica Conforme (CIDR): Utiliza regresión antitónica. Las envolventes robustas se computan ejecutando la rutina de regresión isotónica (PAVA) dos veces: una con los pesos configurados en sus cotas superiores y otra con las inferiores, dependiendo de los valores de los indicadores.

3. Principales Contribuciones

El artículo realiza tres contribuciones principales:

1. Extensión a la No Intercambiabilidad: Extiende los GCPS a secuencias no intercambiables codificando los desvíos de la intercambiabilidad mediante pesos de permutación, construyendo envolventes predictivas sensibles al desplazamiento que permanecen válidas bajo desplazamientos distribucionales arbitrarios.
2. Robustez a la Incertidumbre de los Pesos: Desarrolla sistemas predictivos robustos basados en cajas de incertidumbre de pesos. Estas proporcionan garantías de confianza de muestra finita o asintótica de que la envolvente contiene una CDF predictiva calibrada, donde el grosor de la envolvente refleja tanto la incertidumbre de la muestra finita como la mala especificación de los pesos.
3. Algoritmos Eficientes y Validación Empírica: Proporciona reglas de evaluación eficientes y formas cerradas para CBIN, CMCPS y CIDR. Demuestra empíricamente que el pesaje sensible al desplazamiento mejora el rendimiento predictivo y preserva la calibración bajo desplazamiento de covariables por retroalimentación, mientras que el ancho de la banda cuantifica eficazmente la incertidumbre epistémica.

4. Resultados Experimentales

4.1. Desplazamiento de Covariables Sintético

Los experimentos se realizaron en una tarea de regresión de 5 dimensiones con desplazamiento de covariables.

• Calibración: Los métodos sin ponderación subcubrieron significativamente (cobertura $\approx 0.83-0.88$ frente al nominal de $0.90$).
• Métodos Ponderados: El pesaje Oracle y el pesaje estimado restauraron la cobertura a niveles cercanos al nominal ($\approx 0.91-0.93$).
• Propagación de la Incertidumbre: El "pesaje de CI estimado" (usando la caja de incertidumbre) fue el más conservador, logrando una cobertura de hasta $\approx 0.97$. Esto tuvo el costo de un CRPS (Puntuación de Probabilidad Clasificada Continua) ligeramente mayor y bandas más anchas, reflejando correctamente la adicional incertidumbre epistémica de la estimación de los pesos.
• Tamaño de la Muestra: A medida que aumentaban el tamaño de la muestra de entrenamiento y de calibración, las bandas conformes se estrechaban, indicando una reducción de la incertidumbre epistémica.

4.2. Diseño Biomolecular Basado en Retroalimentación (Capsides AAV)

El método se aplicó al diseño de empaquetado de cápsides de virus adeno-asociados (AAV), un escenario que involucra Desplazamiento de Covariables por Retroalimentación (FCS) donde las distribuciones de prueba se diseñan basadas en las predicciones del modelo.

• Configuración: Las distribuciones de prueba se generaron con parámetros de "temperatura inversa" ($\lambda$) variables, desplazando la masa hacia secuencias con alta aptitud de empaquetado predicha.
• Desempeño: El pesaje por importancia restauró una cobertura cercana a la nominal en todo el rango de desplazamientos en comparación con las variantes sin ponderar.
• Desplazamientos Extremos: En el desplazamiento más extremo ($\lambda=7$), los métodos ponderados mostraron un CRPS ligeramente peor y bandas más anchas, consistente con un colapso en el tamaño de muestra efectivo y un aumento de la incertidumbre epistémica.
• Fiabilidad: Los procedimientos ponderados mantuvieron una buena calibración para resultados de alto valor y poco frecuentes (eventos extremos), confirmando su utilidad en entornos de diseño de alto riesgo.

5. Significancia y Reivindicaciones

El artículo afirma establecer la primera garantía de calibración fuera de la muestra para los predictores estilo Venn-Abers (un caso especial de la IDR conforme) bajo desplazamientos distribucionales e incertidumbre de pesos dentro de un marco unificado de sistemas predictivos.

Los autores enfatك que el ancho de la banda predictiva es una métrica informativa de la incertidumbre epistémica. En su configuración sensible al desplazamiento, el ancho de la banda captura tanto la incertidumbre en el aprendizaje de la distribución condicional $Y|X$ como la incertidumbre en la estimación de los pesos de desplazamiento. Esto permite a los profesionales:

• Reportar un pronóstico representativo único para uso rutinario.
• Reportar simultáneamente los límites implícitos en la banda sobre cantidades relevantes para la decisión (por ejemplo, riesgos de cola) para asegurar que las decisiones sean robustas a la incertidumbre epistémica.

Este trabajo posiciona a los GCPS no meramente como un envoltorio (wrapper) para puntuaciones de conformidad, sino como un marco de calibración flexible que puede envolver cualquier procedimiento de regresión distribucional calibrado en la muestra, extendiendo su validez mucho más allá del supuesto de intercambiabilidad.

6. Limitaciones

Los autores señalan dos advertencias específicas:

1. Regiones de Confianza Conjuntas: El Teorema 2 requiere que la caja de incertidumbre de pesos sea una región de confianza conjunta válida para los pesos reales. En los experimentos, esta se construyó asintóticamente mediante un modelo de propensión ajustado.
2. Conjuntos Activos Fijos: Las envolventes de forma cerrada para CBIN y CIDR asumen que el conjunto activo (para el agrupamiento) o el ordenamiento (para la IDR) es fijo a través de la caja de incertidumbre. Esto restringe las elecciones de agrupación y ordenamiento a las definidas antes del pesaje.