Resumen Técnico: Predicción Conforme en Línea Libre de Parámetros y Condicional por Grupos

1. Configuración del Problema y Motivación

Los modelos de aprendizaje automático se despliegan cada vez más en entornos de alto riesgo y no estacionarios (por ejemplo, triaje médico, vehículos autónomos) donde las distribuciones de datos cambian con el tiempo, violando el supuesto de intercambiabilidad requerido por la Predicción Conforme (CP) estándar. La Predicción Conforme en Línea (OCP) aborda esto generando una secuencia de conjuntos de predicción para flujos de datos adversarios. Sin embargo, los métodos de OCP estándar suelen garantizar únicamente la cobertura marginal (es decir, la tasa de error general se aproxima a $1-\alpha$). Esta garantía marginal puede ocultar una subcobertura sistemática para subpoblaciones específicas, lo que genera problemas de equidad y seguridad.

Aunque trabajos previos han propuesto la OCP Condicional por Grupos (G-OCP) para asegurar garantías de cobertura para grupos específicos, los métodos existentes (por ejemplo, GCACI) dependen de tasas de aprendizaje (tamaños de paso) que deben ajustarse manualmente. En entornos de datos adversarios o cambiantes, el ajuste de las tasas de aprendizaje es problemático porque:

1. No hay un conjunto de validación disponible para el ajuste.
2. Los cambios de datos arbitrarios pueden hacer que una tasa de aprendizaje previamente "buena" sea inapropiada.
3. Los métodos de OCP libres de parámetros existentes (por ejemplo, UP-OCP) solo logran cobertura marginal, no garantías condicionales por grupo.

El problema central abordado es el diseño de un algoritmo de OCP libre de parámetros que proporcione simultáneamente garantías rigurosas de cobertura condicional por grupos sin requerir el ajuste manual de hiperparámetros.

2. Metodología: POGO

Los autores proponen POGO (Portfolios for Online Group Conformal), el primer algoritmo libre de parámetros para G-OCP, que construye sobre el concepto de optimización de Cartera Universal (UP), aplicado previamente a la OCP marginal (UP-OCP), y lo extiende para manejar múltiples grupos superpuestos.

2.1 Formulación del Problema

Dado un flujo de datos $(X_t, Y_t)$ y un predictor $\hat{Y}_t$, el objetivo es aprender una secuencia de radios $\tau_t$ de tal manera que el intervalo de predicción $I_t = [\hat{Y}_t - \tau_t, \hat{Y}_t + \tau_t]$ satisfaga:
$$\lim_{T \to \infty} \left| \frac{1}{T_j} \sum_{t=1}^T \mathbb{1}\{Y_t \in I_t\} c_j(X_t) - (1-\alpha) \right| = 0$$
para todos los grupos $k$, donde $c_j(X_t) \in [0, 1]$ es una función indicadora suave de pertenencia al grupo, y $T_j$ es el conteo acumulado del grupo $j$.

2.2 Parametrización Lineal

A diferencia de la OCP estándar que aprende un radio escalar, POGO aprende un vector de parámetros de $k$ dimensiones $\theta_t \in \mathbb{R}^k$. El radio se parametriza como una función lineal de la función de pertenencia al grupo $c(X_t)$:
$$\tau_t(X_t) = \langle \theta_t, c(X_t) \rangle$$
Esto permite al algoritmo asignar diferentes radios basados en las pertenencias de grupo específicas de una muestra, asegurando al mismo tiempo que se produzca un intervalo de predicción único y unificado.

2.3 Mecanismo de Optimización de Cartera

POGO trata el aprendizaje de $\theta_t$ como un problema de optimización de cartera.

1. Subgradientes como Errores: El algoritmo define una pérdida de cuantiles (pérdida pinball) para cada grupo. El subgradiente $g_t$ de esta pérdida cuantifica el error de falta de cobertura. Específicamente, la entrada $j$-ésima de la suma acumulada de subgradientes $\sum g_{t,j}$ corresponde al error de falta de cobertura para el grupo $j$.
2. Procesos de Riqueza: Para cada grupo $j$, POGO construye un "mercado" con dos acciones. Los rendimientos de estas acciones dependen de si la predicción actual cubre la etiqueta real:
   • Si la predicción falla (falta de cobertura), una acción genera un alto rendimiento.
   • Si la predicción cubre, la otra acción genera un rendimiento modesto.
3. Cartera Universal (UP): POGO emplea el algoritmo de Cartera Universal (UP) para aprender una secuencia de pesos de cartera $\lambda_{t,j}$ para cada grupo $j$. El objetivo es maximizar el crecimiento logarítmico de la "riqueza" $W_{t,j}$ asociada a cada grupo.
4. Actualización de Parámetros: Los parámetros $\theta_{t,j}$ se derivan directamente de los procesos de riqueza $W_{t,j}$ y los pesos de la cartera $\lambda_{t,j}$, asegurando que los subgradientes acumulados crezcan lentamente. Este crecimiento lento se traduce directamente en una falta de cobertura condicional por grupo acotada.

Crucialmente, este proceso es libre de parámetros; no requiere una tasa de aprendizaje $\eta$ o un tamaño de paso, basándose en su lugar en las propiedades intrínsecas del algoritmo de Cartera Universal.

3. Contribuciones Clave

1. Primer Algoritmo G-OCP Libre de Parámetros: La introducción de POGO, que proporciona garantías de cobertura condicional por grupo sin el ajuste manual de las tasas de aprendizaje.
2. Garantías Rigurosas de Tiempo Finito: Los autores establecen límites de cobertura teóricos para POGO. La tasa de falta de cobertura para el grupo $j$ está acotada por:
   $$\text{MisCov}_T(c_j) \leq \frac{1}{T_j} \left[ U_T(k) + \sqrt{2T_j \alpha(1-\alpha) U_T(k)} \right]$$
   donde $U_T(k)$ escala logarítmicamente con el número de grupos $k$ y el tiempo $T$. Esto representa los mejores resultados conocidos de cobertura por grupo en tiempo finito.
3. Escalabilidad Superior: El análisis teórico muestra que el límite de error de POGO depende logarítmicamente del número de grupos ($O(\ln k)$), mientras que los métodos existentes dependientes de parámetros (como GCACI) escalan con $\sqrt{k}$ y dependen fuertemente de la elección de la tasa de aprendizaje.
4. Salida de Intervalo Único: A diferencia de los enfoques ingenuos que ejecutan algoritmos OCP separados para cada grupo (produciendo $k$ radios diferentes), POGO produce un único radio $\tau_t$ para cada muestra, evitando problemas de intervalos conflictivos y posibles filtraciones de privacidad respecto a la pertenencia al grupo.

4. Resultados Experimentales

Los autores evalúan POGO en conjuntos de datos sintéticos y del mundo real, comparándolo con GCACI (el estándar actual para OCP condicional por grupos) y UP-OCP (OCP marginal libre de parámetros).

4.1 Experimentos Sintéticos

• Puntuaciones Acotadas y de Variación Gradual: POGO logra tasas de cobertura objetivo dentro de un 3% para todos los grupos y produce los radios promedio más pequeños en comparación con las variantes de GCACI. Mantiene una alta adaptabilidad, con la secuencia más larga de eventos de falta de cobertura comparable a la del mejor GCACI ajustado.
• Cambios Abruptos: Cuando las distribuciones de datos cambian abruptamente, POGO sigue siendo robusto. En contraste, GCACI con una tasa de aprendizaje fija (incluso una bien ajustada como $\eta=0.01$) sufre de una mala adaptabilidad, exhibiendo largas secuencias de falta de cobertura hasta que la tasa de aprendizaje es efectivamente "reajustada" por los datos.
• Puntuaciones Crecientes No Acotadas: En escenarios donde las puntuaciones de no conformidad crecen cuadráticamente para un grupo específico, la mayoría de las variantes de GCACI fallan en alcanzar la cobertura objetivo. POGO alcanza consistentemente una cobertura más cercana a los niveles objetivo, particularmente en requisitos de cobertura altos ($1-\alpha \in [0.9, 0.95]$).

4.2 Datos del Mundo Real

• MIMIC-IV (Estancia en UCI): Utilizando datos de pacientes (raza, seguro, sexo como grupos), POGO logra una cobertura comparable a GCACI pero con tamaños de conjuntos de predicción (radios) más pequeños.
• Mercado de Valores (Apple, Delta, Boeing): Para la predicción de precios diarios, Pogo demuestra nuevamente un desempeño competitivo, logrando la cobertura objetivo con tamaños de conjunto más pequeños que GCACI.
• Compromisos (Trade-offs): Aunque POGO a veces exhibe rachas de falta de cobertura consecutiva ligeramente más largas que el mejor GCACI ajustado en regímenes estáticos específicos, supera significativamente a GCACI en regímenes dinámicos o cambiantes donde el ajuste es imposible.

5. Significación y Reivindicaciones

El artículo afirma que POGO sienta las bases para una cuantificación de la incertidumbre justa y robusta en entornos cambiantes. Al unificar la cobertura condicional por grupo con el aprendizaje en línea libre de parámetros, el método elimina la necesidad de ajuste manual de hiperparámetros, lo cual es un cuello de botella crítico en entornos adversarios o no estacionarios.

Los autores enfatizan que:

• POGO proporciona los mejores límites de cobertura por grupo en tiempo finito conocidos.
• Logra estas garantías sin la fragilidad de la selección de la tasa de aprendizaje.
• Ofrece una solución práctica para aplicaciones de alto riesgo donde se requiere equidad entre subpoblaciones y donde no se puede asumir que las distribuciones de datos sean estáticas o intercambiables.

El artículo concluye modestamente, señalando que, aunque POGO utiliza una especificación lineal para los radios, el trabajo futuro podría explorar modelos más ricos para el radio y extender estas herramientas a otras formas de cuantificación de la incertidumbre en línea, como la calibración.