Resumen Técnico: LatentCP para la Inferencia Conforme de Parámetros Distribucionales Latentes

1. Formulación del Problema

El artículo aborda el desafío de cuantificar la incertidumbre de los parámetros distribucionales latentes ($\theta$) que gobiernan la distribución de una respuesta observable ($Y$) dado un contexto ($X$). En muchos escenarios prácticos —como inferir concentraciones de contaminantes atmosféricos a partir de lecturas de sensores, preferencias de usuarios a partir de calificaciones o riesgos de ignición de incendios forestales a partir de conteos de fuegos observados— el verdadero parámetro latente no se observa tanto en los datos de entrenamiento históricos como en las instancias futuras.

El proceso generador de datos se modela jerárquicamente:

1. $X \sim P_X$
2. $\theta | X=x \sim \pi(\cdot | x)$ (Distribución de mezcla desconocida que captura la heterogeneidad latente)
3. $Y | (X=x, \theta) \sim P_\theta(\cdot | x)$ (Familia directa conocida)

El objetivo es construir un conjunto de incertidumbre dependiente del contexto $U_\alpha(X_{n+1}) \subseteq \Theta$ para el parámetro latente $\theta_{n+1}$ de una nueva instancia, de tal manera que se cumpla la garantía de cobertura marginal:
$$P \{ \theta_{n+1} \in U_\alpha(X_{n+1}; D_n) \} \ge 1 - \alpha$$
Crucialmente, esto debe lograrse sin:

• Etiquetas de calibración latentes observadas (el valor real de $\theta$).
• Conocimiento de la distribución de mezcla de la población $\pi(\cdot | x)$.
• Un mapeo inverso único de $Y$ a $\theta$ (se permite la no-identificabilidad observacional).

Los métodos existentes fallan aquí: los enfoques Bayesianos/Empírico-Bayesianos requieren especificar o estimar $\pi$, lo cual suele estar mal especificado; los métodos de etiquetas de proximidad (que tratan las estimaciones inversas como etiquetas) descartan posibilidades válidas y crean una certeza injustificada; y la predicción conforme estándar requiere que el objetivo sea observado en los datos de calibración.

2. Metodología: LatentCP

Los autores proponen LatentCP, un marco de predicción conforme libre de priors que invierte el flujo de trabajo estándar de la predicción conforme. En lugar de calibrar directamente en el espacio latente, el método calibra en el espacio de la respuesta observable y transfiere la validez de vuelta al espacio latente a través del modelo directo.

Paso 1: Predicción Conforme en el Espacio de la Respuesta

Utilizando un conjunto de datos de calibración $D_n = \{(X_i, Y_i)\}_{i=1}^n$, se construye un conjunto de predicción conforme $C_\gamma(X_{n+1})$ para la respuesta observable $Y_{n+1}$ con una tasa de infracción de cobertura $\gamma < \alpha$. Este conjunto satisface:
$$P \{ Y_{n+1} \in C_\gamma(X_{n+1}) \} \ge 1 - \gamma$$
Este paso depende únicamente del intercambiabilidad de los pares de contexto-respuesta observados, lo cual se sostiene bajo el supuesto de que los pares contexto-latente son intercambiables y las respuestas son condicionalmente independientes dadas sus variables latentes.

Paso 2: Compatibilidad Directa e Inversión

Para cualquier parámetro latente candidato $\theta$, el método evalúa su compatibilidad directa $\gamma$:
$$p_\gamma(\theta, x) := P_{Y \sim P_\theta(\cdot|x)} \{ Y \in C_\gamma(x; D_n) \}$$
Esta representa la masa de probabilidad que la distribución candidata asigna al conjunto de respuesta calibrado. El conjunto de incertidumbre latente se define entonces reteniendo los candidatos con suficiente compatibilidad:
$$U_\alpha(x; \gamma) := \left\{ \theta \in \Theta : p_\gamma(\theta, x) \ge 1 - \frac{\gamma}{\alpha} \right\}$$
El Teorema 1 establece que esta construcción garantiza la cobertura marginal de muestra finita $1-\alpha$ para $\theta_{n+1}$, independientemente de la distribución de mezcla desconocida $\pi$.

Paso 3: Agregación Multinivel

La eficiencia (tamaño) de $U_\alpha$ depende de forma no monótona de la elección de $\gamma$. Para optimizar esto, los autores introducen un procedimiento multinivel:

1. Definir una puntuación de incompatibilidad normalizada (un estadístico de tipo e-value): $e_\gamma(\theta, x) = \frac{1 - p_\gamma(\theta, x)}{\gamma}$.
2. Agregar las puntuaciones a través de una distribución de tasas de infracción de cobertura $\nu$ sobre un conjunto $\Gamma$: $e_\nu(\theta, x) = \int_\Gamma e_\gamma(\theta, x) d\nu(\gamma)$.
3. Construir el conjunto: $U_\alpha(x; \nu) = \{ \theta : e_\nu(\theta, x) \le 1/\alpha \}$.

El Teorema 2 demuestra que esta construcción aleatorizada mantiene la garantía de cobertura $1-\alpha$. Se utiliza una muestra de ajuste independiente para seleccionar la distribución óptima $\nu$ (pesos y puntos de soporte) para minimizar el tamaño esperado del conjunto, preservando la validez en la muestra de calibración independiente.

3. Contribuciones Clave

1. Formulación del Problema: El artículo define formalmente la inferencia conforme para parámetros distribucionales latentes bajo condiciones donde solo se observan pares de contexto-respuesta, sin requerir etiquetas latentes ni conocimiento de la distribución de mezcla.
2. Marco LatentCP: Introduce un método que construye conjuntos de incertidumbre de muestra finita válidos para parámetros latentes mediante la inversión de conjuntos de respuesta conforme a través de un modelo directo conocido.
3. Agregación Multinivel: Desarrolla un procedimiento para combinar la evidencia a través de múltiples tasas de infracción de cobertura en el espacio de la respuesta utilizando puntuaciones de tipo e-value, mejorando la eficiencia del conjunto mientras se mantiene la validez.

4. Resultados Experimentales

Los autores evalúan LatentCP a través de conjuntos de datos sintéticos y del mundo real:

• Experimentos Sintéticos: El método fue probado bajo identificación débil, no-identificabilidad observacional (por ejemplo, ambigüedad de signo), heterogeneidad latente y multimodalidad.

  • Cobertura: LatentCP mantuvo la cobertura nominal ($1-\alpha$) en todos los entornos.
  • Comparación: Los métodos competidores (Empírico-Bayesiano, basado en verosimilitud y de predicción conforme de etiquetas de proximidad) frecuentemente subcubrieron (produjeron conjuntos demasiado pequeños para contener el parámetro real) cuando los supuestos previos estaban mal especificados o la inversión era ambigua.
  • Eficiencia: El ajuste independiente de $\gamma$ y la agregación multinivel redujeron los tamaños de los conjuntos en comparación con las líneas base de nivel fijo, particularmente cuando diferentes niveles de infracción de cobertura proporcionaban información complementaria sobre el espacio latente.

• Aplicación en el Mundo Real (Incendios Forestales en California):

  • Aplicado a 1,689 eventos de incendios forestales (1984–2023) para inferir la intensidad latente del fuego ($\lambda$).
  • LatentCP produjo conjuntos de incertidumbre espacialmente adaptativos para la intensidad del fuego.
  • El ajuste redujo el tamaño medio del conjunto latente en un 11.1% en comparación con una tasa de infracción de cobertura fija.
  • El método identificó regiones con alta incertidumbre de intensidad, ofreciendo una representación más honesta del riesgo que las estimaciones puntuales o la propagación de la incertidumbre de la respuesta estándar.

5. Significación y Reivindicaciones

El artículo afirma que LatentCP proporciona un puente fundamentado desde la predicción conforme de respuestas observables hacia la cuantificación de la incertidumbre de sus mecanismos generativos latentes. Su significación radica en:

• Robustez: Evita la sensibilidad a la mala especificación de los priors inherente a los métodos Bayesianos/Empírico-Bayesianos y la certeza injustificada de los enfoques de etiquetas de proximidad.
• Validez: Ofrece garantías de cobertura marginal de muestra finita sin requerir que el objetivo sea observado o que la distribución de mezcla sea conocida.
• Flexibilidad: Maneja la no-identificabilidad observacional reteniendo todos los parámetros observacionalmente equivalentes, en lugar de seleccionar arbitrariamente una solución inversa.

Los autores reconocen las limitaciones, señalando que el marco proporciona cobertura marginal (no condicional) y depende de un modelo directo correctamente especificado. Las direcciones de trabajo futuro sugeridas incluyen el manejo de la mala especificación del modelo directo, la validez dependiente del contexto y los parámetros latentes de alta dimensión.