PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

Resumen Técnico: PCS-UQ: Cuantificación de la Incertidumbre mediante el Marco de Predictibilidad-Computabilidad-Estabilidad

Planteamiento del Problema
A medida que los sistemas de aprendizaje automático (ML) se despliegan en dominios de alto riesgo, la necesidad de una cuantificación de la incertidumbre (UQ) confiable se ha vuelto crítica para la seguridad y la fiabilidad. La inferencia estadística tradicional depende de la especificación de un modelo generativo correcto, un supuesto que suele violarse en los modelos complejos modernos (por ejemplo, los grandes modelos de lenguaje) y en conjuntos de datos masivos y multimodales. Si bien la inferencia conforme ofrece una alternativa libre de distribución que garantiza la cobertura marginal bajo la intercambiabilidad, sufre de tres limitaciones clave: (1) carece de un mecanismo explícito para evaluar la adecuación del modelo, lo que puede producir conjuntos de predicción inestables o innecesariamente amplios si el modelo base es deficiente; (2) su validez es marginal, lo que a menudo conduce a deficiencias de cobertura en subgrupos específicos; y (3) las comparaciones empíricas de los métodos conformes a través de diversas condiciones del mundo real siguen siendo limitadas. Además, el "jardín de los caminos bifurcados" en el ciclo de vida de la ciencia de datos —las elecciones relativas a la limpieza de datos, la selección de modelos y los hiperparámetros— crea un universo oculto de incertidumbre que los métodos de UQ estándar suelen ignorar.

Metodología: El Marco PCS-UQ
Los autores proponen PCS-UQ, un marco fundamentado en los principios de Predictibilidad-Computabilidad-Estabilidad (PCS) para la ciencia de datos verídica. El método está diseñado para producir intervalos de predicción robustos (para regresión) y conjuntos de predicción (para clasificación) integrando el cribado de modelos, el remuestreo y la calibración adaptativa.

1. Predictibilidad (Cribado de Modelos): El marco comienza con un conjunto de algoritmos candidatos. Los datos se dividen en conjuntos de entrenamiento y validación. Los algoritmos se entrenan en el conjunto de entrenamiento, y aquellos que desempeñan pobremente en el conjunto de validación (basándose en una función de pérdida) son descartados. Esto asegura que la incertidumbre se cuantifique únicamente utilizando modelos que capturen suficientemente el proceso generador de datos subyacente.
2. Estabilidad (Bootstrapping): Para evaluar la variabilidad de la muestra finita y la inestabilidad algorítmica, el conjunto filtrado de algoritmos se ajusta en múltiples conjuntos de datos mediante bootstrapping. Esto crea una "pseudopoblación" de modelos. Para la regresión, el método utiliza muestras Out-of-Bag (OOB) para asegurar un uso eficiente de los datos sin requerir un conjunto de validación fijo y separado para cada iteración de bootstrap.
3. Computabilidad (Calibración y Eficiencia):
   • Calibración Multiplicativa: A diferencia de los métodos conformes estándar que utilizan una calibración aditiva (expandiendo los intervalos mediante una constante fija), PCS-UQ emplea un esquema de calibración multiplicativa novedoso. Este escala el ancho del intervalo basándose en la dispersión local de las predicciones de bootstrap. Esto permite que el intervalo se amplíe de forma adaptativa para las muestras donde el conjunto de modelos exhibe una alta incertidumbre, mejorando la cobertura local y de subgrupos.
   • Aproximaciones de Aprendizaje Profundo: Para abordar el costo computacional de entrenar múltiples modelos de aprendizaje profundo, los autores proponen dos variantes de aproximación: (1) Monte-Carlo Dropout ponderado, donde los nodos se eliminan proporcionalmente a la activación, y (2) Perturbación de Ruido Aditivo, donde se añade ruido gaussiano a los pesos. Estos métodos generan modelos perturbados a partir de una sola red entrenada, evitando el costoso reentrenamiento.

Contribuciones Clave

• Marco Novedoso: Introducción de PCS-UQ, que unifica el cribado de modelos, la evaluación de estabilidad basada en bootstrap y la calibración multiplicativa para abordar las limitaciones de los métodos conformes existentes.
• Compilación de Benchmarks: Creación de un benchmark exhaustivo que comprende 17 conjuntos de datos de regresión del mundo real y 6 conjuntos de datos de clasificación multiclase. Crucialmente, los autores construyeron manualmente subgrupos naturales para cada conjunto de datos (basados en distribuciones de características) para evaluar rigurosamente la cobertura de subgrupos, una métrica a menudo pasada por alto en la literatura de métodos conformes.
• Conexión Teórica: El artículo establece un vínculo formal entre PCS-UQ y la inferencia conforme. Demuestra que el paso de calibración multiplicativa puede verse como una función de puntuación conforme novedosa. Bajo un algoritmo modificado (dividiendo los datos en conjuntos de entrenamiento, validación y calibración), los autores demuestran que PCS-UQ preserva la cobertura válida bajo intercambiabilidad, tendiendo eficazmente los principios de PCS con la inferencia conjunta dividida (split conformal inference).
• Escalabilidad: Desarrollo de variantes computacionalmente eficientes para el aprendizaje profundo que mantienen una cobertura válida mientras reducen significativamente el tiempo de ejecución en comparación con el reentrenamiento completo por bootstrap.

Resultados

• Desempeño en Regresión: A través de 17 conjuntos de datos del mundo real, PCS-UQ mantuvo la cobertura marginal objetivo del 90% mientras producía intervalos de predicción que eran, en promedio, entre un 10% y un 20% más estrechos que los baselines conformes con selección de oráculo (Split Conformal, Studentized Conformal y Jackknife+-after-Bootstrap).
• Cobertura de Subgrupos: PCS-UQ alcanzó consistentemente la cobertura objetivo en los subgrupos construidos. En contraste, los métodos conformes estándar (incluso con modelos seleccionados por oráculo) exhibieron frecuentemente deficiencias de cobertura en subgrupos específicos. La calibración multiplicativa fue identificada como el motor clave para esta adaptatividad de subgrupos.
• Desempeño en Clasificación: En 6 conjuntos de datos de clasificación multiclase, PCS-UQ redujo los tamaños de los conjuntos de predicción aproximadamente un 20% en comparación con los baselines conformes (APS, RAPS, TopK) manteniendo una cobertura del 90%.
• Eficiencia en Aprendizaje Profundo: En tres benchmarks de visión por computadora (CIFAR-100, Caltech Birds, ImageNet-Small), los métodos de aproximación propuestos redujeron los tamaños de los conjuntos de predicción en un ~20% respecto a los baselines conformes. Estas aproximaciones fueron de 30 a 100 veces más rápidas que el PCS-UQ original basado en bootstrap, logrando un equilibrio entre eficiencia computacional y calidad del intervalo.

Significancia
El artículo argumenta que una UQ confiable requiere una visión más amplia del ciclo de vida de la ciencia de datos, yendo más allá de la dependencia de modelos generativos correctamente especificados o garantías marginales únicamente. Al integrar el marco PCS, los autores demuestran que es posible lograr tanto anchos de intervalo competitivos como una cobertura de subgrupos consistente. El trabajo destaca que el chequeo explícito del modelo (predictibilidad) y la calibración adaptativa (escalado multiplicativo) son esenciales para una cuantificación de la incertidumbre robusta en entornos complejos del mundo real. La conexión teórica con la inferencia conforme valida además las elecciones metodológicas, sugiriendo que PCS-UQ ofrece un camino práctico y teóricamente fundamentado hacia la toma de decisiones responsable en IA.