CREDO: Epistemic-Aware Conformalized Credal Envelopes for Regression

El artículo presenta CREDO, un método que combina la construcción de envolventes credales interpretables para capturar la incertidumbre epistémica con la calibración conformalizada para garantizar una cobertura válida, logrando intervalos de predicción en regresión que son tanto eficientes como interpretables.

Lo esencial

Imagina que eres un meteorólogo intentando predecir si lloverá mañana.

Si solo miras el pasado, podrías decir: "Probablemente lloverá". Pero, ¿qué pasa si mañana es un día muy extraño, con nubes que nunca has visto antes? Un modelo de inteligencia artificial estándar podría decirte con total confianza: "Lloverá un 90% de las veces", sin darte un margen de error. Esto es peligroso porque, en realidad, el modelo está "adivinando" porque no tiene datos suficientes sobre ese tipo de clima raro.

Aquí es donde entra CREDO, la nueva herramienta que presentan los autores de este artículo.

La Metáfora del "Paraguas Inteligente"

Para entender CREDO, imagina que quieres construir un paraguas para protegerte de la lluvia (la incertidumbre).

1. El problema de los paraguas actuales:
   La mayoría de los métodos actuales (como los que usan los modelos de IA normales) hacen un paraguas de un tamaño fijo o basado en promedios. Si estás en un lugar donde nunca ha llovido antes (una zona de "extrapolación" o datos escasos), el modelo sigue haciendo un paraguas del mismo tamaño pequeño, pensando que sabe lo que hace. Pero en realidad, está muy inseguro. Es como si el modelo dijera: "Estoy 100% seguro de que no me mojaré", cuando en realidad está a punto de empaparse.

2. La solución de CREDO (Credal + Conformal):
   CREDO combina dos ideas brillantes para hacer un paraguas que se adapta a la realidad:

   • Paso 1: El "Credal" (La duda consciente).
     Primero, CREDO se pregunta: "¿Qué tan seguro estoy de que conozco este lugar?".
     Imagina que el modelo tiene un "cerebro" que genera muchas versiones posibles de la realidad (como si tuviera 100 mentores dando consejos diferentes). Si estás en un lugar donde hay muchos datos (lluvia frecuente), todos los mentores están de acuerdo y el paraguas es pequeño y eficiente.
     Pero si estás en un lugar raro donde hay pocos datos, los mentores empiezan a discutir: "¡Creo que lloverá!", "¡No, creo que no!", "¡Quizás es granizo!".
     CREDO detecta esta discusión. En lugar de ignorarla, abre el paraguas para cubrir todas esas opiniones diferentes. Esto es lo que llaman "incertidumbre epistémica": la duda de no saber lo suficiente.

   • Paso 2: El "Conformal" (La garantía matemática).
     Ahora, CREDO añade una capa de seguridad matemática. Incluso si el paraguas se abrió por la duda, ¿podemos estar seguros de que realmente nos protegerá?
     Aquí entra la parte "Conformal". Es como un seguro de calidad. CREDO toma una muestra de datos de prueba, mide qué tan bien funcionó el paraguas en esos casos y ajusta el tamaño final para garantizar que, estadísticamente, siempre te cubra el 90% de las veces, sin importar si el clima es normal o caótico.

¿Por qué es tan especial? (La Descomposición Mágica)

Lo más genial de CREDO es que no solo te da un paraguas más grande; te explica por qué es más grande. Imagina que el tamaño del paraguas se puede dividir en tres partes:

1. El "Ruido" (Aleatoriedad): Es la lluvia que siempre cae, incluso si sabes todo sobre el clima. Es el tamaño base del paraguas.
2. La "Duda" (Epistémica): Es la parte extra que CREDO añade porque está en un lugar donde no tiene muchos datos. Es como decir: "He abierto el paraguas más grande no porque llueva más fuerte, sino porque no estoy seguro de cómo va a llover aquí".
3. El "Seguro" (Calibración): Es un pequeño margen extra que añade la matemática para asegurarse de que no se te escape ni una gota.

En resumen

CREDO es como un asistente de IA muy honesto.

• Cuando tiene mucha información, es preciso y eficiente (paraguas pequeño).
• Cuando se encuentra con algo nuevo o raro, admite su ignorancia y amplía su predicción (paraguas grande) para no equivocarse.
• Y lo mejor: te dice exactamente cuánto de esa amplitud se debe a que el clima es caótico y cuánto se debe a que el modelo necesita más información.

Esto es crucial para decisiones importantes (como en medicina o finanzas), donde es mejor tener un paraguas grande y saber que es por precaución, que tener un paraguas pequeño y mojarse porque el modelo estaba demasiado seguro de sí mismo.

Resumen técnico

1. El Problema

En la cuantificación de incertidumbre (UQ) para regresión, existe una tensión fundamental entre dos enfoques principales:

• Predicción Conformal (CP): Ofrece garantías de cobertura marginal libres de distribución (sin asumir una distribución específica de los datos) mediante la calibración de puntuaciones de no conformidad. Sin embargo, las puntuaciones estándar suelen reflejar principalmente el ruido aleatorio (aleatoriedad inherente a los datos) y no la incertidumbre epistémica (incertidumbre debido a la falta de información o datos escasos). Como resultado, los intervalos de predicción conformales pueden parecer excesivamente seguros (estrechos) en regiones donde el modelo está extrapolando o donde hay pocos datos de entrenamiento.
• Métodos Credales (Imprecise Probabilities): Representan la incertidumbre epistémica mediante conjuntos de distribuciones plausibles en lugar de una sola. Estos métodos hacen visible la falta de información, ampliando los intervalos en regiones de baja densidad de datos. No obstante, suelen ser dependientes del modelo y carecen de garantías de cobertura libres de distribución.

El desafío: ¿Cómo construir intervalos de predicción que sean calibrados (garantía de cobertura válida) y, al mismo tiempo, interpretables y sensibles a la incertidumbre epistémica local (expansión adaptativa en zonas de escasez de datos)?

2. Metodología: El enfoque CREDO

Los autores proponen CREDO (Conformalized Regression with Epistemic-aware creDal envelOpes), una receta de dos pasos que combina la fuerza de ambos mundos: primero construir un envoltorio credal interpretable y luego aplicarle una calibración conformal.

Paso 1: Construcción del Envoltorio Credal Local

En lugar de usar una sola distribución predictiva, CREDO construye un conjunto credal local $F_0(x)$ de distribuciones predictivas condicionales para cada covariable $x$.

• Implementación (Recorte de Puntos Extremos): Se asume un modelo bayesiano con una distribución posterior $\pi(\theta | D_{tr})$. Para cada $x$, se calculan los extremos de los intervalos predictivos (cuantiles) bajo diferentes muestras de parámetros $\theta$.
• Se define un nivel de recorte $\gamma$. Se eliminan los $\gamma/2$ percentiles más bajos de los extremos inferiores y los $\gamma/2$ más altos de los extremos superiores de la distribución posterior.
• El envoltorio credal $[\ell(x), u(x)]$ se define por los cuantiles restantes de estos extremos. Este envoltorio captura la dispersión de los extremos predictivos debida a la incertidumbre sobre los parámetros (incertidumbre epistémica).

Paso 2: Calibración Conformal Dividida (Split Conformal)

Para garantizar la validez de la cobertura, se aplica la calibración conformal sobre el envoltorio credal:

• Se utiliza una puntuación de no conformidad basada en la distancia al envoltorio: $s(x, y) = \max(\ell(x) - y, y - u(x))$.
• Se calcula el cuantil empírico $\hat{\tau}$ de estas puntuaciones en un conjunto de calibración.
• El intervalo final es $C(x) = [\ell(x) - \hat{\tau}, u(x) + \hat{\tau}]$.

Adaptabilidad a la Densidad de Datos ($\gamma(x)$)

Una contribución clave es la propuesta de un nivel de recorte adaptativo $\gamma(x)$ en lugar de uno fijo.

• Se define una puntuación de escasez ($sc(x)$) basada en la distancia al $k$-ésimo vecino más cercano en el espacio de características.
• En regiones con alta densidad de datos, $\gamma(x)$ es alto (recorte agresivo), resultando en envoltorios credales estrechos y eficientes.
• En regiones con baja densidad o extrapolación, $\gamma(x)$ es bajo (recorte mínimo), permitiendo que el envoltorio credal se ensanche significativamente para reflejar la alta incertidumbre epistémica antes de la calibración conformal.

Descomposición de la Incertidumbre

La gran ventaja interpretativa de CREDO es que la longitud del intervalo final se puede descomponer en tres componentes aditivos:

1. Base Aleatoria ($U_A$): La longitud esperada del intervalo condicional (ruido inherente).
2. Inflación Epistémica: La diferencia entre el envoltorio credal y la base aleatoria (incertidumbre por falta de datos).
3. Holgura de Calibración ($2\hat{\tau}$): El ajuste libre de distribución para garantizar la cobertura marginal.

3. Contribuciones Clave

1. Receta "Credal-then-Conformal": Un marco que separa la modelización de la estructura epistémica (conjunto credal) de la garantía de validez (calibración conformal).
2. Construcción Ligera: Propone un método de recorte de extremos posteriores que es computacionalmente eficiente y no requiere modificar la maquinaria conformal estándar.
3. Diagnóstico Interpretativo: Permite descomponer la incertidumbre, identificando explícitamente cuándo un intervalo es ancho debido al ruido de los datos o a la falta de información local.
4. Validez Teórica: Se demuestra que el método mantiene la cobertura marginal libre de distribución bajo intercambio de datos y que, bajo especificación correcta, el intervalo converge al cuantil óptimo asintóticamente.

4. Resultados Experimentales

Los autores evaluaron CREDO en 12 benchmarks de regresión estándar (desde conjuntos de datos pequeños como Concrete hasta grandes como WEC con 54k muestras), comparándolo con métodos de vanguardia como CQR, UACQR y EPICScore.

• Cobertura: CREDO logra consistentemente la cobertura marginal objetivo (90%), validando su propiedad conformal.
• Eficiencia (SMIS): En términos de la Puntuación de Intervalo Escalada (SMIS), CREDO es competitivo y a menudo supera a los métodos base, especialmente en su variante adaptativa.
• Adaptabilidad a Outliers (ILR): CREDO muestra una superioridad clara en la Ratio de Longitud de Intervalo (ILR). Los intervalos se expanden selectivamente en puntos atípicos o regiones de escasez de datos, mientras permanecen estrechos en regiones bien soportadas. Esto demuestra una mayor sensibilidad a la incertidumbre epistémica que los métodos basados puramente en puntuaciones conformales.
• Validación de la Descomposición: El análisis muestra que, efectivamente, la proporción de incertidumbre epistémica es significativamente mayor en los outliers (puntos con baja densidad de covariables) en comparación con los inliers, confirmando que el método diagnostica correctamente la fuente de la incertidumbre.

5. Significado e Impacto

El trabajo de CREDO es significativo porque resuelve una de las limitaciones más críticas de la predicción conformal estándar: la falsa confianza en regiones de extrapolación.

• Interpretabilidad: Al separar el ruido aleatorio de la incertidumbre epistémica, ofrece a los usuarios finales una herramienta de diagnóstico para entender por qué una predicción es incierta.
• Seguridad en Decisiones: En aplicaciones críticas (salud, finanzas, ingeniería), es vital saber si un intervalo es estrecho porque el modelo es preciso o porque el modelo está "adivinando" en una zona vacía. CREDO hace que esta distinción sea visible.
• Generalidad: El enfoque es agnóstico al modelo subyacente (se demostró con redes neuronales cuantílicas y árboles de regresión bayesianos BART), lo que facilita su adopción en diversos sistemas de aprendizaje automático.

En resumen, CREDO establece un nuevo estándar para la cuantificación de incertidumbre en regresión, logrando un equilibrio óptimo entre la rigurosidad estadística (cobertura garantizada) y la inteligencia contextual (sensibilidad a la falta de datos).