Resumen Técnico: Separación Estructural de la Incertidumbre Epistémica y Aleatoria

1. Planteamiento del Problema

La incertidumbre predictiva se descompone tradicionalmente en incertidumbre epistémica (EU) (ignorancia reducible del modelo) e incertidumbre aleatoria (AU) (ambigüedad persistente de los datos). Aunque son conceptualmente distintas, los métodos estándar para estimar estas cantidades a menudo fallan al separarlas empíricamente. Técnicas como el dropout de Monte Carlo, los ensambles profundos (deep ensembles) y las redes evidenciales derivan ambos estimadores de la misma distribución predictiva $p(y|x)$.

Esto crea una "trampa algebraica": debido a que tanto la EU como la AU son funciones de la misma distribución, heredan una dependencia algebraica compartida. Benchmarks recientes indican que estos componentes suelen estar fuertemente correlacionados ($\rho \ge 0.78$), lo que hace imposible distinguir entre un modelo que está confundido (alta EU) y datos que son inherentemente ambiguos (alta AU). Resultados formales (p. ej., Tomov et al., 2026) sugieren que ninguna función post-hoc de $p(y|x)$ puede distinguir de forma unívoca entre el error reducible y la ambigüedad intrínseca, ya que diferentes estados subyacentes de incertidumbre pueden inducir la misma distribución predictiva óptima.

2. Metodología: Separación Estructural

El artículo propone la separación estructural como un principio de diseño para romper este acoplamiento algebraico. En lugar de derivar ambas incertidumbres de un único objeto predictivo, los autores asignan la EU y la AU a rutas de parámetros disjuntas dentro de Modelos de Variables Latentes Supervisados (SLVMs).

Arquitectura Central: Modelo de Cuello de Botella de Conceptos Credales (CBM)

La principal instanciación es un CBM Credal construido sobre un codificador congelado (p. ej., DistilBERT). La arquitectura introduce tres rutas de parámetros ortogonales:

1. Ruta de la Media ($\mu$): Predice la estimación puntual de los conceptos, alimentando la cabeza de la tarea.
2. Cabeza Epistémica ($\sigma_{epi}$): Entrenada para rastrear el error de predicción reducible. Está parametrizada por un conjunto disjunto $\phi_{epi}$ y supervisada por una pérdida que combina el error de predicción (con gradientes detenidos para evitar el gaming) y un regularizador KL de Hausdorff.
3. Cabeza Aleatoria ($\sigma_{ale}$): Entrenada para rastrear la ambigüedad de etiqueta persistente. Está parametrizada por un conjunto disjunto $\phi_{ale}$ y supervisada directamente por la entropía de la distribución de etiquetas de la verdad de terreno ($H[\hat{p}^*]$), derivada del desacuerdo entre múltiples anotadores o distribuciones de respuestas derivadas de corpus.

Mecanismos Clave

• Parametrización Disjunta: Las cabezas epistémica y aleatoria utilizan conjuntos de parámetros no superpuestos ($\phi_{epi} \cap \phi_{ale} = \emptyset$).
• Proyecciones Ortogonales: El codificador proyecta la salida $h$ en subespacios ortogonales ($W_{epi}h$, $W_{ale}h$) para asegurar que las cabezas reciban entradas de características no superpuestas.
• Aislamiento de Gradientes: La pérdida de entrenamiento se descompone de tal manera que la pérdida epistémica ($L_{epi}$) depende solo de $\phi_{epi}$ y la pérdida aleatoria ($L_{ale}$) depende solo de $\phi_{ale}$. Los autores demuestran (Teorema 3.3) que bajo estas condiciones, los gradientes cruzados son idénticamente cero ($\nabla_{\phi_{epi}} L_{ale} = 0$ y $\nabla_{\phi_{ale}} L_{epi} = 0$).
• Conjuntos Credales: El modelo representa los conceptos como conjuntos credales (conjuntos convexos de distribuciones de probabilidad) definidos por una media $\mu$ y una covarianza epistémica $\Sigma_{epi}$, mientras que la varianza aleatoria $\sigma_{ale}$ se modela por separado fuera del conjunto credal.

3. Contribuciones Clave

1. Principio de Separación Estructural: El artículo introduce un marco para SLVMs donde la EU y la AU se computan a partir de rutas de parámetros supervisadas distintas, en lugar de una descomposición post-hoc de $p(y|x)$.
2. Teorema de Aislamiento de Gradientes: Una prueba formal que demuestra que, con parámetros disjuntos y términos de pérdida separados, las cabezas de EU y AU permanecen desacopladas durante el entrenamiento, evitando la trampa algebraica identificada en trabajos previos.
3. Instanciación de CBM Credal: Una implementación específica utilizando un Modelo de Cuello de Botella de Conceptos Credal que utiliza proyecciones ortogonales y funciones de pérdida híbridas para lograr esta separación.
4. Diagnósticos Exhaustivos: Los autores introducen y validan métricas para probar no solo la decorrelación, sino la validez semántica:
   • Aislamiento de Gradientes: Verificación de gradientes cruzados cero.
   • Correlación: Medición de $\rho(U_{epi}, U_{ale})$.
   • Reducibilidad por Escala de Datos: Comprobación de si la EU disminuye a medida que los datos aumentan.
   • Rastreo de Ambigüedad: Verificación de si la AU correlaciona con la ambigüedad de la verdad de terreno ($H[\hat{p}^*]$).

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks: tres conjuntos de datos de cuello de botella de conceptos (CEBaB, HateXplain, GoEmotions) con ambigüedad derivada de anotadores, y dos conjuntos de datos de QA (MAQA*, AmbigQA*) con ambigüedad derivada de corpus.

• Decorrelación: La separación estructural redujo la correlación de Spearman entre EU y AU desde el rango base de $\rho \in [0.75, 0.84]$ (observado en métodos estándar como Deep Ensembles y MC Dropout) a $\rho \approx 0.05$. Incluso sin una penalización de decorrelación explícita ($\lambda_d = 0$), la correlación se mantuvo baja ($\rho \in [0.12, 0.23]$), significativamente por debajo del "suelo post-hoc".
• Validez Semántica:
  • Rastreo Aleatorio: La cabeza aleatoria mostró una fuerte correlación con la ambigüedad de la verdad de terreno ($\rho(\sigma_{ale}, H) \in [0.42, 0.74]$), mientras que los modelos base mostraron un rastreo mucho más débil.
  • Sensibilidad Epistémica: La cabeza epistémica se mantuvo sensible al error de predicción y mostró la firma de reducibilidad esperada (disminución de las normas de gradiente a medida que aumentaban los datos de entrenamiento).
• Utilidad en Aval de la Decisión (Downstream Utility): El método permitió el enrutamiento basado en cuadrantes, distinguiendo con éxito entre:
  • DATOS (Alta EU, Baja AU): Casos que requieren más datos (p. ej., hechos oscuros).
  • REVISIÓN (Baja EU, Alta AU): Casos que requieren revisión humana debido a la ambigüedad inherente (p. ej., opiniones subjetivas).
    Los modelos base colapsaron estos casos distintos en una diagonal, fallando al apoyar estas decisiones operativas.
• Robustez: Los resultados se mantuvieron a través de diferentes arquitecturas de codificadores (DistilBERT, BERT, RoBERTa) y fueron corroborados en una instanciación de Red Neuronal Autoexplicativa (SENN).

5. Significado y Reivindicaciones

El artículo sostiene que las arquitecturas de variables latentes supervisadas proporcionan una ruta práctica hacia estimaciones de incertidumbre que no son meramente decorrelacionadas, sino operativamente distinguibles.

• Superación de la Imposibilidad: Al mover la estimación del espacio de salida (funciones de $p(y|x)$) al espacio de parámetros (cabezas separadas con gradientes separados), el enfoque elude los resultados de imposibilidad que se aplican a las descomposiciones post-hoc.
• Distinción Operativa: El principal significado no es solo la decorrelación estadística, sino la capacidad de apoyar decisiones diferentes: una alta EU señala la necesidad de más datos o mejora del modelo, mientras que una alta AU señala la necesidad de abstención o revisión humana.
• Limitaciones: Los autores señalan modestamente que el marco depende de la disponibilidad de estructuras latentes supervisadas (conceptos) y señales de supervisión relacionadas con la ambigüedad (p. ej., datos de múltiples anotadores). Reconocen que escalar al ajuste fino (fine-tuning) de fin de extremo de grandes LLMs puede requerir un enrutamiento de gradientes cuidadoso para mantener la separación, y que los benchmarks actuales están diseñados específicamente para este propósito y son relativamente pequeños.

En resumen, el artículo argumenta que la separación arquitectónica, combinada con objetivos de supervisión distintos, es una condición necesaria y efectiva para producir estimaciones de incertidumbre que sean semánticamente válidas y útiles para la toma de decisiones.