Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

A continuación se presenta un resumen técnico detallado del artículo "Modelos de Botella de Conceptos Credales para la Descomposición de la Incertidumbre Epistémica–Aleatoria".

1. Planteamiento del Problema

En aplicaciones de Procesamiento del Lenguaje Natural (PLN) de alto riesgo (por ejemplo, atención médica, legal, finanzas), los modelos estándar emiten una única puntuación de confianza que confunde dos tipos distintos de incertidumbre:

• Incertidumbre Epistémica: Incertidumbre reducible causada por la ignorancia del modelo o una especificación insuficiente (por ejemplo, el modelo no ha visto suficientes ejemplos de entrenamiento similares).
• Incertidumbre Aleatoria: Incertidumbre irreducible causada por la ambigüedad inherente o el ruido en los datos de entrada (por ejemplo, los anotadores humanos discrepan genuinamente sobre la etiqueta).

Limitaciones de los Enfoques Actuales:

• Modelos de Botella de Conceptos (CBM): Aunque los CBM mejoran la interpretabilidad al predecir conceptos intermedios comprensibles para humanos, típicamente emiten probabilidades puntuales (valores únicos). Esto colapsa la incertidumbre epistémica y aleatoria, haciendo imposible determinar por qué una predicción es incierta.
• Brecha de Accionabilidad: Sin la descomposición, los profesionales no pueden distinguir entre casos donde el modelo necesita más datos de entrenamiento (alta incertidumbre epistémica) y casos donde se requiere revisión humana debido a una entrada ambigua (alta incertidumbre aleatoria).

2. Metodología: CREDENCE

Los autores proponen CREDENCE (Estimación de Conceptos de Ensamble Credal), un marco que descompone la incertidumbre a nivel de concepto por construcción.

Innovaciones Arquitectónicas Clave

1. Predicciones Credales (Intervalos): En lugar de una única probabilidad $p_k$, cada concepto $k$ se predice como un intervalo de probabilidad $[p_k, \bar{p}_k]$. Este intervalo representa un Conjunto Credal, capturando el rango de probabilidades plausibles.
2. Separación Estructural de la Incertidumbre: La arquitectura asegura que las señales de incertidumbre epistémica y aleatoria provengan de fuentes distintas para evitar que colapsen en una sola puntuación.
   • Incertidumbre Epistémica ($U_{epi}$): Derivada del desacuerdo del ensamble. El modelo utiliza $H$ cabezas ligeras diversas (adaptadores LoRA) con rangos y tasas de dropout variables. La varianza en sus predicciones cuantifica la confusión del modelo.
   • Incertidumbre Aleatoria ($U_{ale}$): Derivada de una cabeza dedicada entrenada específicamente para predecir el desacuerdo de los anotadores (ambigüedad). Esta cabeza aprende a emitir un valor proporcional a la varianza en las etiquetas humanas para un concepto dado.

Etapas del Proceso

1. Codificador: Un modelo preentrenado congelado (por ejemplo, RoBERTa, LLMs) codifica el texto de entrada $x$ en una representación $h$.
2. Cabezas de Ensamble: $H$ cabezas LoRA diversas predicen las probabilidades de concepto $\hat{p}_h^{(k)}$.
3. Agregación Credal:
   • Se forman los límites del intervalo: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • La incertidumbre epistémica se calcula como la varianza entre las cabezas: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. Cabeza Aleatoria: Una cabeza separada predice $\sigma_\theta^{(k)}$, entrenada para coincidir con la tasa observada de desacuerdo de los anotadores (verdad fundamental) durante el entrenamiento.
5. Clasificación y Decisión:
   • Las etiquetas finales se predicen utilizando la media de las probabilidades de concepto.
   • Reglas de Decisión: El sistema utiliza las señales descompuestas para enrutar las muestras:
     • Confianza: Baja Epi, Baja Ale $\rightarrow$ Automatizar.
     • Recolección de Datos: Alta Epi, Baja Ale $\rightarrow$ Recopilar más datos de entrenamiento.
     • Revisión Humana: Baja Epi, Alta Ale $\rightarrow$ Derivar a humanos (la entrada es ambigua).
     • Abstención: Alta Epi, Alta Ale $\rightarrow$ Rechazar la predicción.

3. Contribuciones Clave

1. Formulación de CBM Credal: Una variante novedosa de CBM que representa las predicciones de concepto como intervalos de probabilidad en lugar de estimaciones puntuales, permitiendo una cuantificación de incertidumbre rigurosa.
2. Descomposición Estructural: Un método que separa las señales epistémicas (confusión del modelo) y aleatorias (ambigüedad de los datos) utilizando componentes arquitectónicos distintos (varianza del ensamble frente a cabeza de ambigüedad supervisada), evitando el colapso de señales.
3. Guía Prescriptiva Accionable: Demuestra que descomponer la incertidumbre permite intervenciones específicas y optimizadas (por ejemplo, priorizar la recolección de datos para errores epistémicos frente a revisión humana para casos aleatorios).

4. Resultados Experimentales

El marco se evaluó en múltiples tareas de PLN (Sentimiento, Emoción, Toxicidad) utilizando conjuntos de datos como CEBaB, GoEmotions, HateXplain y SST-2.

• Validez de la Descomposición (RQ1 & RQ2):

  • Correlación Epistémica: CREDENCE muestra una fuerte correlación positiva entre la incertidumbre epistémica y los errores de predicción ($\rho_{epi} \approx 0.287$ en CEBaB). Cuando el modelo se equivoca, las cabezas del ensamble discrepan.
  • Correlación Aleatoria: La incertidumbre aleatoria se correlaciona fuertemente con el desacuerdo de los anotadores ($\rho_{ale} \approx 0.785$ en CEBaB), superando ampliamente a las líneas base (por ejemplo, CBM+Ensamble $\rho_{ale} \approx 0.356$).
  • Separación: En SST-2 (que carece de etiquetas de desacuerdo de anotadores), la incertidumbre aleatoria muestra correctamente ninguna correlación con los errores, demostrando que mide ambigüedad, no fallo del modelo.

• Accionabilidad (RQ3):

  • Intervención en Conceptos: Reemplazar conceptos con alta incertidumbre aleatoria con etiquetas de verdad fundamental produce ganancias de precisión significativamente mayores ($\Delta Acc \approx 18.9\%$) en comparación con reemplazar conceptos de alta epistémica ($\Delta Acc \approx 4.3\%$). Esto sugiere que los conceptos ambiguos impulsan los resultados de la tarea más que la confusión del modelo.
  • Eficiencia de Enrutamiento: El marco de decisión de cuatro cuadrantes identifica casos de "Revisión Humana" (Baja Epi, Alta Ale) donde el modelo es en realidad correcto pero los humanos discrepan, logrando la mayor ganancia de precisión potencial ($85.7\%$) si se enrutan correctamente.

• Eficiencia: CREDENCE logra estos resultados con una sobrecarga mínima (utilizando adaptadores LoRA) en comparación con los Ensamble Profundos completos, manteniendo una precisión competitiva mientras proporciona señales ricas de incertidumbre.

5. Significado e Impacto

• Puente entre Teoría y Práctica: El artículo va más allá de la cuantificación teórica de la incertidumbre para proporcionar acciones prescriptivas. Indica a los profesionales qué hacer basándose en el tipo de incertidumbre (por ejemplo, "recopilar datos" frente a "enviar a humano").
• Manejo de la Subjetividad: En tareas de PLN donde la "verdad fundamental" es a menudo un compuesto de juicios humanos disputados (subjetividad), distinguir entre la ignorancia del modelo y la ambigüedad inherente es crítico. CREDENCE proporciona el primer marco de CBM para modelar explícitamente esta distinción.
• Colaboración Humano-IA: Al identificar casos donde el juicio humano es esencial (alta aleatoria) frente a casos donde el modelo simplemente necesita más entrenamiento (alta epistémica), el marco optimiza la asignación de recursos humanos y presupuestos de recolección de datos.
• Robustez: El método generaliza a través de diferentes escalas de modelos (desde codificadores de 66M de parámetros hasta LLMs de 8B de parámetros) y diversas tareas de PLN.

En resumen, CREDENCE transforma la incertidumbre de una única puntuación de confianza opaca en una herramienta de diagnóstico estructurada y accionable, permitiendo un despliegue más confiable y eficiente de sistemas de IA en entornos de alto riesgo.