An End-to-End Explainable AI Framework with Automated LLM-Based Natural Language Explanation Generation for Energy Systems

Resumen Técnico: Un Marco de IA Explicable de Extremo a Extremo para Sistemas Energéticos

Declaración del Problema
Aunque las redes neuronales profundas (DNN) ofrecen un alto rendimiento en dominios críticos como los sistemas energéticos, su naturaleza de "caja negra" dificulta su despliegue en escenarios de alto riesgo donde la transparencia, la confianza y la rendición de cuentas son primordiales. La investigación actual en IA Explicable (XAI) suele centrarse en técnicas aisladas (ya sean locales o globales) o depende en gran medida de visualizaciones que requieren experiencia en el dominio para ser interpretadas. Además, existe una falta de marcos unificados que evalúen cuantitativamente la calidad de la explicación (mediante fidelidad y estabilidad) y traduzcan las atribuciones técnicas a un lenguaje natural accesible para las partes interesadas no técnicas.

Metodología
El artículo propone un marco de XAI reutilizable, de extremo a extremo, diseñado para ser agnóstico al conjunto de datos y aplicable tanto a tareas de clasificación como de regresión. El flujo de trabajo consta de cuatro etapas integradas:

1. Preprocesamiento de Datos y Entrenamiento del Modelo:

   • Los datos tabulares brutos se someten a estandarización (z-score para características numéricas) y codificación one-hot (para características categóricas) mediante un flujo unificado para evitar la fuga de datos (data leakage).
   • Un Perceptrón Multicapa (MLP) sirve como el modelo de caja negra. La arquitectura incluye dos capas ocultas (192 neuronas) para clasificación y tres capas ocultas (448 neuronas) para regresión, utilizando la activación ReLU.
   • La optimización se realiza mediante el optimizador Adam con regularización L2 para prevenir el sobreajuste.

2. Generación de Explicabilidad (LIME y SHAP):

   • Explicaciones Locales: Local Interpretable Model-agnostic Explanation (LIME) aproxima el modelo localmente utilizando un modelo subrogado (regresión logística para clasificación, regresión Ridge ponderada para regresión) para generar la importancia de las características específica de cada instancia.
   • Explicaciones Globales y Locales: SHapley Additive exPlanations (SHAP) utiliza KernelSHAP (debido a la naturaleza no arbórea de las redes neuronales) para calcular los valores de Shapley, cuantificando las contribuciones de las características tanto global como localmente.
   • Evaluación: La calidad de la explicación se evalúa rigurosamente mediante la Fidelidad (qué tan bien la explicación aproxima el comportamiento del modelo) y la Estabilidad (consistencia de las explicaciones bajo pequeñas perturbaciones de la entrada).

3. Generación de Lenguaje Natural Basada en LLM:

   • Para cerrar la brecha entre los resultados técnicos y la comprensión humana, los datos estructurados (tipo de modelo, predicción, características principales, dirección de influencia y métricas de fiabilidad) se introducen en un Modelo de Lenguaje de Gran Escala (LLM).
   • Utilizando una plantilla de prompt fija, el LLM genera resúmenes concisos de cinco puntos que cubren descripciones generales de los gráficos, hallazgos clave, importancia de las características, comportamiento del modelo y problemas potenciales.

4. Conjuntos de Datos de Validación:

   • Detección de Fallos en Sistemas de Potencia: Una tarea de clasificación binaria utilizando 12,001 registros de mediciones de corriente y voltaje trifásico.
   • Predicción de Energía en Edificios: Una tarea de regresión utilizando 2,503 registros de atributos de edificios para predecir el uso de energía del sitio (kBtu).

Contribuciones Clave

• Marco Unificado: Un flujo de trabajo modular de extremo a extremo que integra la predicción de caja negra, la explicabilidad de doble modo (LIME/SHAP), la evaluación cuantitativa y la generación de texto basada en LLM.
• Evaluación Cuantitativa: La incorporación de métricas de fidelidad y estabilidad para medir objetivamente la fiabilidad de la explicación, yendo más allá de la inspección visual cualitativa.
• Accesibilidad: La automatización de la conversión de atribuciones numéricas complejas en explicaciones de lenguaje natural adecuadas para partes interesadas no técnicas.
• Validación de Tareas Cruzadas: Demostración de la eficacia del marco en dominios tanto de clasificación (detección de fallos) como de regresión (predicción de energía).

Resultados Experimentales

• Detección de Fallos (Clasificación):
  • El MLP alcanzó una precisión de prueba del 99% y un ROC-AUC de 1.00.
  • La calidad de la explicación fue excepcional, con una Fidelidad de 1.00 y una Estabilidad de 0.998, lo que indica explicaciones altamente fiables y consistentes.
  • SHAP identificó las corrientes de fase (A y B) y los voltajes como características críticas.
• Predicción de Energía en Edificios (Regresión):
  • El MLP alcanzó un puntaje R² de 0.67 en el conjunto de prueba.
  • La Fidelidad se mantuvo alta (0.998), pero la Estabilidad cayó a 0.719. Los autores atribuyen esta menor estabilidad a las interacciones complejas y no lineales entre las características de los edificios (por ejemplo, tipo, tamaño) y la sensibilidad de los valores SHAP ante pequeñas variaciones en la entrada de este dominio.
• Análisis Comparativo (Red Neuronal vs. Random Forest):
  • En la detección de fallos, la Red Neuronal (NN) tuvo un rendimiento ligeramente inferior al de Random Forest (RF) en precisión (0.990 vs. 0.997), pero logró una mayor fidelidad de SHAP (1.00 vs. 0.985).
  • En la regresión de energía, RF superó a la NN en métricas predictivas (R² 0.70 vs. 0.67) y superó significativamente a la NN en estabilidad de la explicación (0.982 vs. 0.719). Los autores señalan que, aunque las NN generalizan bien, sus explicaciones son menos robustas para tareas de regresión que involucran características categóricas en comparación con los modelos basados en árboles.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto mejora con éxito la interpretabilidad de los modelos de caja negra para aplicaciones de ingeniería de alto riesgo. Al combinar una evaluación cuantitativa rigurosa con la generación de lenguaje natural impulsada por LLM, el sistema proporciona explicaciones "estables y fieles" que son accesibles para diversas partes interesadas. Los autores sostienen que, si bien el marco funciona excepcionalmente bien en tareas de clasificación críticas para la seguridad (detección de fallos), la menor estabilidad observada en las tareas de regresión resalta la complejidad inherente de explicar las relaciones no lineales en la predición de energía. En última instancia, el trabajo proporciona una solución agnóstica al modelo para mejorar la transparencia, aunque reconoce que la estabilidad de la explicación varía dependiendo de la complejidad de los datos subyacentes y la arquitectura del modelo.