An End-to-End Explainable AI Framework with Automated LLM-Based Natural Language Explanation Generation for Energy Systems

Resumo Técnico: Um Framework de IA Explicável de Ponta a Ponta para Sistemas de Energia

Declaração do Problema
Embora as redes neurais profundas (DNNs) ofereçam alto desempenho em domínios críticos como sistemas de energia, sua natureza de "caixa preta" dificulta a implementação em cenários de alto risco, onde transparência, confiança e responsabilidade são primordiais. A pesquisa existente em IA Explicável (XAI) foca frequentemente em técnicas isoladas (sejam locais ou globais) ou depende fortemente de visualizações que exigem conhecimento especializado para interpretação. Além disso, há uma carência de frameworks unificados que avaliem quantitativamente a qualidade da explicação (via fidelidade e estabilidade) e traduzam atribuições técnicas em linguagem natural acessível a partes interessadas não técnicas.

Metodologia
O artigo propõe um framework de XAI reutilizável, de ponta a ponta, projetado para ser agnóstico em relação ao conjunto de dados e aplicável tanto a tarefas de classificação quanto de regressão. O pipeline consiste em quatro estáções integradas:

1. Pré-processamento de Dados e Treinamento do Modelo:

   • Os dados tabulares brutos passam por padronização (z-score para recursos numéricos) e codificação one-hot (para recursos categóricos) através de um pipeline unificado para evitar o vazamento de dados (data leakage).
   • Um Perceptron Multicamadas (MLP) serve como o modelo de caixa preta. A arquitetura inclui duas camadas ocultas (192 neurônios) para classificação e três camadas ocultas (448 neurônios) para regressão, utilizando ativação ReLU.
   • A otimização é realizada usando o otimizador Adam com regularização L2 para evitar o sobreajuste (overfitting).

2. Geração de Explicabilidade (LIME e SHAP):

   • Explicações Locais: A Explicação Local Interpretável Independente de Modelo (LIME) aproxima o modelo localmente usando um modelo substituto (regressão logística para classificação, regressão ridge ponderada para regressão) para gerar a importância de recursos específica para cada instância.
   • Explicações Globais e Locais: As Explicações Aditivas de Shapley (SHAP) utilizam o KernelSHAP (devido à natureza não arbórea das redes neurais) para calcular os valores de Shapley, quantificando as contribuições dos recursos global e localmente.
   • Avaliação: A qualidade da explicação é rigorosamente avaliada usando Fidelidade (o quão bem a explicação aproxima o comportamento do modelo) e Estabilidade (consistência das explicações sob pequenas perturbações de entrada).

3. Geração de Linguagem Natural Baseada em LLM:

   • Para reduzir a lacuna entre saídas técnicas e a compreensão humana, dados estruturados (tipo de modelo, previsão, principais recursos, direção de influência e métricas de confiabilidade) são alimentados em um Modelo de Linguagem de Grande Escala (LLM).
   • Usando um template de prompt fixo, o LLM gera resumos concisos em linguagem natural de cinco pontos, cobrindo visões gerais de gráficos, principais descobertas, importância de recursos, comportamento do modelo e potenciais problemas.

4. Conjuntos de Dados de Validação:

   • Detecção de Falhas em Sistemas de Potência: Uma tarefa de classificação binária usando 12.001 registros de medições de corrente e tensão trifásica.
   • Predição de Energia de Edificações: Uma tarefa de regressão usando 2.503 registros de atributos de edifícios para prever o uso de energia do local (kBtu).

Principais Contribuições

• Framework Unificado: Um pipeline modular de ponta a ponta que integra previsão de caixa preta, explicabilidade de modo duplo (LIME/SHAP), avaliação quantitativa e geração de texto baseada em LLM.
• Avaliação Quantitativa: A incorporação de métricas de fidelidade e estabilidade para medir objetivamente a confiabilidade da explicação, indo além da inspeção visual qualitativa.
• Acessibilidade: A automação da conversão de atribuições numéricas complexas em explicações de linguagem natural adequadas para partes interessadas não técnicas.
• Validação Transversal de Tarefas: Demonstração da eficácia do framework em ambos os domínios de classificação (detecção de falhas) e regressão (predição de energia).

Resultos Experimentais

• Detecção de Falhas (Classificação):
  • O MLP alcançou 99% de acurácia de teste e um ROC-AUC de 1,00.
  • A qualidade da explicação foi excepcional, com Fidelidade em 1,00 e Estabilidade em 0,998, indicando explicações altamente confiáveis e consistentes.
  • O SHAP identificou correntes de fase (A e B) e tensões como recursos críticos.
• Predição de Energia de Edificações (Regressão):
  • O MLP alcançou um escore R² de 0,67 no conjunto de teste.
  • A Fidelidade permaneceu alta (0,998), mas a Estabilidade caiu para 0,719. Os autores atribuem essa menor estabilidade às interações não lineares complexas entre as características dos edifícios (ex: tipo, tamanho) e a sensibilidade dos valores SHAP a pequenas variações de entrada neste domínio.
• Análise Comparativa (Rede Neural vs. Floresta Aleatória):
  • Na detecção de falhas, a Rede Neural (NN) teve um desempenho ligeiramente inferior à Floresta Aleatória (RF) em acurácia (0,990 vs. 0,997), mas alcançou maior fidelidade de SHAP (1,00 vs. 0,985).
  • Na regressão de energia, a RF superou a NN em métricas preditivas (R² 0,70 vs. 0,67) e superou significativamente a NN em estabilidade de explicação (0,982 vs. 0,719). Os autores observam que, embora as NNs generalizem bem, suas explicações são menos robustas para tarefas de regressão envolvendo recursos categóricos em comparação com modelos baseados em árvores.

Significância e Alegações
O artigo alega que o framework proposto aumenta com sucesso a interpretabilidade de modelos de caixa preta para aplicações de engenharia de alto risco. Ao combinar avaliação quantitativa rigorosa com geração de linguagem natural via LLM, o sistema fornece explicações "estáveis e fiéis" que são acessíveis a diversos stakeholders. Os autores afirmam que, embora o framework performe excepcionalmente bem em tarefas de classificação críticas para a segurança (detecção de falhas), a menor estabilidade observada em tarefas de regressão destaca a complexidade inerente de explicar relações não lineares na predição de energia. Em última análise, o trabalho fornece uma solução agnóstica ao modelo para melhorar a transparência, embora reconheça que a estabilidade da explicação varia dependendo da complexidade dos dados subjacentes e da arquitetura do modelo.