An End-to-End Explainable AI Framework with Automated LLM-Based Natural Language Explanation Generation for Energy Systems

기술 요약: 에너지 시스템을 위한 엔드 투 엔드 설명 가능한 AI 프레임워크

문제 정의
심층 신경망(DNN)은 에너지 시스템과 같은 중요한 도메인에서 높은 성능을 제공하지만, 그들의 "블랙박스" 특성은 투명성, 신뢰성 및 책임감이 필수적인 고위험 시나리오에서의 배포를 저해합니다. 기존의 설명 가능한 AI(XAI) 연구는 종종 고립된 기술(로컬 또는 글로벌 중 하나)에 집중하거나, 전문 지식을 필요로 하는 시각화에 크게 의존합니다. 또한, 설명의 품질(충실도 및 안정성을 통해)을 정량적으로 평가하고, 기술적 기여도를 비기술적 이해관계자가 접근 가능한 자연어로 변환하는 통합된 프레임워크가 부족한 실정입니다.

방법론
본 논문은 데이터셋에 구애받지 않고 분류 및 회귀 작업 모두에 적용 가능한 재사용 가능한 엔드 투 엔드 XAI 프레임워크를 제안합니다. 파이프라인은 네 가지 통합 단계로 구성됩니다:

1. 데이터 전처리 및 모델 학습:

   • 원시 테이블 데이터는 데이터 누수를 방지하기 위해 통합 파이프라인을 통해 표준화(수치형 피처에 대한 z-score) 및 원-핫 인코딩(범주형 피처용) 과정을 거칩니다.
   • 다층 퍼셉트론(MLP)이 블랙박스 모델 역할을 합니다. 아키텍처는 분류를 위해 두 개의 은닉층(192개 뉴런), 회귀를 위해 세 개의 은닉층(448개 뉴런)을 포함하며 ReLU 활성화 함수를 사용합니다.
   • 최적화는 과적합을 방지하기 위해 L2 규제를 적용한 Adam 옵티마이저를 사용하여 수행됩니다.

2. 설명 생성 (LIME 및 SHAP):

   • 로컬 설명: LIME(Local Interpretable Model-agnostic Explanation)은 대리 모델(분류를 위한 로지스틱 회귀, 회귀를 위한 가중치 적용 릿지 회귀)을 사용하여 모델을 국소적으로 근사함으로써 인스턴스별 피처 중요도를 생성합니다.
   • 글로벌 및 로컬 설명: SHAP(SHapley Additive exPlanations)은 신경망의 비 트리(non-tree) 특성을 고려하여 KernelSHAP을 활용함으로써, 피처 기여도를 글로벌 및 로컬 수준에서 정량화합니다.
   • 평가: 설명의 품질은 충실도(Fidelity)(설명이 모델의 동작을 얼마나 잘 근사하는가)와 안정성(Stability)(작은 입력 섭동 하에서의 설명 일관성)을 통해 엄격하게 평가됩니다.

3. LLM 기반 자연어 생성:

   • 기술적 출력과 인간의 이해 사이의 간극을 메우기 위해, 구조화된 데이터(모델 유형, 예측값, 상위 피처, 영향 방향 및 신뢰도 지표)가 대규모 언어 모델(LLM)에 입력됩니다.
   • 고정된 프롬프트 템플릿을 사용하여, LLM은 플롯 개요, 주요 발견 사항, 피처 중요도, 모델 동작 및 잠재적 문제를 포함하는 간결한 5점 구성의 자연어 요약을 생성합니다.

4. 검증 데이터셋:

   • 전력 시스템 결함 탐지: 3상 전류 및 전압 측정을 포함하는 12,001개의 레코드를 사용한 이진 분류 작업입니다.
   • 건물 에너지 예측: 부지 에너지 사용량(kBtu)을 예측하기 위해 건물 속성을 사용하는 2,503개의 레코드를 사용한 회귀 작업입니다.

주요 기여

• 통합 프레임워크: 블랙박스 예측, 듀얼 모드 설명 가능성(LIME/SHAP), 정량적 평가, LLM 기반 텍스트 생성을 통합하는 모듈형 엔드 투 엔드 파이프라인을 구축했습니다.
• 정량적 평가: 질적인 시각적 검사를 넘어 설명의 신뢰성을 객격적으로 측정하기 위해 충실도와 안정성 지표를 도입했습니다.
• 접근성: 복잡한 수치적 기여도를 비기술적 이해관계자에게 적합한 자연어 설명으로 자동 변환합니다.
• 교차 작업 검증: 분류(결함 탐지) 및 회귀(에너지 예측) 도메인 모두에서 프레임워크의 효용성을 입증했습니다.

실험 결과

• 결함 탐지 (분류):
  • MLP는 99%의 테스트 정확도와 1.00의 ROC-AUC를 달달성했습니다.
  • 설명 품질은 매우 뛰어났으며, 충실도는 1.00, 안정성은 0.998로 나타나 매우 신뢰할 수 있고 일관된 설명을 보여주었습니다.
  • SHAP은 상 전류(A 및 B)와 전압을 핵심 피처로 식별했습니다.
• 건물 에너지 예측 (회귀):
  • MLP는 테스트 세트에서 R² 점수 0.67을 기록했습니다.
  • **충실도는 높게 유지(0.998)**되었으나, 안정성은 0.719로 하락했습니다. 저자들은 이 낮은 안정성의 원인을 건물 특성(예: 유형, 크기) 사이의 복잡한 비선형 상호작용과 이 도메인에서 SHAP 값의 작은 입력 변화에 대한 민감성 때문이라고 분석했습니다.
• 비교 분석 (신경망 vs. 랜덤 포레스트):
  • 결함 탐지에서 신경망(NN)은 정확도(0.990 vs. 0.997)에서 랜덤 포레스트(RF)보다 약간 낮은 성능을 보였으나, SHAP 충실도(1.00 vs. 0.985)는 더 높았습니다.
  • 에너지 회귀에서 RF는 예측 지표(R² 0.70 vs. 0.67)에서 NN보다 우수했으며, 설명 안정성(0.982 vs. 0.719)에서도 크게 앞섰습니다. 저자들은 NN이 일반화 성능은 좋지만, 범주형 피처를 포함하는 회귀 작업에서는 트리 기반 모델에 비해 설명의 견고함이 떨어진다고 언급했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 고위험 공학 응용 분야를 위한 블랙박스 모델의 해석 가능성을 성공적으로 향상시킨다고 주장합니다. 엄격한 정량적 평가와 LLM 기반 자연어 생성을 결 결합함으로써, 시스템은 다양한 이해관계자가 접근 가능한 "안정적이고 충실한" 설명을 제공합니다. 저자들은 프레임워크가 안전이 중요한 분류 작업(결함 탐지)에서는 탁월한 성능을 보이는 반면, 회귀 작업에서 관찰된 낮은 안정성은 에너지 예측의 비선형 관계를 설명하는 데 내재된 복잡성을 강조한다고 단언합니다. 궁극적으로, 본 연구는 투명성을 개선하기 위한 모델 불가지론적(model-agnostic) 솔루션을 제공하지만, 설명의 안정성이 데이터의 복잡도와 모델 아키텍처에 따라 달라질 수 있음을 인정합니다.