Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)

이 논문은 제한된 관측 데이터로부터 해석 가능한 폐쇄형 수식을 발견하기 위해 제안된 새로운 방법론인 설명 가능한 계층적 심층 학습 신경망 (Ex-HiDeNN) 의 알고리즘, 벤치마크 검증, 그리고 공학적 응용 사례를 통해 기존 방법들보다 뛰어난 정확도와 효율성을 입증합니다.

핵심

이 논문은 **'Ex-HiDeNN'**이라는 새로운 인공지능 기술을 소개합니다. 이 기술은 복잡한 데이터를 보고, 마치 과학자가 수식을 찾아내듯 **사람이 이해할 수 있는 깔끔한 공식 (Closed-form expression)**을 자동으로 만들어냅니다.

기존의 인공지능은 "블랙박스 (Black-box)"처럼 내부 workings 이 불투명해서 "왜 이런 결과가 나왔는지" 설명하기 어려웠습니다. 반면, 이 새로운 방법은 "투명한 유리상자"처럼 내부 논리가 명확한 수학적 공식을 찾아냅니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: 거대한 퍼즐과 검은 상자

우리가 가진 데이터는 마치 수천 개의 조각이 섞인 거대한 퍼즐과 같습니다.

• 기존 AI (블랙박스): 이 퍼즐을 맞추기는 하지만, 어떻게 맞추었는지 설명하지 못합니다. "이렇게 맞추면 맞아요"라고만 할 뿐, 왜 그런지 이유를 알려주지 않습니다.
• 기존 수식 찾기 (Symbolic Regression): 퍼즐 조각을 하나하나 직접 찾아서 수식을 만들려고 하지만, 조각이 너무 많으면 (데이터 차원이 높을수록) 시간이 너무 오래 걸리고, 소음 (노이즈) 때문에 엉뚱한 공식을 만들어내기도 합니다.

2. 해결책: Ex-HiDeNN 의 2 단계 마법

Ex-HiDeNN 은 이 문제를 해결하기 위해 두 단계로 나누어 접근합니다.

1 단계: "거울" 만들기 (C-HiDeNN-TD)

먼저, 복잡한 퍼즐 조각들을 보고 **완벽하게 매끄러운 거울 (Surrogate)**을 만듭니다.

• 이 거울은 데이터의 전체적인 흐름을 아주 정확하게 따라가지만, 소음 (노이즈) 은 걸러냅니다.
• 핵심 아이디어: 이 거울을 통해 데이터가 **얼마나 서로 얽혀 있는지 (Separability)**를 측정합니다.
  • 비유: 만약 데이터가 "사과와 배"처럼 서로 독립적이라면 (분리 가능), 거울은 이를 쉽게 구분해냅니다. 하지만 "소금과 설탕이 섞인 물"처럼 서로 강하게 섞여 있다면 (분리 불가), 거울은 이를 하나로 묶어 인식합니다.

2 단계: "해설자"가 수식을 찾아냄 (Symbolic Regression)

이제 이 거울을 보고 **수식 해설자 (PySR)**가 나옵니다.

• 상황 A (데이터가 분리 가능할 때): 거울이 "이건 사과, 저건 배야"라고 분리해 주면, 해설자는 각각에 간단한 공식 (예: 사과 공식 × 배 공식) 을 붙여 아주 짧은 전체 공식을 만듭니다.
• 상황 B (데이터가 섞여 있을 때): 거울이 "이건 다 섞인 물이야"라고 하면, 해설자는 전체를 한 번에 분석하는 더 복잡한 수식을 찾아냅니다.

이 과정 덕분에, AI 는 데이터의 특성에 맞춰 가장 효율적인 수식을 자동으로 골라냅니다.

---

3. 실제 성공 사례: 공학자들이 감탄한 결과

이 기술은 단순한 이론이 아니라, 실제 공학 문제에서 놀라운 성과를 냈습니다.

• 案例 1: 3D 프린팅 강철의 피로 수명 찾기

  • 상황: 25 가지나 되는 복잡한 성분 (탄소, 니켈, 온도 등) 이 강철의 수명에 어떻게 영향을 미치는지 알 수 없었습니다.
  • 결과: Ex-HiDeNN 은 25 가지 변수를 한 번에 분석해 **"이런 공식을 따르면 수명이 길어집니다"**라는 하나의 깔끔한 공식을 찾아냈습니다. 기존 방법보다 훨씬 정확했습니다.
  • 비유: 25 가지 재료가 섞인 요리 레시피에서 "소금 1g, 후추 0.5g"만 빼면 맛이 망친다는 것을 찾아낸 것과 같습니다.

• 案例 2: 금속의 단단함 (경도) 예측

  • 상황: 금속의 미세한 압흔 데이터를 보고 단단함을 예측해야 했습니다.
  • 결과: 기존에 알려진 방법보다 오류가 25 배나 줄어든 정확한 공식을 찾아냈습니다.
  • 비유: 다른 방법들이 "대략 이 정도일 거야"라고 추측했다면, Ex-HiDeNN 은 "정확히 이 숫자입니다"라고 맞춘 것입니다.

• 案例 3: 재료의 변형 규칙 (항복 면) 발견

  • 상황: 모래나 흙 같은 재료가 언제 변형되는지 (항복하는지) 설명하는 고전적인 물리 법칙을 데이터에서 다시 찾아냈습니다.
  • 결과: 물리학자들이 수십 년 동안 연구해온 복잡한 수식을 AI 가 데이터만 보고 다시 찾아냈습니다.

---

4. 왜 이것이 중요한가요? (핵심 요약)

1. 투명성 (Transparency): "왜?"라는 질문에 "이 공식 때문이에요"라고 명확한 답을 줍니다. NASA 나 항공기 설계처럼 안전이 중요한 분야에서 AI 를 신뢰할 수 있게 해줍니다.
2. 효율성 (Efficiency): 데이터가 복잡하고 적어도 (Sparse data) 도 정확한 공식을 찾아냅니다.
3. 간결함 (Parsimony): 불필요한 복잡함을 걷어내고, 핵심만 담은 간결한 공식을 만들어냅니다.

결론

Ex-HiDeNN 은 복잡한 데이터의 소음 속에서도 숨겨진 '진짜 법칙 (수식)'을 찾아내는 현명한 탐정과 같습니다. 기존 AI 가 "결과만 알려주는 마법사"였다면, Ex-HiDeNN 은 **"결과와 그 이유를 모두 설명해 주는 과학자"**입니다. 이를 통해 우리는 더 안전하고, 이해하기 쉬운 미래의 엔지니어링을 만들 수 있게 됩니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 복잡한 공학 시스템의 해석 불가능성: 실제 공학 시스템의 입력 - 출력 관계는 비선형적이고 복잡하여 기존 회귀 분석 (OLS) 이나 일반 가법 모델 (GAM) 로 정확히 표현하기 어렵습니다.
• 블랙박스 모델의 한계: 심층 신경망 (MLP, CNN, GNN 등) 은 뛰어난 예측 능력을 가지지만, 내부 작동 원리가 불투명하여 "블랙박스"로 간주됩니다. 이는 항공 (FAA), 우주 (NASA), 의료 (FDA) 등 안전이 중요한 분야에서 검증과 검증을 어렵게 만듭니다.
• 기존 기호 회귀 (Symbolic Regression) 의 한계: 데이터에서 직접 해석 가능한 수식 (닫힌 형식, closed-form expressions) 을 찾는 기호 회귀는 이상적이지만, 변수와 연산자가 증가함에 따라 탐색 공간이 기하급수적으로 늘어나는 **NP-난제 (NP-hard problem)**에 직면합니다. 또한, 고차원 데이터나 노이즈가 있는 데이터에서 일관된 결과를 얻기 어렵고 과적합 (overfitting) 되기 쉽습니다.
• 목표: 정확성 (Accuracy), 해석 가능성 (Interpretability), 효율성 (Efficiency) 을 모두 만족하며, 제한된 관측 데이터로부터 해석 가능한 닫힌 형식의 수식을 자동으로 발견할 수 있는 새로운 프레임워크가 필요합니다.

2. 제안된 방법론: Ex-HiDeNN (Methodology)

논문은 **Explainable Hierarchical Deep Learning Neural Networks (Ex-HiDeNN)**라는 새로운 하이브리드 아키텍처를 제안합니다. 이는 C-HiDeNN-TD(구조화된 신경망 대리 모델) 와 **기호 회귀 (Symbolic Regression)**를 결합한 2 단계 파이프라인입니다.

2.1. 핵심 구성 요소

1. C-HiDeNN-TD (Surrogate Model):
   • 텐서 분해 (Tensor Decomposition) 를 사용하여 입력 변수의 분해 가능성 (Separability) 을 학습하는 계층적 심층 신경망입니다.
   • 각 입력 차원에 대한 1 차원 표현을 학습하고, 이를 외적 (outer product) 하여 다차원 모드를 형성합니다.
   • **연속 미분 가능 (Continuously Differentiable)**하므로 자동 미분 (Automatic Differentiation) 을 통해 국소적인 분해 가능성 (Local Separability) 을 정량화할 수 있습니다.
2. Hessian 기반 분해 가능성 점수 (Separability Score, $S^\otimes$):
   • 학습된 C-HiDeNN-TD 의 헤시안 행렬 (Hessian Matrix) 을 분석하여 함수가 가법적 (additive) 또는 승법적 (multiplicative) 으로 분리 가능한지 판단합니다.
   • 대각 성분의 기여도를 측정하여 $[0, 1]$ 범위의 점수 ($S^\otimes$) 를 산출합니다.
3. 적응형 샘플링 및 기호 회귀 (PySR):
   • 높은 분해 가능성 ($S^\otimes \approx 1$): 각 차원을 독립적으로 샘플링하여 1 차원 기호 회귀를 수행한 후 곱셈 형태로 결합합니다.
   • 중간 분해 가능성: 텐서 분해 형태 (곱셈 항들의 합) 로 샘플링 및 회귀를 수행합니다.
   • 낮은 분해 가능성: 전체 다차원 공간에서 샘플링하여 표준 기호 회귀를 수행합니다.
   • 이 과정에서 PySR (Symbolic Regression.jl 기반) 을 사용하여 최적의 수식을 탐색합니다.

2.2. 알고리즘 흐름

1. 데이터로 C-HiDeNN-TD 를 학습하여 연속 미분 가능한 대리 모델 ($\hat{f}$) 생성.
2. 자동 미분을 통해 헤시안 행렬 계산 및 분해 가능성 점수 ($S^\otimes$) 산출.
3. 점수에 따라 샘플링 전략 결정 (차원별, 모드별, 전역).
4. 샘플링된 데이터로 PySR 을 실행하여 닫힌 형식의 수식 도출.

3. 주요 기여 (Key Contributions)

1. 점별 헤시안 기반 분해 가능성 점수 도입: C-HiDeNN-TD 의 자동 미분 능력을 활용하여 데이터의 구조적 특성을 정량화하는 새로운 지표 개발.
2. 2 단계 AI 프레임워크: 구조화된 신경망 대리 모델 (C-HiDeNN-TD) 과 기호 회귀 (PySR) 를 결합하여, 기호 회귀의 탐색 공간 폭발 문제를 완화하고 노이즈에 강인한 수식 추출 가능.
3. 종합적 검증: 합성 벤치마크 및 실제 공학 데이터셋을 통해 정확도, 해석 가능성, 효율성을 입증.
4. 새로운 물리 법칙 발견: 3 가지 공학 문제 (피로 수명, 경도, 항복 곡선) 에서 기존 문헌의 방법론보다 우수한 성능을 보이는 새로운 폐형 수식 (closed-form equations) 발견.

4. 실험 결과 (Results)

4.1. 벤치마크 및 노이즈 강건성

• Vladislavleva 벤치마크: 8 가지 표준 함수 (V1-V8) 에서 Ex-HiDeNN 은 정확한 수식 형태를 거의 완벽하게 복원했습니다.
  • 기존 방법 (Genetic Algorithm, KAN, PySR 단독) 대비 RMSE(평균 제곱근 오차) 가 수백 배에서 수천 배 낮았으며, 특히 고차원 및 분해 가능한 함수에서 압도적인 성능을 보였습니다.
  • 노이즈 강건성: 데이터에 가우시안 노이즈를 추가했을 때, Ex-HiDeNN 은 보간형 대리 모델의 특성 덕분에 노이즈를 필터링하여 기존 PySR 대비 2~10 배 낮은 오차를 기록했습니다.
• 동적 시스템 발견: 로렌츠 시스템 (Lorenz system) 의 시간 계열 데이터로부터 정확한 미분 방정식을 재발견했습니다.

4.2. 공학 응용 사례

1. 적층 제조 강재의 피로 수명 (Fatigue Life):
   • 25 개의 입력 변수 (화학적 성분, 열처리 조건 등) 와 437 개의 실험 데이터 (매우 희소 데이터) 를 사용.
   • 결과: $R^2 = 0.9767$, 상대 오차 **2.8%**의 정확한 피로 수명 수식 도출. 금속학적 현상 (탄소, 크롬의 영향 등) 을 직관적으로 반영하는 수식 구조를 발견.
2. 미세 압입 데이터 기반 경도 예측 (Hardness):
   • 6 개의 재료 특성을 기반으로 비커스 경도 예측.
   • 결과: 기존 SISSO 방법 대비 RMSE 를 25 배 감소 ($R^2 = 0.9999$, 상대 오차 0.49%). 실험 데이터의 산포를 거의 완벽하게 설명.
3. Matsuoka-Nakai 항복 곡선 (Yield Surface):
   • 압력 민감성 입자 재료의 항복 거동을 모델링.
   • 결과: 고전적인 항복 조건 ($I_1 I_2 / I_3 = \eta$) 을 포함하는 물리적으로 타당한 수식을 발견 ($R^2 = 0.9992$, 상대 오차 2.3%).

5. 의의 및 결론 (Significance)

• 해석 가능한 AI 의 실현: 복잡한 공학 문제를 해결하면서도 인간이 이해할 수 있는 수학적 모델을 제공하여, 안전이 중요한 분야 (항공, 우주, 의료) 에서 AI 의 신뢰성을 확보합니다.
• 효율성과 정확성의 균형: 고차원 데이터와 희소 데이터에서도 기호 회귀의 계산적 비효율성을 극복하고, 블랙박스 모델의 불투명성을 해결하는 중간 지점을 제공합니다.
• 물리 법칙 발견 가속화: 실험 데이터로부터 새로운 재료 모델 (피로, 경도, 소성 거동 등) 의 수식을 자동으로 발견함으로써, 재료 과학 및 공학 연구의 속도를 높일 수 있습니다.
• 한계 및 향후 과제: C-HiDeNN-TD 대리 모델의 정확도에 의존적이며, 불연속성이 있는 데이터나 사전 정의된 연산자 집합에 없는 함수를 발견하는 데는 한계가 있습니다. 향후 KHRONOS 와 같은 새로운 대리 모델 통합 및 경량화된 기호 회귀 엔진 개발이 계획되어 있습니다.

이 논문은 데이터 기반 과학 (Data-driven Science) 에서 **해석 가능성 (Interpretability)**과 **정확성 (Accuracy)**을 동시에 달성하기 위한 획기적인 접근법을 제시하며, 공학 및 과학 분야에서 AI 모델의 실제 적용 가능성을 크게 확장했습니다.