Neural-ISAM: A hybrid in-situ machine learning approach for complex manifold-based combustion models in LES of turbulent flames

이 논문은 복잡한 난류 화염의 대형 와동 시뮬레이션에서 정확도를 유지하면서 메모리 요구 사항을 크게 줄이기 위해 적응형 표제 데이터베이스의 가지치기 영역을 훈련된 신경망으로 동적으로 대체하는 하이브리드 인시튜 머신러닝 방법인 Neural-ISAM을 소개합니다.

핵심

복잡하고 소용돌이치는 불꽃을 슈퍼컴퓨터로 시뮬레이션한다고 상상해 보세요. 이를 정확하게 수행하려면 컴퓨터는 매초 수백만 개의 미세한 지점에서 공기의 정확한 온도, 화학적 조성, 그리고 압력을 알아야 합니다.

문제: "운반하기엔 너무 거대한" 도서관
전통적으로 과학자들은 모든 가능한 불꽃 시나리오에 대한 사전 계산된 답변의 거대한 "도서관"을 만들어 이를 해결해 왔습니다. 이는 마치 모든 페이지가 서로 다른 불꽃 조건인 거대한 백과사전과 같습니다.

• 문제점: 불꽃 모델이 더 현실적이 될수록 (그을음, 복사, 복잡한 화학 반응 등을 추가할수록), 이 백과사전은 컴퓨터의 메모리에 담기 않을 정도로 거대해집니다. 마치 마라톤을 뛰면서 도서관 전체를 배낭에 싣고 가는 것과 같습니다.

첫 번째 해결책: "적시" 노트 (ISAM)
메모리 문제를 해결하기 위해 과학자들은 ISAM이라는 방법을 개발했습니다. 전체 도서관을 운반하는 대신, 컴퓨터는 시뮬레이션을 실행하는 동안 실제로 필요한 답변만 기록합니다. 이러한 답변들을 지능적이고 체계적으로 정리된 노트 (이진 트리) 에 보관합니다.

• 작동 원리: 컴퓨터가 이전에 본 적 없는 답변이 필요하면, 이를 계산하여 기록합니다. 나중에 비슷한 상황을 마주치면, 기록된 내용을 바탕으로 빠른 단축키 (선형 추정) 를 사용합니다.
• 새로운 문제: 불꽃이 매우 복잡하다면 이 노트조차도 너무 가득 차게 됩니다. 컴퓨터는 다시 공간 부족에 직면하게 됩니다.

새로운 해결책: "지능적 요약기" (Neural-ISAM)
이 논문은 "적시" 노트와 **인공지능 (신경망)**을 결합한 하이브리드 접근법인 Neural-ISAM을 소개합니다.

여기 비유가 있습니다:
노트북이 너무 무거워지고 있다고 가정해 보세요. 당신은 노트북의 특정 장을 요약해 줄 **지능적인 조수 (신경망)**를 고용하기로 결정합니다.

1. 요약 대상 스캔: 컴퓨터는 데이터가 매우 빽빽하게 차 있는 (많은 유사한 불꽃 조건이 있는) 노트의 섹션을 찾아냅니다.
2. 조수 훈련: 이러한 빽빽한 섹션에 대해 컴퓨터는 데이터를 가져와 작은 컴팩트한 AI 모델을 훈련시켜 해당 "장"을 "기억"하도록 합니다.
3. 교체: AI 가 훈련되면, 컴퓨터는 해당 섹션의 무거운 노트 페이지를 삭제하고 작은 AI 모델로 대체합니다.
   • 결과: AI 모델은 두꺼운 책과 동일한 정보를 담고 있는 작은 플래시 드라이브와 같습니다. 이로 인해 메모리 사용량이 극적으로 줄어듭니다.

훈련 작동 방식 ("안전 구역" 트릭)
이 논문은 수백만 개의 시나리오를 사전 계산할 필요 없이 이러한 AI 조수를 훈련시키는 교묘한 방법을 강조합니다:

• 컴퓨터는 이미 노트에서 계산한 "안전 구역" (정확도 타원체, Ellipsoids of Accuracy) 을 살펴봅니다.
• 이 안전 구역 내부의 점들을 샘플링하여 새로운 훈련 데이터를 생성합니다.
• 이러한 점들이 안전 구역 내부에 있기 때문에, 컴퓨터는 값비싼 새로운 계산을 수행할 필요가 없습니다. 기존 단축키를 사용하여 훈련 데이터를 생성할 뿐입니다.
• AI 는 해당 특정 영역에서 노트의 행동을 모방하도록 학습한 후, 노트 페이지는 삭제됩니다.

결과: 어떤 일이 일어났나요?
저자들은 이 방법을 두 가지 유형의 난류 화염 (Sandia Flame D 와 그을음 화염) 에 대해 테스트했습니다.

• 메모리 절감:

  • 더 간단한 화염의 경우, 메모리 사용량을 약 **14% 에서 20%**까지 줄였습니다.
  • 더 복잡한 "그을음" 화염 (그을음과 열손실과 같은 더 많은 변수를 포함함) 의 경우, 메모리를 **34% 에서 38%**까지 줄였습니다.
  • 중요한 발견: 너무 많이 요약하려고 시도하면 (너무 공격적으로 가지치기를 하면), AI 모델이 원래 노트보다 오히려 더 많은 공간을 차지하게 됩니다. 모델이 너무 복잡해지기 때문입니다. 그들은 "골디락스" 구역을 찾아야 했습니다.

• 속도 대 정확도:

  • 정확도: 결과는 매우 정확했습니다. AI 요약은 원래 계산과 거의 완벽하게 일치했으며, 특정 화학 물질량에서 아주 작고 거의 눈에 띄지 않는 오차만 있었습니다.
  • 속도: 트레이드오프가 있습니다.
    • 훈련: AI 조수를 훈련시키는 데 ( "요약" 단계) 시간이 걸립니다.
    • 실행: 일단 훈련되면, AI 모델에서 답변을 찾는 데는 원래 노트에서 찾는 것 (약 5 마이크로초) 보다 약간 더 많은 시간 (약 10 마이크로초) 이 걸립니다. 그러나 AI 가 훨씬 더 작기 때문에 컴퓨터의 빠른 메모리에 적합하여 공간 부족으로 인한 시뮬레이션 충돌을 방지합니다.

요약하자면
Neural-ISAM은 과학자들이 그렇지 않으면 컴퓨터에 너무 커서 실행할 수 없는 복잡한 불꽃 시뮬레이션을 수행할 수 있게 해주는 방법입니다. 이는 컴퓨터가 진행되면서 데이터베이스를 구축하도록 하고, 주기적으로 해당 데이터베이스의 가장 무거운 부분을 작고 훈련된 AI 모델로 교체함으로써 이를 가능하게 합니다. 이는 막대한 양의 메모리를 절약하여 더 현실적인 시뮬레이션을 가능하게 하지만, 시뮬레이션 도중 AI 모델을 실행하기 위해 약간의 추가 컴퓨팅 파워가 필요합니다.

기술 요약

기술 요약: Neural-ISAM

문제 제기
다양체 기반 연소 모델은 난류 화염의 대규모 와동 시뮬레이션 (LES) 에서 열화학 상태를 저차원 다양체 위에 투영함으로써 계산 비용을 줄이기 위해 널리 사용됩니다. 전통적으로 이러한 모델은 사전 계산되고 사전 테이블화된 솔루션에 의존합니다. 그러나 다양체의 복잡성이 증가함에 따라 (예: 차원 증가, 복잡한 화학 반응, 비단열 효과) 이러한 테이블에 필요한 메모리 요구량이 과도해집니다.

대안적인 접근법으로는 시뮬레이션 도중 동적으로 데이터베이스를 구축하고 접한 상태만 저장하는 In-Situ Adaptive Tabulation (ISAT) 과 In-Situ Adaptive Manifolds (ISAM) 가 있습니다. ISAM 은 전체 사전 테이블화에 비해 메모리를 줄이지만, 복잡한 모델의 경우 메모리 사용량이 여전히 과도하게 증가할 수 있습니다. 반면, 기계 학습 (ML) 방법, 특히 신경망은 복잡한 함수를 메모리 효율적으로 표현할 수 있습니다. 그러나 표준 ML 접근법은 전체 매개변수 공간을 포괄하는 훈련 데이터셋을 사전에 생성해야 하므로, 모든 상태가 접하지 않는 고차원 문제의 경우 시뮬레이션 내 효율성이라는 목적을 무효화합니다.

방법론: Neural-ISAM
이 연구는 ISAM 의 메모리 한계를 해결하면서도 표준 ML 의 사전 계산 요구 사항을 피하기 위해 적응형 테이블링과 시뮬레이션 내 기계 학습을 결합한 Neural-ISAM이라는 하이브리드 프레임워크를 소개합니다. 이 방법의 작동 원리는 다음과 같습니다:

1. 초기 ISAM 작동: 시뮬레이션은 표준 ISAT 접근법을 사용하여 시작하며, ISAT 는 이진 트리 구조에 다양체 솔루션을 저장합니다. 각 리프 (leaf) 는 솔루션, 그 야코비안 (Jacobian), 그리고 선형 외삽이 유효한 영역을 정의하는 정확도 타원체 (EOA) 를 포함합니다.
2. 가지치기 후보 식별: 주기적으로 이진 트리를 탐색하여 가지치기할 후보 노드를 식별합니다. 노드는 두 가지 사용자가 지정한 임계값을 만족할 때 선택됩니다:
   • 커버리지 밀도 ($\rho$): 노드 영역 내 EOA 의 밀도를 바운딩 박스 부피에 대해 정량화하는 지표입니다. 높은 밀도는 충분한 훈련 데이터를 보장합니다.
   • 리프 수 ($N_L$): 노드 아래의 최소 리프 수로, 가지치기된 영역이 대체할 가치가 있을 만큼 충분히 크다는 것을 보장합니다.
3. 시뮬레이션 내 훈련 데이터 생성: 선택된 후보 노드에 대해, 노드의 축 정렬 바운딩 박스 (AABB) 내에서 무작위 점을 샘플링하여 훈련 데이터를 생성합니다. 점은 후보 노드 아래의 리프 중 하나의 EOA 내에 있을 때만 수용됩니다. 이를 통해 기존 리프로부터의 선형 외삽을 통해 훈련 데이터를 생성할 수 있으며, 새로운 명시적 다양체 계산이 필요하지 않습니다.
4. 신경망 훈련:
   • 데이터 변환: 열화학 프로파일은 평균 프로파일을 빼고 잔차를 표준 편차로 스케일링하여 변환됩니다. 열 손실이 포함된 비단열 사례의 경우, 큰 동적 범위를 처리하기 위해 역쌍곡선 사인 ($\text{arcsinh}$) 스케일링이 적용됩니다.
   • 아키텍처 최적화: 베이지안 최적화를 사용하여 레이어 수와 각 레이어의 뉴런 수를 결정하는 확장 인자를 조정합니다.
   • 대체: 훈련이 완료되면, 후보 노드 아래의 이진 트리 구조가 제거 (가지치기) 되고 훈련된 신경망이 해당 노드에 할당됩니다. 이 영역에서의 향후 쿼리는 트리 탐색 대신 신경망 평가를 통해 해결됩니다.

주요 기여

• 하이브리드 프레임워크: ISAT 데이터베이스의 일부를 신경망으로 동적으로 대체하는 Neural-ISAM 개발로, ISAT 의 "학습하며 진행" 기능과 신경망의 메모리 효율성을 효과적으로 결합했습니다.
• 시뮬레이션 내 훈련 전략: 사전 계산 없이 훈련 데이터를 생성하는 새로운 방법으로, 기존 ISAT 구조를 활용하여 다양체 공간의 특정 영역 내에서 데이터 포인트를 샘플링하고 검증합니다.
• 적응형 가지치기 기준: 메모리 감소와 예측 정확도 사이의 균형을 맞추기 위해 가지치기에 적합한 최적 영역을 결정하기 위한 커버리지 밀도 및 리프 수 임계값 도입.

결과
이 방법은 두 가지 난류 화염에 대한 LES 를 사용하여 평가되었습니다: Sandia Flame D(비예혼합, 1 차원 다양체 입력) 와 Sandia Sooting Flame(비단열, 그을음 형성, 2 차원 다양체 입력).

• 메모리 감소:
  • Sandia Flame D 의 경우, 임계값에 따라 가지치기로 데이터베이스 메모리가 14~20% 감소했습니다.
  • 더 복잡한 Sandia Sooting Flame 의 경우, 높은 임계값 ($N_{L,thresh} = 350$) 으로 약 34~38% 의 메모리 감소를 달성했습니다. 그러나 $N_{L,thresh}$를 너무 낮게 설정하면 (예: 90), 수많은 작은 신경망의 오버헤드로 인해 메모리 사용량이 증가했습니다.
• 정확도:
  • 온도와 종 질량 분율의 조건부 통계는 일반적으로 기준 ISAM 결과와 일치했습니다.
  • 공격적인 가지치기 사례에서 $Y_{OH}$ 및 $Y_{CO}$에 대해 약간 과소 예측이 관찰되었습니다.
  • Sooting 화염의 경우, 희소한 훈련 데이터 영역 (EOA 사이) 에서 열 손실 매개변수 ($H$) 의 정확도가 저하되었으며, 특히 낮은 커버리지 밀도 임계값을 사용할 때 두드러졌습니다. 더 높은 커버리지 밀도 임계값 ($\rho_{thresh} = 0.8$) 은 정확도를 향상시켰지만 가지치기된 영역의 수는 감소시켰습니다.
• 계산 성능:
  • 훈련: 훈련 시간은 상당했지만 관리 가능한 수준이었으며, 훈련된 신경망의 수에 따라 확장되었습니다 (낮은 $N_{L,thresh}$일수록 더 높음).
  • 실행 시간: 가지치기 후, 시간 단계당 소요 시간은 기준 ISAM 대비 약간 증가했습니다. 이는 단일 신경망 평가 (10 $\mu$s) 가 선형 외삽을 통한 기본 ISAT 검색 (5 $\mu$s) 보다 계산적으로 더 비용이 높기 때문입니다. 시간 단계 지속 시간의 증가는 단계당 필요한 신경망 평가 수와 상관관계가 있었습니다.

의의 및 주장
이 논문은 Neural-ISAM 이 다양체 기반 연소 모델링에서 메모리 사용량과 모델 복잡성 사이의 트레이드오프를 성공적으로 해결한다고 주장합니다. 적응형 테이블링 데이터베이스의 일부를 신경망으로 대체함으로써, 특히 기존 테이블링이 실패하는 복잡하고 고차원적인 다양체의 경우 메모리 풋프린트를 크게 줄일 수 있음을 보여줍니다.

저자들은 겸손하게 메모리가 감소하지만 신경망 평가와 관련된 계산 비용이 존재한다고 지적합니다. 또한 희소한 데이터 영역 (EOA 사이) 에서 예측 정확도가 저하될 수 있음을 확인했으며, 향후 이러한 특정 영역에서 모델 성능을 개선하고 ISAT 프레임워크 내 신경망 평가 속도를 최적화할 필요가 있다고 제안합니다. 이 방법은 완전한 사전 테이블링의 과도한 메모리 비용이나 표준 기계 학습 접근법의 사전 계산 요구 사항 없이 점점 더 복잡한 연소 시스템을 시뮬레이션할 수 있는 실현 가능한 다음 단계로 제시됩니다.