A numerical study into neural network surrogate model performance for uncertainty propagation

기술 요약: 불확실성 전파를 위한 신경망 대리 모델 성능에 대한 수치 연구

문제 제기
신경망 (NN) 대리 모델은 확률론적 경계값 문제 (SBVP) 를 해결하기 위한 유망한 도구로 부상하여, 불확실성 전파에 필요한 전통적인 수치 해석기의 반복적이고 비용이 많이 드는 평가를 우회할 가능성을 제시합니다. 그러나 기존 문헌은 주로 이러한 모델이 결정론적 샘플이나 평균장 해를 표현하는 능력에 초점을 맞추고 있으며, 확률 분포의 꼬리 부분에서의 성능은 종종 간과됩니다. 이는 신뢰성 분석과 위험 평가가 드문 극단적 사건의 정확한 예측에 크게 의존하기 때문에 중요한 격차입니다. 본 연구에서 다루는 구체적인 과제는 "긴 꼬리" 문제입니다: 신경망은 일반적으로 보간에는 뛰어나지만 외삽에는 어려움을 겪습니다. SBVP 에서 저확률 영역 (꼬리) 에 있는 훈련 샘플의 부족은 극단적 해장에 대한 정확도를 저하시켜, 평균장 오차보다 한 자릿수 이상 큰 오차를 초래할 수 있습니다.

방법론
본 연구는 고도로 확률적인 소스 항을 가진 정상 상태 열전도 방정식의 해장을 예측하는 세 가지 서로 다른 신경망 아키텍처의 성능을 평가합니다. 지배 물리 법칙은 약형 잔차 손실을 통해 통합됩니다. 문제는 2 차원 영역에서 정의되며, 여기서 소스 항은 랜덤 필드의 Karhunen–Loève 분해를 통해 생성된 후, 두꺼운 꼬리 온도 분포를 유도하기 위해 비선형 변환을 거칩니다. 두 개의 데이터셋 (Source 1 및 Source 2) 이 생성되었으며, Source 2 는 훨씬 더 넓은 온도 범위와 더 집중된 피크를 보입니다.

평가된 세 가지 모델은 다음과 같습니다:

1. 데이터 기반 네트워크 (DDN): 레이블이 지정된 유한 요소 데이터만으로 훈련된 완전 연결 순방향 신경망.
2. 물리 정보 신경망 (PINN): 레이블이 지정된 데이터 없이 지배 편미분 방정식 (PDE) 의 약형 잔차에서 유도된 손실 함수를 사용하여 훈련된 완전 연결 네트워크.
3. 딥 연산자 네트워크 (PCA-DeepONet): 입력 함수 (브랜치 네트워크) 와 공간 좌표 (트렁크 네트워크) 의 학습을 분리하는 DeepONet 아키텍처를 활용하는 물리 정보 모델.

본 연구는 공정한 비교를 보장하기 위해 동일한 하이퍼파라미터, 콜로케이션 포인트, 훈련/테스트 분할을 사용하는 표준화된 훈련 프로토콜을 채택합니다. 성능은 표준 지표 (상대 $\ell_2$-노름) 와, 특히 꼬리 행동을 포착하기 위해 최대 샘플당 오차 (MPSE) 와 최대 오차 (ME) 를 포함한 고차 노름을 사용하여 평가됩니다. 또한, 연구는 이상치 샘플로 훈련을 편향시키기 위한 인스턴스 기반 적응 가중치 전략을 조사하고, 예측 오차와 특정 유형의 이상치 (입력 매개변수의 외삽 대 해량의 외삽) 간의 상관관계를 분석합니다.

주요 결과

• 꼬리 성능 차이: 모든 모델의 최악의 예측 오차는 평균장 오차보다 약 10 배 큰 것으로 나타났습니다. 이는 표준 훈련 지표 (예: 평균 $\ell_2$ 오차) 가 극단적 사건 예측의 심각한 실패를 감출 수 있음을 확인시켜 줍니다.
• 모델 비교: 테스트된 아키텍처 중 PINN(물리 정보 손실을 가진 완전 연결 네트워크) 은 DDN 과 PCA-DeepONet 보다 일관되게 테스트 데이터에서 우수한 성능을 보였으며, 특히 ME 감소와 MPSE 값의 분포와 관련하여 두드러졌습니다. PCA-DeepONet 은 훈련 데이터에서는 잘 수행되었으나 테스트 데이터에서는 현저히 높은 오차를 보여, 이 특정 확률론적 매핑에 대한 일반화 능력이 부족함을 시사했습니다.
• 외삽 한계: 가장 큰 오차는 훈련 데이터의 범위를 넘어선 외삽이 필요한 샘플과 강력하게 상관관계가 있었습니다. 구체적으로, 테스트 샘플의 예측 최대 온도가 훈련 세트에서 관찰된 최대 온도를 초과할 때 오차가 가장 높았습니다. 흥미롭게도, 훈련 세트의 볼록 껍질 밖에 있는 입력 매개변수를 가진 샘플이 반드시 큰 오차를 생성한 것은 아니었습니다. 오히려 관심 반응량 (해장) 의 외삽이 오차의 주된 원인이었습니다.
• 가중치 전략: 더 큰 손실 (꼬리 샘플) 을 가진 샘플에 더 높은 가중치를 부여하도록 설계된 적응 가중치 전략은 훈련 오차를 성공적으로 감소시켰습니다. 그러나 이 접근법은 과적합을 초래하여 테스트 오차의 증가 로 이어졌습니다. 이는 단순히 기존 데이터를 재가중치하는 것만으로는 외삽 문제를 해결하기에 부족하며 일반화를 저하시킬 수 있음을 시사합니다.
• 데이터 크기 민감도: 훈련 샘플 수를 늘리는 것은 일정 수준까지 일반화 오차를 개선했으나, 훈련 세트에 더 이상 테스트 세트보다 높은 최대 온도를 가진 샘플이 포함되지 않을 때 성능은 정체되었습니다.

의의 및 주장
저자들은 이 작업의 주요 기여가 극도로 변동성이 큰 해장 하의 불확실성 전파를 위해 보편적인 신경망 아키텍처와 손실 함수를 엄격하게 수치적으로 조사한 것임을 주장합니다. 본 연구는 다음과 같은 점을 강조합니다:

1. 이상치 식별의 중요성: 오차의 가장 중요한 원인은 극단적 해장으로 외삽하는 모델의 inability(불가능성) 입니다. 논문은 예측된 반응량이 훈련 중에 관찰된 값을 초과하는 테스트 사례를 플래그로 표시하여 이러한 "이상치" 샘플을 식별하는 방법을 제안합니다.
2. 현재 방법의 한계: 평균장에는 효과적이지만 분포의 꼬리 부분에서는 어려움을 겪는 표준 물리 정보 및 데이터 기반 접근법들. 본 연구는 적응 가중치만으로는 만병통치약이 아니며 과적합으로 이어질 수 있음을 보여줍니다.
3. 향후 방향: 저자들은 향후 노력은 단순한 무작위 샘플링이나 단순한 재가중치에 의존하기보다는, 식별된 이상치 영역에 대한 풀오더 모델 시뮬레이션을 통해 표적 훈련 데이터셋을 구축하기 위해 이상치 식별을 적응형 데이터 증강을 안내하는 데 집중해야 한다고 제안합니다.

논문은 신경망 대리 모델이 유망한 가능성을 보이지만, 신뢰성 문제에 적용하려면 외삽 능력에 세심한 주의를 기울이고 저확률 영역에 대한 오차 한계를 설정해야 한다고 결론지었습니다.