Single- to multi-fidelity history-dependent learning with uncertainty quantification and disentanglement: application to data-driven constitutive modeling

당신은 로봇에게 금속 조각을 잡아당길 때 어떻게 휘거나, 늘어나거나, 부러질지를 예측하는 법을 가르치려 한다고 상상해 보십시오. 이것은 단순히 "세게 당기면 부러진다"는 식의 간단한 규칙이 아닙니다. 금속은 이전에 잡아당겼던 모든 순간을 기억합니다. 그 이력이 다음 반응에 영향을 미칩니다. 이것이 바로 **구성 모델링(constitutive modeling)**의 세계, 즉 재료가 어떻게 행동하는지를 지배하는 규칙을 찾아내는 정교한 용어입니다. 로봇에게 이 규칙을 가르치려면 데이터가 필요합니다. 하지만 문제는, 완벽한 데이터를 얻는 것이 마치 허리케인 속에서 벌새를 사진으로 찍으려는 것만큼이나 어렵다는 점입니다. 엄청난 시간, 비용, 그리고 컴퓨팅 파워가 소모됩니다. 반면에, 빠른 데이터를 얻는 것은 멀리서 흐릿한 사진을 찍는 것처럼 쉽지만, 실수와 노이즈(잡음)로 가득 차 있습니다. 과학자들은 오랫동안 이 딜레마에 빠져 있었습니다. 완벽한 데이터를 위해 거금을 들일 것인가, 아니면 돈을 아끼는 대신 지저도하고 부정확한 데이터를 감수할 것인가?

당신이 읽게 될 논문은 바로 이 딜레마를 다룹니다. 이 논문은 완벽한 데이터와 지저분한 데이터를 혼합하여 기계를 가르치는 영리한 새로운 방법을 소개하며, 동시에 기계가 자신이 추측하고 있다는 사실을 인정하도록 가르칩니다. 저자들은 **다중 충실도 학습(multi-fidelity learning)**이라는 방법을 사용하는데, 이는 마치 아주 비싸고 정확한 컨설턴트 몇 명과, 훨씬 저렴하고 빠르지만 약간 덜 정확한 조수들을 대거 고용하여 팀을 구성하는 것과 같습니다. 목표는 예산을 깨뜨리지 않으면서도 최선의 답을 얻기 위해 이들의 의견을 결합하는 것입니다. 또한, 이 논문은 **불확실성(uncertainty)**을 다루며, 두 가지 종류의 "모름"을 구분합니다. 하나는 데이터 자체의 자연스러운 무작위성이나 노이즈인 알레아토릭 불확실성(aleatoric uncertainty)(사진 속의 모래알 같은 것)이고, 다른 하나는 모델이 충분한 사례를 접하지 못해 발생하는 모델 자체의 무지인 *에피스테믹 불확실성(epistemic uncertainty)*입니다. 저자들은 시스템이 단순히 답을 내놓는 것에 그치지 않고, 그 답을 얼마나 신뢰할 수 있는지, 그리고 발생하는 오차가 데이터 자체의 문제인지 아니면 모델의 지식 부족 때문인지를 구별할 수 있게 만들고자 합니다.

논문의 핵심 아이디어: 똑똑한 예측자 팀

저자인 Jiaxiang Yi, Bernardo P. Ferreira, Miguel A. Bessa는 어떤 조합의 데이터로부터도 학습할 수 있는 유연한 프레임워크를 제안합니다. 그들은 다양한 시나리오에 적응할 수 있는 "맥가이버 칼" 같은 머신러러닝 모델을 구축했습니다. 이들의 발명품 중심에는 **분산 추정 베이지안 순환 신경망(Variance estimation Bayesian Recurrent Neural Networks, VeBRNNs)**이라 불리는 것이 있습니다.

표준 신경망을 정답을 암기하는 학생이라고 생각해보십시오. 만약 본 적 없는 질문을 던지면, 그 학생은 틀렸더라도 자신만만하게 답을 내놓을 수 있습니다. 그러나 베이지안(Bayesian) 네트워크는 "답은 X라고 생각하지만, 확신은 80% 정도이며, 다른 가능성들의 범위는 다음과 같습니다"라고 말하는 신중한 학생과 같습니다. "순환(Recurrent)" 부분은 이 학생에게 기억력이 있다는 것을 의미합니다. 즉, 과거에 일어난 일의 이력을 기억하며, 이는 과거에 따라 변화하는 재료를 다룰 때 매우 중요합니다. "분산 추정(Variance estimation)" 부분은 이 모델의 특별한 비법입니다. 이 학생은 지저분한 데이터를 보고도 "이 데이터는 제가 수학을 못해서가 아니라 실험 자체 때문에 노이즈가 섞인 것입니다"라고 말할 수 있습니다. 이처럼 "노이즈"와 "무지"를 분리하는 능력은 중대한 돌파구입니다.

네 가지 시나리오: 팀 테스트하기

방법론의 성능을 입증하기 위해, 저자들은 시뮬레이션된 재료를 사용하여 네 가지 서로 다른 "훈련 캠프"를 만들었습니다. 그들은 단순히 한 가지 유형의 데이터만 사용한 것이 아니라, 시스템이 다양한 도전에 어떻게 대응하는지 보기 위해 데이터를 섞고 조합했습니다.

1. 노이즈 섞인 솔로 연주자: 그들은 생성 속도는 빠르지만 노이즈가 많은 단일 유형의 데이터(예: 흐릿한 사진)로 시작했습니다. 여기서 VeBRNN을 훈련시켰고, 모델이 재료의 거동을 정확하게 예측하면서도 데이터에 포함된 "노이즈"가 정확히 어느 정도인지 파악할 수 있음을 발견했습니다. 모델은 신호와 잡음을 분리하는 법을 배웠습니다.
2. 완벽한 짝: 다음으로 클래식한 설정을 시도했습니다. 저렴하지만 덜 정확한 데이터와 비싸지만 매우 정확한 데이터를 혼합했습니다(이 경우 데이터에는 노이즈가 없었습니다). 여기서 저자들은 저렴한 데이터가 문제의 전반적인 형태를 배우고, 비싼 데이터가 세부 사항을 미세 조정하도록 함으로써, 비싼 데이터가 부족한 상황에서도 비싼 데이터만 사용했을 때보다 더 나은 결과를 얻을 수 있음을 보여주었습니다.
3. 이중고(Double Trouble): 이것은 가장 어려운 테스트였습니다. 저렴한 데이터와 비싼 데이터 모두에 노이즈가 있었습니다. 이는 선생님과 교과서 모두에 오타가 있는 상태에서 노래를 배우는 것과 같습니다. 놀랍게도, 그들의 다중 충실도 모델은 여전히 우수한 성능을 보였으며, 특히 훈련 데이터 범위를 벗어난 구간(외삽, extrapolation)을 예측할 때 비싼 데이터만을 사용한 모델보다 뛰어난 성과를 냈습니다.
4. 하이브리드 영웅: 마지막으로, 노이즈가 섞인 저렴한 데이터와 완벽한 비싼 데이터를 혼합했습니다. 이는 현실 세계에서 매우 흔한 시나리오입니다. 시스템은 저렴한 데이터를 통해 대략적인 개념을 잡고, 완만한 데이터를 통해 실수를 바로잡았습니다. 저자들은 저렴한 데이터가 다소 지저분하더라도, 이를 사용하는 것이 비싼 데이터를 기다리는 것보다 모델을 더 빠르고 정확하게 학습시키는 데 도움이 된다는 것을 발견했습니다.

연구 결과: 혼합의 마법

결과는 매우 고무적이었습니다. 저자들은 자신들의 방법이 믿기지 않을 정도로 다재다능하다는 것을 발견했습니다. 이 모델은 단순한 결정론적 모델(평균값만 예측)에서 시작하여, 모든 종류의 불확실성을 정량화하는 복잡한 베이지안 모델로 확장될 수 있습니다.

가장 흥ert로운 발견 중 하나는 저렴한 데이터가 얼마나 필요한가에 관한 것이었습니다. 만로 예산이 제한되어 있다면, 비싼 데이터를 조금 사거나 저렴한 데이터를 조금 사는 식으로 접근해서는 안 됩니다. 저자들은 예산의 약 30%에서 70%를 저렴한 데이터에 투자하는 "스윗 스팟(최적 지점)"이 존재한다고 제안합니다. 저렴한 데이터에 너무 적게 투자하면 모델이 일반적인 패턴을 잘 배우지 못합니다. 비싼 데이터에 너무 적게 투자하면 세부 사항을 제대로 맞추지 못합니다. 하지만 그 균형을 찾는다면, 다중 충실도 접근 방식은 단일 유형의 데이터만 사용하는 것보다 일관되게 우수한 성능을 보입니다.

또한, 이 방법은 외삽(extrapolation), 즉 모델이 본 적 없는 상황을 예측하는 데 특히 뛰어나다는 것을 보여주었습니다. 표준 모델이 훈련 영역 밖의 상황을 예측할 때 자신 있게 틀린 답을 내놓을 수 있는 반면, VeBRNN은 자신이 충분히 알지 못한다는 것을 깨닫고 "신뢰 구간"을 넓힙니다. 즉, "이 부분은 잘 모르겠습니다"라고 말하는 것입니다. 이는 과도한 자신감이 재앙으로 이어질 수 있는 공학 분야에서 매우 중요한 안전 장치입니다.

결론

이 논문은 재료 과학의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 강력하고 적응 가능한 도구 상자를 제공합니다. 저자들은 속도와 정확도 중 하나를 선택할 필요가 없다는 것을 증명했습니다. 서로 다른 품질의 데이터를 지능적으로 혼합함으로써 두 가지를 모두 가질 수 있습니다. 기계에게 자신의 불확실성을 이해하고 데이터의 노이즈와 지식의 부족을 구분하도록 가르침으로써, 저자들은 더 신뢰할 수 있는 데이터 기반 설계를 위한 문을 열었습니다. 새로운 비행기 날개를 설계하든 더 안전한 다리를 설계하든, 이 방법은 우리가 완벽하지 않은 데이터를 사용하면서도, 아직 알지 못하는 것에 대해 건강한 회의론을 유지하며 더 나은 모델을 더 빠르게 구축할 수 있음을 시사합니다.