Uncertainty propagation in auto-regressive random neural network models

현대 과학과 공학의 세계에서 컴퓨터는 복잡한 시스템이 어떻게 행동할지 예측하는 데 필수적인 도구가 되었습니다. 기상 예보부터 동맥을 흐르는 혈액의 흐름을 모델링하는 것에 이르기까지, 이러한 디지털 모델은 인간의 뇌에서 영감을 얻은 수학적 구조인 인공 신경망에 의존합니다. 이 네트워크는 방대한 양의 데이터를 바탕으로 수백만 개의 내부 설정, 즉 매개변수라고 불리는 값들을 조정함으로써 패턴을 인식하고 예측하는 법을 배웁니다. 그러나 중요한 과제가 남아 있습니다. 이러한 모델은 결코 완벽할 수 없다는 점입니다. 모델에 입력되는 데이터에는 작은 오류가 포함될 수 있으며, 내부 설정 자체도 절대적인 확실성을 가지고 알려져 있지 않습니다. 많은 실제 시나리오에서, 이러한 미세한 불확실성은 모델이 실행됨에 따라 증폭되어, 예측이 현실에서 크게 벗어나거나 완전히 불안정해지는 결과를 초래할 수 있습니다. 과학자들은 이러한 불확실성이 시간이 지남에 따라 어떻게 성장하는지 추적하는 방법을 오랫동안 찾아왔지만, 모델링 대상이 되는 시스템이 혼돈스럽고 급격하게 변하는 경우 전통적인 방법들은 종종 어려움을 겪습니다.

캘리포니아 대학교 산타크루즈 캠퍼스의 연구진은 자신의 미래 단계를 스스로 예측하는 시스템, 특히 신경망을 통한 불확실성을 추적하는 새로운 방법을 개발했습니다. 그들의 접근 방식은 네트워크의 입력 데이터와 내부 설정을 고정된 숫자가 아니라 변동할 수 있는 변수로 취급합니다. 이들은 이러한 네트워크에 사용되는 특정 유형의 수학적 함수를 활용하여, 수천 번의 개별 시뮬레이션을 실행할 필요 없이 불확실성이 어떻게 퍼지는지를 분석적으로 계산할 수 있는 방법을 만들어냈습니다. 연구진은 두 가지 악명 높게 어려운 시스템, 즉 전형적인 기상 현상의 혼돈스러운 동작을 보여주는 로렌츠-63(Lorenz-63) 모델과 복잡한 유체 역학을 설명하는 쿠라모토-시바신스키(Kuramoto–Sivashinsky) 방정식을 대상으로 이 방법을 테스트했습니다. 결과에 따르면, 이 기술은 시스템이 예측 가능한 범위 내에 있는 한 불확실성의 성장을 정확하게 추적할 수 있으며, 기존 방법보다 더 효율적이고 안정적인 대안을 제공합니다.

문제의 핵심은 신경망이 불확실성을 처리하는 방식에 있습니다. 네트워크가 예측을 수행할 때, 입력값을 받아 수학적 연산의 층을 거쳐 출력을 생성합니다. 만약 입력값이 약간 틀리거나 내부 설정이 원래 있어야 할 값과 약간 다르다면 출력값은 변하게 됩니다. 단순한 시스템에서는 이러한 변화가 작고 관리 가능한 수준일 수 있습니다. 하지만 작은 차이가 엄청나게 다른 결과로 이어지는 혼돈 시스템에서는 이러한 오류가 폭발적으로 증가할 수 있습니다. 이를 이해하기 위해, 난류가 흐르는 강물을 떠내려가는 나뭇잎의 경로를 예측하는 상황을 상상해 보십시오. 만약 나뭇잎의 시작 위치를 아주 조금이라도 잘못 안다면, 1분 뒤의 위치에 대한 당신의 예측은 완전히 틀릴 수 있습니다. 연구진은 내부 수학이 'Leaky ReLU'라고 불리는 함수를 사용하여 구축된 특정 유형의 신경망에 집중했습니다. 이 함수는 독특한 특성을 가지고 있는데, 바로 직선들로 구성되어 있다는 점입니다. 전체적인 네트워크는 복잡하지만, 이러한 조각별 선형 구조 덕분에 연구진은 입력이나 설정의 작은 변화가 출력에 어떤 영향을 미치는지에 대한 정밀한 국소 지도를 만들 수 있었습니다.

이러한 통찰력을 바탕으로, 연구팀은 평균 예측값과 가능한 결과의 확산이 시간이 지남에 따라 어떻게 진화하는지를 설명하는 일련의 방정식들을 도출했습니다. 단순히 추측하는 대신, 그들은 입력의 불확실성, 네트워크 설정의 불확실성, 그리고 그로 인한 예측의 불확실성 사이의 정확한 수학적 관계를 계산했습니다. 그들의 발견 중 결정적인 부분은 네트워크가 단계별로 실행됨에 따라 시스템의 상태에 대한 불확실성과 네트워크 설정에 대한 불확실성이 서로 연결된다는 사실을 깨달은 것이었습니다. 그들은 이 연결 관계, 즉 '교차 공분산(cross-covariance)'이라 부르는 것을 추적하는 방법을 개발하여, 두 종류의 불확실성이 서로에게 어떤 영향을 미치는지 모델이 고려하도록 했습니다. 이는 매우 중요한데, 이 연결 고리를 무시하면 부정확한 예측으로 이어지기 때문입니다.

연구진은 먼저 대기 대류를 모사하는 수학적 모델인 로렌츠-63 시스템에서 이 방법을 테스트했습니다. 이 시스템에서 예측 가능 지평(예측이 유용해지는 시간 한계)은 약 5.11 시간 단위입니다. 연구팀은 자신들의 새로운 방법을 수천 번의 시뮬레이션을 통해 결과의 범위를 확인하는 표준적인 방식인 몬테카를로 시뮬레이션(Monte Carlo simulation)과 비교했습니다. 표준적인 방법은 정확하지만 계산 비용이 많이 듭니다. '재표집 모멘트 전파(Resampled Moment Propagation)'라고 불리는 이 새로운 방법은 훨씬 적은 계산 자원을 사용하면서도 유사한 정확도를 달ach했습니다. 테스트 결과, 100개의 입자(다양한 가능한 시나리오를 나타냄)를 사용하는 것만으로도 표준 방법의 3,000개 샘플과 대등한 결과를 얻을 수 있었습니다. 새로운 접근 방식은 예측 가능성의 끝까지 평균 예측값과 불확실성의 확산을 성공적으로 추적한 반면, 재표집을 포함하지 않은 더 단순한 버전의 방법은 짧은 시간 만에 불안정해지며 터무니없이 잘못된 결과를 생성했습니다.

이러한 결과에 고무된 연구팀은 훨씬 더 복잡한 시스템인 쿠라모토-시바신스키 방정식에 이 방법을 적용했습니다. 이 모델은 표면을 따라 흐르는 얇은 유체 막의 거동을 설명하며, 이는 매우 혼돈스럽고 수백 개의 변수를 포함하는 과정입니다. 연구진은 이 시스템을 200차원으로 이산화하여 거대한 계산적 도전에 직면했습니다. 여기서 예측 가능 지평은 약 41.84 시간 단위로 더 길었습니다. 연구팀은 500 타임 스텝 동안 시뮬레이션을 실행했으며, 이는 예측 가능 지평의 상당 부분을 커버하는 수치였습니다. 이 고차원 환경에서도 방법은 잘 작동했습니다. 연구팀은 불확실성의 성장과 시스템의 평균적인 거동을 정확하게 포착했습니다. 그러나 연구진은 실질적인 한계점도 언급했습니다. 이 방법은 시스템의 상태와 네트워크의 매개변수 사이의 연결을 저장하기 위해 많은 양의 컴퓨터 메모리를 요구한다는 점입니다. 200차원 시스템의 경우, 이러한 연결을 위해서만 약 48기가바이트의 저장 공간이 필요했습니다. 이러한 메모리 요구량에도 불구하고, 이 방법은 수천 번의 전체 시뮬레이션을 실행하는 무차별 대입(brute force) 방식 없이도 고차원의 혼돈 시스템을 통해 불확실성을 전파하는 것이 가능하다는 것을 입증했습니다.

이 접근 방식의 성공은 '재표집(resampling)'이라는 기술에 달려 있습니다. 연구진의 방법에서는 가능한 시나리오들의 집합, 즉 입자들을 추적합니다. 시간이 흐름에 따라 각 입자와 관련된 불확실성은 커집니다. 만약 이러한 성장이 제어되지 않고 계속되도록 내버려 둔다면 모델은 불안정해집니다. 이를 방지하기 위해 연구진은 주기적으로 시스템을 '재설정'합니다. 특정 간격마다, 국소적인 가능성의 구름으로 표현되는 각 입자의 현재 상태를 가져와서 그로부터 새로운 샘플을 추출합니다. 이 과정은 입자 집합을 새로 고침으로써 불확서성이 통제 불능 상태로 치솟는 것을 방지하는 동시에, 불확실성이 진화하는 복잡한 비선형적 방식을 포착할 수 있게 합니다. 연구진은 이러한 재설정의 타이밍이 매우 중요하다는 것을 발견했습니다. 재설정이 너무 자주 일어나면 모델이 불확실성을 충분히 축적하지 못해 위험을 과소평가하게 됩니다. 반대로 너무 드물게 일어나면 모델이 불안정해집니다. 실험을 통해 연구진은 10에서 20 타임 스텝마다 재설정을 수행하는 특정 간격이 테스트한 시스템들에 대해 최적의 균형을 제공한다는 것을 밝혀냈습니다.

이 연구는 인공지능을 과학적 응용 분야에서 더욱 신뢰할 수 있게 만드는 데 있어 중요한 진전을 의미합니다. 복잡하고 혼돈스러운 시스템을 통해 불확실성을 수학적으로 추적하는 방법을 제공함으로써, 연구진은 과학자들이 자신의 예측 한계를 이해할 수 있도록 돕는 도구를 제시했습니다. 이 방법은 불확실성을 제거하는 것이 아니라, 그 불확실성이 어떻게 성장하고 진화하는지에 대한 명확하고 정확한 그림을 제공합니다. 이는 작은 오류가 대규모 오해로 이어질 수 있는 기후 모델링이나 유체 역학 같은 분야에서 특히 중요합니다. 연구진은 현재의 방법이 매우 큰 시스템을 다룰 때 요구되는 메모리 문제에 제한이 있음을 인정하면서도, 향후 개선을 통해 이 비용을 줄일 수 있을 것이라고 제안했습니다. 이들의 연구 결과는 신경망의 구조적 특성과 세심한 수학적 분석을 결합함으로써, 예측력뿐만 아니라 자신의 한계에 대해서도 정직한 모델을 구축하는 것이 가능하다는 것을 보여줍니다. 예측을 얼마나 앞서까지 신뢰할 수 있는지 예측하는 능력은 예측 그 자체만큼이나 가치 있는 일이며, 이 새로운 프레임워크는 그 경계를 결정하는 견고한 방법을 제공합니다.