Error Analysis of Higher Order Integration Schemes in the Context of Neural Network based Modelling

당신이 구불구불하게 휘어진 강의 길이를 측정하려고 한다고 상상해 보십시오. 과학과 공학의 세계에서, 우리는 종로가 어떻게 움직이거나 굽어지는지를 예측하는 초지능형 지도처럼 작동하도록 '신경망(neural networks)'을 자주 사용합니다. 이러한 네트워크는 마치 학생이 교과서를 암기하는 것처럼 복잡한 패턴을 학습하도록 훈련됩니다. 하지만 이 지도를 실제 계산(예를 들어, 휘어진 보가 사용하는 에너지가 얼마인지 계산하는 것)에 사용하기 위해서는 '적분(integration)'이라는 수학적 연산을 수행해야 합니다. 적분을 곡선의 아주 작은 조각들을 더하여 그 아래의 전체 면적이나 길이를 구하는 방법이라고 생각하십시오.

수십 년 동안 수학자들은 이 조각 내고 더하기를 위한 영리하고 고속인 레시피, 즉 '고차 적분 기법(higher-order integration schemes)'을 개발해 왔습니다. 이 레시피들은 매우 정밀하게 설계되었으며, 만약 당신이 강을 더 작고 세밀한 조각으로 나눌수록 당신의 답은 기하급수적으로 더 정확해질 것이라고 약속합니다. 이것은 마치 줌인을 할수록 완벽해지는 마법의 자를 가진 것과 같습니다. 하지만 여기에는 함정이 있습니다. 이 마법의 자들은 자연에서 발견되는 매끄럽고 예측 가능한 곡선에 맞춰 설계되었습니다. 그것들은 현대의 신경망이 만들어내는 들쭉날쭉하고 울퉁불퉁하며 때로는 혼란스러운 선들에 대해서는 반드시 테스트되지 않았습니다. 큰 질문은 이것입니다. 우리가 측정하려는 지도가 디지털 뉴런으로 만들어졌을 때도 이 첨단 기술의 자들이 여전히 작동할 것인가 하는 점입니다.

이 논문은 정확히 그 시나리오를 조사합니다. 저자인 펠릭스 메스트(Felix Mest)와 마틴 아놀드(Martin Arnold)는 당신이 이러한 화려하고 정밀한 자를 신경망 함수에 사용하려고 할 때, 그것들이 종종 그 초능력을 잃어버린다는 사실을 발견했습니다. 줌인을 한다고 해서 엄청나게 정확해지는 대신, 오차가 개선되지 않고 훨씬 낮은 정밀도 수준에서 멈춰버립니다. 이는 마치 구겨진 종이 위에 레이저 측정기를 사용하는 것과 같습니다. 아무리 주의 깊게 측정하더라도, 종이의 구김(또는 '진동')이 완벽한 측정을 방해합니다.

연구진은 이것이 신경망이 비록 매끄럽게 훈련되었을지라도, 고차 수학 레시피가 처리할 수 없는 미세하고 눈에 보이지 않는 꿈틀거림이나 날카로운 모서리를 생성하기 때문에 발생한다는 것을 발견했습니다. 이러한 꿈틀거림은 수학이 기대하는 매끄러운 주행을 망치는 과속 방지턱처럼 작용합니다. 논문은 대중적인 'ReLU' 활성화 함수(직선 형태의 꺾인 선을 만드는 함수)를 사용하는 네트워크의 경우, 화려한 자들이 아주 단순하고 구식인 자보다 나을 것이 전혀 없다는 것을 보여줍니다. 'tanh'와 같은 더 매끄러운 함수를 사용하는 네트워크의 경우, 화려한 자들이 결국 작동할 수는 있지만, 이는 실질적인 사용이 계산적으로 불가능할 정도로 아주 멀리까지 줌인을 해야만 가능합니다.

이를 해결하기 위해, 저자들은 훈련 중에 신경망을 '매끄럽게 만드는(smoothing)' 방법을 테스트했습니다. 이는 본질적으로 네트워크에게 "제발 그 작은 꿈틀거림을 멈춰줘"라고 말하는 것입니다. 이러한 방식은 고정밀 자가 더 잘 작동하도록 해주었지만, 여기에는 대가가 따랐습니다. 네트워크가 원래의 주요 임무인 곡선의 모양을 예측하는 능력이 떨어지게 된 것입니다. 논문은 결론적으로, 특별한 주의를 기울이지 않는다면 이러한 고차 적분법을 신경망에 맹목적으로 신뢰해서는 안 된다고 말합니다. 그것들은 실제 환경에서 이론적인 속도와 정확도를 자주 상실하며, 우리로 하여금 매끄러운 계산과 똑똑한 예측 사이에서 하나를 선택하도록 강요합니다.