An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

현대 과학과 공학의 광활한 풍경 속에서, 시스템이 시간이 지남에 따라 어떻게 변화하는지 예측하는 것은 근본적인 과제입니다. 위성의 궤도를 추적하거나, 질병의 확산을 모델링하거나, 재료를 통한 열의 흐름을 시뮬레이션하든, 과학자들은 미분 방정식이라고 알려진 특정 유형의 수학적 규칙에 의존합니다. 이 방정식들은 양이 자기 자신 및 환경과 관련하여 어떻게 변화하는지를 설명합니다. 수십 년 동안 이러한 방정식을 푸는 것은 고전적인 수치 해석 방법의 영역이었으며, 이는 문제를 작고 관리 가능한 단계로 나누는 방식입니다. 이 방법은 신뢰할 수 있지만, 복잡하고 고차원적인 문제에서는 계산 비용이 많이 들 수 있고 어려움을 겪을 수 있습니다. 최근 몇 년 동안, 인공지능 분야에서 빌려온 새로운 접근 방식이 등장했습니다. 연구자들은 신경망—인간의 뇌에서 영감을 얻은 컴퓨터 시스템—을 사용하여 이러한 방정식의 해를 학습하고 근사하기 시작했습니다. 물리 정보 신경망(Physics-Informed Neural Networks)이라고 불리는 이 시스템은 단순히 데이터뿐만 아니라 물리 법칙 자체를 통해 학습되므로, 기저에 깔린 과학적 원리를 준수하는 해를 찾을 수 있게 해줍니다.

그러나 이러한 신경망이 제대로 작동하려면, 회로가 전기를 단순히 통과시키는 것 이상의 일을 할 수 있게 해주는 스위치와 같이, 복잡성과 비선형성을 도입할 수 있는 특정한 내부 메커니즘이 필요합니다. 이 메커니즘을 활성화 함수(activation function)라고 부릅니다. 이는 네트워크가 각 단계에서 정보를 처리하는 방식을 결정하며, 정답을 학습하고 근사하는 능력을 형성합니다. 오랫동안 이러한 과학적 솔버에서 어떤 활성화 함수를 사용할지에 대한 선택은 다소 추측에 가까웠으며, 연구자들은 증거보다는 습관에 따라 하나를 선택하곤 했습니다. 이러한 불확실성은 잘못된 선택이 부정확한 예측으로 이어지거나 시스템이 해를 학습하는 데 실패하게 만들 수 있다는 점에서 중요합니다. 질문은 여전히 남아 있습니다. 사용 가능한 수많은 옵션 중 우리 물리 세계를 지배하는 복잡한 시간 의존적 방정식을 푸는 데 진정으로 가장 좋은 것은 무엇인가?

최근 한 연구는 체계적이고 엄격한 접근 방식을 통해 이 질문에 답하고자 했습니다. 연구진은 특정 클래스의 문제, 즉 비자율 상미분 방정식(non-autonomous ordinary differential equations)에 집중했습니다. 쉽게 말해, 이 방정식들은 변화의 규칙이 정적이지 않고 시간 그 자체나 변화하는 환경 조건과 같은 외부 요인에 의해 시간에 따라 진화하는 방정식입니다. 이론을 검증하기 위해 연구팀은 표준 신경망 구조를 구축하고 이를 10가지의 서로 다른 수학적 도전 과제에 노출시켰습니다. 이 도전 과제들은 지수적 성장, 다항식 곡선, 삼각파를 포함하여 자연계에서 발견되는 넓은 범위의 행동을 포괄했습니다. 결정적으로, 연구진은 실험의 다른 모든 변수를 동일하게 유지했습니다. 그들은 모든 테스트에 대해 동일한 네트워크 구조, 동일한 훈련 횟수, 동일한 데이터 포인트를 사용했습니다. 변화한 유일한 요소는 활성화 함수였습니다. 그들은 Sigmoid와 ReLU처럼 잘 알려진 것부터 GELU, ELU, SiLU와 같은 더 현대적인 변형에 이르기까지, 해당 분야에서 흔히 사용되는 9가지 함수를 테스트했습니다.

이 광범위한 시뮬레이션의 결과는 명확하고 결정적이었습니다. 연구는 모든 시나리오에 완벽한 단 하나의 함수는 없지만, 전반적으로 가장 신뢰할 수 있는 성능을 보이는 하나가 존재한다는 것을 발견했습니다. GELU 활성화 함수가 가장 뛰어난 선택지로 떠올랐으며, 60%의 실험에서 가장 정확한 해를 제공했습니다. 이 함수는 알려진 정확한 답과 비교했을 때 일관되게 가장 작은 오차를 생성했습니다. 그 뒤를 바짝 쫓은 것은 ELU와 SELU라는 두 가지 함수였으며, 이들 또한 강력한 능력을 보여주었습니다. 반면, Sigmoid와 Softmax와 같은 오래되고 전통적인 선택지들은 저조한 성능을 보였습니다. 연구진은 이러한 실패를 '포화(saturation)'라고 알려진 현상 때문이라고 설명했는데, 이는 함수가 특정 영역에서 너무 평평해져서 효과적인 학습을 멈추게 함으로써 네트워크를 정체시키는 현상을 말합니다. 연구는 또한 ReLU와 같은 함수가 일반적인 인공지능에서는 인기가 높지만, 이러한 특정 과학적 작업에는 최적의 적합이 아니었음을 언급했는데, 이는 아마도 그들의 날카롭고 각진 특성이 물리 기반 솔버가 요구하는 정밀한 미분을 계산할 때 어려움을 만들기 때문일 것입니다.

연구진은 이러한 결과가 우연이 아님을 확인하기 위해 6개의 추가 방정식을 포함하여 두 번째 테스트 세트로 확장을 진행했습니다. 결과는 견고하게 유지되었습니다. 이 확장된 그룹에서도 GELU가 약 3분의 2의 사례에서 1위를 차지했으며, ELU가 나머지 사례에서 선두를 차지했습니다. 다른 어떤 함수도 이 검증 그룹에서 1위를 확보하지 못했습니다. 연구는 GELU와 ELU의 성공이 그들의 수학적 매끄러움(smoothness)에 뿌리를 두고 있다고 제안합니다. 날카로운 모서리나 평평한 고원(plateau)이 있는 함수와 달리, 이러한 매끄러운 함수들은 네트워크가 변화와 기울기를 더 신뢰성 있게 계산할 수 있도록 해주며, 이는 네트워크가 방정식에 내재된 엄격한 물리 법칙을 충족하도록 요구받을 때 필수적입니다. 이러한 매끄러움은 훈련 과정이 더 안정적으로 수렴하도록 도와 더 정확한 최종 결과를 이끌어냅니다.

이 연구의 함의는 이러한 계산 도구에 의존하는 과학자와 엔지니어들에게 실질적이고 즉각적입니다. 이 연구는 적절한 도구를 선택하기 위한 명확하고 증거에 기반한 가이드라인을 제공합니다. 활성화 함수를 선택하는 것을 무작위적이거나 보편적인 설정으로 취급하기보다, 연구진은 문제의 구체적인 성격이 선택을 결정해야 한다고 제안합니다. 일반적인 시간 의존적 문제의 경우, GELU가 가장 강력한 기본 옵션으로 보입니다. 다항식 상호작용이 포함된 문제의 경우, ELU가 강력한 대안을 제공합니다. 한편, 연구는 Sigmoid와 같은 포화 함수를 이러한 유형의 잔차 기반 솔버에 사용하는 것을 명시적으로 경고하는데, 이는 성능을 저해할 가능성이 높기 때문입니다. 가장 효과적인 활성화 함수를 식별함으로써, 이 연구는 신경망의 능력을 정교화하고, 우리 우주를 설명하는 미분 방정식을 해결하는 더 효율적이고 정확한 방법을 위한 길을 열어줍니다. 이 작업은 이 분야의 모든 문제를 해결했다고 주장하는 것이 아니라, 차세대 과학 컴퓨팅 도구를 구축하기 위한 보다 체계적이고 정보에 입각한 접근 방식을 제시하며 탄탄한 토대를 제공합니다.