Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere

현대 컴퓨팅의 지형에서 인공 신경망만큼 우리의 세상을 근본적으로 재편한 도구는 거의 없습니다. 이것들은 인간의 뇌에서 영감을 받은 수학적 시스템으로, 데이터로부터 패턴을 학습하고 예측을 수행하도록 설계되었습니다. 그 핵심에는 단순하지만 강력한 아이디어가 자리 잡고 있습니다. 기본 처리 단위들의 층을 쌓음으로써, 네트워크는 거의 모든 복잡한 함수를 근사할 수 있다는 것입니다. 수십 년 동안 수학자들은 이러한 네트워크가 특정 형태나 곡선을 얼마나 잘 모방할 수 있는지를 연구해 왔으며, 이는 근사 이론(approximation theory)이라 알려진 분야입니다. 이 분야의 핵심 질문은 이러한 모방의 한계를 이해하는 것입니다. 조각가가 주어진 도구로 돌을 얼마나 정교하게 깎을 수 있는지에 한계가 있듯이, 신경망 또한 함수의 매끄러움(smoothness)과 네트워크의 크기에 따라 함수를 얼마나 정확하게 표현할 수 있는지에 대한 한계를 가집니다. 이 한계는 단순히 더 많은 데이터나 더 많은 컴퓨팅 파워를 갖는 문제가 아닙니다. 그것은 네트워크 설계의 기하학적 구조에 의해 결정되는 근본적인 경계입니다.

얕은 신경망(shallow neural network)이라고 알려진 특정 유형의 네트워크는 이러한 근사를 수행하기 위해 단일 은닉층을 사용합니다. 이러한 네트워크가 양수 값에 대해서만 켜지는 스위치의 부드러운 버전처럼 작동하는 ReLUk라는 특정 활성화 함수를 사용할 때, 이들은 복잡한 데이터를 모델링하는 데 놀라운 능력을 보여주었습니다. 연구자들은 이러한 네트워크가 매우 높은 정확도를 달取得할 수 있다는 것을 오래전부터 알고 있었지만, 한 가지 미스터리가 남아 있었습니다. 즉, 뉴런을 더 많이 추가하거나 함수를 더 매끄럽게 만드는 것이 단순히 도움이 되지 않는 지점이 존재하는가 하는 점입니다. 다시 말해, 네트워크가 아무리 노력해도 더 이상 나아질 수 없는 '천장'에 부딪히는 지점이 있을까요? 이 질문은 매우 중요한데, 만약 그러한 천장이 존재한다면, 그것은 이 강력한 도구들의 궁극적인 잠재력을 정의하기 때문입니다.

통 마오(Tong Mao)와 진차오 쉬(Jinchao Xu)의 최근 연구는 이러한 질문을 직접적으로 다루며, 특히 이 네트워크들이 구(sphere)의 표면 위에서 함수를 근사하도록 요청받았을 때 어떻게 행동하는지에 초점을 맞춥니다. 네트워크가 지구본 위에 그려진 패턴을 학습하려고 노력한다고 상상해 보십시오. 연구자들은 네트워크의 성능이 단순히 뉴런의 개수에 달려 있는 것이 아니라, 그 뉴런들이 공간상에 어떻게 배치되어 있는지에 달려 있다는 것을 발견했습니다. 그들은 특정 부류의 매끄러운 함수들에 대해, 네트워크가 성장함에 따라 오차가 감소하는 속도에는 엄격한 한계가 있음을 증명했습니다. 수학자들이 이를 '포화(saturation)' 지점이라고 부르는 것입니다. 일단 네트워크가 이 지점에 도달하면, 학습하려는 함수가 평평한 선이나 상수값처럼 사소하고 흥미롭지 않은 경우가 아닌 한, 더 이상의 정확도 향상을 이룰 수 없습니다.

이 연구는 이 한계가 네트워크의 내부 파라미터들의 물리적 배치, 즉 뉴런들이 구 위에서 향하고 있는 방향과 밀접하게 연관되어 있음을 밝혀냅니다. 연구자들은 만약 이 방향들이 공간에 고르게 퍼져 있다면, 네트워크는 특정한 학습 속도 제한에 부딪힌다는 것을 발견했습니다. 그러나 만약 방향들이 뭉쳐 있거나 불량하게 배치되어 있다면, 네트워크의 성능은 훨씬 더 떨어집니다. 핵심적인 발견은, 대상 함수가 아무리 매끄럽더라도 네트워크는 이 특정한 개선 속도를 이길 수 없다는 것입니다. 만약 어떤 함수가 이론적으로 더 빠른 학습을 허용할 만큼 충분히 매끄럽다 하더라도, 함수가 사실상 0인 아주 단순한 경우가 아니라면 네트워크는 여전히 동일한 속도 제한에 갇혀 있을 것입니다. 이는 신경망이 기존의 전통적인 수학적 도구들보다 갖는 이점이 실재하기는 하지만, 무한하지는 않다는 것을 의미합니다.

이 결론에 도달하기 위해 저자들은 문제의 기하학적 구조를 면밀히 살펴보아야 했습니다. 그들은 뉴런들의 방향 사이의 '거리'가 함수의 서로 다른 부분들을 구별해내는 네트워크의 능력에 어떤 영향을 미치는지 분석했습니다. 그들은 네트워크의 방향들이 너무 가깝거나 혹은 서로 정반대에 가깝다면, 네트워크가 근사를 정교화하는 능력을 상실한다는 것을 보여주었습니다. 연구자들은 잘 배치된 방향들의 집합에 대해, 오차가 공간의 차원과 함수의 매끄러움에 의해 결정되는 정밀한 비율로 감소한다는 것을 입증했습니다. 이 비율이 가능한 최선의 결과이며, 이보다 더 빠르게 나아가려고 시도하는 것은 수학적으로 불가능합니다.

이 작업은 신경망을 고전적인 수학적 근사 체계 안에 확고히 위치시킨다는 점에서 의미가 큽니다. 오랫동안 신경망이 다항식이나 스플라인(splines)과 같은 다른 수학적 도구들을 지배하는 규칙들을 깨뜨릴 수 있을 것이라는 희망이 있었습니다. 이 연구는 신경망이 강력하기는 하지만, 마법은 아니라는 점을 보여줍니다. 그것들은 동일한 기하학 및 매끄러움의 근본 법칙의 적용을 받습니다. 연구자들은 이러한 네트워크의 '천장'이 현재 기술의 일시적인 한계가 아니라, 그 구조의 영구적인 특징임을 증명했습니다. 이는 주어진 수준의 매끄러움을 가진 모든 함수에 대해, 얕은 신경망이 학습할 수 있는 최대 속도가 존재하며, 그 속도는 네트워크의 설계에 의해 고정되어 있다는 것을 의미합니다.

이 발견의 함의는 이 모델들에 의존하는 모든 이들에게 명확합니다. 이는 단순히 더 많은 뉴런을 추가하거나 활성화 함수를 더 매끄럽게 만드는 것만으로는 모든 문제를 해결할 수 없음을 시사합니다. 네트워크가 이 포화 지점에 도달하면, 개선할 수 있는 유일한 방법은 네트워크의 근본적인 구조를 바꾸거나, 학습하려는 함수가 이 특정 아키텍처에 비해 너무 복잡하다는 점을 받아들이는 것뿐입니다. 이 연구는 이러한 한계가 존재한다는 엄격한 수학적 증명을 제공하며, 그 한계가 정확히 무엇인지 정의합니다. 이는 신경망이 할 수 있는 일에 대해 현실적인 기대를 설정할 수 있도록 돕는, 이 도구들이 성취할 수 있는 바에 대한 명확한 경계를 제시합니다.

결국, 이 연구는 신경망을 강력하지만 경계가 있는 도구로 묘사합니다. 그것들은 오래된 방식들이 할 수 없는 일들을 할 수 있지만, 무한하지는 않습니다. 연구는 이러한 네트워크의 성능이 데이터의 매끄러움과 네트워크 구성 요소들의 기하학적 배치 사이의 섬세한 균형에 의해 지배된다는 것을 확인해 줍니다. 개선이 멈추는 정확한 지점을 식별함으로써, 연구자들은 인공지능의 진정한 역량을 이해하는 데 있어 중요한 퍼즐 조각을 제공했습니다. 이러한 지식은 우리가 이 도구들의 강점을 높이 평가하는 동시에 그 내재적인 한계를 존중하게 하며, 우리가 언제 이 도구들을 가장 효과적으로 사용할 수 있는지, 그리고 언제 우리는 그 잠재력의 끝에 도달했는지를 이해할 수 있게 해줍니다.