Activation-Adjacent Layer Normalization: Effects on Approximation Power

현대 인공지능은 패턴을 인식하고, 언어를 번역하며, 이미지를 생성하기 위해 뉴런을 느슨하게 모델링한 거대한 단순 수학적 단위들의 네트워크에 의존합니다. 이러한 네트워크는 데이터를 여러 층(layer)을 통해 전달함으로써 작동하며, 각 층은 정보를 다음 층으로 넘기기 전에 정보를 약간씩 변형합니다. 이 과정에서 핵심적인 구성 요소는 '정규화(normalization)'라고 불리는 메커니즘인데, 이는 마치 볼륨 조절 장치처럼 신호의 강도를 조절하여 네트워크를 통과하는 신호가 너무 혼란스러워지거나 너무 약해지지 않도록 안정성을 유지합니다. 이 조절 과정이 없다면, 이러한 복잡한 시스템을 학습시키는 것은 매우 어려울 것입니다. 그러나 한 가지 미묘한 질문이 이 분야에 남아 있습니다. 과연 이 볼륨 조절 장치가 네트워크가 전달하려는 근본적인 이야기를 변화시키는가 하는 점입니다. 구체적으로, 만약 이 정규화 단계를 네트워크 안에 삽입한다면, 그것이 정규화 없이도 학습할 수 있었던 것과 동일한 함수를 표현할 수 있는 능력을 제한하게 될까요?

중국의 베이항 대학교 연구팀은 수학적 정밀함을 바탕으로 이 질문에 답하고자 했습니다. 그들은 현대 AI에서 널리 사용되는 두 가지 특정 유형의 정규화에 초점을 맞추었습니다. 하나는 제곱평균제곱근(root mean square)을 기준으로 신호를 스케일링하는 것이고, 다른 하나는 평균값을 빼서 신호를 중심화(centering)하는 것입니다. 연구진은 이러한 도구들을 갖춘 네트워크가 여전히 표준 네트워크가 처리할 수 있는 모든 함수를 근사하거나, 즉 밀접하게 모방할 수 있는지 알고 싶어 했습니다. 그들의 조사 결과는 그렇다는 것이었지만, 특정한 비용이 따랐습니다. 표준 네트워크의 온전한 표현 능력을 보존하기 위해서는, 정규화된 버전이 약간 더 넓어야(wider) 합니다. 단순히 구성 요소를 교체하는 것만으로는 충분하지 않으며, 네트워크에 숨을 쉴 수 있는 약간의 추가적인 공간을 주어야 합니다.

연구진은 네트워크를 입력을 출력으로 변환하는 기계로 취급함으로써 이 문제에 접근했습니다. 그들은 정보를 처리하기 위해 사용하는 병렬 경로의 수로 정의되는 특정 너비(width)를 가진 표준 네트워크를 상상했습니다. 그러고 나서, 만약 네트워크의 주요 활성화 함수 앞이나 뒤에 정규화 단계를 삽입한다면, 원래의 함수를 완벽하게 복구하기 위해 네트워크가 얼마나 더 넓어져야 하는지 물었습니다. 그들의 연구 결과에 따르면, 그 답은 정규화의 유형과 그것이 배치된 위치에 따라 달라집니다. 스케일링 전용 방식의 경우, 만약 네트워크의 활성화 함수가 매우 큰 숫자를 생성할 수 있다면, 단 하나의 경로를 추가하는 것만으로도 높은 정밀도로 원래의 함수를 복구하기에 충분합니다. 만약 활성화 함수가 더 제한적이라면, 네트워크는 몇 개의 경로를 더 추가해야 하며, 경로가 추가될수록 오차는 감소합니다.

상황은 정규화가 평균값을 빼서 데이터를 중심화할 때 조금 더 복잡해집니다. 이 추가적인 단계는 네트워크가 교정해야 할 두 번째 유형의 왜곡을 도입합니다. 이 경우, 연구진은 네트워크가 동일한 수준의 정밀도를 달ify하기 위해 원래보다 두 개의 경로가 더 넓어야 한다는 것을 발견했습니다. 이 추가적인 너비는 네트워크가 중심화 효과를 흡수하면서 목표 함수를 표현하는 능력을 잃지 않도록 해줍니다. 이 연구는 이러한 추가 경로들이 단순히 도움이 되는 기술이 아니라, 최악의 시나리오에서 수학적으로 필수적이라는 것을 증명합니다. 만약 네트워크가 이 특정 한계보다 더 좁다면, 학습을 아무리 잘하더라도 학습할 수 없는 특정 함수들이 존재하게 됩니다.

이러적인 이론적 한계를 검증하기 위해, 연구진은 일련의 컴퓨터 실험을 수행했습니다. 그들은 표준 네트워크를 가져와서, 데이터를 통해 학습시키지 않고 자신들의 증명에서 도출된 정확한 수학적 레시피를 사용하여 정규화된 버전을 구축했습니다. 그런 다음, 이 정규화된 네트워크가 원래의 것과 얼마나 밀접하게 동작을 일치시킬 수 있는지 측정했습니다. 결과는 그들의 예측과 완벽하게 일치했습니다. 경로의 너비나 추가된 구성 요소의 크기를 늘렸을 때, 오차는 그들이 공식으로 예측했던 정확한 비율로 감소했습니다. 또한 그들은 네트워크의 활성화 함수가 이동(shift)되어, 좁은 정규화 네트워크가 완전히 실패하게 되는 특정 시나리오를 테스트했습니다. 실험 결과, 추가적인 너비가 없으면 네트워크의 출력이 평탄하고 무용지물이 되지만, 너비를 높이면 네트워크가 학습 능력을 회복한다는 것을 확인했습니다.

이 연구는 현대 신경망 설계의 트레이드오프(trade-offs)를 이해하기 위한 명확한 지도를 제공합니다. 이는 정규화가 복잡한 함수를 학습하는 네트워크의 능력을 파괴하는 것이 아니라, 정규화가 도입하는 변화를 보상하기 위해 작은, 그리고 예측 가능한 크기의 증가를 요구한다는 것을 보여줍니다. 이러한 통찰은 왜 성공적인 모델들이 종면히 그들의 과업에 필요한 최소한의 요구치보다 약간 더 많은 용량을 갖는지 설명하는 데 도움을 줍니다. 연구진은 단 몇 개의 차원을 추가함으로써, 딥러닝을 가능하게 하는 안정화 도구들을 사용하면서도 네트워크가 온전한 힘을 유지할 수 있음을 보여주었습니다. 그들의 연구 결과는 설계자들이 선택한 정규화 단계의 특정한 기하학적 비용을 고려한다면, 이러한 네트워크의 구조가 견고하다는 것을 확인시켜 줍니다.