당신이 거대하고 혼란스러운 오케스트라를 이해하려고 노력하고 있다고 상상해 보십시오. 인공지능의 세계에서 이 오케스트라는 데이터로부터 학습하도록 설계된 컴퓨터 프로그램인 "신경망(neural network)"입니다. 이 네트워크는 서로 대화하는 수백만 개의 작은 부분들(파라미터라고 불림)로 구성되어 있습니다. 보통 이들이 학습할 때, 이들은 복잡하고 예측 불가능한 방식으로 변화하는 야생의, 비선형적인 폭풍처럼 행동합니다. 이는 지도로 그려내기가 매우 어렵습니다.

하지만 과학자들은 기묘한 기술을 발견했습니다: 만약 오케스트라를 충분히 크게 만든다면(음악가들을 무한대에 가깝게 아주 많이 추가한다면), 혼돈은 갑자기 가라앉습니다. 네트워크는 단순하고 곧은 선처럼 행동하기 시작합니다. 이것을 "뉴럴 탠전트 커널(Neural Tangent Kernel, NTK)" 한계라고 부릅니다. 이것을 엉킨 실타래가 거대한 크기로 늘어났을 때 갑자기 완벽하게 곧은 줄처럼 보이는 것에 비유해 보십시오. 수년 동안 연구자들은 이런 현상이 일어난다는 사실은 알고 있었지만, 왜 그런지에 대해서는 머리를 싸매고 고민해 왔습니다. 이것은 마법일까요? 아니면 단순히 수학의 부산물일까요? 그리고 왜 이 "직선" 형태의 행동이 까다로운 작업에서 실제 유한한 크기의 네트워크가 수행하는 성능을 예측하는 데 때때로 실패하는 것일까요?

"파라미터 공간 대칭성에 대한 뉴럴 탠전트 커널 관점(Neural Tangent Kernel Perspective on Parameter-Space Symmetries)"이라는 제목의 이 논문은 이 미스터리를 파헤칩니다. 저자들인 텔아비브 대학교의 연구팀은 이 문제에 접근하는 새로운 방법을 제안합니다. 그들은 이러한 거대 네트워크가 직선처럼 변하는 이유가 "약한 상관관계(weak correlations)" 때문이라고 제안합니다. 네트워크의 구성 요소들을 친구 그룹이라고 상상해 보십시오. 일반적이고 무질서한 네트워크에서는 모두가 서로 잡담을 나누고 서로의 결정에 영향을 미칩니다. 하지만 이 거대한 선형 네트워크에서는 친구들이 서로 거의 대화하지 않습니다. 이 논문은 이러한 연결의 결여(약한 상관관계)가 직선 형태의 행동을 일으키는 근본적인 원인이라고 주장합니다. 그들은 단순히 추측한 것이 아니라, 이를 증명하기 위해 새로운 수학적 도구를 구축했으며, 이러한 상관관계가 약할 때 네트워크가 반드시 선형적으로 행동해야 함을 보여주었습니다. 또한 그들은 컴퓨터 시뮬레이션을 사용하여 이 이론이 실제 상황에서도 유효함을 보여주었으며, 이를 통해 왜 어떤 네트워크가 다른 네트워크보다 더 잘 학습하는지, 그리고 왜 "무한" 이론이 현실 세계에서 가끔 빗나가는지를 설명하는 데 도움을 주었습니다.

조용한 오케스트라 이야기

저자들이 발견한 것을 이해하기 위해, 다시 우리의 오케스트라로 돌아가 봅시다. 신경망이 학습할 때, 네트워크는 사진 속의 고양이를 인식하는 것과 같은 작업을 더 잘 수행하기 위해 내부의 조절 나사(파라미터)를 조정합니다. 보통 하나의 나사를 돌리면 다른 많은 나사에 복잡하고 비선형적인 방식으로 영향을 미칩니다. 이는 마치 드럼 연주자가 리듬을 바꾸자 갑자기 바이올린 연주자의 음정이 변하고, 그로 인해 베이스 연주자가 악기를 바꾸게 되는 것과 같습니다. 그것은 엉망진창입니다.

하지만 저자들은 "무한" 네트워크에 대한 특별한 점을 발견했습니다. 그들은 네트워크가 단순한 직선처럼 행동하려면, "나사"들이 서로 깊고 얽힌 방식으로 영향을 미치는 것을 멈춰야 한다는 것을 깨달았습니다. 그들은 이를 **약한 미분 상관관계(weak derivative correlations)**라고 부릅니다.

이것을 시각화하는 간단한 방법이 있습니다. 당신이 날씨를 예측하려고 한다고 상상해 보십시오.

• 강한 상관관계 (무질서한 네트워크): 당신이 바람을 보면 그것이 기온을 알려줍니다. 하지만 기온 또한 바람을 알려주고, 습도 또한 두 가지 모두를 알려줍니다. 모든 것이 거대하고 얽힌 그물처럼 연결되어 있습니다. 하나를 바꾸면 전체 시스템에 파동이 일며 예측 불가능한 곡선을 그리며 퍼져 나갑니다.
• 약한 상관관계 (선형 네트워크): 당신이 바람을 보면 그것이 기온을 알려줍니다. 하지만 기온은 더 이상 바람에 크게 신경 쓰지 않습니다. 그들은 대부분 독립적입니다. 만약 당신이 바람을 바꾼다면, 기온은 단순하고 예측 가능한 직선의 방식으로 변합니다.

이 논문은 선형성은 바로 이러한 약한 상관관계를 갖는 것과 동일하다는 것을 증명합니다. 만약 네트워크의 부분들이 "약하게 상관되어 있다면" (즉, 서로 많이 대화하지 않는다면), 전체 시스템은 선형이 됩니다. 만약 그들이 강하게 상관되어 있다면, 시스템은 계속 무질서하고 비선형적인 상태로 남습니다.

"닭과 달걀"의 미스터리

이 발견은 큰 퍼즐을 해결합니다. 오랫동안 사람들은 네트워크가 단순히 거대하기 때문에 선형이 된다고 생각했습니다. 하지만 이 논문은 이것이 실제로 거대 네트워크가 구축되는 특정한 방식 때문에 그 구성 요소들이 서로 독립적이 되기 때문이라고 제안합니다.

저자들은 또한 까다로운 질문을 다룹니다: 이 독립성이 좋은 것인가, 아니면 나쁜 것인가?

• "정적(Static)" 관점: 어떤 이들은 네트워크의 부분들이 서로 대화하지 않기 때문에, 네트워크가 "정적"이며 단순히 사물을 단순한 방식으로 암기한다고 생각할 수도 있습니다.
• "편향(Bias)" 관점: 저자들은 더 깊은 아이디어를 제시합니다. 그들은 이러한 약한 상관관계가 사실 편향을 제거하는 것의 한 형태라고 주장합니다. 만약 네트워크의 부분들이 너무 연결되어 있다면, 그들은 데이터에 실제로 존재하지 않는 특이한 패턴을 학습하도록 네트워크를 강요할 수 있습니다. 상관관계를 약하게 유지함으로써, 네트워크는 "열린 마음"을 유지하며 데이터 자체를 학습하게 됩니다.

그러나 이 논문은 역설을 지적합니다. 이 "정적"이고 선형적인 행동은 수학적으로 아름답고 연구하기 쉽지만, 실제 세상의 신경망(무한이 아닌 유한한 네트워크)은 종종 이러한 선형 모델보다 더 뛰어난 성능을 보입니다. 왜 그럴까요? 저자들은 아마도 실제 네트워크가 세상의 까다로운 비선형 패턴을 학습하기 위해서는 어느 정도의 연결(어느 정도의 상관관계)이 필요할지도 모른다고 제안합니다. 만약 당신이 네트워크를 너무 선형적으로 강제한다면(너무 무상관되게 만든다면), 네트워크는 데이터의 "풍미"를 놓칠 수도 있습니다.

그들이 실제로 한 일

저자들은 단지 말로만 설명한 것이 아니라, 이것을 설명하기 위한 새로운 수학적 언어를 구축했습니다. 그들은 무작위 텐서(네트워크가 성장함에 따라 변하는, 숫자로 이루어진 화려한 다차원 격자)의 "점근적 행동(asymptotic behavior)"을 측정하는 방법을 도입했습니다. 이것을 네트워크가 커짐에 따라 얼마나 "거친지" 또는 "차분한지"를 측정할 수 있는 새로운 자(ruler)라고 생각하십시오.

이 새로운 자를 사용하여, 그들은 다음을 수행했습니다:

1. 연결성 증명: 그들은 상관관계가 약하면 네트워크가 반드시 선형이 된다는 것을 수학적으로 증명했습니다. 이것은 "필요충분조건" 관계입니다.
2. 시뮬레이션을 통한 수학 검증: 그들은 다양한 네트워크 크기와 학습 속도를 가진 실제 데이터셋(MNIST 및 CIFAR10 등)을 사용하여 컴퓨터 실험을 수행했습니다. 그들은 실제 네트워크가 "직선" 예측에서 얼마나 벗어나는지를 측정했습니다.
3. 한계 발견: 그들은 "직선" 예측이 네트워크가 매우 거대하고 학습률이 적절할 때 매우 잘 작동한다는 것을 발견했습니다. 하지만 학습률을 너무 빠르게 설정하거나 네트워크를 너무 작게 만들면 "약한 상관관계"가 무너지고, 네트워크는 다시 무질서하고 비선형적인 상태로 돌아갑니다.

요약

이 논문은 광범위한 신경망의 "마법"이 사실 마법이 아니라는 점을 시사합니다. 그것은 네트워크의 부분들이 서로 간섭하는 것을 멈출 정도로 그 수가 매우 많아진 결과입니다. 이 부분들 사이의 "침묵"이 네트워크가 단순한 직선처럼 행동할 수 있게 해주는 것입니다.

하지만 반전이 있습니다: 저자들은 이 침묵이 왜 무한 네트워크가 때때로 유한한 실제 네트워크에게 패배하는지에 대한 이유일 수 있음을 암시합니다. 실제 세상은 무질서하고 연결되어 있습니다. 어쩌면 최고의 네트워크는 완벽하게 조용하고 선형적인 네트워크가 아니라, 대부분 선형적이면서도 세상의 복잡한 비선형적 비밀을 배울 수 있을 만큼의 딱 적당한 "잡담(상관관계)"을 가지고 있는 네트워크일지도 모릅니다.

요컨대, 이 논문은 거대한 신경망이 왜 그런 방식으로 행동하는지를 볼 수 있는 새로운 렌즈를 제공합니다. 그것은 그들의 단순함의 핵심이 연결의 결여에 있다는 것을 알려주지만, 동시에 너무 많은 단순함은 본질을 놓치게 할 수 있다고 경고합니다.