Informative Fisher Modes in Neural Networks as a Result of Explicit Symmetry Breaking

현대 과학의 광활한 지형 속에서, 기계가 학습하는 방식을 연구하는 것은 수학, 통계학, 그리고 물리학이 교차하는 지점에 놓여 있습니다. 그 핵심에는 단순하지만 심오한 과제가 자리 잡고 있습니다. 바로 컴퓨터가 무작위적인 추측에서 시작하여 어떻게 점진적으로 과업의 규칙을 파악해 나가는지를 이해하는 것입니다. 복잡한 퍼즐을 풀려고 노력하는 학생을 상상해 보십시오. 그들이 걷는 경로는 직선이 아니라, 어떤 길은 막다른 길로 이어지고 다른 길은 해답으로 이어지는 험난한 가능성의 지형을 가로지르는 구불구불한 여정입니다. 과학자들은 오래전부터 이 지형이 데이터의 구조와 기계 자체의 설계에 의해 형성된다는 것을 알고 있었습니다. 이 분야의 핵심 개념 중 하나는 대칭성인데, 이 문맥에서 대칭성이란 기계가 동일한 출력을 생성하면서도 내부적으로 배치될 수 있는 수많은 서로 다른 방식들을 의미합니다. 정육면체를 모양을 바꾸지 않고도 공간상에서 회전시나 할 수 있듯이, 신경망 또한 그 기능은 바꾸지 않으면서 수없이 많은 방식으로 재구성될 수 있는 경우가 많습니다. 이러한 대칭성은 학습 지형 내에서 기계가 성능을 개선하거나 악화시키지 않고도 움직일 수 있는 '평평한(flat)' 방향들을 만들어냅니다. 수년 동안 연구자들은 이러한 대칭성이 작동하는 유일한 조직 원리인지, 아니면 실제 학습이 일어나는 특정 방향을 지배하는 숨겨진 규칙이 따로 존재하는지에 대해 의문을 품어왔습니다.

포츠담 대학교의 한 연구팀은 이제 기계가 과업의 특정 특징을 어떻게 학습하는지를 설명하는 새로운 조직화 계층을 밝혀냈습니다. 그들은 학습이 단순히 기계의 내부 설계에 관한 것이 아니라, 과업 자체가 기계의 자유를 어떻게 제한하느냐에 관한 것임을 발견했습니다. 기계가 문제의 특정 부분을 학습하도록 요구받을 때, 기계는 결과에 영향을 주지 않으면서 특정 내부 설정을 변경할 수 있는 능력을 상실하게 됩니다. 연구진은 이러한 자유의 상실이 학습 방향이 출현하는 방식을 이해하는 열쇠라는 것을 발견했습니다. 그들은 기계가 특정 요구 사항을 충족하도록 강제될 때, 이전에 평평하고 중요하지 않았던 내부 구조의 방향이 갑자기 '질량이 크거나(massive)' 딱딱해진다는 것을 보여주었습니다. 이 경직성은 기계가 해당 특정 특징을 학습하기 시작했다는 신호입니다. 이 제약이 적용되기 전에는 기계가 그 설정을 자유롭게 바꿀 수 있었지만, 적용된 후에는 어떤 변화도 해결책을 망치게 됩니다. 이 과정은 필터처럼 작용하여, 기계의 내부 구조 중 실제로 과업에 대한 정보를 운반하고 있는 부분이 어디인지를 드러냅니다.

이를 증명하기 위해 과학자들은 몇 개의 조절 가능한 노브(knob)만을 가진, 간단하고 해결 가능한 학습 기계 모델을 구축했습니다. 그들은 과업이 부분적으로만 정의되어 기계에게 정답이 될 수 있는 방법이 많은 상태에서 시작했습니다. 이 상태에서 기계는 부분적인 과업에 대해 결과를 바꾸지 않으면서도 내부 설정을 다양하게 바꿀 수 있는 많은 '우발적 대칭성(contingent symmetry)'을 가지고 있었습니다. 연구진은 그다음 두 번째 요구 사항을 과업에 추가했습니다. 이 새로운 요구 사항이 부과되자마자 대칭성이 깨졌습니다. 기계는 더 이상 내부 설정을 자유롭게 바꿀 수 없게 되었습니다. 하나의 특정 방향이 경직된 것입니다. 이 경직성은 무작위가 아니었습니다. 그것은 기계가 이제 학습해야 하는 새로운 정보와 정확히 일치했습니다. 연구진은 이러한 대칭성의 붕괴가 측정 가능한 신호를 생성한다는 것을 입증했습니다. 즉, 기계의 내부 곡률이 변하고, 데이터를 기반으로 서로 다른 설정들을 구별할 수 있는 능력을 갖추게 된다는 것입니다. 이 발견은 학습이 새로운 정보가 추가될 때마다 특정한 자유를 제거하여, 평평하고 정보가 없는 방향을 가파르고 정보가 풍부한 방향으로 바꾸는 단계적인 과정임을 시사합니다.

연구팀은 또한 이 과정이 더 복잡한 심층 네트워크에서 어떻게 전개되는지, 그리고 실제 시나리오에서 어떻게 감지될 수 있는지를 탐구했습니다. 그들은 훈련에 사용되는 표준 제어 파라미터(본질적으로 큰 내부 값을 갖는 것에 대한 페널티)를 조정함으로써, 기계가 특정 순서로 특징을 학습하도록 강제할 수 있다는 것을 발견했습니다. 이 페널티를 완화함에 따라, 기계는 가장 강한 특징을 먼저 학습하고, 그다음 강한 특징을 학습하는 식으로 진행되었습니다. 이는 기계가 과업에 대해 아무것도 모르는 상태에서 모든 것을 아는 상태로 이동하며, 특정 부분 집합만을 알고 있는 뚜렷한 단계들을 거치는 일련의 전이 과정을 만들어냈습니다. 또한 그들은 라디오의 잡음과 유사한 데이터를 노이즈로 추가하면 이 학습 과정을 지연시킬 수 있음을 보여주었습니다. 기계는 해당 특징으로부터 오는 신호가 노이즈를 뚫고 올라올 만큼 충분히 강해졌을 때 비로소 그 특징을 학습하게 됩니다. 이를 통해 그들은 데이터의 강도와 훈련 규칙의 엄격함에 따라 기계가 지식을 습득하는 시점과 방식을 보여주는 '상태도(phase diagram)'를 그려낼 수 있었습니다.

이 발견이 중요한 이유는 기계의 정확한 수학적 대칭성을 알 필요 없이 학습 과정을 볼 수 있는 방법을 제공하기 때문입니다. 연구진은 이러한 학습 방향의 변화가 기계의 행동에 명확한 흔적을 남긴다는 것을 보여주었습니다. 그들은 특정 특징이 학습되었다는 것을 알기 위해 숨겨진 대칭 군(group of symmetries)을 알 필요가 없습니다. 단지 기계의 내부 구조가 데이터에 반응하여 어떻게 딱딱해지는지를 관찰하기만 하면 됩니다. 이 접근 방식은 신경망이 고차원 공간을에서의 무작위적인 탐색에 불과하다는 아이디어를 넘어, 학습을 연구하는 새로운 도구를 제공합니다. 대신, 이는 과업 자체가 기계가 지식을 습득하는 순서를 결정하는 구조화된 계층 구조를 드러냅니다. 이 연구는 학습의 경로가 이러한 우발적 대칭성의 붕괴에 의해 닦이며, 각 새로운 제약이 자유롭고 중요하지 않은 방향을 비판적이고 정보를 운반하는 방향으로 변모시킨다는 것을 보여줍니다.

연구진은 또한 이 과정에서 일어나지 않는 일들에 대해서도 명확히 했습니다. 그들은 기계의 내부 구조 변화가 모두 학습에 의한 것은 아니라는 점을 보여주었습니다. 어떤 방향들은 기계가 데이터에 대해 새로운 것을 학습했기 때문이 아니라, 단순히 훈련 규칙 때문에 딱딱해집니다. 이것들은 기계의 내부 중복성과 관련된 '게이지(gauge)' 방향들입니다. 연구는 이러한 두 종류의 경직성을 주의 깊게 구분하여, 관찰된 변화가 진정으로 학습되고 있는 정보와 연결되어 있는지 확인했습니다. 과업의 효과와 훈련 방법의 효과를 분리함으로써, 연구진은 기계 내부에서 실제로 어떤 일이 일어나고 있는지에 대한 더 명확한 그림을 제공했습니다. 그들은 기계가 출력을 바꾸지 않고도 여러 방식으로 재구성될 수 있지만, 특정 특징을 학습하는 순간 그 자유를 잃고 해당 특징에 대해 특정 구성에 고정된다는 것을 발견했습니다.

이러한 이해는 우리가 학습의 일반화(generalization)를 생각하는 방식에 시사점을 줍니다. 이 연구는 기계가 새로운 데이터로 일반화하는 능력이 과업을 학습하기 위해 대칭성을 깨뜨리는 특정한 방식과 연결되어 있음을 시사합니다. 연구진은 딥러닝의 모든 미스터리를 해결했다고 주장하는 것이 아니라, 학습 방향이 어떻게 출현하는지에 대한 구체적인 메커니즘을 제공했습니다. 그들은 학습이 단일하고 갑작스러운 사건이 아니라, 새로운 특징을 습득할 때마다 발생하는 일련의 전이 과정임을 보여주었습니다. 이 순서는 과업의 요구 사항과 기계의 내부 구조 사이의 상호작용에 의해 지배됩니다. 이 원리는 단순한 모델에서의 분석적 증명과 더 깊은 네트워크에서의 수치적 실험을 통해 다양한 복잡도 수준에서도 유효함이 입증되었습니다.

또한 이 연구는 학습 과정에서 노이즈의 역할을 강조합니다. 연구진은 노이즈가 장벽으로 작용하여, 신호가 이를 극복할 만큼 강해질 때까지 기계가 특정 특징을 학습하는 것을 방해할 수 있음을 보여주었습니다. 이는 라디오가 잡음을 차단하기 위해 강한 신호가 필요한 것과 유사하지만, 이 경우 '신호'는 과업에 대한 정보이고 '잡음'은 데이터의 무작위적인 변동입니다. 연구진은 이러한 통찰을 사용하여, 노이즈 수준과 훈련 페널티가 변함에 따라 기계의 학습 능력이 어떻게 변하는지를 보여주는 학습 지도를 만드는 데 사용했습니다. 이 지도는 기계가 아무것도 배우지 못하는 영역, 가장 강한 특징만을 배우는 영역, 그리고 모든 것을 배우는 영역을 보여줍니다. 이 영역들 사이의 경계는 뚜렷하고 예측 가능하며, 이는 학습 과정이 이전에 생각했던 것보다 훨씬 더 질서 정연하다는 것을 시사합니다.

결국, 이 연구는 학습의 기하학에 대한 새로운 관점을 제공합니다. 이는 정적인 지형이라는 개념에서 벗어나, 기계가 학습함에 따라 지형 자체가 변하는 역동적인 과정을 향해 나아갑니다. 대칭성의 붕괴는 이러한 변화를 일으키는 메커니즘이며, 평평한 방향을 가파른 방향으로 바꾸고 해답으로 가는 경로를 드러냅니다. 연구진은 이 과정이 측정 가능하고 예측 가능하다는 것을 보여주었으며, 개별 특징의 학습을 추적할 수 있는 방법을 제시했습니다. 비록 이 연구가 선형 네트워크와 단순한 모델에 집중했지만, 그 원리는 더 복잡한 비선형 시스템에도 적용될 것으로 기대됩니다. 핵심적인 결론은 학습이란 제약의 과정이며, 과업 자체가 기계의 내부 구조를 형성하여 자유를 제거하고 문제를 해결하는 데 필요한 특정 방향들을 만들어낸다는 것입니다. 이러한 통찰은 우리가 신경망을 단순히 블랙박스로 보는 것이 아니라, 명확하고 관찰 가능한 원칙에 의해 지배되는 시스템으로 이해하는 데 한 걸음 더 다가가게 합니다.