🤖 machine learning

Sequential Group Composition: A Window into the Mechanics of Deep Learning

이 논문은 신경망이 어떻게 구조화된 연산을 학습하는지 분석하기 위한 다루기 쉬운 프레임워크로서 순차적 그룹 구성 태스크를 소개하며, 얕은 네트워크는 그룹 표현을 순차적으로 학습하기 위해 지수적인 너비를 필요로 하는 반면, 더 깊은 아키텍처는 결합 법칙을 활용하여 효율적인 로그 또는 선형 스케일링을 달성한다는 것을 밝혀낸다.

원저자: Giovanni Luca Marchetti, Daniel Kunin, Adele Myers, Francisco Acosta, Nina Miolane

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Giovanni Luca Marchetti, Daniel Kunin, Adele Myers, Francisco Acosta, Nina Miolane

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 질문: AI는 어떻게 단계적으로 "생각"하는가?

당신이 로봇에게 루빅스 큐브를 맞추거나, 미로를 통과하거나, 복잡한 수학 문제를 풀도록 가르치고 있다고 상상해 보세요. 이러한 과제들은 단순히 패턴을 인식하는 것이 아니라, **행동을 하나로 엮는 것(chaining actions)**에 관한 것입니다. 윗면을 돌리고, 그다음 오른쪽을 돌리고, 그다음 아랫면을 돌립니다. 이 순서가 중요합니다. 만약 순서를 틀리면 결과는 달라집니다.

이 논문의 저자들은 다음과 같은 질문을 던졌습니다: 인공 신경망(AI의 뇌)은 어떻게 이러한 단계들을 하나로 엮는 법을 배울까요? 그들은 단순히 가능한 모든 조합을 암기하는 것일까요, 아니면 사물들이 결합하는 근본적인 규칙을 실제로 배우는 것일까요?

이를 알아내기 위해, 그들은 **순차적 그룹 구성 과제(Sequential Group Composition Task)**라고 불리는 단순화된 "훈련 체육관"을 만들었습니다.

훈련 체육관: "그룹" 퍼즐

"그룹(Group)"을 일련의 마법 같은 움직임이라고 생각해 봅시다.

움직임: 버튼 세트가 있다고 상상해 보세요. "버튼 A"를 누르면 도형이 회전합니다. "버튼 B"를 누르면 도형이 뒤집힙니다.
규칙: 버튼을 누를 때마다 도형은 변합니다. A를 누르고 나서 B를 누르면, 도형은 특정 위치에 도달합니다. 반대로 B를 누르고 나서 A를 누르면, 다른 곳에 도달하게 됩니다.
과제: AI에게 일련의 버튼 시퀀스(예: A, 그다음 C, 그다음 B)를 보여주고, 이 모든 움직임이 끝난 후 도형이 정확히 어디에 위치할지 예측해야 합니다.

도형은 숫자 리스트(벡터)로 인코딩됩니다. AI의 임무는 시퀀스의 숫자 리스트를 입력받아 최종 결과의 숫자 리스트를 출력하는 것입니다.

발견 1: AI는 복잡성의 "층(Layers)"을 따라 학습한다

저자들은 거의 아무런 지식이 없는 상태(0에 가까운 무작위 가중치)에서 단순한 AI(2개 층으로 구성된 네트워크)가 이 과제를 어떻게 학습하는지 연구했습니다. 그들은 AI가 한꺼번에 모든 것을 배우는 것이 아니라, 마치 사다리를 오르는 것처럼 단계별로 배운다는 것을 발견했습니다.

비유: 라디오 주파수 맞추기
AI가 소음이 심한 방에서 명확한 신호를 잡으려는 라디오라고 상상해 보세요.

먼저, 가장 큰 소리의 스테이션을 듣습니다. AI는 먼저 데이터 속에 숨겨져 있는 가장 단순하고 명백한 패턴(수학적으로는 '기약 표현(irreducible representations)'이라 불림)을 먼저 배웁니다.
그다음, 그다음으로 큰 소리에 주파수를 맞춥니다. 첫 번째 패턴을 숙달하면, 다음으로 중요한 패턴으로 넘어갑니다.
이 과정을 계속 반복합니다. AI는 데이터가 인코딩된 방식에 의해 결정된 특정 순서에 따라, 한 번에 하나의 "주파수(group의 frequency)"를 학습합니다.

이 논문은 AI가 이러한 패턴을 탐욕적(greedy)이고 단계적인 방식으로 학습한다는 것을 증명합니다. AI는 전체 퍼즐을 한 번에 해결하려 하지 않습니다. 가장 쉬운 조각들을 먼저 해결한 다음, 더 어려운 조각들로 나아갑니다.

발견 2: "너비(Width)" 문제 (얕은 AI가 겪는 어려움)

저자들은 단순하고 얕은 AI 네트워크(층이 두 개뿐인 네트워크)가 겪는 주요 병목 현상을 발견했습니다.

비유: 1인 조립 라인
당신이 100개의 고리로 된 긴 사슬을 만들어야 한다고 상상해 보세요.

얕은 네트워크의 접근 방식: 이 네트워크는 연결 방식을 파악하기 위해 100개의 고리를 한꺼번에 양손에 들려고 시도합니다.
문제점: 이렇게 하려면 AI에게 엄청난 "뇌 크기(숨겨진 층의 너비, hidden width)"가 필요합니다. 논문은 시퀀스가 길어질수록 이를 해결하기 위해 기하급수적으로 더 많은 뉴런이 필요하다는 것을 증명합니다. 만약 시퀀스 길이가 두 배가 되면, 뇌의 크기는 네 배(혹은 그 이상)로 커져야 합니다. 이는 마치 점점 높아지는 접시 더미를 손으로 받치려는 것과 같습니다. 결국 손이 모자라게 됩니다.

이것이 단순한 네트워크가 긴 시퀀스를 처리하는 데 서툰 이유를 설명해 줍니다. 그들은 모든 것을 한 번의 거대한 도약으로 해결하려 하며, 이는 불가능할 정도의 엄청난 메모리를 요구하기 때문입니다.

발견 3: "깊이(Depth)"의 이점 (깊은 AI가 승리하는 이유)

논문은 이어서 더 깊은 네트워크(순환 신경망(RNN)이나 트랜스포머와 같은 모델)를 조사했고, 이들이 훨씬 더 효율적으로 문제를 해결한다는 것을 발견했습니다.

비유: 조립 라인 vs 팀워크

순환 신경망 (RNNs): 이들은 조립 라인의 단일 작업자처럼 행동합니다. 첫 번째 고리를 잡고, 두 번째 고리를 연결한 뒤, 그 결과물을 가지고 다시 세 번째 고리를 연결합니다. 이들은 이 과정을 단계별로 수행합니다. 거대한 뇌가 필요하지 않습니다. 그저 현재의 상태를 기억하기만 하면 됩니다. 이들은 100개의 고리 사슬을 100번의 단계로 해결하며, 이때 "뇌의 크기"는 작고 일정하게 유지됩니다.
깊은/다층 네트워크 (Deep/Multilayer Networks): 이들은 업무를 나누어 맡는 팀처럼 행동합니다. 이들은 고리들을 짝지어 주고(1 & 2, 3 & 4), 그다음 그 결과물들을 다시 짝짓습니다((1&2) & (3&4)). 이들은 이를 병렬로 수행합니다.
- 마법 같은 원리: 이들은 결합법칙(associativity)(즉, $(A \times B) \times C$ 는 $A \times (B \times C)$ 와 같다는 원리)이라는 수학적 규칙을 활용하여, 긴 사슬을 작은 덩어리로 나누고 동시에 해결할 수 있습니다.
- 결과: 뇌의 크기가 기하급수적으로 늘어나는 대신, 깊은 네트워크는 뇌의 크기가 로그 함수적으로(매우 느리게) 증가하면서 문제를 해결합니다. 시퀀스가 1,000배 길어진다 해도, 훨씬 더 넓은 뇌가 필요한 것이 아니라 약간 더 깊은 네트워크만 있으면 됩니다.

요약된 발견 사항

순서가 중요하다: 이러한 과제들은 비선형적입니다. 단순히 숫자를 더하는 것이 아니라, 연산의 순서가 결과를 바꿉니다.
학습은 단계적이다: 단순한 AI는 가장 명백한 것부터 시작하여 이러한 규칙들을 하나하나의 "수학적 주파수" 단위로 학습합니다.
얕은 구조는 비용이 많이 든다: AI에게 충분한 깊이(층)를 제공하지 않으면, 긴 시퀀스를 처리하기 위해 불가능할 정도로 거대한 너비(뉴런)가 필요합니다.
깊은 구조는 효율적이다: 더 깊은 구조(RNN이나 트랜스포머 등)는 과제의 "그룹화(grouping)" 특성(결합법칙)을 활용하여, 훨씬 적은 자원을 사용하면서도 긴 시퀀스를 효율적으로 해결합니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 특정 질병을 치료하거나 새로운 로봇을 만드는 것을 주장하지 않습니다. 대신, AI가 어떻게 학습하는지에 대한 **수학적 창(window)**을 제공합니다. 이 단순화된 "그룹 퍼즐"을 통해, 저자들은 신경망이 어떻게 그리고 어떤 순서로 복잡하고 구조화된 계산 능력을 습득하는지를 정확하게 증명할 수 있었습니다. 이는 "깊이(depth)"가 단순히 유행하는 용어가 아니라, AI가 복잡한 시퀀스를 관리 가능한 단계로 나누어 효율적으로 처리할 수 있게 해주는 근본적인 구조적 특징임을 확인시켜 줍니다.

기술 요약: 순차적 군 구성 (Sequential Group Composition)

문제 정의

본 논문은 딥러닝의 근본적인 질문을 다룬다: 순차적 데이터로 학습된 신경망이 어떻게 산술, 기하학적 변환, 또는 알고리즘적 계산과 같은 구조화된 연산을 수행하는 능력을 습득하는가? 자연스러운 데이터는 흔히 대칭성(예: 가환 또는 비가환 구조)을 보이지만, 표준 아키텍처가 단순히 변환을 인식하는 것을 넘어 어떻게 변환을 구성(compose)하는 법을 배우는지에 대해서는 여전히 불분명하다.

이를 조사하기 위해 저자들은 **순차적 군 구성 태스크(Sequential Group Composition Task)**를 도입한다. 이 태스크에서 신경망은 유한 군 $G$ 의 원소들을 실수 벡터로 인코딩한 시퀀스 $k$ 개를 전달받고, 이들의 누적 곱 $g_1 \cdot g_2 \cdots g_k$ 의 인코딩을 예측해야 한다.

입력: 인코딩된 원소의 시퀀스 $x_{g} = (x_{g_1}, \dots, x_{g_k}) \in \mathbb{R}^{k|G|}$ .
타겟: 곱 $x_{g_1 \cdots g_k} \in \mathbb{R}^{|G|}$ 의 인코딩.
제약 조건: 이 태스크는 본질적으로 비선형적이며(선형 모델으로는 해결 불가), 비가환 군(non-Abelian groups)의 경우 순서에 민감하다. 가능한 입력 시퀀스의 수는 $k$ 에 따라 지수적으로 증가하므로 단순 암기 방식으로는 확장이 불가능하며, 네트워크는 기저에 깔린 대수적 구조를 찾아내야 한다.

방법론

저자들은 유한 군에 대한 조화 해석(harmonic analysis), 신경망 학습을 위한 동역학계 이론(dynamical systems theory), 그리고 구성적 복잡도 분석(constructive complexity analysis)을 결al합하여 사용한다.

1. 수학적 프레임워크

군 표현론 (Group Representations): 태스크는 유한 군의 표현론을 사용하여 분석된다. 군의 원소들은 정규 표현(regular representation) 하에서 고정된 벡터 $x$ 의 궤적(orbit)을 통해 인코딩된다.
푸리에 분석 (Fourier Analysis): 저자들은 신호를 기약 표현(irreducible representations, irreps)으로 분해하는 군 푸리에 변환을 활용한다. 이를 통해 태스크를 군의 특정 주파수 성분(irreps)을 학습하는 과정으로 간주할 수 있다.
손실 함수 (Loss Function): 네트워크는 예측된 인코딩과 실제 군 곱의 인코딩 사이의 평균 제곱 오차(MSE)를 최소화하도록 학습된다.

2. 학습 동역학 (이층 네트워크)

소멸 초기화(vanishing initialization) 하에서 훈련되는 다항 활성화 함수를 가진 이층 네트워크에 대해, 저자들은 교대 경사 흐름(Alternating Gradient Flow, AGF) 프레임워크(Kunin et al., 2025)를 적용한다.

동역학: 학습은 단계적으로 진행된다. 뉴런들은 "휴면(dormant)" 상태(원점 근처)와 "활성(active)" 상태(원점에서 먼 상태)를 교대로 오간다.
유용성 극대화 (Utility Maximization): 휴면 뉴런들은 잔여 오차(residual error) 내에서 가장 정보가 많은 방향에 정렬되기 위해 경쟁한다. 저자들은 뉴런의 "유용성"이 군의 특정 기약 표현 $\rho^*$ 와 정렬될 때 극대화됨을 증 proves한다.
선택 순서: 학습되는 irreps의 순서는 인코딩 벡터 $x$ 의 푸리에 통계량에 의해 결정된다. 구체적으로, 네트워크는 푸리에 계수의 연산자 노름 $\|\hat{x}[\rho]\|$ 와 차원 $n_\rho$ 를 포함하는 점수를 극대화하는 $\rho$ 를 탐욕적(greedy)으로 선택한다.
비용 최소화 (Cost Minimization): 일단 활성화되면, 뉴런은 손실을 최소화하기 위해 노름을 빠르게 증가시킨다. 저자들은 태스크를 완벽하게 학습하기 위해 네트워크가 반드시 "시그마-파이-시그마(sigma-pi-sigma)" 구조를 구현하여, 상호작용 항을 고립시키기 위해 나머지 항들을 상쇄시켜야 함을 보여준다.

3. 아키텍처 분석

논문은 태스크를 해결하는 데 있어 서로 다른 아키텍처의 효율성을 비교한다.

이층 MLP (Two-Layer MLPs): 태스크를 완벽하게 학습하려면, 이 네트워크들은 시퀀스 길이 $k$ 에 대해 지수적으로 증가하는 은닉 폭 $H$ 를 필요로 한다(구체적으로 $H \sim O(k 2^k)$ ). 이는 비상호작용 항들을 상쇄하기 위해 수많은 뉴런 간의 협업이 필요하기 때문이다.
순환 신경망 (RNNs): 군 연산의 **결합 법칙(associativity)**을 활용함으로써, RNN은 요소들을 순차적으로 구성할 수 있다. 저자들은 RNN이 $k$ 에 관계없이 상수 수준의 은닉 폭(군 크기 $|G|$ 에 의해서만 스케일링됨)으로 태스크를 학습하는 솔루션을 구축한다.
심층 피드포워드 네트워크 (Deep Feedforward Networks): 다층 네트워크는 인접한 쌍들을 병렬적으로 구성할 수 있다(분할 정복 전략). 이는 요구되는 깊이를 $k$ 에 대해 로그 단위( $O(\log k)$ )로 줄이면서도 다항식 수준의 폭을 유지하게 한다.

주요 결과

비선형성 요구 사항: 이 태스크는 깊이에 관계없이 어떤 선형 사상(linear map)으로도 해결할 수 없다. 왜냐하면 군의 곱을 계산하기 위해서는 입력 간의 비선형적 상호작용이 필수적이기 때문이다.
단계적 특징 학습: 소멸 초기화 하의 이층 네트워크에서, 네트워크는 irreps를 하나씩 단계적으로 학습한다. 그 순서는 인코딩 통계량에 의해 결정되며, 낮은 차원의 irreps를 먼저 학습하는 체계적인 편향을 보이는데, 이 효과는 시퀀스 길이 $k$ 가 증가함에 따라 강화된다.
지수적 폭 장벽 (Exponential Width Barrier): 이층 네트워크가 태스크를 완벽히 해결하려면 지수적인 은닉 폭( $H \geq (k+1)2^{k-1} \lfloor |G|/2 \rfloor$ , 순환 군의 경우)이 필요하다. 이는 해당 아키텍처 클래스에 대해 최적임이 증명되었다.
깊이의 효율성: 더 깊은 아키텍처(RNN 및 심층 MLP)는 훨씬 더 나은 스케일링으로 태스크를 해결할 수 있다. RNN은 상수 폭으로 선형 시간 복잡도( $k$ 단계)를 달성하며, 심층 MLP는 군의 결합 법칙을 활용하여 다항식 폭을 유지하면서 로그 깊이( $\log k$ 층)를 달的是.
실험적 검증: 순환 군(cyclic groups) 및 이면군(dihedral groups)에 대한 실험은 이론적 예측을 확인시켜 준다. 이층 네트워크는 irreps의 순차적 습득에 대응하는 "계단형(staircase)" 손실 곡선을 나타낸다. RNN과 심층 네트워크는 얕은 네트워크에 비해 훨씬 적은 파라미터 수로 태스크를 학습할 수 있음을 입증한다.

의의 및 주장

본 논문은 순차적 군 구성 태스크를 딥러닝의 메커니즘을 들여다볼 수 있는 **다루기 쉬운 창(tractable window)**으로 규정한다. 주요 기여는 다음과 같다:

분석적 추적 가능성 (Analytical Tractability): 경험적 관찰을 넘어, 신경망이 어떻게 변환을 구성하는 법을 배우는지에 대한 정밀한 제1원리 기반의 유도를 제공함으로써 특징 출현(feature emergence)에 대한 이론적 이해를 제시한다.
동역학의 보편성: 네트워크가 입력 통계량에 의해 결정되는 탐욕적이고 단계적인 방식으로 푸리에 특징을 통해 군 구조를 학습한다는 보편적인 메커니즘을 확립한다.
깊이의 역할: 깊이가 효율성을 어떻게 개선하는지에 대한 엄격한 특성을 제공한다. 얕은 네트워크는 지수적인 폭 요구 사항에 의해 제한되는 반면, 더 깊은 아키텍처는 대수적 성질(결합 법칙)을 활용하여 효율적인 구성적 솔루션을 찾을 수 있다.

저자들은 이층 네트워크에 대한 이론적 결과가 통제된 설정(유한 군, 다항 활성화 함수, 소멸 초기화) 하에서 도출되었음을 언급한다. 이들이 이러한 동역학이 표준 활성화 함수(ReLU, Tanh 등) 및 더 깊은 네트워크에서도 지속된다는 경험적 증거를 제시하지만, 순환 및 심층 네트워크를 위한 완전한 동역학 이론은 여전히 미해결 과제로 남아 있음을 인정한다. 이 연구는 신경망이 순차적 데이터로부터 학습하는 방식에 대한 수학적 이론을 향한 기초적인 단계로서, 세미 오토마타(semiautomata) 및 형식 문법(formal grammars)으로의 확장 가능성을 가진다.