🤖 machine learning

Can an MLP Absorb Its Own Skip Connection?

이 논문은 단일 은닉층 MLP에서 스킵 연결(skip connection)을 동일한 너비의 잔차 없는(residual-free) MLP로 흡수할 수 있는지 연구하였으며, ReLU²나 SwiGLU 같은 활성화 함수를 사용할 경우 수학적으로 불가능하고 일반적인 ReLU나 GELU의 경우에도 가중치 조건이 매우 특수해야만 가능하므로 두 모델 구조는 사실상 서로 다른 함수 클래스를 형성한다는 것을 증명했습니다.

원저자: Antonij Mijoski, Marko Karbevski

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antonij Mijoski, Marko Karbevski

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경 설명: "지름길(Skip Connection)"이란 무엇인가?

인공지능 모델은 아주 깊은 층(Layer)으로 이루어진 거대한 미로와 같습니다. 데이터가 이 미로를 통과하면서 복잡한 계산을 거치는데, 미로가 너무 깊으면 데이터가 중간에 길을 잃거나 정보가 희미해지는 문제가 생깁니다.

그래서 과학자들은 **'스킵 커넥션'**이라는 기술을 도입했습니다. 이것은 미로의 중간 단계에서 계산을 거치지 않고, **데이터를 다음 단계로 바로 쏴주는 '지름길'**을 만드는 것입니다.

일반적인 층: "데이터를 받아서 복잡하게 요리한 뒤 다음 단계로 넘겨라."
스킵 커넥션이 있는 층: "원래 데이터에다가, 방금 요리한 결과물을 더해서(Add) 다음 단계로 넘겨라."

2. 이 논문의 핵심 질문: "지름길 없이 요리만 잘해도 똑같은 맛을 낼 수 있을까?"

논문의 제목인 *"Can an MLP Absorb Its Own Skip Connection?"*은 이런 뜻입니다.

"지름길(원래 데이터)을 따로 두지 않고, 그냥 요리(MLP 계산)를 아주 기가 막히게 해서 지름길의 효과까지 한 번에 포함시킬 수 있을까?"

만약 이게 가능하다면, 우리는 굳이 복잡하게 지름길을 만들 필요 없이 그냥 요리 실력(모델의 너비나 깊이)만 키우면 됩니다. 하지만 이 논문은 **"아니, 지름길은 요리 실력만으로는 절대 흉내 낼 수 없는 마법 같은 존재다!"**라고 결론을 내립니다.

3. 논문의 주요 내용 (비유로 풀기)

논문은 사용하는 '양념(활성화 함수, Activation Function)'에 따라 세 가지 경우로 나누어 설명합니다.

① "특수 양념(SwiGLU, GeGLU 등)을 쓸 때": "절대 불가능!"

요즘 가장 잘나가는 AI(LLaMA, Gemma 등)들은 아주 독특하고 복잡한 양념을 사용합니다. 논문은 수학적으로 증명했습니다. 이 양념들은 데이터가 들어오면 그 성질이 확 변해버리기 때문에, 지름길(원래 데이터)의 '순수한 맛'을 요리 과정에 녹여내는 것이 수학적으로 아예 불가능합니다.

비유: 설탕을 넣고 볶은 요리(요리 층)를 가지고, 설탕을 넣지 않은 순수한 원재료의 맛(지름길)을 완벽하게 재현하는 것은 불가능한 것과 같습니다.

② "기본 양념(ReLU, GELU)을 쓸 때": "운이 엄청나게 좋아야만 가능!"

조금 더 단순한 양념을 쓸 때는 아주 예외적으로 지름길을 요리에 흡수할 수 있는 경우가 있습니다. 하지만 조건이 너무 까다롭습니다. 수많은 재료의 무게와 비율이 '마치 기적처럼' 딱 맞아떨어져야 합니다.

비유: 수조 개의 모래알 중에서 특정 모양을 가진 모래알 몇 개를 골라냈을 때, 그 모래알들이 우연히 완벽한 정육면체를 이루는 확률과 같습니다. 일반적인 상황(Generic)에서는 절대 일어날 수 없는 일입니다.

③ "결론": "지름길은 독보적인 존재다!"

결국, 지름길이 있는 모델과 지름길이 없는 모델은 서로 완전히 다른 종류의 능력을 가집니다. 지름길을 없애고 요리 실력만 키우는 방식으로는 지름길이 주는 그 특별한 효과를 결코 따라잡을 수 없습니다.

4. 요약하자면?

이 논문은 **"AI 모델에서 지름길(Skip Connection)은 단순히 계산을 편하게 해주는 보조 도구가 아니라, 모델이 표현할 수 있는 지식의 차원 자체를 바꿔버리는 필수적인 설계 요소다"**라는 것을 수학적으로 못 박았습니다.

한 줄 요약:

"지름길은 요리 실력(모델 크기)을 아무리 키워도 흉내 낼 수 없는, AI 모델만의 '치트키'다!"

[기술 요약] MLP가 자신의 스킵 연결(Skip Connection)을 흡수할 수 있는가?

1. 연구 문제 (Problem Statement)

현대 딥러닝 아키텍처(Transformer, LLaMA, Gemma 등)의 핵심 요소인 **스킵 연결(Skip Connection/Residual Connection)**은 단순히 최적화를 돕는 도구인지, 아니면 모델이 표현할 수 있는 함수 공간(Function Space) 자체를 확장하는가에 대한 근본적인 질문을 던집니다.

본 논문은 다음과 같은 수학적 질문을 탐구합니다:

단일 은닉층 MLP $MLP_2(x) = W_{down} \sigma(W_{up} x)$ 가 주어졌을 때, 동일한 너비(width)를 가진 스킵 연결 구조 $x + MLP_2(x)$ 를 스킵 연결이 없는(residual-free) MLP $MLP_1(x) = V_{down} \sigma(V_{up} x)$ 로 완전히 치환(흡수)할 수 있는가?

만약 흡수가 가능하다면 스킵 연결은 표현력 측면에서 중복(redundant)인 것이며, 불가능하다면 스킵 연결은 모델의 표현 범위를 넓히는 필수적인 요소가 됩니다.

2. 연구 방법론 (Methodology)

저자들은 활성화 함수( $\sigma$ )의 수학적 특성에 따라 문제를 세 가지 범주로 나누어 분석했습니다.

가중치 행렬의 대수적 분석: 스킵 연결이 항등 행렬($Id $)이 아닌 가역 행렬($ M$)인 경우(예: Hyper-Connections), 이를 항등 행렬 문제로 환원(Reduction)할 수 있음을 증명했습니다.
차수(Degree) 및 선형화(Linearization) 논증: 활성화 함수의 동차성(Homogeneity)과 원점에서의 미분 가능성을 이용하여 특정 함수군에 대한 불가능성을 증명했습니다.
패리티 분해(Parity Decomposition): ReLU와 GELU 함수를 **우함수(Even part)**와 **기함수(Odd part)**로 분해하여, 스킵 연결(선형 항)과 MLP(비선형 항) 사이의 대수적 일치 조건을 도출했습니다.
측도론적 접근(Measure-theoretic approach): 가중치 공간에서 흡수가 일어나는 조건이 확률적으로 얼마나 희박한지(Lebesgue measure zero)를 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

① 현대적 활성화 함수에서의 흡수 불가능성 (Impossibility Results)

현재 SOTA(State-of-the-art) 모델에서 사용하는 대부분의 활성화 함수에 대해 **"흡수는 절대 불가능하다"**는 것을 증명했습니다.

동차 함수 (ReLU2, ReGLU 등): 차수가 1이 아닌( $k \neq 1$ ) 동차 함수는 선형 항( $x$ )과 차수가 맞지 않아 대수적으로 결코 같아질 수 없습니다.
게이트형 함수 (SwiGLU, GeGLU 등): 게이트 함수 $g(z)$ 가 $g(0)=0$ 이고 원점에서 미분 가능할 경우, MLP의 출력은 $O(\|x\|^2)$ 의 속도로 0에 수렴하지만, 스킵 연결은 $O(\|x\|)$ 로 수렴하므로 원점 근처에서 두 함수는 일치할 수 없습니다.
심층 구조로의 확장: 이 불가능성 결과는 단일 블록을 넘어, $L$ 개의 블록이 쌓인 깊은 네트워크 전체로 확장됩니다 (Corollary 7).

② ReLU 및 GELU의 특수 사례 (The ReLU & GELU Case)

게이트가 없는(ungated) ReLU와 GELU의 경우, 매우 특수한 조건 하에서만 흡수가 가능함을 밝혀냈습니다.

흡수 조건: 특정 인덱트 집합 $S$ 가 존재하여 $W_{down}[:, S] W_{up}[S, :] = -Id$ 를 만족해야 합니다. 즉, 일부 뉴런들이 스킵 연결의 선형 항을 상쇄할 수 있는 구조를 가져야 합니다.
일반적 불가능성 (Generic Disjointness): 위 조건은 가중치 공간에서 **측도 0(measure zero)**인 매우 희귀한 경우입니다. 따라서 일반적인(generic) 가중치 분포를 가진 모델에서 스킵 연결을 가진 MLP와 없는 MLP는 서로 완전히 다른 함수 클래스를 형성합니다.

4. 연구의 의의 (Significance)

스킵 연결의 표현력 입증: 본 연구는 스킵 연결이 단순히 학습을 쉽게 만드는(optimization) 것을 넘어, 모델이 학습할 수 있는 함수의 영역(representation)을 근본적으로 변화시킨다는 것을 수학적으로 엄밀하게 증명했습니다.
아키텍처 설계의 이론적 근거: 왜 현대 모델들이 SwiGLU나 GeGLU와 같은 게이트형 구조를 사용하면서도 스킵 연결을 반드시 유지해야 하는지에 대한 강력한 이론적 배경을 제공합니다.
표현력의 한계 규명: 동일한 너비의 모델에서 스킵 연결을 제거할 경우, 단순히 가중치를 재조정하는 것만으로는 원래 모델의 기능을 복제할 수 없음을 보여줌으로써, 모델 압축이나 구조 최적화 시 고려해야 할 핵심 요소를 제시했습니다.

결론적으로, 이 논문은 "스킵 연결은 단순한 최적화 도구가 아니라, 모델의 표현력을 결정짓는 핵심적인 수학적 구조"임을 확립하였습니다.