당신이 수천 개의 작고 동일한 레고 브릭으로 초고층 빌딩을 만들려고 한다고 상상해 보세요. 인공지능의 세계에서 이 '브릭'들은 정보를 처리하는 수학적 층(layer)이며, '초고층 빌딩'은 사진 속 고양이를 인식하거나 이야기를 쓰는 것과 같은 복잡한 작업을 학습하도록 설계된 심층 신경망입니다. 건물이 더 깊어질수록, 더 복잡한 문제를 해결할 수 있습니다. 하지만 함정이 있습니다. 층을 계속해서 쌓아 올릴수록, 바닥에서 꼭대기로 전달되려는 신호가 종종 뭉개지거나, 왜곡되거나, 완전히 사라져 버립니다. 이는 마치 백 명의 사람을 거쳐 비밀을 속삭이는 것과 같습니다. 끝에 도달했을 때쯤이면 메시지는 엉망이 되거나 사라져 버립니다.

이를 해결하기 위해 엔지니어들은 '스킵 연결(skip connection)'이라는 영리한 기술을 발명했습니다. 당신의 레고 타워 한가운데를 관통하는 초고속 엘리베이터 샤프트를 만든다고 생각해 보세요. 메시지가 모든 브릭을 하나하나 통과하게 만드는 대신, 엘리베이터는 메시지가 소음이 많고 지저한 중간 섹션들을 빠르게 지나쳐 안전하게 꼭대기에 도착하게 해줍니다. 이것은 신호를 강하게 유지합니다. 그러나 이 논문이 조사하는 숨겨진 문제가 있습니다. 메시지의 '부피(volume)'는 여전히 크게 유지될지라도, 그 '내용(content)'은 여전히 평평해질(flattened) 수 있다는 점입니다. 레고 브릭의 다양한 색상들이 이동하는 동안 모두 단일한 회색조로 변하기 시작한다고 상상해 보세요. 메시지는 여전히 존재하지만, 그 풍성함과 다양성은 잃어버린 것입니다. 수학적으로 이것은 '랭크 붕괴(rank collapse)'라고 불리며, 네트워크가 세상을 다양한 방향으로 바라보는 능력을 잃고, 좁고 지루한 관점에 갇히게 되는 현상을 의미합니다.

"Transforming Rank"라는 제목의 이 논문은 현대 AI의 설계도 속으로 깊이 파고들어, 이러한 '색의 상실'이 어떻게 설계 방식에 영향을 받는지 밝혀냅니다. 케이티 에버렛(Katie Everett)이 이끄는 MIT 연구진은 네트워크를 탐정 소설처럼 다루며, 스킵 연결, 정규화 층(신호가 폭발하는 것을 막아주는 역할), 그리고 수학적 연산의 특정 배치가 어떻게 함께 작동하는지 조사합니다. 그들은 그 유명한 '엘리베이터 샤프트'(스킵 연결)가 단순히 신호의 부피를 보존할 뿐만 아니라, 모든 것을 회색으로 만들어버리는 네트워크의 부분들을 우회함으로써 신호의 '다양성'을 실제로 구원한다는 사실을 발견했습니다. 하지만 그들은 또한 까다로운 트레이드오프(trade-off)를 발견했습니다. 만약 엘리베이터에 너무 많이 의존하면, 건물은 깊이 생각하는 타워로서 기능하는 대신, 서로 대화하지 않는 별개의 얕은 방들이 쌓여 있는 더미처럼 변하게 됩니다. 논문은 이 힘들의 균형을 맞추는 방법을 정확히 지도화하여, 엘리베이터의 배치와 타워 내부 '복도'의 너비가 AI의 정신을 다채롭고 학습 능력이 있게 유지하는 비밀 재료임을 보여줍니다.

거대한 레고 타워의 미스터리

그렇다면 어떻게 심층 신경 네트워크가 지루하고 회색빛인 덩어리로 변하는 것을 막을 수 있을까요? 이 논문의 저자들은 AI의 초고층 빌딩에서 기본이 되는 방인 '피드포워드 블록(feedforward block)'을 살펴보기로 했습니다. 전형적인 방에서는 정보가 들어와서, 늘어나고, 필터(활성화 함수)를 통해 압착된 다음, 다시 줄어듭니다. 문제는 이 늘리고 압착하는 과정이 마치 사용할 때마다 디테일을 조금씩 잃어버리는 복사기와 같다는 점입니다. 문서를 백 번 복사하면 결국 텍스트를 읽을 수 없게 됩니다. 신경 네트워크에서 이는 네트워크가 깊어질수록 '랭크(rank, 정보가 취할 수 있는 다양한 방향의 척도)'가 떨어진다는 것을 의미합니다.

논문은 그 유명한 엘리베러트 샤프트인 '스킵 연결'을 재검토하는 것으로 시작합니다. 대부분의 사람들은 엘리베이터가 단순히 신호가 너무 작아지거나 커지는 것을 막기 위해 존재한다고 생각했습니다. 하지만 저자들은 엘리베이터의 진짜 초능력이 바로 '랭크'를 구하는 데 있다는 것을 보여줍니다. 신호가 지저분한 '늘리고 압착하는' 방을 우회하여 엘리베이터를 통해 곧장 가게 함으로써, 네트워크는 그 다양성을 보존합니다. 하지만 여기에는 함정이 있습니다. 만약 엘리베이터가 너무 강력하고 지저분한 방이 너무 약하다면, 신호는 방으로부터 새로운 것을 전혀 배우지 못합니다. 그저 방을 건너뛰어 버릴 뿐입니다. 그러면 네트워크는 각 층이 이전 층을 바탕으로 구축되는 하나의 깊은 사고자가 아니라, 사람들이 각자의 생각을 외치는 군중(앙상블, ensemble)처럼 행동하게 됩니다. 저자들은 엘리베이터와 지저한 방 사이의 균형이 단순한 비율, 즉 엘리베이터에 비해 방의 기여도가 얼마나 큰지에 의해 조절된다는 것을 발견했습니다.

비밀 소스: 정규화 도구의 위치

이 논문의 가장 큰 발견 중 하나는 '정규화(normalization)'에 관한 것입니다. 정규화는 네트워크의 숫자들을 제멋대로 날뛰지 않게 유지하는 단계입니다. 오랫동안 엔지니어들은 이 단계를 지저분한 방 앞(Pre-Norm)에 둘 것인지, 아니면 엘리베이터 뒤(Post-Norm)에 둘 것인지를 두고 논쟁해 왔습니다. 이 논문은 이 선택이 단순히 숫자를 안정시키는 것에 관한 것이 아니라, 엘리베이터와 방 사이의 비율을 조절하는 마스터 스위치라는 점을 밝혀냅니다.

만약 정규화 도구를 엘리베이터 뒤(Post-Norm)에 둔다면, 그것은 매번 신호의 크기를 초기화합니다. 이는 방과 엘리베이터 사이의 비율을 일정하게 유지합니다. 결과는 어떨까요? 신호는 층을 거칠 때마다 다양성을 계속 잃게 되고, 결국 전체 타워는 회색 덩어리로 붕괴합니다. 저자들은 정규화의 '투영(projection)' 부분(특정 방향을 제거하는 부분)이 주범이라는 아이디어를 명시적으로 배제했습니다. 그들은 그 부분을 제거하더라도 붕괴가 여전히 일어난다는 시뮬레이션을 실행했습니다. 진짜 범인은 신호가 회복되는 것을 방해하는 '일정한 비율'입니다.

반면에, 정규화 도구를 지저분한 방 앞(Pre-Norm)에 둔다면, 신호는 타워를 따라 올라가면서 성장할 수 있습니다. 신호가 커짐에 따라, 엘리베이터에 비해 지저분한 방의 기여도는 상대적으로 작아집니다. 이는 깊이 내려갈수록 비율이 변한다는 것을 의미합니다. 신호는 초기 층에서 일부 다양성을 잃지만, 비율이 계속 변하기 때문에 나중의 층들은 덜 잃게 됩니다. 랭크는 사라지지 않고, 특정 '바닥(floor)'에 도달하여 그 상태를 유지합니다. 이것이 현대의 거대 AI 모델들(코드를 작성하거나 대화를 나누는 모델들)이 거의 항상 Pre-Norm을 사용하는 이유를 설명해 줍니다. 비록 그것이 깊은 층들을 조금 덜 '활발하게' 만들더라도, 네트워크가 붕괴하는 것을 막아주기 때문입니다.

두 행렬의 마법 기술

이 논문은 또한 왜 이 타워의 지저분한 방에 단 하나의 연산이 아닌 '두 개'의 수학적 연산이 있는지에 대한 미스터리를 해결합니다. 보통 방은 신호를 4배 넓게 늘렸다가, 필터를 적용한 다음, 다시 압착합니다. 왜 한 단계로 하지 않을까요?

저자들은 만약 하나의 행렬(한 단계)만 있다면, 신호가 '평균 스파이크(mean spike)'를 발생시킨다는 것을 발견했습니다. 신호가 방을 통과할 때마다 실수로 동일한 방향으로 아주 작은 '회색 노이즈'를 추가한다고 상상해 보세요. 이 과정을 백 번 반복하면, 그 작은 노이즈는 거대하고 지배적인 스파이크로 성장하여 다른 모든 색상을 밀어내 버립니다. 신호는 단 하나의 지루한 선이 되어버립니다.

하지만 두 개의 행렬을 사용하면, 두 번째 행렬이 마법 같은 믹서 역할을 합니다. 그것은 성장하는 스파이크를 가져와서 흩뜨려 놓음으로써, 노이즈가 지배적이지 않도록 골고루 퍼뜨립니다. 이것이 신호를 다채롭게 유지하고 붕괴를 방지합니다. 논문은 이것이 현대 트랜스포머(Transformers)가 두 개의 행렬을 사용하는 이유임을 보여줍니다. 단순히 더 많은 힘을 갖기 위해서가 아니라, 네트워크가 단일 방향에 갇히지 않도록 노이즈를 탈상관화(decorrelate)하기 위해서입니다.

폭 확장 임계값

마지막으로, 이 논문은 지저분한 방 내부의 '복도'가 얼마나 넓어야 하는지를 살펴봅니다. 저자들은 마르첸코-파스투르 법칙(Marchenko-Pastur law)이라는 수학적 법칙에 근거한 특정 임계값을 찾아냈습니다. 만약 복도가 너무 좁으면, 필터(활성화 함수)가 너무 많은 방향을 죽여버려 신호가 갇히게 됩니다. 하지만 복도를 특정 너비(예를 들어 입력보다 4배 넓게)로 확장하면, 필터를 통과할 수 있는 충분한 공간을 신호에 제공하게 됩니다. 저자들은 ReLU와 같은 일반적인 필터의 경우, 신호의 다양성을 유지하기 위해 최소 2배의 확장이 필요하지만, 실제 모델에서 사용하는 표준적인 4배 확장이 훨씬 안전하며 신호를 훌륭한 상태로 유지한다는 것을 계산해 냈습니다.

큰 그림: 세 가지 요소의 트레이드오프

결국, 이 논문은 아키텍처 설계를 섬세한 균형 잡기로 묘사합니다. 당신의 주의를 끄는 세 가지 요소가 싸우고 있습니다:

1. 랭크 붕괴(Rank Collapse): 신호가 회색으로 변하며 다양성을 잃는 것.
2. 앙상블 동작(Ensemble Behavior): 신호가 학습 과정을 건너뛰고 얕은 방들의 더미처럼 행동하는 것.
3. 파라미터 수(Parameter Count): 문제를 해결하기 위해 더 많은 브릭(두 번째 행렬이나 더 넓은 복도 등)을 추가하는 비용.

저자들은 최선의 설계가 이 트레이드오프를 잘 헤쳐나가는 것이라고 제안합니다. 그들은 스킵 연결을 사용하여 위험한 부분들을 우회하도록 경로를 만들되, 신호가 여전히 학습할 수 있도록 '브랜치 대 스킵(branch-to-skip)' 비율을 조정합니다. 신호를 다채롭게 유지하기 위해 두 개의 행렬과 넓은 복도를 사용합니다. 그리고 신호가 붕괴하는 패턴에 갇히지 않고 자연스럽게 성장할 수 있도록 Pre-Norm을 사용합니다.

논문은 CIFAR-10 데이터셋(이미지 인식을 위한 표준 테스트)으로 훈련된 네트워크에 대한 시뮬레이션과 측정을 통해 이러한 아이디어들을 확인했습니다. 저자들은 초기 랭크가 붕립된 네트워크는 학습에 실패한 반면, 적절한 수준의 랭크를 유지한 네트워크는 성공했다는 것을 발견했습니다. 이는 현대 AI의 '비밀 소스'가 단순히 모델을 크게 만드는 것이 아니라, 네트워크의 깊고 어두운 심연을 통과할 때 신호의 다양성을 유지할 수 있도록 내부 배관을 정교하게 설계하는 데 있음을 시사합니다.