🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

본 논문은 전문가 혼합 (MoE) 아키텍처를 레이어 루핑 및 조기 종료 메커니즘과 결합하면 언어 모델이 확장 효율성 측면에서 표준 트랜스포머를 능가하면서도 메모리 및 추론 비용을 크게 절감할 수 있음을 보여줍니다.

원저자: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

원저자: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거인처럼 읽고 쓰는 초지능 로봇 두뇌 (대형 언어 모델) 를 구축하려 한다고 상상해 보세요. 문제는 이러한 두뇌가 매우 거대하다는 점입니다. 저장하려면 많은 메모리가 필요할 뿐만 아니라, 정보를 한 번에 처리하기 위해 긴 구불구불한 복도와 같은 층 (layers) 을 하나씩 통과해야 하므로 실행 속도가 느립니다.

이 논문은 이러한 두뇌를 '바보'스럽게 만들지 않으면서 더 작고 빠르게 만드는 교묘한 방법을 탐구합니다. 여기 그들이 발견한 내용을 쉽게 설명한 이야기입니다.

문제: '복사 - 붙여넣기' 두뇌

일반적으로 로봇 두뇌는 사고 과정의 각 단계마다 고유한 방을 갖습니다. 16 단계가 있다면 16 개의 서로 다른 방이 필요합니다. 이는 구축하고 저장하는 데 비용이 많이 듭니다.

비용을 절감하기 위해 연구원들은 다른 아이디어를 시도했습니다. **루핑 (Looping)**입니다. 16 개의 고유한 방을 짓는 대신 8 개의 방만 짓고 로봇에게 그 방들을 두 번 통과하도록 지시한 것입니다.

아이디어: 1 번부터 8 번 방까지 통과한 후, 다시 1 번부터 8 번 방까지 통과합니다.
결과: 8 개의 방만 지었으므로 저장 공간을 절약할 수 있습니다.
단점: 로봇이 두 번째로 같은 방을 통과할 때, 첫 번째 때와 정확히 같은 것을 수행합니다. 더 잘 이해하기를 바라며 책의 같은 페이지를 두 번 읽는 것과 같습니다. 로봇은 혼란을 겪고 16 개의 고유한 방을 가진 로봇보다 성능이 떨어집니다.

해결책: '전문가 팀' (MoE)

저자들은 문제가 방들이 너무 일반적이었다는 데 있음을 깨달았습니다. 그들은 누수 파이프를 수리하고, 벽을 칠하고, 전구를 배선하는 일을 한 번에 모두 하려는 일반 계약자와 같았습니다.

이러한 일반적인 방들을 **전문가 혼합 (Mixture-of-Experts, MoE)**방으로 대체했습니다.

비유: 지능적인 안내원 (라우터) 이 있는 방을 상상해 보세요. 방문객 (데이터 조각) 이 들어오면 안내원은 모든 사람이 같은 사람을 보게 하지 않습니다. 대신 방문객의 필요에 따라 특정 전문가에게 보냅니다.
- 방문객이 수학이 필요하면 수학 전문가에게 갑니다.
- 시가 필요하면 시 전문가에게 갑니다.
마법: 루프된 MoE모델에서 안내원은 두 번째 루프에서 생각을 바꿀 만큼 지능적입니다.
- 첫 번째 통과: 방문객이 1 번 방에 들어와 수학 전문가에게 보내집니다.
- 두 번째 통과: 방문객이 다시 1 번 방에 들어오지만, 이번에는 안내원이 그들을 시 전문가에게 보냅니다.

결과: 물리적인 방은 같지만, 안에서 일어나는 작업은 매번 다릅니다. 이로써 루프된 모델의 '지루함'이 해결됩니다. 논문은 루프된 MoE 모델이 더 적은 수의 고유한 '청사진' (파라미터) 을 저장함에도 불구하고 표준 대형 모델보다 실제로 더 똑똑해진다는 사실을 발견했습니다.

추가 혜택: '조기 퇴장' 문

논문은 두 번째 초능력을 발견했습니다. **조기 퇴장 (Early Exits)**입니다.

표준 로봇 두뇌에서는 최종 답을 얻기 위해 16 개의 모든 방을 통과해야 합니다. 로봇이 8 개의 방을 통과한 후 답을 알아냈더라도, 나머지 8 개를 통과해야 하므로 시간과 에너지가 낭비됩니다.

루프된모델에서는 '출구 문'이 각 루프의 끝에 배치됩니다.

비유: 공장 조립 라인을 상상해 보세요. 표준 라인에서는 라인의 맨 끝까지 기다려야 제품이 좋은지 확인할 수 있습니다. 하지만 루프된 라인에서는 첫 번째 통과 후, 그다음 두 번째 통과 후에 제품을 확인합니다.
더 잘 작동하는 이유: 루프 끝의 방들은 최종 답을 만드는 데 사용된 같은 방들이기 때문에, 로봇은 훨씬 일찍 '충분히 좋은' 답을 내도록 학습합니다.
발견: 논문은 루프된 모델이 품질을 잃지 않으면서 표준 모델보다 훨씬 더 자주 일찍 멈출 수 있어 (에너지 절약) 에너지를 절약할 수 있음을 발견했습니다. 마치 주요 안건에 이미 동의했으므로 미팅을 일찍 떠날 수 있는 것과 같지만, 표준 미팅에서는 전체 과정을 끝까지 들어야 하는 것과 같습니다.

핵심 교훈

논문은 더 저렴하고 더 나은 AI 를 구축하기 위한 간단한 레시피로 결론을 내립니다.

단순히 표준 방을 루프하지 마십시오. (그렇게 하면 AI 가 더 나빠집니다).
'전문가' 방 (MoE) 을 루프하십시오. (이렇게 하면 AI 가 더 똑똑하고 작아집니다).
루프 경계를 출구 문으로 사용하십시오. (이렇게 하면 컴퓨팅 전력을 절약할 수 있습니다).

이들을 결합하면 오늘날의 거대 모델만큼 똑똑하거나 그 이상으로 똑똑하면서도 저장 비용이 저렴하고 실행 속도가 빠른 모델을 얻을 수 있습니다. 논문은 이를 루프된 MoE 아키텍처라고 부릅니다.

기술 요약: 희소 레이어는 루프형 언어 모델의 확장성에 결정적입니다

문제 제기

대규모 언어 모델 (LM) 은 방대한 파라미터 수로 인해 저장 및 추론 비용이 크게 발생하며, 각 파라미터는 일반적으로 추론 단계당 한 번만 사용됩니다. 깊이 (루핑) 를 통한 파라미터 재사용은 메모리 비용을 줄이고 자연스러운 조기 종료 지점을 제공하는 길을 제시하지만, 동일한 학습 연산량으로 비교할 때 이전의 이러한 접근 방식을 활용한 아키텍처는 고유 레이어를 가진 표준 트랜스포머보다 성능이 저조했습니다. 저자들은 루프형 LM 의 표현력 병목 현상이 모든 토큰에 동일한 연산을 적용하는 밀집 피드포워드 네트워크 (FFN) 에서 비롯된다고 가설을 세웠습니다. 이러한 불변성은 레이어가 루핑될 때 증폭되어 모델이 복잡한 표현을 학습하는 능력을 제한합니다.

방법론

저자들은 레이어 루핑과 희소 혼합 전문가 (MoE) 레이어의 효과를 분리하기 위해 네 가지 트랜스포머 아키텍처를 비교하는 통제된 연구를 수행했습니다:

Base: 고유 레이어와 밀집 FFN 을 가진 표준 트랜스포머.
Looped: 반복된 레이어 스택 (가중치 공유) 과 밀집 FFN 을 가진 트랜스포머.
MoE: 고유 레이어와 희소 MoE FFN 을 가진 표준 트랜스포머.
Looped-MoE: 반복된 레이어 스택과 희소 MoE FFN 을 가진 트랜스포머.

실험 설정:

확장 법칙 분석: 이 연구는 학습률을 재조정하지 않고도 다양한 너비로 모델을 효율적으로 확장하기 위해 최대 업데이트 파라미터화 (µP) 를 활용했습니다. 모델은 $5 \times 10^{16}$ 에서 $10^{18}$ FLOP 에 이르는 고정된 연산 예산 (IsoFLOP) 하에서 학습되었습니다.
아키텍처 세부 사항: 루핑된 변형은 비루핑 대응 모델의 16 레이어 유효 깊이에 맞추기 위해 8 개의 고유 레이어를 2 회 반복 ( $8 \times 2$ ) 했습니다. MoE 구성은 8 개의 전문가 중 상위 2 개를 라우팅하는 방식을 사용했습니다.
조기 종료 평가: 저자들은 출력 엔트로피에 기반한 학습 없는 조기 종료 기준을 사용하여 연산 - 품질 트레이드오프를 평가했습니다. 루핑된 모델의 경우, 종료는 고유 레이어 스택을 한 번 완전히 통과한 후인 루프 경계에서만 허용되는 반면, 비루핑 모델은 임의의 중간 레이어에서 종료할 수 있습니다.
하류 벤치마크: 연산 최적화 모델은 AI2 OLMES 벤치마크 스위트에서 평가되었습니다.

주요 기여 및 발견

1. 희소 전문가가 루핑 확장 부족을 해결합니다

주요 발견은 Looped-MoE 모델이 표준 밀집 베이스라인보다 훨씬 더 잘 확장되는 반면, 밀집 루핑 모델은 확장이 엄격히 더 나쁘다는 것입니다.

표현력 회복: 저자들은 이러한 개선이 라우팅 분산에서 비롯된다고 추적했습니다. Looped-MoE 모델에서 라우터는 각 루핑 통과 시 동일한 물리적 레이어에 대해 서로 다른 전문가 집합을 선택합니다. 이를 통해 공유 레이어는 반복 횟수에 따라 서로 다른 연산을 구현할 수 있게 되어, 파라미터를 추가하지 않고도 가중치 공유로 인해 손실된 표현력을 회복합니다.
확장 법칙: 연산 최적화 지점에 멱함수를 적합시킨 결과, Base 모델의 확장 지수 ( $\alpha$ ) 는 0.076 이었고 Looped-MoE 는 0.077 로 확립된 확장 법칙과 일치했습니다. 반면, 밀집 루핑 모델은 비교 가능한 성능을 달성하지 못했습니다.
하류 정확도: $10^{18}$ FLOP 예산에서 연산 최적화 Looped-MoE 모델은 AI2 OLMES Core 9 벤치마크에서 평균 점수 39.6 을 기록하여 Base 모델 (38.7) 을 능가했으며, 저장된 고유 파라미터 수는 더 적었습니다 (216M 대 246M).

2. 조기 종료를 통한 우수한 연산 - 품질 트레이드오프

루핑된 모델은 표준 트랜스포머에 비해 조기 종료 활용 시 더 나은 효율성을 보여줍니다.

루프 경계를 종료 지점으로: 루프 끝의 레이어는 최종 출력을 생성하는 레이어와 동일하므로, 루프 경계는 우수한 종료 지점 역할을 합니다.
더 빠른 수렴: 제네 - 샤논 발산 (JSD) 분석은 루핑된 모델이 비루핑 모델보다 훨씬 일찍 거의 최종 출력 분포에 수렴함을 보여줍니다. 첫 번째 루핑 반복이 끝날 무렵, 대부분의 토큰은 안정적인 예측에 도달했습니다.
효율성 향상: 10% FLOP 절감 목표를 달성할 때, 루핑된 모델은 비루핑 대응 모델에 비해 현저히 낮은 퍼플렉시티를 유지했습니다. 특히, 이 이점은 MoE 구성 요소가 아니라 루핑 아키텍처 자체에 기인한 것으로, 밀집 루핑 모델도 조기 종료 효율성 측면에서 MoE 베이스라인을 능가했습니다.

3. 증가된 루핑의 영향

이 연구는 루핑 횟수를 늘리는 것 (예: $4 \times 4$ 및 $2 \times 8$ 구성) 을 조사했습니다. 결과는 더 많은 루핑이 일반적으로 Looped-MoE 모델의 연산 - 품질 트레이드오프를 엄격히 개선함을 나타냈습니다. 이는 출력이 충분히 수렴된 고품질 종료 지점의 빈도가 증가했기 때문입니다.

중요성 및 실제적 함의

이 논문은 루핑된 LM 에서 밀집 FFN 을 top-k MoE 레이어로 대체하는 것이 중요한 아키텍처 전환이라고 결론지었습니다. 이 접근법은 다음과 같은 언어 모델을 향한 명확한 길을 제시합니다:

저장 비용 절감: 더 적은 저장된 파라미터로 경쟁력 있는 정확도 달성.
실행 속도 향상: 루프 경계에서의 학습 없는 조기 종료를 통해 상당한 추론 비용 절감 가능.
확장성: 밀집 레이어의 표현력 병목 현상을 해결함으로써 루핑 아키텍처의 역사적 저성능을 극복.

저자들은 Looped-MoE 를 확장성을 위한 실용적인 해결책으로 제시하며, 조기 종료 결과가 이론적 연산 절감을 보여준다고 하지만, 최적화된 자기회귀 설정에서의 엔드 - 투 - 엔드 처리량 향상은 향후 검증이 필요한 주제라고 언급했습니다. 이 연구는 범위가 제한적이며, 더 큰 규모의 성능을 예측하기 위해 µP 전이에 의존하고, 연산 제약으로 인해 깊이 확장 확장은 탐구되지 않았음을 인정합니다.