💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

이 논문은 Mixture-of-Experts 모델의 연속적인 트랜스포머 레이어 간에 전문가 파라미터를 공유함으로써 성능에 미치는 영향은 미미하면서도 메모리 요구량을 거의 절반으로 줄여, 대규모 언어 모델의 학습 및 확장을 위한 연산 대 메모리 효율성을 크게 개선하는 방법인 Expert Tying을 소개한다.

원저자: Martin Jaggi

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Martin Jaggi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Tying the Loop" 논문을 일상적인 비유와 쉬운 언어로 설명한 내용입니다.

거대한 문제: "거대한 도서관" vs. "작은 독자"

당신이 사람들이 이야기를 쓰거나 문제를 해결하는 것을 돕기 위해 아주 똑똑하고 거대한 로봇 사서(대규모 언어 모델, LLM)를 만들고 있다고 상상해 보세요.

이 사서를 믿을 수 없을 정도로 똑똑하게 만들기 위해, 당신은 그들에게 수십억 권의 책(이것들은 "파라미터" 또는 "전문가"입니다)이 있는 거대한 도서관에 대한 접근 권한을 줍니다. 하지만 사서가 빠르고 효율적으로 움직이게 하기 위해, 당신은 문장을 읽을 때마다 단 한두 권의 특정 책만 펼쳐서 답을 찾도록 결정합니다. 이것을 혼합 전문가(Mixture-of-Experts, MoE) 모델이라고 부릅니다.

문제점: 사서가 한 번에 아주 적은 양의 책만 읽더라도, 도서관 전체를 물리적으로 방 안에 계속 보관해야 합니다 (컴퓨터 메모리에). 만약 도서관에 1,000권의 책이 있는데 사서가 한 번에 10권만 펼쳐본다고 해도, 1,000권을 모두 수용할 수 있을 만큼 큰 방이 필요합니다. 이 때문에 "읽기"(연산)는 적은데도 "방"(메모리)은 너무 커서 시스템이 매우 비싸고 느려집니다.

해결책: "루프 묶기 (Tying the Loop)"

저자들은 **전문가 결합(Expert Tying)**이라는 영리한 트릭을 제안합니다.

사서가 32개의 방(레이어)이 있는 긴 복도에서 일한다고 상상해 보세요. 표준 설정에서는 모든 방이 각자 고유한 1,000권의 책 세트를 가지고 있습니다.

기존 방식: 1번 방에는 A부터 Z까지의 책이 있고, 2번 방에도 A부터 Z까지의 책이 있으며(다른 복사본이지만), 3번 방에도 A부터 Z까지의 책이 있습니다(또 다른 복사본). 즉, 32세트의 책이 필요합니다.
새로운 방식 (Expert Tying): 당신은 1번, 2번, 3번 방에 있는 책들이 사실 매우 유사한 일을 하고 있다는 것을 깨닫습니다. 그래서 이들을 하나로 묶기로(tie) 합니다. 하나의 책 세트를 이동식 카트에 담아 1번 방에서 2번 방, 3번 방으로 옮깁니다. 사서는 세 개의 방 모두에서 동일한 물리적 책을 사용합니다.

결과: 이제 32세트의 책이 필요하지 않습니다. 3개 방마다 단 1세트의 책만 있으면 됩니다. 이렇게 하면 "도서관"(메모리)의 크기를 거의 절반으로 줄일 수 있지만, 사서는 여전히 한 번에 한 권의 책만 펼쳐보기 때문에 읽는 속도는 그대로 유지됩니다.

핵심 비결: 무엇을 묶고 무엇을 분리할 것인가?

연구진은 단순히 무턱대고 모든 것을 묶은 것이 아닙니다. 그들은 사서를 멍청하게 만들지 않으면서 정확히 무엇을 공유할 수 있는지 알아내기 위해 실험을 진행했습니다.

도서관의 한 방을 네 가지 부분으로 나누어 생각해 봅시다:

책 (전문가/Experts): 실제 지식.
사서의 안경 (어텐션/Attention): 단어를 바라보는 방식.
인덱스 카드 (라우터/Router): 어떤 책을 고를지 결정.
책상 (정규화/Normalization): 노트를 정리하는 방식.

발견된 사실:

책을 공유하는 것은 괜찮습니다: 여러 방에서 동일한 책을 공유할 수 있습니다. **안경(Attention)**이 방마다 다르기 때문에 사서는 여전히 훌륭한 일을 할 수 있습니다. 안경은 사서가 단어를 보는 방식을 바꾸며, 이를 통해 각 방이 동일한 책을 쓰더라도 각기 고유한 느낌을 갖게 합니다.
안경을 공유하지 마세요: 만약 안경까지 공유한다면 사서는 혼란에 빠지고 품질이 떨어집니다.
"서곡과 종결(Prelude and Coda)" 규칙: 사서가 책을 받는 첫 번째 방과 답을 쓰는 마지막 방은 자신만의 고유한 책이 필요합니다. 만약 첫 번째와 마지막 단계에서도 공유 카트를 사용하도록 강제하면 품질이 저하됩니다. 따라서 처음 두 개와 마지막 두 개의 방은 고유하게 유지하고, 중간 단계의 것들을 서로 묶으십시오.

결과: 더 빠르고, 더 작으며, 똑똑하기까지 함

연구진은 이 기술을 세 가지 유명한 AI 모델(OLMoE, Qwen3, DeepSeek)에 테스트했습니다. 결과는 다음과 같습니다.

메모리 절감: 전문가들을 4개씩 묶음으로써, 전체 필요한 메모리를 **40%에서 50%**까지 줄였습니다. 이는 도서관의 크기를 절반으로 줄이는 것과 같습니다.
지능 저하 없음: "똑똑함"(Perplexity 및 정확도)은 거의 떨어지지 않았습니다. 원래의 거대한 모델과 거의 비슷했습니다.
속도 향 boost: 컴퓨터가 메모리에 불러와야 할 책이 적어졌기 때문에, 학습 과정이 23% 더 빨라졌습니다.
"재투자" 트릭: 책을 공유함으로써 공간을 많이 아꼈기 때문에, 그 아낀 공간을 활용해 공유 카트에 더 많은 책을 추가했습니다. 그 결과, 동일한 메모리를 사용하면서도 원래 모델보다 오히려 더 나은 모델을 만들어냈습니다.

요약 비유

고층 빌딩을 짓는 건설팀을 상상해 보세요.

기존 방식: 모든 층마다 고유하고 완벽하게 갖춰진 공구함이 있습니다. 모든 공구함을 실어 나르는 트럭은 거대하고 비용이 많이 듭니다.
새로운 방식 (Tying the Loop): 3층부터 28층까지는 엘리베이터로 전달되는 동일한 공구함을 공유합니다. 1, 2, 29, 30층은 자신들만의 특별한 공구함을 가집니다.
결과: 트럭의 크기가 절반으로 줄어들었고(비용과 공간 절약), 추가적인 무게를 실을 필요가 없어 팀원들이 더 빠르게 움직이며, 건물은 여전히 튼튼합니다. 사실, 트럭 비용을 아꼈기 때문에 공유 공구함에 더 좋은 도구를 구입하여 건물을 훨씬 더 튼튼하게 만들었습니다.

핵식 요점: 모델의 여러 레이어에 걸쳐 동일한 "지식"을 재사용하면 AI 모델을 훨씬 작고 빠르게 만들 수 있습니다. 단, 각 레이어의 "안경"(Attention)은 고유하게 유지하고, 맨 처음과 맨 마지막 레이어는 건드리지 않아야 합니다.

기술 요약: 루프 묶기(Tying the Loop) - MoE 언어 모델에서의 전문가 계층 결합(Tied Expert Layers)

문제 정의

혼합 전문가(Mixture-of-Experts, MoE) 아키텍처는 전체 파라미터 수와 토큰당 연산량을 분리함으로써 대규모 언어 모델(LLM)을 확장하는 표준이 되었습니다. 각 토큰에 대해 소수의 전문가 피드포워드 네트워크(FFN)만을 활성화함으로써, MoE 모델은 높은 용량을 달면서도 효율적인 추론을 달ンダ합니다. 그러나 결정적인 병목 현상이 남아 있습니다: 바로 **메모리 점유율(memory footprint)**입니다. 어떤 포워드 패스에서도 파라미터의 극히 일부만 활성화되지만, 전체 파라미터 집합(전문가 가중치에 의해 지배되는)은 훈련 및 추론 메모리에 상주해야 합니다.

이는 추인된(unique) 파라미터로부터 더 많은 연산을 추출하고자 하는 "파라미터 효율성"의 부상하는 트렌드와 긴장을 유발합니다. 표준 MoE 아키텍처는 특정 패스에서 유휴 상태로 머무는 파라미터로 인해 메모리를 팽창시키므로, 이러한 관점에서 비효율적이라고 간주됩니다. 본 논문은 모델의 품질을 희생하지 않으면서, MoE의 낮은 토큰당 연산량과 더 높은 '고유 파라미터당 연산 효율'이라는 목표를 조화시키고자 합니다.

방법론: 전문가 결합(Expert Tying)

저자들은 연속된 레이어 그룹 간에 전문가 FFN 파라미터를 공유하면서도 레이어별 구성 요소는 보존하는 아키텍처 수정 방식인 **전문가 결합(Expert Tying)**을 제안합니다.

핵심 메커니즘

파라미터 공유: $g$ 개의 연속된 레이어 그룹에 대해, 게이트(gate), 업(up) 프로젝션, 다운(down) 프로젝션 가중치가 에일리어싱(aliased, 공유)됩니다. 이는 고유한 FFN 파라미터를 $g$ 배만큼 줄여줍니다.
보존된 독립성: 결정적으로, 라우터(게이팅 네트워크), 셀프 어텐션(Self-attention) 프로젝션(Q, K, V, O), 그리고 정규화(Normalization) 레이어는 각 레이어마다 독립적으로 유지됩니다.
구현: 이 방법은 모델 코드(예: Hugging Face Transformers) 내의 단순한 포인터 할당으로 구현됩니다. 이는 결합된 파라미터의 다중 사용 지점으로부터 그래디언트를 올바르게 누적하도록 옵티마이저를 보장하는 것 외에는 훈련 또는 추론 인프라의 변경을 요구하지 않습니다.
학습률 스케일링: $g$ 개 레이어로부터의 그래디언트 누적을 관리하기 위해, 결합된 전문가 가중치의 학습률은 $1/\sqrt{g}$ 로 스케일링됩니다.

설계 근거

저자들은 **레이어별 어텐션(per-layer attention)**이 각 레이어의 유효 연산자를 고유하게 유지해주기 때문에, FFN 전문가 풀을 인접한 레이어 간에 공유할 수 있다고 가설을 세웠습니다. 동일한 전문가 가중치를 사용하더라도, 서로 다른 토큰 위치의 혼합물(mixture)에 어텐션을 수행함으로써 각 깊이에서 서로 다른 변환을 만들어냅니다.

주요 기여

1. 통제된 구성 요소 절제 연구(Controlled Component Ablation)

생산 모델로 확장하기 전, 저자들은 어떤 구성 요소를 결합했을 때 품질 저하 없이 가능한지를 결정하기 위해 더 작은 아키텍처에서 통제된 절제 연구를 수행했습니다.

발견: 레이어별 어텐션이 레이어의 구별성을 만드는 주요 동력입니다. 어텐션을 결합하지 않고(독립적으로 유지) 유지하는 것이 라우터를 결합하는 것보다 성능 향상에 훨씬 더 크게 기여합니다.
라우터 영향: 라우터를 결합(untying)하면 라우팅 다양성이 증가하지만(교차 루프 일치도가 감소), 어텐션이 결합되어 있다면 최종 손실(loss)에는 미미한 영향을 미칩니다.
결론: 최적의 전략은 전문가 가중치를 결합하고, 어텐션은 레이어별로 유지하며, 라우터는 비용 차이가 거의 없는 결합 또는 미결합 상태로 두는 것입니다.
서론/결론부(Prelude/Coda): 스택의 첫 번째와 마지막 레이어(임베딩 입력 및 LM-head 출력)는 결합되지 않은 상태로 유지되어야 합니다. "2+2" 형태의 미결합 서론 및 결론부는 완전 순환형(fully recurrent) 설계에 비해 가장 큰 아키텍처적 이득을 제공합니다.

2. 생산 아키텍처로의 확장

이 방법은 세 가지 최첨단 MoE 아키텍처인 OLMoE, Qwen3-MoE, DeepSeekMoE에 적용되었습니다.

구성: $g=4$ 레이어 그룹이 전문가 가중치를 공유하며, 시작과 끝에 2개의 미결합 레이어를 둡니다.
파라미터 감소: 이 구성은 전체 파라미터 수를 29%에서 52%까지(아키텍처 및 그룹 크기에 따라 다름) 줄이면서도 퍼플렉서티(perplexity)나 다운스트림 정확도 저하를 거의 일으키지 않습니다.
처리량(Throughput): 고유 파라미터의 감소는 가중치 로딩 대역폭 및 옵티마이저 상태 업데이트를 줄여 23.7%의 실제 시간(wall-clock) 훈련 속도 향상을 가져옵니다.

3. 이종 너비 확장(Heterogeneous Width Expansion)

본 논문은 절약된 파라미터를 사용하는 새로운 방법을 소개합니다: 절약된 파라미터를 결합된 중간 레이어에 **재투자(reinvesting)**하는 것입니다.

단순히 모델을 압축하는 대신, 저자들은 원래의 총 파라미터 수와 일치하도록 결합된 중간 레이어의 너비(전문가 수 증가)를 넓힙니다 ("iso-parameter").
결과: 너비가 확장된 결합 레이어를 가진 모델은 동일한 파라터 수의 표준 미결합 베이스라인보다 일관되게 더 나은 성능을 보입니다. 이는 전문가 결합을 단순한 압축 기술이 아닌, **깊이 대 너비의 설계 축(depth-vs-width design axis)**으로 재정의합니다.

4. 대규모 검증

실험은 7B 파라미터 모델(OLMoE-1B-7B)로 확장되었습니다.

$g=4$ 결합 모델은 전체 파라미터를 절반 미만으로 사용하면서도(3.50B vs 7.12B) 미결합 베이스라인과 동등한 손실 및 다운스트림 정확도를 달성했습니다.
너비 확장 버전은 성능을 더욱 개선하여, 두 배의 토큰으로 훈련된 공식 OLMoE-1B-7B 체크포인트보다 더 나은 성능을 보였습니다.

결과 요약

메모리 효율성: 전문가 결합은 퍼플렉서티 저하 없이 거의 2배(최대 52% 파라미터 감소)로 메모리 점유율을 줄입니다.
품질 보존: $g=4$ 에서 손실 페널티는 미미하며(예: 검증 손실 +0.05 ~ +0.07), 다운스트림 정확도는 최대 1.9% 하락에 그칩니다.
성능 이득: 데이터 이동 및 옵티마이저 오버헤드 감소로 인해 훈련 처리량이 15.7%에서 23.7% 증가합니다.
동일 파라미터 우위(Iso-Parameter Superiority): 절약된 파라미터를 결합된 레이어를 넓히는 데 재투자할 경우, 생성된 모델은 동일한 크기의 표준 미결합 MoE보다 뛰어난 성능을 보입니다.

의의 및 주장

본 논문은 **전문가 결합(Expert Tying)**이 MoE 스케일링(낮은 토큰당 연산량)과 파라미터 효율성(높은 고유 파라미터당 연산량)이라는 상충하는 트렌드를 성공적으로 조화시킨다고 주장합니다. MoE 경로의 내재된 파라미터 중복성을 활용함으로써, 이 방법은 희소성(sparsity) 자체를 제거하지 않으면서도 메모리 페널티를 제거합니다.

저자들은 자신들의 기여가 단순히 설정(Megrez2와 같은 선행 연구와 유사함)에 있는 것이 아니라, 어떤 구성 요소를 공유할 수 있는지를 식별해낸 통제된 연구에 있음을 강조합니다. 저자들은 어텐션이 라우팅이 아닌, 레이어의 구별성을 유지하는 데 있어 핵심적인 구성 요소임을 입증하였으며, 이를 통해 가장 큰 파라미터 풀(전문가)을 최소한의 품질 비용으로 공유할 수 있게 했습니다.

이 연구는 전문가 결합을 기존 MoE 코드베이스에 즉시 적용 가능한 "드롭인(drop-in)" 수정 사항으로 위치시키며, 차세대 LLM의 효율적인 훈련 및 확장을 진전시키는 동시에 매우 유리한 연산 대 메모리 트레이드오프를 제공합니다. 저자들은 현재 실험이 7B 파라미터에 국한되어 있으며, 전용 결합 레이어 커널의 부재로 인해 효율성 이득이 하한선(lower bound)이라는 점을 언급하며 겸손한 태도를 유지합니다.