💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

이 논문은 Mixture-of-Experts(MoE) 방식의 전문가 확장보다 임베딩(Embedding) 규모를 키우는 것이 효율성 측면에서 더 우수할 수 있음을 입증하며, 이를 통해 성능과 추론 속도를 모두 잡은 68.5B 규모의 모델인 'LongCat-Flash-Lite'를 제안합니다.

원저자: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 핵심 요약: "전문가를 늘릴 것인가, 사전(Dictionary)을 키울 것인가?"

지금까지 인공지능을 똑똑하게 만드는 가장 유행하는 방법은 **'전문가(Experts) 늘리기'**였습니다. 인공지능 안에 수많은 분야의 전문가(MoE 방식)를 넣어두고, 질문이 들어오면 관련 있는 전문가만 불러서 답하게 하는 방식이죠.

하지만 이 논문은 새로운 제안을 합니다. **"전문가를 계속 늘리는 건 효율이 떨어진다. 차라리 단어의 뜻과 맥락을 담은 '거대한 사전(Embedding)'을 키우는 게 훨씬 이득이다!"**라는 것입니다.

🎨 비유로 이해하기: "천재 요리사 vs. 끝판왕 레시피 북"

인공지능을 **'요리사'**라고 상상해 봅시다.

1. 기존 방식: 전문가(Experts) 늘리기 (MoE)

요리 실력을 키우기 위해 주방에 **'한식 전문가', '중식 전문가', '양식 전문가'**를 계속 고용하는 방식입니다.

문제점: 요리사가 너무 많아지면 주방이 북적거리고(메모리 문제), 요리사들끼리 서로 부딪히며 소통하는 데 시간이 너무 오래 걸립니다(시스템 병목 현상). 게다가 요리사를 무한정 늘린다고 해서 요리 실력이 비례해서 늘지도 않습니다.

2. 이 논문의 방식: 거대한 사전(N-gram Embedding) 키우기

요리사를 무작정 늘리는 대신, **'세상의 모든 식재료와 조리법이 적힌 엄청나게 두꺼운 마법 레시피 북'**을 주는 방식입니다.

장점: 이 책은 단순히 '소금'이라고만 적힌 게 아니라, "소금 + 후추 + 고기"가 만났을 때 어떤 맛이 나는지(N-gram 맥락)를 아주 상세하게 적어놓았습니다. 요리사는 요리사를 새로 고용할 필요 없이, 이 책만 빠르게 훑어봐도 엄청난 요리를 만들어낼 수 있습니다. 주방은 여전히 넓고 쾌적하면서도(효율성), 요리의 깊이는 훨씬 깊어집니다(성능).

🛠️ 이 논문이 발견한 '꿀팁' (연구 결과)

연구팀은 이 '마법 레시피 북(Embedding)'을 만들 때 주의할 점들을 찾아냈습니다.

적당한 비율이 중요하다: 레시피 북이 너무 두꺼워져서 요리사(전문가)를 아예 없애버리면 안 됩니다. 전체 예산의 50% 정도를 레시피 북에 쓰는 게 가장 효율적입니다.
단어의 조합(N-gram)을 읽어라: 단어 하나하나만 보지 말고, "사과"와 "먹다"가 붙었을 때의 맥락을 통째로 저장해야 합니다.
충돌을 피하라: 책의 페이지 번호를 매길 때, 비슷한 단어들이 같은 페이지에 몰려 있으면 헷갈리겠죠? 이를 방지하기 위해 번호를 아주 똑똑하게 매기는 법을 찾아냈습니다.
목소리를 키워라(Amplification): 레시피 북의 정보가 너무 작으면 요리사가 무시할 수 있습니다. 그래서 레시피의 내용을 요리사 귀에 꽂히도록 **'강조(Scaling)'**해주는 기술을 썼습니다.

🚀 결과: "LongCat-Flash-Lite"의 탄생

이 원리를 적용해 만든 모델이 바로 **'LongCat-Flash-Lite'**입니다.

성능: 기존 방식(전문가만 늘린 모델)보다 훨씬 똑똑합니다. 특히 **코딩(Coding)**이나 복잡한 업무 수행(Agentic tasks) 능력이 압도적으로 좋아졌습니다.
속도: 전문가를 불러오는 복잡한 과정이 줄어들었기 때문에, 인공지능이 대답하는 속도가 매우 빠르고 효율적입니다.

💡 한 줄 결론

"인공지능을 똑똑하게 만들 때, 머릿수(전문가)만 늘리지 말고, 맥락을 담은 지식의 기초(임베딩)를 탄탄하고 거대하게 쌓는 것이 훨씬 효율적이다!"

[기술 요약] 언어 모델에서 전문가(Expert) 확장보다 임베딩(Embedding) 확장이 더 효과적이다

1. 문제 제기 (Problem Statement)

현재 대규모 언어 모델(LLM)의 스케일링은 주로 Mixture-of-Experts (MoE) 구조를 통해 이루어지고 있습니다. MoE는 파라미터 수를 늘리면서도 연산 비용을 일정하게 유지할 수 있는 강력한 방법이지만, 다음과 같은 한계에 직면해 있습니다:

수익 체감의 법칙 (Diminishing Returns): 전문가(Expert) 수를 무한정 늘린다고 해서 모델 성능이 선형적으로 향상되지 않으며, 특정 시점에서 효율성이 포화 상태에 이릅니다.
시스템 병목 현상: 전문가 수가 늘어날수록 분산 학습 시 통신 오버헤드(Communication Overhead)와 메모리 대역폭 압박이 심화됩니다.
새로운 차원의 부재: 기존 연구들은 주로 FFN(Feed-Forward Network) 내의 전문가 확장에만 집중해 왔으며, 임베딩 레이어를 통한 스케일링의 잠재력은 충분히 탐구되지 않았습니다.

2. 방법론 (Methodology)

본 논문은 전문가를 늘리는 대신, N-gram 임베딩을 통해 모델의 파라미터를 확장하는 새로운 차원의 스케일링 전략을 제안합니다.

A. N-gram 임베딩 레이어 (N-gram Embedding Layer)

단일 토큰의 임베딩만 사용하는 대신, 이전 토큰들과의 조합(n-gram)을 해시 함수(Hash function)를 통해 임베딩 테이블에서 찾아내어 기존 임베딩에 더해주는 방식입니다.

구조: 베이스 임베딩( $E_0$ )에 $n$ -gram 서브 테이블( $E_n$ )의 결과값을 결합합니다.
해시 충돌 완화: 해시 충돌로 인한 의미론적 모호성을 줄이기 위해 여러 개의 서브 테이블( $K$ 개)과 선형 투영(Linear Projection)을 사용하는 구조를 채택했습니다.

B. 최적의 통합 및 설계 원칙 (Design Principles)

연구팀은 실험을 통해 다음과 같은 최적의 아키텍처 설계 가이드를 도출했습니다:

통합 시점: 모델의 희소성(Sparsity, 전체 파라미터 대비 활성 파라미터 비율)이 높을 때 N-gram 임베딩을 도입하는 것이 가장 효과적입니다.
파라미터 예산: 전체 파라미터 예산 중 N-gram 임베딩에 할당하는 비중은 50%를 넘지 않는 것이 좋습니다.
해시 충돌 방지: N-gram 임베딩의 어휘 사전 크기(Vocabulary size)는 베이스 어휘 크기의 정수 배가 되지 않도록 설정하여 충돌을 최소화해야 합니다.
임베딩 증폭 (Embedding Amplification): 학습 초기 단계에서 임베딩 신호가 어텐션(Attention) 신호에 묻히는 것을 방지하기 위해 스케일링 인자( $\sqrt{D}$ )를 도입하거나 LayerNorm을 적용해야 합니다.

C. 시스템 최적화 (Efficient Inference)

임베딩 파라미터가 커짐에 따라 발생하는 I/O 병목을 해결하기 위해 다음을 도입했습니다:

N-gram Cache: KV 캐시와 유사한 방식으로 N-gram ID를 관리하는 커스텀 CUDA 커널.
Speculative Decoding 결합: 드래프트 모델(Draft model)의 연산량을 줄이고 하드웨어 활용도를 극대화하여 추론 속도를 높임.

3. 주요 기여 (Key Contributions)

새로운 스케일링 패러다임 제시: 전문가 확장(Expert Scaling)과 임베딩 확장(Embedding Scaling) 사이의 파레토 최적(Pareto frontier)을 분석하여, 특정 조건에서 임베딩 확장이 훨씬 효율적임을 입증했습니다.
아키텍처 영향 분석: 모델의 너비(Width)가 넓을수록, 깊이(Depth)가 얕을수록 N-gram 임베딩의 이점이 커진다는 것을 체계적으로 규명했습니다.
LongCat-Flash-Lite 모델 개발: 68.5B 전체 파라미터 중 31.4B를 임베딩에 할당하고, 실제 연산에는 약 3B~4.5B만 사용하는 고효율 모델을 처음부터 학습시켜 공개했습니다.

4. 결과 (Results)

A. 성능 비교 (Base Model)

LongCat-Flash-Lite는 동일한 활성 파라미터 수를 가진 MoE 베이스라인(Vanilla)보다 모든 지표(MMLU, GSM8K, HumanEval+ 등)에서 우수한 성능을 보였습니다.
특히 **코딩(Coding)**과 추론(Reasoning) 영역에서 파라미터 대비 압도적인 성능을 기록했습니다.

B. 에이전트 및 코딩 능력 (Chat Model)

에이전트 도구 사용 (Agentic Tool Use): $\tau^2$ -Bench 및 VitaBench에서 Gemini 2.5 Flash-Lite 및 Qwen3 모델을 능가하는 성능을 보였습니다.
에이전트 코딩 (Agentic Coding): SWE-Bench에서 54.4%의 정확도를 기록하며, 비교 대상인 Gemini(41.3%)나 Qwen3(37.6%)를 크게 앞질렀습니다.

C. 추론 효율성

최적화된 커널과 Speculative Decoding을 통해, 대규모 임베딩 파라미터를 보유하고 있음에도 불구하고 매우 낮은 지연 시간(Latency)과 높은 처리량(Throughput)을 달 수 있음을 증명했습니다.

5. 의의 (Significance)

본 논문은 LLM의 스케일링 법칙이 단순히 "더 많은 전문가"나 "더 큰 모델"로만 향할 필요가 없음을 보여줍니다. 임베딩 레이어라는 숨겨진 차원을 활용함으로써, 연산 비용(FLOPs)을 폭발적으로 늘리지 않고도 모델의 표현력을 극대화할 수 있는 실질적인 경로를 제시했습니다. 이는 향후 초거대 모델 설계 시 연산 효율성과 지능 사이의 균형을 맞추는 데 중요한 이정표가 될 것입니다.