💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

YaRN은 기존 방식보다 훨씬 적은 연산량과 학습 데이터로도 LLaMA와 같은 언어 모델의 문맥 창(context window)을 효율적으로 확장하고, 학습 범위를 넘어선 긴 문장에서도 뛰어난 성능을 발휘하게 하는 새로운 RoPE 확장 방법론입니다.

원저자: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "기억력의 한계" (도서관 사서의 책상 크기)

인공지능 모델은 공부할 때 책상 위에 책을 펼쳐놓고 봅니다. 그런데 이 **책상의 크기(문맥 창)**가 정해져 있어요. 책상이 작으면, 책의 앞부분을 읽다가 뒷부분으로 넘어가면 앞의 내용을 까먹어 버립니다.

기존에는 이 책상을 넓히려고 두 가지 방법을 썼습니다.

방법 A (단순 확장): 책상을 그냥 억지로 늘리는 거예요. 하지만 책상이 너무 넓어지면 사서가 정보 사이의 거리를 헷갈려 해서, 글자가 흐릿하게 보이는 것처럼 정보가 뭉개져 버립니다.
방법 B (새로 만들기): 처음부터 아주 큰 책상을 가진 사서를 새로 교육시키는 거예요. 하지만 이건 돈과 시간이 어마어마하게 많이 듭니다.

2. YaRN의 핵심 아이디어: "똑똑한 돋보기와 맞춤형 안경"

이 논문에서 제안하는 **YaRN(야른)**은 책상을 새로 만드는 대신, 기존 사서에게 **'특수 안경'**을 씌워주는 방식입니다. 이 안경은 두 가지 마법을 부립니다.

① "중요한 건 크게, 덜 중요한 건 작게" (NTK-by-parts)

우리가 아주 긴 글을 읽을 때, 모든 글자를 똑같은 크기로 보면 눈이 피로하죠?

가까운 단어들(고주파): 단어와 단어 사이의 미세한 관계는 아주 중요합니다. YaRN은 이 부분은 돋보기로 보듯 아주 세밀하게 유지합니다.
먼 단어들(저주파): 아주 멀리 떨어진 문맥은 굳이 세밀할 필요가 없습니다. 이 부분은 멀리 보는 안경처럼 부드럽게 압축해서 보여줍니다.
이렇게 '거리별로 맞춤형 초점'을 맞춰주니까, 정보가 뭉개지지 않고 멀리 있는 내용까지 선명하게 읽을 수 있게 됩니다.

② "집중력 조절 장치" (Attention Scaling)

책상이 넓어지면 사서가 너무 많은 정보에 압도당해 집중력이 흐트러질 수 있습니다. YaRN은 사서가 정보를 처리할 때 **'집중력 온도(Temperature)'**를 살짝 조절해 줍니다. 너무 많은 정보가 들어와도 당황하지 않고, 중요한 정보에 딱 집중할 수 있도록 '마음의 평정심'을 유지하게 도와주는 장치라고 보시면 됩니다.

3. 결과: "가성비 끝판왕"

이 기술을 적용했더니 놀라운 결과가 나왔습니다.

엄청난 효율성: 기존 방식보다 10배 적은 데이터만 공부시켜도 되고, 학습 시간도 2.5배나 단축되었습니다. (적은 돈으로 엄청난 효과를 낸 거죠!)
기억력 폭발: 원래 4,000단어만 기억하던 모델을 아주 살짝만 추가 교육시켰더니, 128,000단어(책 한 권 분량)까지 거뜬히 기억하고 이해하게 되었습니다.
실전 능력: 단순히 기억만 하는 게 아니라, 아주 긴 글 속에 숨겨진 특정 숫자(Passkey)를 찾아내는 능력도 매우 뛰어났습니다.

요약하자면!

YaRN은 인공지능에게 "무작정 더 큰 책상을 사줘!"라고 하는 대신, **"기존 책상을 쓰되, 가까운 건 세밀하게 보고 먼 건 큼직하게 보는 '스마트 안경'을 써!"**라고 알려주는 기술입니다. 덕분에 인공지능은 훨씬 적은 비용으로도 엄청나게 긴 글을 완벽하게 읽어낼 수 있게 되었습니다.

[기술 요약] YaRN: 대규모 언어 모델의 효율적인 컨텍스트 창 확장 방법론

1. 문제 정의 (Problem Statement)

Transformer 기반의 대규모 언어 모델(LLM)은 학습 과정에서 설정된 **최대 시퀀스 길이(Context Window)**를 초과하는 데이터에 대해서는 일반화(Generalization) 능력이 급격히 떨어지는 한계가 있습니다.

기존의 Rotary Position Embedding(RoPE)을 사용하는 모델들은 다음과 같은 문제에 직면해 있습니다:

Position Interpolation (PI)의 한계: 모든 차원의 위치 임베딩을 동일한 비율로 압축(Scaling)하면, 고주파(High-frequency) 정보가 손실되어 모델의 성능이 저하됩니다.
학습 효율성 문제: 컨텍스트 창을 확장하기 위해 기존 방법론들은 많은 양의 토큰과 긴 학습 단계(Training steps)를 요구합니다.
외삽(Extrapolation) 능력 부족: 학습 데이터의 길이를 넘어선 시퀀스에 대해 모델이 효과적으로 대응하지 못합니다.

2. 방법론 (Methodology)

YaRN(Yet another RoPE extensioN method)은 기존의 RoPE 기반 모델(LLaMA, GPT-NeoX, PaLM 등)의 컨텍스트를 효율적으로 확장하기 위해 세 가지 핵심 기술을 결합합니다.

① NTK-by-parts Interpolation (차원별 차등 보간)

모든 차원을 똑같이 스케일링하는 대신, RoPE의 파장(Wavelength, $\lambda$ ) 개념을 도입하여 차원별로 서로 다른 전략을 적용합니다.

저주파 차원 (Short wavelength): 상대적 위치 정보가 중요하므로 보간(Interpolation)을 하지 않고 그대로 유지합니다.
고주파 차원 (Long wavelength): 절대적 위치 정보가 중요하므로 선형 보간(Linear interpolation)을 적용합니다.
중간 차원: 두 방식 사이를 부드럽게 연결하는 램프 함수(Ramp function, $\gamma$ )를 사용하여 점진적으로 보간합니다. 이를 통해 고주파 정보 손실을 방지합니다.

② Attention Scaling (Softmax 온도 조절)

컨텍스트가 확장되면 어텐션 메커니즘의 엔트로피가 변화합니다. YaRN은 어텐션 소프트맥스(Softmax) 계산 전 로짓(Logits)에 특정 온도( $t$ )를 적용하여 퍼플렉서티(Perplexity)를 안정화합니다.

공식: $\text{softmax}\left(\frac{q^T k}{\sqrt{|D|} \cdot t}\right)$
이 방식은 추가적인 연산 오버헤드 없이 어텐션 메커니즘을 최적화하며, 구현 시 RoPE 임베딩 자체를 스케일링하는 방식으로 매우 효율적으로 처리할 수 있습니다.

③ Dynamic Scaling (추론 시 동적 스케일링)

학습된 최대 길이를 넘어가는 추론 시, 현재 시퀀스 길이에 맞춰 스케일 인자( $s$ )를 동적으로 업데이트하는 기법입니다. 이를 통해 모델이 학습 범위를 벗어날 때 성능이 급격히 무너지는 것을 방지하고 점진적으로 성능이 저하되도록 유도합니다.

3. 주요 기여 (Key Contributions)

효율적인 확장: 기존 방법론 대비 10배 적은 토큰과 2.5배 적은 학습 단계만으로도 컨텍스트 창을 성공적으로 확장할 수 있음을 입증했습니다.
외삽 능력(Extrapolation): 64k 길이의 데이터로 미세 조정(Fine-tuning)한 모델이 학습하지 않은 128k 길이의 시퀀스에서도 높은 성능을 유지하는 '전이 학습(Transfer learning)' 효과를 보여주었습니다.
범용성 및 호환성: RoPE를 사용하는 대부분의 최신 모델 아키텍처에 즉시 적용 가능하며, Flash Attention 2와 같은 고속 어텐션 라이브러리와도 완벽히 호환됩니다.

4. 실험 결과 (Results)

Perplexity (PPL): LLaMA 7B 및 13B 모델을 대상으로 실험한 결과, YaRN은 다른 보간법(PI, NTK-aware 등)보다 일관되게 낮은 퍼플렉서티를 기록하며 긴 문맥에서도 언어 모델링 능력을 유지했습니다.
Passkey Retrieval: 긴 문맥 속에서 특정 정보를 찾아내는 작업에서 YaRN은 매우 높은 정확도(>99%)를 보이며, 긴 시퀀스 내의 정보 유지 능력을 증명했습니다.
표준 벤치마크: Hugging Face Open LLM 벤치마크(ARC, HellaSwag, MMLU 등)에서 컨텍스트를 확장한 후에도 원래 모델의 성능 저하를 최소화했습니다.
학습 효율성: 표 4에 따르면, YaRN은 다른 모델들에 비해 훨씬 적은 GPU 시간(A100 기준)을 사용하여 목표 컨텍스트 길이에 도달할 수 있습니다.

5. 의의 (Significance)

YaRN은 **"짧게 학습하고 길게 테스트하기(Train short, test long)"**를 가능하게 하는 실용적인 방법론을 제시했습니다. 이는 컴퓨팅 자원이 제한된 환경에서 LLM의 컨텍스트 창을 극대화하려는 연구자 및 엔지니어들에게 매우 중요한 기술적 돌파구를 제공하며, 모델의 확장성(Scalability) 문제를 해결하는 데 크게 기여했습니다.