💬 NLP

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs

이 논문은 RoPE(Rotary Positional Embeddings)의 저주파 성분에 소프트 클리핑을 적용하여 분포 외(out-of-distribution) 완화와 의미론적 모델링을 통합함으로써, 대규모 언어 모델의 컨텍스트 길이를 최대 256k까지 확장하여 최첨단 길이 일반화 성능을 달성하는 미니멀리즘 방식인 CoPE를 소개한다.

원저자: Haoran Li, Sucheng Ren, Alan Yuille, Feng Wang

게시일 2026-02-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoran Li, Sucheng Ren, Alan Yuille, Feng Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 방대한 도서관의 책을 모두 읽은 매우 똑똑한 사서라고 상상해 보세요. 이야기를 이해하기 위해서 사서는 단어가 무엇인지뿐만 아니라, 그 단어가 문장 속 '어디'에 위치하는지도 알아야 합니다. AI의 세계에서 이 "어디"라는 정보는 RoPE(Rotary Positional Embedding, 회전형 위치 임베딩)라는 도구에 의해 처리됩니다.

RoPE를 모든 단어에 부착된 거대하고 복잡한 시계판이라고 생각해 보세요. 이야기가 길어짐에 따라, 이 시계의 바늘들은 서로 다른 속도로 회전합니다. 어떤 바늘은 매우 빠르게 돌고(고주파), 어떤 바위는 매우 느리게 돕니다(저주파).

문제점: 길을 잃는 느린 시계들

이 논문은 느리게 도는 시계들(저주파 성분)에서 발생하는 특정한 문제를 식별했습니다.

"범위를 벗어난" 문제: 훈련 과정에서 AI는 특정 길이(예: 8,000단어)까지만의 이야기를 봅니다. 이때 느린 시계들은 이야기가 끝나기 전까지 한 바퀴를 다 돌지도 못합니다. 그런데 AI가 훨씬 더 긴 이야기(예: 256,000단어)를 읽으려고 하면, 이 느린 시계들은 AI가 한 번도 본 적 없는 영역으로 돌아가 버립니다. 이는 마치 자신의 동네만 커버하는 지도를 가지고 도시 전체를 항해하려는 것과 같습니다. 범위를 벗어나면 길을 잃게 됩니다. 이로 인해 AI는 터무니없고 잘못된 추측을 하게 됩니다.
"기억의 희미함" 문제: 논문은 또한 이 느린 시계들이 멀리 떨어진 단어들의 '의미'를 기억하는 데 도움을 주어야 한다는 점을 발견했습니다. 하지만 이야기가 길어질수록 이 느린 시계들의 신호는 약해지고 흐릿해집니다. AI는 두 단어가 멀리 떨어져 있다는 이유만으로 서로 연관되어 있다는 사실을 잊기 시작합니다.

오랫동안 연구자들은 이 두 문제를 별개로 해결하려고 노력했습니다. 어떤 이들은 새로운 영역을 커버할 수 있도록 지도를 "늘리려"(내비게이션 문제 해결) 했고, 다른 이들은 시계의 속도를 높여 메모리 신호를 강화하려 했습니다(메모리 문제 해결).

해결책: CoPE (부드러운 조광기 스위치)

이 논문의 저자들은 CoPE를 통해 두 문제 모두 동일한 근원에서 비롯되었다는 것을 깨달았습니다. 즉, 느린 시계들이 이야기가 너무 길어질 때 제대로 작동하지 않는다는 것입니다.

지도를 늘리거나 시계의 속도를 높이는 대신, 저자들은 단순하고 우아한 해결책인 **소프트 클리핑(Soft Clipping)**을 제안했습니다.

느린 시계들을 더 긴 이야기를 들을수록 점점 더 커지는 잡음이 섞인 라디오 방송국이라고 상상해 보세요.

기존 방식 (하드 클리핑): 일부 연구자들은 그냥 라디오 플러그를 뽑아버리려 했습니다(신호를 즉시 0으로 차단). 논문은 이것이 마치 문을 쾅 닫아버리는 것과 같아서, 음악의 나머지 부분을 망치는 큰 "쾅" 소리나 "울림"(스펙트럼 누설이라고 불림)을 만들어낸다고 설명합니다.
CoPE 방식 (소프트 클리핑): CoPE는 부드러운 조광기 스위치(dimmer switch) 역할을 합니다. 신호를 갑자기 끊는 대신, 문제가 되는 느린 시계들의 볼륨을 이야기가 길어짐에 따라 서서히 0으로 줄여 나갑니다.

이 단순한 동작은 세 가지 효과를 가져옵니다:

AI가 "본 적 없는 영역"에서 길을 잃는 것을 막아줍니다(내비게이션 해결).
신호를 깨끗하게 정리하여 AI가 멀리 떨어진 단어들의 의미를 더 잘 기억할 수 있게 합니다(메모리 해결).
신호를 너무 거칠게 끊었을 때 발생하는 "울림" 소인을 방지합니다.

결과: "공짜 점심"

저자들은 64,000단어를 읽도록 훈련된 모델을 테스트한 후, 이 모델에게 최대 256,000단어 길이의 이야기를 읽게 했습니다.

마법 같은 효과: 표준 RoPE를 자신들의 "소프트 클리핑" 버전인 CoPE로 교체하는 것만으로도, 이 모델의 성능은 초장문 작업에서 기존 모델보다 거의 두 배 가까이 향상되었습니다.
부작용 없음: 결정적으로, 이것은 짧은 이야기를 읽거나 일반적인 질문에 답하는 모델의 능력을 해치지 않았습니다. 이는 "공짜 점심"이었습니다. 짧은 글에 대한 페널티 없이 긴 글에 대한 엄청난 개선을 이루어냈기 때문입니다.
합성 데이터 vs 실제 데이터: 논문은 또한 많은 이전 테스트들이 모델 간의 실질적인 차이를 보여주지 못하는 너무 쉬운 가짜 이야기(합성 작업)를 사용했다는 점을 지적했습니다. CoPE는 긴 문서 요약, 방대한 텍스트에서의 질문 답변, 특정 사실 추출과 같은 실제 세계의 작업에서 그 가치를 입증했습니다.

요약

요약하자면, CoPE는 AI 모델이 텍스트 내에서 위치를 추적하는 방식에 적용된 아주 작고 미니멀한 수정 사항입니다. 매우 긴 텍스트에서 어려움을 겪는 시스템의 "혼란스러운" 부분들을 부드럽게 페이드 아웃(fade out) 시킴으로써, 모델이 모델의 구조를 변경하거나 처음부터 다시 훈련할 필요 없이 거대한 문서를 훨씬 더 높은 정확도로 읽고 이해할 수 있게 해줍니다. 이는 복잡하고 고장 난 신호를 깨끗하고 신뢰할 수 있는 신호로 바꾸어 놓습니다.

기술 요약: CoPE: 긴 컨텍스트 LLM을 위한 확장 가능한 '공짜 점심(Free Lunch)'으로서의 Clipped RoPE

문제 정의
회전 위치 임베딩(Rotary Positional Embedding, RoPE)은 대규모 언어 모델(LLM)의 컨텍스트 확장을 위한 초석입니다. 그러나 RoPE를 사전 학습 윈도우보다 훨씬 긴 컨텍스트에 적응시킬 때는 두 가지 주요 과제에 직면하게 됩니다:

분포 외(Out-of-Distribution, OOD) 완화: RoPE의 저주파 성분은 사전 학습 컨텍스트 윈도우보다 긴 주기를 가집니다. 미학습 위치로 외삽(extrapolation)할 때, 이 성분들은 완전한 회전 사이클을 완료하지 못해 심각한 OOD 문제를 야기합니다.
의미론적 모델링 저하(Semantic Modeling Degradation): 기존 연구는 RoPE가 상대적 거리가 멀어짐에 따라 무작위 토큰보다 의미적으로 유사한 토큰을 우선시하는 모델의 능력을 저하시키는 "장기적 쇠퇴(long-term decay)"를 유발한다고 제안합니다. 이 쇠퇴는 주로 외삽 시 신뢰할 수 없는 의미 채널 역할을 하는 저주파 성분에 의해 지배됩니다.

기존 연구들은 이러한 문제들을 각각 별개로 다루어 왔습니다. 즉, 확장된 컨텍스트를 학습 범위 내로 매핑하기 위해 주파수를 스케일링하거나(OOD 완화), 혹은 의미론적 어텐션을 안정화하기 위해 기저 주파수를 높이는 방식(의미론적 모델링)을 사용했습니다. 본 논문은 두 현상 모두 동일한 근본 원인, 즉 외삽 레짐(extrapolation regime)에서 저주파 성분의 최적화되지 않은 동작에서 비롯된다고 주장합니다.

방법론: CoPE (Clipped RoPE)
저자들은 저주파 성분을 **부드럽게 클리핑(softly clips)**하는 미니멀한 개입 방식인 CoPE를 제안합니다.

이론적 근거: 본 논문은 비균등 이산 푸리에 변환(Non-Uniform Discrete Fourier Transform, NUDFT)의 관점에서 어텐션 메커니즘을 분석합니다. 이를 통해 하드 클리핑(저주파를 0으로 설정)이 급격한 스펙트럼 컷오프를 도입한다는 것을 입증합니다. 이는 스펙트럼 누설(spectral leakage)(깁스 현상, Gibbs phenomenon)을 일으켜, 어텐션 점수의 단조 감소를 방해하고 가짜 상관관계를 유도하는 장거리 진동 잔물결(oscillatory ringing) 아티팩트를 발생시킵니다.
소프트 클리핑 전략: 스펙트럼 누설을 방지하기 위해, CoPE는 이진 마스크 대신 부드러운 스펙트럼 테이퍼(특히 코사인 윈도우)를 저주파 성분에 적용합니다.
- 특정 온셋( $\theta_{start}$ ) 이상의 주파수는 변경되지 않습니다 (가중치 = 1).
- 최소 주파수( $\theta_{min}$ )와 온셋 사이의 주파수는 코사인 감쇄 함수를 사용하여 감쇄됩니다.
구현: CoPE는 "드롭인(drop-in)" 교체 방식으로 설계되었습니다. RoPE 주파수의 초기화 방식만 수정하면 되므로, 모델 아키텍처나 추론 커널(예: FlashAttention)을 변경할 필요가 없습니다.

주요 기여

통합적 관점: 본 논문은 OOD 완화와 의미론적 모델링을 통합하여, 두 현상 모두 외삽 시 저주파 성분의 최적화되지 않은 동작의 결과임을 보여줍니다.
원칙적인 개입: CoPE는 OOD 이상치를 제거하고, 의미 신호를 정교화하며, 하드 클리핑과 관련된 스펙트럼 누설을 방지하는 방법으로 제안되었습니다.
확장 가능한 성능: 광범위한 실험을 통해 CoPE가 짧은 컨텍스트 성능을 해치지 않으면서도 컨텍스트 길이에 따라 일관된 성능 향상을 제공하며, 새로운 SOTA(State-of-the-Art)를 구축함을 검증했습니다.

실험 결과
저자들은 Llama-3-8B를 (지속적 사전 학습 및 SFT를 통해) 64k 컨텍스트 윈도우까지 확장한 후, 최대 256k 토큰까지 외삽 테스트를 수행하여 CoPE를 평가했습니다.

실제 환경 벤치마크 (HELMET): CoPE는 다양한 작업(요약, QA, 인컨텍스트 러닝, 검색, RAG)에서 표준 RoPE 및 하드 클리핑 전략보다 일관되게 우수한 성능을 보였습니다.
- 학습 범위 내(64k)에서 CoPE는 RoPE 대비 평균 **10.84%**의 개선을 보였습니다.
- 256k 컨텍스트 길이에서 CoPE는 표준 RoPE보다 거의 2배 높은 성능을 달성했습니다.
- 학습 범위 내에서 성능을 저하시켰던 하드 클리핑과 달리, CoPE는 분포 내(in-distribution) 성능을 유지하거나 향상시켰습니다.
합성 벤치마크: 본 논문은 합성 작업(예: RULER, InfiniteBench)이 실제 작업에 비해 조기에 포화되거나 변별력이 부족할 수 있음을 언급하며, HELMET과 같은 벤치마크의 필요성을 강조합니다.
짧은 컨텍스트 능력: 표준 짧은 컨텍스트 벤치마크(MMLU, GPQA, GSM8K)에서 CoPE는 일반적인 모델 능력을 보존하면서 RoPE 대비 약간의 이득을 얻었으며, 이는 소프트 클리핑이 유용한 의미 신호를 지우지 않으면서 최적화되지 않은 동작을 억제함을 나타냅니다.
절제 연구(Ablation Studies): 이 방법은 클리핑 온셋 선택에 대해 견고함을 증명했습니다. 기본 설정(최저 약 75%의 주파수를 클리핑)이 가장 좋은 결과를 냈으며, 이는 억제가 효과적이긴 하지만 지나치게 공격적이어서는 안 된다는 점을 시사합니다.

의의
본 논문은 CoPE가 긴 컨텍스트 LLM을 위한 "확장 가능한 공짜 점심(scalable free lunch)"을 제공한다고 주장합니다. OOD 외삽과 의미론적 쇠퇴의 공유된 근본 원인을 식별함으로써, 저자들은 아키텍처 변경 없이도 매우 단순하고 원칙적이며 효과적인 솔루션을 제시했습니다. CoPE는 복잡한 주파수 스케일링이나 하드 절단 방식보다 저주파 성분을 안정화하는 것이 외삽 오류를 완화하고 장거리 의미론적 어텐션을 보존하는 데 충분함을 입증하며, 길이 일반화의 새로운 기준을 세웠습니다.

문제점: 길을 잃는 느린 시계들

해결책: CoPE (부드러운 조광기 스위치)

결과: "공짜 점심"

요약

기술 요약: CoPE: 긴 컨텍스트 LLM을 위한 확장 가능한 '공짜 점심(Free Lunch)'으로서의 Clipped RoPE

유사한 논문