💻 computer science

Twos All the Way Down: A Hidden Condition Every Deployed RoPE Schedule Satisfies

이 논문은 모든 RoPE 주파수의 쌍별 구별성을 요구하는 이전에 명시되지 않았던 "max_cluster = 1" 조건을 식별하고 검증하며, 추론 시에 이 암묵적인 제약을 위반하는 것이 대규모 언어 모델에서 치명적인 성능 저하를 일으킨다는 점을 입증하는 동시에, 표준 기하학적 스케줄이 그 로그 밑수의 초월적 성질 덕분에 본질적으로 이를 충족함을 증명한다.

원저자: Sungmin Ryu

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sungmin Ryu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대규모 언어 모델(챗봇을 구동하는 것과 같은)을 하나의 노래를 연주하려는 거대한 오케스트라라고 상상해 보십시오. 음악의 박자를 맞추기 위해서, 모든 악기는 시퀀스 내에서 자신이 어디에 위치해 있는지 정확히 알아야 합니다. 현대 AI에서 이 "박자 맞추기"는 RoPE(Rotary Position Embedding)라고 불리는 시스템에 의해 처리됩니다.

RoPE를 AI의 두뇌 속에 들어 있는 일련의 메트로놈이라고 생각해 보십시오. 각 메트로놈은 서로 다른 속도로 똑딱거립니다. 어떤 것은 매우 느리게(느린 드럼 비트처럼) 똑딱거리고, 어떤 것은 믿을 수 없을 정도로 빠르게(높은 음조의 바이올린 트릴처럼) 똑딱거립니다. AI는 이 서로 다른 속도들을 사용하여 "첫 번째 단어", "열 번째 단어", 그리고 "천 번째 단어"의 차이를 이해합니다.

*"Twos All the Way Down"*이라는 제목의 이 논문은 모든 성공적인 AI 오케스트라가 따르는 숨겨진 규칙을 발견하고, 실수로 그 규칙을 어겼을 때 어떤 일이 발생하는지 설명합니다.

숨겨진 규칙: "두 개의 메트로놈이 정확히 같은 속도로 똑딱거려서는 안 된다"

저자들은 모든 작동하는 AI 모델에서 모든 메트로노는 반드시 고유한 속도를 가져야 한다는 사실을 발견했습니다. 설령 두 속도가 매우 가깝더라도, 결코 정확히 같아서는 안 됩니다.

이 논문은 이 규칙을 max_cluster = 1이라고 부릅니다. 쉬운 말로 하면, "중복은 없다"는 뜻입니다.

만약 64개의 메트로놈이 있다면, 반드시 64개의 서로 다른 속도를 가져야 합니다. 만약 두 개가 우연히 정확히 같은 속도로 똑딱거린다면, AI는 혼란에 빠집니다.

실험: 규칙을 어기면 어떻게 될까?

연구진은 두 개의 유명한 실제 AI 모델(Mistral-7B 및 Qwen2.5-7B)을 가져와 테스트 중에 의도적으로 규칙을 깨뜨림으로써 이를 테스트했습니다. 그들은 한 그룹의 메트로놈이 정확히 같은 속도로 똑딱거리도록 강제하여, 동일한 주파수의 "클러스터(집단)"를 만들었습니다.

결과? 완전한 혼돈.

대참사: 이 중복된 값들을 만들었을 때, 텍스트를 이해하는 AI의 능력이 붕식되었습니다. AI의 "퍼플렉시티(perplexity, 당혹도/혼란도 측정치)"가 치솟았습니다. 어떤 경우에는 AI가 다음 단어를 예측하는 능력이 214배나 더 나빠졌습니다. 이는 마치 오케스트라가 갑자기 리듬을 잊어버리고 뒤섞인 소음의 덩어리를 연주하는 것과 같았습니다.
대조군: 연구진은 다른 트릭도 시도했습니다. 속도를 약간 변경하되 모두 고유하게 유지하는 방식이었습니다. AI는 이를 눈치채지 못했습니다. AI는 이전과 다름없이 잘 작동했습니다.
교훈: 문제는 숫자가 "거칠거나" "품질이 낮은" 것이 아니었습니다. 문제는 순수하게 구조적인 것이었습니다. 속도가 고유하기만 하면 AI는 괜찮았습니다. 하지만 두 속도가 동일해지는 순간, AI는 망가졌습니다.

왜 이런 일이 발생하는가? (The "Sub-Trajectory" 비유)

AI의 두뇌를 거대한 다차원 댄스 플로어 위에서 움직이는 무용수라고 상상해 보십시오.

훈련: 훈련 과정에서 무용수는 이 플로어 위에서 매우 구체적이고 복잡한 패턴을 따라 움직이는 법을 배웁니다. 이 패턴은 메트로놈의 고유한 속도들에 의해 결정됩니다.
"중복"의 재앙: 두 메로놈이 같은 속도로 똑딱거리도록 강제하면, 사실상 두 차원의 댄스 플로어를 하나로 붙여버리는 것과 같습니다. 무용수는 이제 복잡한 3D 형상이 아닌, 직선이나 평면 위에서 움직여야만 합니다.
충돌: AI는 이 평평하게 붙여진 바닥 위에서 춤추는 법을 배운 적이 없습니다. AI가 그곳에서 춤을 추려고 할 때, 발을 헛디디고 넘어집니다. "혼란"은 AI가 자신의 복잡한 훈련 내용을 단순화되고 망가진 현실에 적용하려고 할 때 발생합니다.

표준 설계의 "마법"

여러분은 이렇게 물을 수도 있습니다: "왜 모든 AI 모델이 이런 식으로 망가지지 않나요? 왜 그들은 제대로 작동하나요?"

논문은 엔지니어들이 이 메트로놈을 만드는 표준적인 방식(100,000과 같은 베이스 숫자를 사용하는 특정 수학적 공식 활용)에 내장된 안전 장치가 있다고 설명합니다.

**헤르미트-린데만 정리(Hermite–Lindemann theorem)**라는 심오한 수학적 원리 덕분에, 표준 공식이 우연히 두 개의 동일한 속도를 만들어내는 것은 수학적으로 불가능합니다. 이 숫자들은 그것들이 절대 완벽하게 일치할 수 없음을 보장하는 "초월적(transcendental)"인 성질을 가지고 있습니다. 이는 마치 절대로 걸리지 않도록 수학적으로 보장된 자물쇠와 같습니다.

이 논문은 이 "마법"이 표준 모델들이 작동하는 유일한 이유임을 증명합니다. 모델들은 단순히 운이 좋은 것이 아니라, 수학이 그들에게 고유한 속도를 갖도록 강제하고 있는 것입니다.

AI를 망가뜨리는 두 가지 다른 방법

또한 논문은 AI의 시간 측정이 실패하는 데에는 두 가지 서로 다른 방식이 있으며, 이들은 스펙트럼의 양 끝단에서 발생한다는 점을 명시합니다.

"너무 느린" 실패 (저점 측면):
- 문제: 일부 메트로놈이 너무 느리게 똑딱거려서 훈련 세션 동안 단 한 번의 전체 사이클도 완료하지 못합니다. AI는 긴 텍스트를 위해 이들을 사용하는 법을 배우지 못합니다.
- 해결책: 메트로놈이 더 빠르게 똑딱거리게 만듭니다 (베이스 숫자를 변경).
- 위치: 이는 "느린" 메트로놈들에 영향을 미칩니다.
"중복" 실패 (고점 측면 - 이 논문의 주제):
- 문제: "빠른" 메트로놈들(AI가 세부 사항을 파악하는 데 사용하는 것들)이 실수로 동일한 속도로 똑딱거리게 됩니다.
- 해결책: 어떤 두 속도도 결코 동일하지 않도록 보장합니다.
- 위치: 이는 "빠른" 메트로놈들에 영향을 미칩니다.

시사점

이 논문은 AI의 숨겨된 "안전 코드"를 드러냅니다: 고유성(Uniqueness)은 타협할 수 없는 조건입니다.

이 모델들의 표준 설계가 작동하는 이유는 수학이 자연스럽게 두 개의 시간 측정기가 동일한 속도를 갖지 않도록 방지하기 때문입니다. 만약 이 규칙을 깨뜨린다면—실수로든, 혹은 모델의 메모리를 압축(양자화)하려는 시도 때문이든—여러분은 단순히 조금 더 성능이 낮은 AI를 얻는 것이 아니라, 시간과 맥락에 대한 감각을 완전히 상실한 모델을 얻게 됩니다.

저자들은 우리가 어떻게 속도를 고유하게 유지할 수 있는지(표준 공식을 사용하는 법)는 알고 있지만, 왜 AI가 단어들을 구별하기 위해 "빠른" 메트로놈들에 그토록 크게 의존하는지, 그리고 왜 그 고유성을 깨뜨리는 것이 그토록 거대한 붕괴를 초래하는지에 대해서는 여전히 정확히 이해할 필요가 있다고 결론짓습니다.

문제 제기

본 논문은 대규모 언어 모델의 표준 위치 인코딩 메커니즘인 회전 위치 임베딩(Rotary Position Embedding, RoPE)에서 이전에 명시되지 않았던 실패 모드를 식별합니다. 기존 연구(Liu et al., 2024)는 저주파 영역(훈련 컨텍스트 내에서 한 번의 완전한 회전을 완료하지 못하는 차원)에서의 "언더-로테이션(under-rotation)"과 관련된 실패 모드를 규명했으나, 본 논문은 스펙트럼의 고주파 영역에서 발생하는 별개의 치명적인 실패 모드를 식별합니다.

핵심 문제는 주파수 튜플 $\{\theta_k\}$ 의 **쌍별 구별 가능성(pairwise distinctness)**입니다. 저자들은 모든 $d/2$ 차원의 주파수가 쌍별로 서로 달라야 한다는 조건인 **max_cluster = 1**이라는 조건을 정의합니다. 만약 이 조건이 위반되면(즉, 두 개 이상의 주파수가 일치하여 "클러스터"를 형성하면), 모델의 어텐션 메커니즘의 결합 위상 궤적(joint phase trajectory)이 더 낮은 차원의 격자(sublattice)에 갇히게 됩니다. 이러한 구속은 훈련된 어텐션 패턴을 붕괴시켜, 특히 긴 컨텍스트 길이에서 퍼플렉시티(perplexity)의 치명적인 저하를 초래합니다.

연구 방법론

본 연구는 두 개의 프로덕션 규모 모델인 Mistral-7B-v0.3와 Qwen2.5-7B(둘 다 기하학적 형태 $\theta_k = b^{-2k/d}$ , base $b=10^6$ , head dimension $d=128$ 사용)에 대해 통제된 추론 시점 섭동(inference-time perturbation) 접근 방식을 적용합니다.

섭동 방식(Perturbation Schemes):
- 선형 양자화 (INT8/INT4): 이러한 방식은 작은 역주파수 값(높은 $\theta$ 채널에 해당)을 동일한 양자화 빈(bin)으로 자연스럽게 붕괴시켜 큰 클러스터를 생성합니다 (max_cluster 최대 38).
- 로그 양자화 (대조군): 로그 공간에서 양자화하여 쌍별 구별 가능성을 명시적으로 보존하는 비트 매칭 대조군입니다 (max_cluster = 1).
- 매끄러운 섭동 (Smooth Perturbations): 구별 가능성을 깨뜨리지 않으면서 주파수에 곱셈 노이즈를 적용하여 값의 미세한 변화에 대한 민감도를 테스트합니다.
- 통제된 클러스터 구축: 특정 스펙트럼 위치(저- $\theta$ vs 고- $\theta$ )에서 특정 로그 거리로 특정 크기(공차/codimension)의 클러스터를 인위적으로 구성합니다.
평가:
- 모델은 세 가지 데이터셋(WikiText-2, C4, PG-19)에 대해 네 가지 컨텍스트 길이( $L \in \{2048, 4096, 8192, 16384\}$ )로 평가되었습니다.
- 주요 지표는 팽창 계수(inflation factor)(섭동된 퍼플렉시티와 베이스라인 퍼플렉시티의 비율)입니다.
이론적 분석:
- 저자들은 초월수 이론의 **에르미트-린데만 정리(Hermite–Lindemann theorem)**를 활용하여 표준 기하학적 형태의 RoPE가 자동으로 max_cluster = 1을 만족함을 증명합니다.
- 저자들은 어텐션 메커니즘의 위상 궤적을 토러스 $T^{d/2}$ 상의 궤도로 간주하여 바일의 등분포 정리(Weyl's equidistribution theorem) 프레임워크를 통해 실패를 분석합니다.

주요 기여

max_cluster = 1의 식별: 본 논문은 모든 배포된 RoPE 스케줄이 모든 주파수가 쌍별로 서로 다르다는 조건을 만족함을 공식적으로 정의하고 증명합니다. 이 조건은 이전에 중요한 구조적 요구사항으로 인식되지 않았습니다.
두 번째 실패 모드의 특성화: 저자들은 max_cluster = 1을 위반하는 것이 Liu 등이 설명한 언더-로테이션 실패와는 구별되는 "재앙"(퍼플렉시티 3~214배 팽창)을 일으킨다는 것을 입증합니다.
재앙 규모의 분해: 실패의 심각성은 세 가지 측정 가능한 축으로 분해됩니다:
- 공차(Codimension): 주파수 클러스터의 크기.
- 클러스터 내 로그 거리(Within-Cluster Log-Distance): 공차가 2일 때, 팽창은 $\log(\text{inflation}) \approx 0.6 \times \Delta \log \theta$ 라는 깔끔한 멱법칙(power law)을 따릅니다 (Pearson $r > 0.996$ ).
- 스펙트럼 위치(Spectral Position): 고- $\theta$ 클러스터(단주기 회전)는 고정된 공차와 로그 거리에서도 저- $\theta$ 클러스터보다 훨씬 더 치명적입니다.
실패의 위상적 성질: 매끄러운 섭동(구별 가능성을 보존함)은 측정 가능한 저하를 일으키지 않음을 보여줌으로써, 이 실패가 양적(quantitative)인 문제(주파수 변화의 크기)가 아니라 **위상적(topological)**인 문제(클러스터의 존재 여부)임을 증명합니다.
안전성에 대한 이론적 증명: 에르미트-린데만 정리를 사용하여, 기하학적 형태 $\theta_k = b^{-2k/d}$ (여기서 유리수 $b \neq 1$ )는 $\log b$ 가 초월수이므로 max_cluster = 1을 보장함을 증명합니다. 이는 우연한 일치를 방지하기 위해 $b$ 의 소인수 분해에 의해 강제되는 정수 관계만을 허용합니다.

주요 결과

치명적 팽창: 선형 INT8 양자화(클러스터를 생성함)는 24개의 실험 셀 전체에서 퍼플렉시티를 3~214배 팽창시켰습니다. 반면, 비트 매칭된 Log-INT8 대조군은(구별 가능성을 보존함) 퍼플렉시티를 풀 프리시전 베이스라인의 0.1% 이내로 유지했습니다.
멱법칙 규칙성: 공차가 2일 때, 로그 거리와 퍼플렉시티 팽창 사이의 관계는 모델과 컨텍스트 길이에 관계없이 매우 안정적이며 약 0.6의 기울기를 갖는 멱법칙을 따릅니다.
스펙트럼 비대칭성: 미세한 위치 구분이 필요한 고- $\theta$ 영역에서 형성된 클러스터는 저- $\theta$ 영역(언더-로테이션된 차원)보다 훨씬 더 높은 퍼플렉시티 팽창을 유발했습니다.
산술적 오류와의 무관성: 이 실패는 저정밀도 산술 오류에 의한 것이 아니라, 구체적으로 클러스터의 생성(구별 가능성의 상실)에 의해 발생합니다.
이론적 한계: 기하학적 형태는 쌍별 구별 가능성을 보장하지만, 완전한 쌍별 $\mathbb{Q}$ -선형 독립성(예: $\theta_0 = 1000\theta_{32}$ 가 가능함)까지 보장하지는 않습니다. 그러나 저자들은 훈련된 어텐션이 이러한 특정 대수적 의존성을 훈련 중에 이미 포함하고 있기 때문에 이를 허용하지만, 주입된 클러스터는 훈련 분포에 없는 관계를 도입하기 때문에 반응한다고 주장합니다.

의의 및 주장

본 논문은 RoPE 기반 모델의 이전에 알려지지 않았던 구조적 취약점을 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

실패 모드 구분: RoLE의 두 가지 직교하는 실패 모드를 명확히 합니다: 하나는 저- $\theta$ 끝단(베이스 선택 및 언더-로테이션에 의해 지배됨)이고, 다른 하나는 고- $\theta$ 끝단(구조적 구별 가능성 및 클러스터 생성에 의해 지배됨)입니다.
강건성 설명: 왜 훈련된 어텐션이 기하학적 형태의 내재적 대수적 의존성(훈련 중에 존재함)은 허용하면서도, 섭동으로 인해 주입된 클러스터(추론 시 주입됨)에는 치명적으로 반응하는지를 설명합니다.
미래 스케줄링을 위한 가이드: 저자들은 기하학적 형태를 벗어나는 미래의 스케줄 패밀리(예: LongRoPE와 같은 학습된 차원별 스케일)는 두 가지 실패 모드 모두에 대한 안전성을 명시적으로 설계해야 한다고 주장합니다. 특히, 기하학적 형태가 초월수 이론을 통해 max_cluster = 1을 자동으로 만족하는 방식과 달리, 비기하학적 파라미터화에서는 이 조건이 상실될 수 있으므로 이를 반드시 유지해야 합니다.

논문은 기하학적 형태가 두 가지 독립적인 메커니즘(베이스 선택을 통한 저- $\theta$ 영역 보호 및 구조적 구별 가능성을 통한 고- $\theta$ 영역 보호) 덕분에 스펙트럼의 양 끝단에서 안전하다고 결론짓습니다.