🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

이 논문은 트랜스포머 아키텍처에 내재된 레이어 간 학습률 격차 문제를 해결하기 위해 그래디언트 안정성과 모멘텀 진단을 활용하여 학습률을 동적으로 조정하는 레이어별 학습률 적응 메커니즘인 LionVote를 소개하며, 이를 통해 ViT-Tiny/CIFAR-100에서 표준 Lion 및 AdamW 대비 통계적으로 유의미한 정확도 향상을 달성한다.

원저자: Kris Atallah (New York University, New York, USA)

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Kris Atallah (New York University, New York, USA)

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 고양이, 강아지, 그리고 자동차를 인식하도록 거대한 디지털 뇌를 훈련시키고 있다고 상상해 보세요. 이 뇌는 여러 개의 서로 다른 층(layer)으로 이루어져 있으며, 마치 다층 건물과 같습니다. 보통 우리가 이 뇌를 가르칠 때는, 모든 층에 정확히 동일한 양의 "학습 시간"(학습률)과 동일한 속도를 부여합니다. 이는 마치 수학 시간, 미술 시간, 체육 시간에 각각 하는 일이 다름에도 불구하고, 교사가 모든 학급에 똑같은 속도로 뛰라고 지시하는 것과 같습니다.

하지만 만약 수학 전공 학생들은 전력 질주를 해야 하고, 미술 전도 학생들은 산책을 해야 한다면 어떻게 될까요?

그것이 바로 LionVote가 해결하고자 하는 문제입니다. LionVote는 "Lion"이라고 불리는 특정 유형의 디지털 뇌를 훈련시키는 새로운 방법입니다. 연구진은 뇌의 모든 부분을 똑같이 취급할 경우, 어떤 부분은 과부하가 걸리고 어떤 부분은 지루해진다는 사실을 발견했습니다.

핵심 발견: 뇌의 "유효 스케일(Effective Scale)"이 어긋나 있다

저자들은 Lion 뇌가 어떻게 학습하는지 측정했고, 놀라운 사실을 발견했습니다. 특정 테스트(ViT-Tiny 모델과 CIFAR-100 데이터셋 사용)에서, 뇌의 "유효 스케일"이 주의 집중(attention) 및 복잡한 사고를 담당하는 부분(MLP 파라미터)에 대해 2.6배에서 2.8배 정도 너무 높게 설정되어 있었습니다. 모든 것을 정리하고 조직하는 부분(정규화 층, normalization layers)의 경우, 약 2배나 너무 높았습니다.

이렇게 생각해 보세요: 뇌의 주의 집중 부분은 소방 호스로 물을 마시려 하고 있고, 조직화 부분은 정원용 호스로 물을 마시고 있습니다. 주의 집중 및 MLP 부분은 정규화 부분보다 유효 스케일이 실제로 32% 더 높습니다. 비록 선생님(전역 학습률)이 두 곳 모두에 똑같은 설정으로 수도꼭지를 틀어놓았음에도 말이죠. 이러한 불일치는 뇌가 효율적으로 학습하는 것을 방해합니다.

해결책: 모든 층을 위한 투표 시스템

이를 해결하기 위해 연구진은 LionVote를 발명했습니다. 전체 건물에 대고 한 명의 교사가 명령을 외치는 대신, 뇌의 모든 개별 층에 자신만의 작고 지속적인 "레벨 카운터(level counter)"를 부여했습니다.

투표 방식은 다음과 같습니다:

복합 레벨(The Compound Level): 모든 층은 0에서 시작하는 점수(정수)를 가집니다. 이 점수는 학습률을 높이거나 낮추는 볼륨 조절 노브 역할을 합니다.
두 가지 투표: 몇 번의 에포크(학습 주기)마다, 각 층은 두 가지 특정 테스트를 통해 자신의 상태를 점검합니다:
- 투표 1 (방향 체크): 층이 일정한 방향으로 움직이고 있는가, 아니면 앞뒤로 흔들리고 있는가? 만약 그래디언트(학습 방향)가 안정적이라면 "엄지 척(thumbs up)"을 받습니다. 만약 격렬하게 요동친다면 "엄지 아래(thumbs down)"를 받습니다.
- 투표 2 (모멘텀 건강도): 층의 모멘텀(속도와 관성)이 현재 진행 상황에 비해 너무 강력한가? 만약 통제 불능 상태로 회전하고 있다면 "엄지 아래"를 받습니다.
타이브레이커(결정적 투표): 때때로 두 투표의 결과가 다를 수 있습니다(하나는 "더 빨리 가라"고 하고, 다른 하나는 "천천히 가라"고 하는 경우). 이럴 때 시스템은 검증 손실(validation loss)(연습 테스트에서 뇌가 얼마나 잘 수행하는지에 대한 점수)을 확인합니다. 연습 테스트 점수가 개선되었다면 계속 가라고 투표하고, 점수가 나빠졌다면 속도를 줄이라고 투표합니다.

이 투표 결과에 따라 층의 "볼륨 노브"(복합 레벨)가 올라가거나 내려갑니다. 층이 안정적이라면 보너스를 받을 수 있고, 혼란스럽다면 타임아웃을 받게 됩니다.

결과: 작지만 실질적인 승리

ViT-Tiny 모델에 대해 테스트했을 때의 결과는 다음과 같습니다:

LionVote는 **69.71%**의 정확도를 달enc했습니다.
표준 Lion 옵티마이저는 **68.95%**를 기록했습니다.
대중적인 AdamW 옵티마이저는 **68.75%**를 기록했습니다.

LionVote와 표준 Lion의 차이는 통계적으로 유의미합니다(즉, 이것이 운이 아니라 실제 개선일 가능성이 높다는 의미이며, 우연히 발생했을 확률은 2% 미만입니다). ViT-Tiny/CIFAR-100 테스트에서도 LionVote는 AdamW를 이겼지만, ViT-Tiny/CIF-10 테스트에서는 AdamW를 이기기보다는 동등한 수준을 기록했습니다.

이것이 의미하지 "않는" 것들

이 방법이 모든 것에 적용되는 마법의 탄환은 아니라는 점을 아는 것이 중요하며, 논문에서도 이 점을 매우 명확히 밝히고 있습니다:

모든 상황에 통하는 만능 해결책은 아닙니다. 더 단순하고 균일한 네트워크(예: WideResNet)에서는 학습률을 수동으로 조정하는 기존 방식(코사인 어닐링을 사용하는 SGD)이 여전히 승리합니다. LionVote는 거기서 도움이 되지 않았으며, 오히려 일부 테스트에서는 상황을 약간 악화시키기도 했습니다.
모든 작업에 대한 영구적인 해결책도 아닙니다. 이 혜택은 층들이 얼마나 서로 다른지(heterogeneous)에 따라 크게 달라집니다. 구조가 더 다양할수록 LionVote의 효과가 커집니다. 균일한 WideResNet의 경우, 층들이 너무 비슷해서 투표 시스템이 수정할 만한 문제를 찾아내기에 적합하지 않았습니다.
모든 옵티마이저를 위한 "설정 후 망각(set it and forget it)" 방식이 아닙니다. "모멘텀 건강도" 투표를 위한 구체적인 규칙들은 오직 Lion 옵티마이저를 위해 도출되었습니다. 만약 이 정확한 규칙들을 Adam과 같은 다른 옵티마이저에 사용하려 한다면, 모멘텀의 수학적 원리가 다르기 때문에 제대로 작동하지 않을 수 있습니다.

시사점

이 논문은 **층별 적응(per-layer adaptation)**이 강력한 도구임을 시사하지만, 이는 뇌의 구조가 서로 다른 요구 사항을 가질 만큼 충분히 복잡할 때만 해당됩니다. LionVote는 각 층이 스스로의 학습 속도에 대해 투표하게 함으로써, 수동으로 완벽한 설정을 추측할 필요 없이 약간의 추가 성능(이 특정 테스트에서 약 0.7 퍼센트 포인트)을 끌어낼 수 있음을 증명합니다.

이는 바쁜 학교에서 수학 선생님, 미술 선생님, 체육 선생님이 모두 같은 볼륨으로 지시해서는 안 된다는 것을 깨닫는 것과 같습니다. 때로는 수학 수업에는 속삭임이 필요하고, 체육 수업에는 확성기가 필요합니다. LionVote는 각 학급이 스스로 결정할 수 있게 해주는 시스템입니다.

기술 요약: LionVote: Lion을 위한 계층별 학습률 적응(Per-Layer Learning Rate Adaptation)

문제 정의

심층 신경망은 단일한 구조가 아닙니다. 서로 다른 유형의 계층(예: 어텐션, MLP, 정규화)은 구별되는 최적화 특성을 보입니다. Lion과 같은 표준 옵티마이저는 모든 파라미터에 단일한 전역 학습률(LR)을 적용하며, 이는 잠재적으로 미조정(miscalibration)을 초래할 수 있습니다. 구체적으로, Lion 옵티마이저의 부호 기반 업데이트 규칙은 그래디언트 크기를 버리기 때문에, 방향성이 불안정한 계층이 더 큰 업데이트를 통해 이를 보상하는 것을 방지합니다. 이로 인해 Lion은 2차 모멘트(second-moment) 방식인 Adam에 비해 계층별 학습률 미조정에 특히 민감합니다.

선행 연구는 계층별 적응형 프리컨디셔닝(preconditioning)이 적응형 방법론의 장점을 회복할 수 있음을 보여주었으나, 기존 방식들은 상태를 유지하지 않거나(stateless, 예: LARS, LAMB), 계층 수준의 히스토리 없이 좌표별 적응만을 적용하거나, 혹은 하드코딩된 계층 할당에 의존합니다(예: Muon). 본 논문은 수동으로 발산 크기를 튜닝할 필요가 없는 **상태 유지형 계층 수준 적응(stateful layer-level adaptation)**과 데이터 기반 비율 조정을 결합하는 방법론의 공백을 메웁니다.

방법론: LionVote

LionVote는 Lion 옵티마이저를 위해 설계된 계층별 학습률 메커니즘입니다. 이는 각 파라미터 텐서에 대해 지속적인 정수형 "컴파운드 레벨(compound level, $s_i$ )"을 도입하여 기본 학습률을 지수적으로 조절합니다. 이 시스템은 Lion의 핵심 업데이트 규칙을 수정하지 않으면서도, 매 $c$ 에폭마다 실행되는 투표 메커니즘을 추가합니다.

핵심 구성 요소

컴파운드 레벨 ( $s_i$ ):
각 파라미터 $i$ 는 레벨 $s_i \in \{-L, \dots, +L\}$ (기본값 $L=4$ )를 유지합니다. 유효 학습률은 다음과 같습니다:
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
여기서 $\text{lr}$ 은 전역 기본 비율이고 $\beta_1$ 은 Lion의 모멘텀 보간 계수입니다. $\beta_1=0.9$ 일 때, $s_i$ 의 단위 단계는 $\times 1.57$ 배율에 해당합니다.
투표 진단 (Voting Diagnostics):
매 $c$ 에폭마다 두 가지 진단 항목이 각 계층의 비율을 높일지, 낮출지, 혹은 유지할지에 대해 투표합니다:
- 투표 1 (그래디언트 방향 안정성): 현재와 이전 에폭의 평균 그래디언트 사이의 코사인 유사도를 계산합니다.
  - 임계값: 정렬도가 $> 0.5$ 이면 $+1$ (안정), $< 0$ 이면 $-1 $(역전), 그 외에는$ 0$.
  - 유도: $0.5$ 임계값은 좌표 등방성(coordinate isotropy) 하에서 좌표 부호 쌍의 $2/3$ 이상의 과반수가 일치하는 것을 의미합니다(Sheppard의 공식).
- 투표 2 (모멘텀 건강도): 모멘텀 EMA 노름과 그래디언트 노름의 비율( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ )을 계산합니다.
  - 임계값: $r > e$ 이면 $-1$, $r < 1/e$ 이면 $+1$ , 그 외에는 $0$.
  - 유도: $\beta_2$ -EMA의 고유 시간 상수( $\beta_2^\tau = e^{-1}$ )로부터 유도되었습니다.
타이브레이커 (검증 손실):
두 투표가 충돌하거나 둘 다 유보하는 경우, 검증 손실의 상대적 변화( $\delta$ )를 기반으로 결정하는 전역 타이브레이커가 결정을 내립니다.
- 임계값: $\pm 1\%$ 로, 이는 일반적인 검증 세트 크기에 대한 교차 엔트로피 손실 추정의 노이즈 플로어에 맞춘 것입니다.
- 참고: ViT-Tiny/CIFAR-100에서 이 타이브레이커는 주요 신호 경로이며, 결정의 약 $59\%$ 에서 작동합니다.
업데이트 규칙:
컴파운드 레벨 $s_i$ 는 비대칭 규칙에 의해 업데이트됩니다: $+1$ 투표는 음수 레벨을 0으로 리셋하고 양수 레벨을 증가시키며, $-1 $투표는 양수 레벨을 0으로 리셋하고 음수 레벨을 감소시킵니다.$ 0$의 투표는 레벨을 0을 향해 감쇠시킵니다.

주요 기여

Lion을 위한 상태 유지형 계층별 메커니즘: 본 논문은 튜닝이 필요 없는 투표 임계값이 기하학적 항등식과 EMA 시간 상수에 의해 유도되는 투표 시스템을 제안합니다. 이러한 임계값을 유도하는 방법론(예: $2/3$ 과반수 관례 및 $e$ -요소 모멘텀)은 다른 옵티마이저에도 재사용 가능한 청사진으로 제시됩니다.
Lion의 미조정 현상 정량화: 컴파운드 레벨 궤적을 통해, 저자들은 ViT-Tiny/CIFAR-100에서 Lion의 유효 스케일이 체계적으로 너무 높다는 것을 입증했습니다:
- Attention 및 MLP 파라미터에 대해 $2.6\times$ – $2.8\times$ 너무 높음.
- 정규화(Normalization) 계층에 대해 약 $2\times$ 너무 높음.
- 정규화 계층은 Attention 계층보다 $32\%$ 더 높은 유효 스케일을 받습니다. 이러한 격차는 단일 전역 비율 감소로는 재현될 수 없습니다.
아키텍처 및 태스크 의존성: 계층별 적응의 가치는 아키텍처의 이질성과 특정 태스크에 따라 달라짐을 보여줍니다.
- ViT-Tiny: 계층 간의 큰 차이로 인해 CIFAR-100에서 유의미한 성능 향상(Lion의 $69.0\%$ 대비 $69.7\%$ )을 보입니다.
- WideResNet: 균일한 CNN 아키텍처에서는 코사인 어닐링이 적용된 튜닝된 SGD가 여전히 우세하며, LionVote는 일관된 이점을 제공하지 못합니다.
- 태스크 민감도: ViT-Tiny에서 LionVote는 CIFAR-100의 성능을 개선하지만, CIFAR-10에서는 성능을 크게 저하시킵니다($-0.88$ pp). 이는 아키텍처의 이질성만으로는 충분하지 않으며, 태스크 수준의 요인 또한 적응의 효용성을 결정한다는 것을 나타냅니다.

실험 결과

WideResNet과 ViT-Tiny를 대상으로 CIFAR-10 및 CIFAR-100 환경에서 8개의 무작위 시드를 사용하여 실험을 수행했습니다.

ViT-Tiny / CIFAR-100: LionVote (cadence 8)는 **69.71%**의 top-1 정확도를 달성하여, Lion(68.95%, $p < 0.02$ )과 AdamW(68.75%)를 능가했습니다. 또한 Lion보다 약 80 에폭 빠르게 68% 정확도 임계값에 도달합니다.
ViT-Tiny / CIFAR-10: LionVote (cadence 8)는 91.52%를 달성했으며, 이는 표준 Lion(92.40%, $p < 0.001$ )보다 통계적으로 유의미하게 낮습니다.
WideResNet: 코사인 어닐링이 적용된 튜닝된 SGD가 모든 설정에서 우세합니다 (예: WRN-28-10/CIFAR-10에서 96.08%). LionVote는 이러한 균일한 CNN에서 Lion이나 SGD를 일관되게 능가하지 못합니다.
Ablation (절제 실험):
- 타이브레이커는 CIFAR-100에서의 이득을 위해 필수적입니다. 이를 제거하면 성능이 Lion 미만으로 떨어집니다.
- 투표 1 (그래디언트 안정성)이 계층별 차별화를 만드는 주요 동력입니다.
- 투표 2 (모멘텀 건강도)는 이 워크로드에서 거의 발생하지 않는 휴면 진단 항목 역할을 합니다.
- 대칭 업데이트 규칙 변형은 연구에서 가장 높은 단일 정확도(ViT/CIFAR-100에서 70.54%)를 기록했으나 분산이 더 높았습니다.

의의 및 주장

본 논문은 LionVote가 부호 기반 옵티마이저를 위한 원칙적이고 튜닝이 필요 없는 계층별 적응 메커니즘을 제공한다고 주장합니다. 그 의의는 다음 세 가지 측면에 있습니다:

방법론적 재사용성: 수학적 구조(기하학적 항등식, EMA 시간 상수)로부터 투표 임계값을 유도하는 방식은 메타 러닝이나 광범한 하이퍼파라미터 튜닝 없이도 다른 옵티마이저를 위한 계층별 메커니즘을 설계할 수 있는 청사진을 제공합니다.
Lion의 진단: 이는 Lion의 유효 스케일이 계층 유형에 따라 미조정되어 있음을 정량화하며, 향후 Lion 연구가 전체 투표 메커니즘 없이도 계층 유형을 인지하는 스케일링을 고려해야 함을 시사합니다.
맥락적 가치: 계층별 적응이 보편적인 만능 해결책이 아님을 입증합니다. 그 가치는 아키텍처의 이질성(예: ViT vs. 균일한 CNN)과 태스크 난이도에 따라 달라집니다. 저자들은 복잡한 태스크(CIFAR-100)의 이질적인 아키텍처(ViT)에서는 효과적이지만, Lion이 이미 성능 한계 근처에 있는 균일한 CNN이나 더 단순한 태스크에서는 일관된 이점을 제공하지 못한다고 결론짓습니다.

저자들은 검증 손실에 대한 타이브레이커 의존성(이상적으로는 별도의 홀드아웃 세트를 사용해야 함), 표준 Lion에 비해 높은 교차 시드 분산, 그리고 CIFAR 데이터셋과 특정 모델 크기로 제한된 범위를 포함한 한계점을 언급했습니다. 또한 다른 옵티마이저로의 일반화 가능성 및 적응형 케이던스(adaptive cadence)에 대한 질문을 남겨두었습니다.