기술 요약: LLM 밸리 항해

1. 문제 제기

대규모 언어 모델 (LLM) 의 학습은 통계적 효과성과 극한의 계산 및 메모리 효율성 사이의 균형을 맞추는 최적화 알고리즘을 요구합니다. AdamW는 트랜스포머 아키텍처 전반에 걸친 이질적인 기울기 통계를 처리하는 데 있어 견고성으로 인해 사전 학습 및 미세 조정을 위한 지배적인 기준선으로 남아 있지만, 이는 금지할 정도로 높은 메모리 비용을 부과합니다. 표준 AdamW 는 모든 학습 가능한 파라미터에 대해 1 차 및 2 차 모멘트 추정을 유지하며, 이는 모델 가중치 자체와 비슷하거나 더 많은 메모리를 필요로 합니다. 이러한 메모리 부담은 특히 전체 파라미터 미세 조정의 경우 실현 가능한 모델 크기, 컨텍스트 길이 및 배치 크기를 제한합니다.

또한, 새로운 최적화기를 평가하기 위한 통합된 프레임워크가 부재합니다. 최근 문헌은 파편화되어 있으며, 비교는 종종 모델 규모, 토큰 예산, 하이퍼파라미터 튜닝 노력, 그리고 구현 세부 사항에서 차이가 납니다. 이로 인해 소규모 영역의 유리한 조건, 미튜닝된 기준선, 또는 시스템 수준의 구현 이점과 같은 인공물로부터 진정한 알고리즘적 개선을 구별하기가 어렵습니다. 본 논문은 최적화 연구가 수렴, 안정성, 메모리 발자국, 그리고 구현 복잡성을 공동으로 평가하는 엄격하고 규모를 인지하는 비교를 요구하는 새로운 단계에 진입했다고 주장합니다.

2. 방법론 및 분류 체계

본 논문은 단일 새로운 최적화기를 제안하는 것이 아니라 LLM 을 위한 신흥 최적화기 지형에 대한 포괄적인 서베이 (survey) 및 분류 체계를 제공합니다. 이는 "시스템 및 최적화 렌즈"를 통해 문헌을 조직화하며, 다음 다섯 가지 축을 기반으로 방법을 분류합니다:

1. 업데이트 기하학: 업데이트 방향이 유도되는 방식 (예: 원시 기울기, 모멘텀, 부호 업데이트, 곡률 근사, 저랭크 투영, 행렬 변환).
2. 상태 메모리: 파라미터 수에 대한 보조 저장 공간 요구량.
3. 구조적 가정: 파라미터가 독립적인 좌표, 벡터, 행렬, 또는 저랭크 객체로 처리되는지 여부.
4. 목표 영역: 의도된 사용 사례 (사전 학습, 전체 파라미터 미세 조정, 대규모 배치 학습, 또는 메모리 제약 환경).
5. 평가 기준: 성공의 주요 지표 (토큰 효율성, 월클럭 속도, 피크 메모리 등).

본 서베이에는 다음과 같은 최적화기 계열이 포함됩니다:

• 전통적 1 차 방법: 낮은 메모리 요구량과 좌표별 적응성 부재로 알려진 SGD 와 모멘텀.
• 적응형 대각선 방법: Adam, AdamW, 그리고 Adafactor를 포함합니다. AdamW 는 표준 기준선이며, Adafactor 는 행렬 파라미터에 대한 2 차 모멘트 통계를 인수분해하여 메모리를 줄입니다.
• 대규모 배치 및 분산 최적화기: 대규모 배치 크기와 높은 하드웨어 활용도에서 학습을 안정화하기 위해 레이어별 신뢰 비율을 사용하는 LAMB와 같은 방법.
• 메모리 효율적 최적화기: 인수분해 (Adafactor), 양자화 (8 비트 최적화기), 그룹화 (Adam-mini), 또는 융합 업데이트 (LOMO)를 통해 상태를 줄이는 기술.
• 부호 기반 및 발견된 최적화기: Lion(기호적 탐색을 통해 발견됨) 과 signSGD와 같이 상태를 줄이고 업데이트를 단순화하기 위해 기울기 크기가 아닌 부호를 사용하는 방법.
• 곡률 인지 및 2 차 방법: Shampoo(텐서 구조 사전 조건화) 와 Sophia(대각선 헤시안 추정) 와 같이 2 차 정보를 근사하여 조건화를 개선하는 접근법.
• 저랭크 및 투영 기반 방법: 전체 파라미터 업데이트를 유지하면서 최적화기 상태를 줄이기 위해 기울기를 저랭크 부분 공간으로 투영하는 GaLore와 같은 기술.
• 행렬 기반 및 직교화 최적화기: Muon과 같이 가중치 행렬을 구조화된 객체로 취급하고 좌표별 스케일링 대신 모멘텀 업데이트에 직교화 (예: Newton-Schulz 반복을 통한) 를 적용하는 방법.
• 준뉴턴 방법: 전체 2 차 저장 없이 역헤시안 정보를 추정하는 L-BFGS 와 같은 근사법.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 합니다:

1. 맥락화: 최적화기가 LLM 학습에서 수행하는 역할을 검토하며, LLM 을 기존 소규모 최적화와 구별하는 특정 제약 (최적화기 상태 메모리, 혼합 정밀도, 분산 샤딩, 파라미터 이질성) 을 식별합니다.
2. 분류 체계: 업데이트 기하학, 메모리 비용, 곡률 사용, 규모 행동, 그리고 행렬/저랭크 구조의 활용에 따라 LLM 최적화기를 분류합니다.
3. 비교 분석: 대표적 방법들 (AdamW, Adafactor, LAMB, Lion, Sophia, LOMO, GaLore, Adam-mini, Muon) 의 동기 및 트레이드오프를 비교하여, 검증 손실과 같은 단일 지표만으로는 평가가 충분하지 않음을 강조합니다.
4. 벤치마킹 방법론: 최적화기 벤치마킹의 핵심 과제를 개요화하며, 다음 사항의 필요성을 강조합니다:
   • 하이퍼파라미터 공정성: 제안된 방법만큼 기준선이 엄격하게 튜닝되도록 보장.
   • 규모 의존성: 소규모에서의 이득이 LLM 규모에서도 지속되지 않을 수 있음을 인식.
   • 다목적 지표: 손실과 함께 월클럭 시간, 피크 메모리, 통신 볼륨, 토큰 효율성을 보고.
   • 고정 모델 vs 고정 자원 평가: 동일한 아키텍처에서의 성능과 동일한 하드웨어 예산 하에서의 성능을 구분.
5. 미래 방향: 최적화기 확장 법칙, 파라미터 그룹별 업데이트 규칙, 행렬 기반 방법에 대한 더 강력한 이론, 그리고 고정 컴퓨팅/메모리 예산 하의 시스템 수준 비교를 포함한 열린 문제들을 식별합니다.

4. 결과 및 발견

본 논문은 서베이 논문으로서 새로운 실험 결과를 제시하지는 않지만 기존 문헌의 발견을 종합합니다:

• AdamW 의 지배력: 모멘텀, 좌표별 적응성, 그리고 분리된 가중치 감쇠의 조합으로 인해 AdamW 는 견고하고 잘 지원되는 기준선으로 남아 있습니다. 그러나 그 메모리 비용은 주요 병목 현상입니다.
• 메모리 - 성능 트레이드오프: 메모리 효율적 방법 (예: Adafactor, 8 비트 최적화기, LOMO) 은 고정된 하드웨어 하에서 더 큰 모델이나 더 긴 컨텍스트를 가능하게 하지만, 신중한 튜닝이 필요하거나 일부 수렴 속도를 희생할 수 있습니다.
• 기하학의 중요성: 구조를 활용하는 방법들 (예: 행렬 기하학을 위한 Muon, 저랭크 기울기를 위한 GaLore, 곡률을 위한 Shampoo) 은 토큰 효율성이나 조건화 측면에서 잠재적 개선을 제공하지만, 계산 오버헤드와 구현 복잡성을 도입합니다.
• 부호 기반의 타당성: Lion과 같은 부호 기반 최적화기는 완전한 2 차 모멘트 적응성이 항상 필요하지 않음을 보여주며, 더 간단한 업데이트 규칙과 감소된 상태를 제공하지만, 하이퍼파라미터 튜닝에 민감하게 반응합니다.
• 평가 민감성: 새로운 최적화기에 대한 보고된 이득은 강력하게 튜닝된 AdamW 기준선과 비교하거나 더 큰 규모에서 평가될 때 종종 축소되거나 사라집니다. 초기 학습 곡선은 오해의 소지가 있을 수 있으며, 최종 성능과 하류 작업이 중요합니다.

5. 중요성 및 주장

본 논문은 LLM 을 위한 최적화 연구가 "단일 알고리즘 속도 향상 주장"에서 더 엄격하고 시스템 인지적인 학문으로 전환되고 있다고 주장합니다. 그 중요성은 다음과 같습니다:

• 문제 재정의: 최적화기가 단순한 수학적 업데이트 규칙이 아니라 고정된 하드웨어 및 컴퓨팅 예산 하에서 모델의 실현 가능한 학습 능력을 직접 결정하는 시스템 구성 요소임을 주장합니다.
• 평가 표준화: 메모리, 월클럭 시간, 그리고 튜닝 공정성을 고려한 표준화된 벤치마크로 파편화된 비교에서 벗어나야 한다고 요구합니다.
• 전문화: LLM 최적화의 미래는 AdamW 를 대체하는 단일 보편적 계승자가 아니라, 서로 다른 파라미터 그룹이나 학습 영역 (예: 대규모 투영을 위한 행렬 기반 업데이트, 미세 조정을 위한 메모리 효율적 방법) 에 적용되는 서로 다른 업데이트 규칙이 존재하는 전문화된 지형이라는 입장입니다.
• 통합: 미래의 진전은 최적화기를 하드웨어 및 분산 시스템과 공동 설계 (co-design) 해야 함을 강조하며, 실제 성능은 알고리즘이 가속기 기능 및 메모리 제약에 얼마나 잘 매핑되는지에 달려 있음을 인식합니다.

본 논문은 "LLM 밸리"를 항해하려면 토큰 효율성, 월클럭 시간, 메모리, 그리고 안정성 사이의 트레이드오프를 이해해야 하며, 가장 유망한 미래 방법들은 단일 지표를 고립적으로 최적화하는 것이 아니라 전체 학습 프론티어를 개선하는 것들이라고 결론지었습니다.