🤖 machine learning

Scaling the Memory of Balanced Adam

본 논문은 균형형 Adam 의 모멘텀 매개변수 $\beta$ 를 고정된 상수가 아닌 기억 규모 변수로 취급해야 한다고 제안하며, 최적화기의 통계적 기억 지평을 효과적 학습 지평과 정렬함으로써 11 개의 비전 및 언어 실험 전반에 걸쳐 훈련 견고성을 크게 향상시키는 갱신 규칙 ( $R_\beta \approx 1000$ ) 을 도입합니다.

원저자: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Scaling the Memory of Balanced Adam" 논문에 대한 설명을 쉬운 언어와 일상적인 비유를 사용하여 제시합니다.

큰 그림: 학습 로봇의 "기억" 조정하기

로봇에게 고양이 인식을 하거나 시를 쓰거나 수학 문제를 풀도록 가르친다고 상상해 보세요. 이를 위해 로봇은 Adam(최적화 도구)이라는 도구를 사용합니다. Adam 을 로봇의 내면 코치라고 생각하세요. 로봇이 실수를 할 때마다 이 코치는 과거 실력의 역사를 살펴보고 다음 시도를 위해 로봇의 두뇌를 어떻게 조정할지 결정합니다.

오랫동안 이 코치는 두 가지 다른 "기억 설정"( $\beta_1$ 과 $\beta_2$ ) 을 가지고 있었습니다. 한 설정은 실수의 방향을 기억하고, 다른 설정은 실수의 크기를 기억했습니다.

발견:
최근 연구 (이 논문을 포함) 에 따르면 실제로 두 가지 다른 설정이 필요하지 않습니다. 이들을 정확히 동일하게 설정하면 ( $\beta_1 = \beta_2$ ), 로봇은 똑같이 잘 학습하지만 시스템은 훨씬 단순해집니다. 이제 코치는 하나의 기억 조절 노브만 돌리면 됩니다.

문제:
그렇다면 큰 질문은 다음과 같습니다: 그 노브를 어떤 숫자로 돌려야 할까요?
대부분의 사람들은 표준 숫자 (예: 0.9) 를 선택하고 어떤 경우든 그대로 고수합니다. 이 논문의 저자들은 이것이 5 마일 걷기와 100 마일 마라톤에 같은 신발을 신는 것과 같다고 주장합니다. 훈련의 "거리"가 변하는데 같은 신발을 신는 것은 말이 되지 않기 때문입니다.

핵심 아이디어: "리프레시 횟수"

저자들은 그 기억 노브를 바라보는 새로운 방식을 제안합니다. 이를 고정된 숫자로 생각하기보다는 기억 지평선으로 생각해야 한다고 말합니다.

비유: 로봇이 언어를 배우기 위해 책을 읽고 있다고 상상해 보세요.
- 로봇이 짧은 기억을 가진다면, 마지막 몇 문장만 기억합니다.
- 로봇이 긴 기억을 가진다면, 전체 장을 기억합니다.

이 논문은 **리프레시 횟수 ( $R_\beta$ )**라는 개념을 도입합니다. 이는 다음과 같은 질문에 답합니다: "전체 훈련 세션 동안 로봇이 과거에 대한 기억을 완전히 몇 번이나 새로고침하는가?"

저자들은 훈련 세션의 길이에 관계없이 이 "리프레시 횟수"가 대략 일정하게 유지될 때 로봇이 가장 잘 학습한다는 사실을 발견했습니다.

짧은 훈련 세션: 로봇은 기억을 약 1,000 회 새로고침할 수 있도록 짧은 기억 (낮은 숫자) 이 필요합니다.
긴 훈련 세션: 로봇은 여전히 기억을 약 1,000 회 새로고침할 수 있도록 긴 기억 (높은 숫자) 이 필요합니다.

해결책: 간단한 규칙

이 논문은 이미지 인식 (고양이와 자동차 등) 을 가르치는 것부터 텍스트 작성 (LLM 등) 을 가르치는 것까지 11 가지 다른 작업에서 이 아이디어를 테스트했습니다.

그들은 다음과 같은 간단한 "황금률"을 발견했습니다:
로봇이 훈련의 유용한 부분 동안 기억을 정확히 1,000 회 새로고침하도록 기억 노브를 설정하세요.

훈련이 짧다면 (예: 6,000 스텝), 이 규칙은 낮은 숫자 (예: 0.82) 를 선택합니다.
훈련이 길다면 (예: 40,000 스텝), 이 규칙은 높은 숫자 (예: 0.97) 를 선택합니다.

왜 이것이 중요한가? (결과)

저자들은 그들의 "리프레시 규칙"을 표준 "고정 규칙"(모두가 0.944 를 사용하는 방식) 과 비교했습니다.

평균 성능: 두 방법 모두 평균 성공률 측면에서 매우 비슷했습니다. 표준 고정 숫자는 실제로 꽤 좋습니다.
"안전망"(강건성): 여기서 새로운 규칙이 빛을 발합니다.
- 자동차를 운전한다고 상상해 보세요. "고정 규칙"은 대부분의 도로에서 잘 작동하는 속도로 운전하는 것과 같지만, 때로는 구덩이를 만나고 추락할 수 있습니다.
- "리프레시 규칙"은 스마트 서스펜션 시스템과 같습니다. 도로 길이에 따라 조정합니다.
- 결과: 새로운 규칙은 "최악의 경우" 실패를 33% 줄였습니다. 즉, 훈련을 훨씬 더 신뢰할 수 있게 만들었습니다. 이는 모든 단일 실험(11 개 모두) 이 거의 완벽하게 수행되도록 보장한 반면, 이전 방법은 몇몇 실험에서 크게 어려움을 겪었습니다.

결론

이 논문은 AI 훈련에서의 기억 설정을 고정불변의 상수로 취급해서는 안 된다고 주장합니다. 대신 이를 스케일로 취급해야 합니다.

도시 전체 지도와 국가 전체 지도에 같은 지도 축척을 사용하지 않는 것처럼, 짧은 훈련 실행과 긴 훈련 실행에도 같은 기억 설정을 사용해서는 안 됩니다. 훈련 기간에 따라 기억을 조정함으로써 ("리프레시 횟수"를 1,000 으로 유지), 우리는 AI 훈련 과정을 더 강건하게 만들고 예상치 못한 방식으로 실패할 가능성을 줄입니다.

간단히 말해: 단순히 숫자를 선택하고 최선의 결과를 바라는 것은 하지 마세요. 여정의 길이에 따라 로봇의 기억을 조정하면 훨씬 더 매끄러운 여행을 할 수 있습니다.

기술 요약: 균형 잡힌 Adam 의 메모리 확장

문제 제기

최근 증거에 따르면, 모멘텀 매개변수가 묶여 있을 때 ( $\beta_1 = \beta_2 = \beta$ ) Adam 최적화기는 강력하게 작동하여 단일 매개변수 최적화기로 축소되지만, 이 남은 매개변수의 최적 값은 여전히 잘 이해되지 않고 있습니다. $\beta$ 를 고정된 무차원 상수 (예: 표준 0.9 또는 0.99) 로 취급하는 것은 훈련의 총 지속 시간에 따라 동일한 값이 극적으로 다른 동역학 체계를 나타내기 때문에 불충분합니다. 짧은 훈련 실행에 적합한 $\beta$ 값은 긴 훈련 실행에는 비효율적일 수 있습니다. 다루어진 핵심 문제는 훈련 규모를 인지하는 방식으로 균형 잡힌 Adam 의 단일 메모리 스케일을 어떻게 선택할 것인가입니다.

방법론

저자들은 $\beta$ 를 정적 상수가 아닌 "통계적 메모리 지평선"을 제어하는 변수로 재정의할 것을 제안합니다.

정의:
- 메모리 지평선 ( $H_\beta$ ): $H_\beta = (1-\beta)^{-1}$ 로 정의되며, 최적화기의 내부 추정을 지배하는 최근 최적화 단계의 대략적인 수를 나타냅니다.
- 유효 학습 지평선 ( $T_{ES}$ ): 검증 궤적에서의 조기 종료 시간에서 도출된 훈련의 유용한 지속 시간에 대한 추정치입니다.
- 리프레시 횟수 ( $R_\beta$ ): $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ 로 정의된 무차원 양입니다. 이는 훈련의 유용한 단계 동안 Adam 이 내부 통계를 몇 번 "리프레시"하는지를 측정합니다.
리프레시 규칙:
핵심 가설은 훈련 규모와 관계없이 리프레시 횟수가 대략 일정하게 유지될 때 균형 잡힌 Adam 이 강력하게 작동한다는 것입니다. 제안된 규칙은 다음과 같습니다:
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
여기서 $R_0$ 는 목표 상수입니다.
실험 설정:
- 범위: 비전 (ResNet50, ViT-B/16, EfficientNet-B0, Swin-T) 및 언어 (Llama60M, NanoGPT, T5-small) 모델을 ImageNet, CIFAR-100, C4, BookCorpus 등 다양한 데이터셋에서 훈련한 11 가지 실험.
- 프로토콜: 모든 실행은 대각선 제약 $\beta_1 = \beta_2 = \beta$ 를 강제합니다. 0 에서 0.999 까지의 13 개 $\beta$ 값 그리드를 스윕했습니다.
- 보정: 8 개 실험은 $R_0$ 를 보정하기 위한 개발 세트로 사용되었고, 3 개의 홀드아웃 실험은 검증을 위해 사용되었습니다.
- 지표: 성능은 해당 특정 실험에서 그리드에서 찾은 최상의 $\beta$ 인 "오라클" $\beta^*$ 에 대한 상대적 검증 손실 간격으로 측정되었습니다. 지표에는 평균 간격, 최대 간격, 그리고 최악의 25% 사례에 대한 조건부 위험 가치 (CVaR) 가 포함되었습니다.

주요 결과

이 연구는 고정된 기준선과 비교하여 일정한 리프레시 횟수를 유지하도록 $\beta$ 를 선택할 때 강건성이 크게 향상됨을 발견했습니다.

최적 목표: 개발 세트 보정은 최대 간격을 최소화하는 목표인 $R_0 = 1000$ 을 확인했습니다. 이 규칙은 $T_{ES}$ 에 따라 다른 $\beta$ 값을 선택합니다 (실험 전반에 걸쳐 0.822 에서 0.968 사이).
강건성 대 평균 성능:
- 고정된 기준선 $\beta = 0.944$ (그리드에서 가장 강력한 고정 선택) 는 최상의 평균 글로벌 간격 (0.290%) 을 달성했습니다.
- 그러나 리프레시 규칙 ( $R_0 = 1000$ ) 은 최악의 경우 강건성을 크게 향상시켰습니다. 이는 글로벌 최대 검증 간격을 33.4% (1.328% 에서 0.885% 로) 감소시켰고, 글로벌 CVaR 을 32.7% (1.059% 에서 0.713% 로) 낮췄습니다.
- 결정적으로, 리프레시 규칙은 모든 11 개 실험을 각각의 검증 오라클의 1% 이내로 끌어올렸으며, 고정된 기준선은 11 개 중 9 개에서만 이를 달성했습니다.
안정성: 이 방법은 $T_{ES}$ 추정의 중간 정도 오류에 대해 강건함이 입증되었습니다. 지평선 추정치에 $\sigma=0.20$ 까지의 곱셈 노이즈가 있더라도 리프레시 규칙은 고정된 기준선보다 낮은 글로벌 CVaR 을 유지했습니다.

중요성과 주장

이 논문은 균형 잡힌 Adam 의 나머지 하이퍼파라미터가 고정된 상수가 아닌 메모리 스케일 변수로 더 잘 이해되어야 한다고 주장합니다.

규모 인지적 관점: 이 작업은 "최적화기 확장에 대한 예산 인지적 관점"을 제공합니다. $\beta$ 는 유효 학습 지평선과 일치해야 하는 최적화기의 통계적 메모리 시계를 제어하는 것으로 보아야 한다고 가정합니다.
기본값보다 동역학: 결과는 Adam 의 모멘텀을 학습 동역학의 일부 (특히 통계적 리프레시 횟수) 로 취급하는 것이 정적 기본값으로 취급하는 것보다 우수함을 시사합니다.
실용적 함의: 고정된 $\beta$ (예: 0.944) 는 강력한 실용적 기본값이지만, 리프레시 규칙은 훈련 지평선이 변경됨에 따라 $\beta$ 를 조정하는 원칙적인 메커니즘을 제공하여 훈련 지속 시간에 비해 최적화기의 내부 메모리가 너무 짧지 않아 (불안정성 유발) 또는 너무 길지 않아 (적응 지연 유발) 않도록 보장합니다.

저자들은 $T_{ES}$ 를 추정해야 한다는 점 (즉, 제로샷이 아닌 규모 보정된 규칙임) 과 특정 값 $R_0=1000$ 은 테스트된 스위트에 대한 경험적 발견일 뿐 반드시 보편적 상수는 아니라는 점을 한계로 인정합니다. 향후 연구는 아키텍처별 효과를 분리하고 메모리 시계와 학습률 스케줄 간의 상호작용을 연구할 것을 제안합니다.