📊 statistics

The Effect of Mini-Batch Noise on the Implicit Bias of Adam

본 논문은 미니배치 노이즈가 아담의 모멘텀 하이퍼파라미터의 암시적 편향을 근본적으로 변화시킨다는 이론적 프레임워크를 제시하며, 표준 $(\beta_1, 0.999)$ 구성이 작은 배치에는 최적이지만 더 큰 배치를 위해서는 $\beta_1$ 을 $\beta_2$ 에 가깝게 조정하여 역정규화를 방지하고 일반화를 개선해야 함을 밝혀냅니다.

원저자: Matias D. Cattaneo, Boris Shigida

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matias D. Cattaneo, Boris Shigida

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생 (AI 모델) 이 복잡한 퍼즐을 풀도록 가르치려 한다고 상상해 보세요. 학습을 돕기 위해 두 가지 주요 도구가 있습니다:

"기억" 도구 (모멘텀): 이는 과거의 실수를 기억하고 학습 경로를 부드럽게 만드는 학생과 같습니다. 어제 넘어졌다면 오늘 다시 넘어지지 않도록 걸음을 조정합니다. 이 논문에서는 이를 $\beta_1$ 이라는 설정으로 제어합니다.
"노이즈" 도구 (미니배치 크기): 이는 한 번에 학생이 보는 연습 문제의 수와 같습니다.
- 작은 배치 (높은 노이즈): 한 번에 몇 문제만 봅니다. 피드백은 아주 작고 대표성이 없는 표본에 기반하므로 "노이즈"가 많거나 불규칙하게跳動합니다.
- 큰 배치 (낮은 노이즈): 한 번에 수천 문제를 봅니다. 피드백은 매끄럽고 명확하며 매우 정확합니다.

이 논문은 학생이 최근 실력 역사와 과거 실력 역사 중 어느 정도를 신뢰할지 제어하는 세 번째 도구인 $\beta_2$ 를 조사합니다.

주요 발견: "골디락스" 스위치

수년 동안 AI 학습에 대한 표준 조언은 "기억"( $\beta_1$ ) 을 0.9 로, "최근 역사"( $\beta_2$ ) 를 0.999 로 설정하는 것이었습니다. 이는 "과거의 역사보다 최근의 역사를 훨씬 더 신뢰하라"는 뜻입니다.

이 논문의 저자들은 이 표준 조언이 절반만 옳다는 것을 발견했습니다. 이는 사용하는 "노이즈" (배치 크기가 얼마나 작은지) 에 따라 완전히 달라집니다.

그들이 발견한 반전은 다음과 같습니다:

1. "작은 배치" 시나리오 (높은 노이즈)

상황: 학생에게 한 번에 매우 적은 연습 문제를 제공합니다. 피드백은 불규칙하고 혼란스럽습니다.
문제: 학생의 "기억" 도구 (기본 설정) 가 실제로 상황을 악화시키고 있습니다. 이는 학생을 혼란스럽게 하는 오래되고 노이즈가 많은 정보를 붙잡고 있어, 학생을 해답 공간의 "날카로운" 구석 (정답이 취약하고 쉽게 변하는 곳) 에 갇히게 만듭니다.
해결책: 이러한 노이즈가 많은 환경에서는 $\beta_2$ 를 증가시켜 최근 역사를 더 강력하게 신뢰해야 합니다.
비유: 흔들리는 지도로 안개가 자욱한 숲을 걷는다고 상상해 보세요. 10 분 전의 위치 (잘못된 방향일 수 있음) 를 너무 많이 기억에 의존하면 길을 잃게 됩니다. 지금 바로 발앞에서 보는 것에 강력하게 의존해야 합니다. 논문은 높은 노이즈 환경에서는 표준 설정 ( $\beta_1 \ll \beta_2$ ) 이 실제로 올바른 것임을 보여줍니다. 왜냐하면 "노이즈"가 기억의 나쁜 효과를 상쇄하는 데 도움이 되기 때문입니다.

2. "큰 배치" 시나리오 (낮은 노이즈)

상황: 학생에게 한 번에 수천 개의 연습 문제를 제공합니다. 피드백은 수정처럼 맑고 매끄럽습니다.
문제: 이제 "기억" 도구는 고집스러운 습관처럼 작용합니다. 피드백이 매우 명확하기 때문에, 학생의 과거 단계에 대한 기억이 다시 "날카로운" 구석으로 밀어붙이지만, 이번에는 $\beta_2$ 를 증가시키는 것이 상황을 악화시킵니다.
해결책: 이러한 맑은 환경에서는 $\beta_1$ 과 $\beta_2$ 를 동일하게 (예: 둘 다 0.9) 만들어야 합니다.
비유: 이제 완벽한 지도를 들고 햇살이 비치는 넓은 들판을 걷는다고 상상해 보세요. 최근 단계 (높은 $\beta_2$ ) 를 오래된 단계에 비해 너무 많이 신뢰하면 불필요하게 지그재그로 걷게 됩니다. 대신 최근 단계와 오래된 단계가 조화롭게 작용하는 균형 잡힌 기억이 필요합니다. 논문은 데이터가 크고 깨끗할 때 $\beta_1 \approx \beta_2$ 로 설정하면 더 "평탄한" 더 안정적인 해답이 도출되어 일반화 성능이 향상된다고 예측합니다.

"전환점"

논문은 데이터 배치 크기에 기반한 구체적인 "전환점"을 계산합니다.

전환점 이하 (작은 배치): "노이즈" 규칙이 적용됩니다. $\beta_1$ 을 낮게, $\beta_2$ 를 높게 (기본값) 유지하세요.
전환점 이상 (큰 배치): "맑음" 규칙이 적용됩니다. $\beta_1$ 과 $\beta_2$ 를 서로 더 가깝게 만드세요.

왜 중요한가? "날카로움" 대 "평탄함"

저자들은 지형에 대한 은유를 사용합니다:

날카로운 최소값 (Sharp Minima): 바늘이 끝으로 서 있는 모습을 상상해 보세요. 이는 본인이 본 특정 연습 문제에 대해 완벽하게 작동하는 해답이지만, 문제를 약간만 변경하면 (새로운 시험 문제처럼) 바늘이 넘어집니다. 이는 일반화에 좋지 않습니다.
평탄한 최소값 (Flat Minima): 넓고 평평한 계곡을 상상해 보세요. 조금 움직여도 계곡 안에 머무릅니다. 이 해답은 견고하며 문제가 약간 변해도 잘 작동합니다.

논문은 "기억" 설정과 "배치 크기" 간의 상호작용이 학생을 바늘 (날카로운) 이나 계곡 (평탄한) 중 하나로 밀어붙인다고 주장합니다.

작은 배치에서는 노이즈가 자연스럽게 계곡으로 밀어붙이지만, 이는 표준 설정을 사용할 때만 가능합니다.
큰 배치에서는 노이즈가 부족하므로 기억 설정이 주도권을 잡습니다. 이를 조정하지 않으면 ( $\beta_1$ 과 $\beta_2$ 를 비슷하게 하지 않으면), 기억이 다시 바늘 쪽으로 밀어붙입니다.

논문의 주장 요약

기본값은 보편적이지 않다: 유명한 $\beta_1=0.9$ 및 $\beta_2=0.999$ 설정은 작은 배치에는 훌륭하지만 매우 큰 배치에는 최적이지 않습니다.
전환: 배치 크기를 증가함에 따라 $\beta_1$ $β_{1}$ 과 $\beta_2$ $β_{2}$ 사이의 "최적" 관계가 뒤집힙니다.
- 작은 배치: $\beta_1$ 을 $\beta_2$ 보다 훨씬 작게 유지하세요.
- 큰 배치: $\beta_1$ 과 $\beta_2$ 를 대략 동일하게 만드세요.
증거: 그들은 데이터의 "노이즈"가 옵티마이저의 "기억"과 어떻게 상호작용하는지 분석하여 이를 수학적으로 증명했습니다. 또한 언어 모델 (Llama 3 등) 에서 이를 테스트한 결과, 검증 성능 (새로운 데이터에서 모델이 얼마나 잘 수행하는지) 이 그들의 예측을 따랐습니다. 즉, 배치 크기가 커짐에 따라 "최적" 설정이 변경되었습니다.

요약하자면: 작은 데이터 조각으로 학습 중이라면 기본값을 고수하세요. 거대한 데이터 조각으로 학습 중이라면 기억을 더 균등하게 조정하기 위해 설정을 조정해야 합니다.

문제 제기
Adam 과 AdamW 는 딥러닝의 표준 최적화 알고리즘이지만, 그 모멘텀 하이퍼파라미터인 $\beta_1$ 과 $\beta_2$ 의 선택은 종종 관례 (일반적으로 $\beta_1=0.9, \beta_2=0.999$ ) 를 넘어서는 원칙적인 근거 없이 이루어집니다. 최근 대규모 학습 관행에서는 때때로 안정성을 향상시키기 위해 $\beta_2$ 를 낮추는 (예: 0.95 로) 경우가 있지만, 이러한 하이퍼파라미터들, 배치 크기 ( $b$ ), 그리고 그로 인해 발생하는 손실 지형의 날카로움 (sharpness) 에 대한 암묵적 편향 사이의 상호작용은 여전히 잘 이해되지 않고 있습니다. 이는 손실의 날카로움이 다수 에포크 학습에서 일반화의 기계적 대리 지표로 작용하며, 단일 에포크 사전 학습에서도 학습 후 성능 (예: 양자화 저하 및 파국적 망각) 에 영향을 미치기 때문에 중요합니다. 핵심 질문은 $\beta_1$ , $\beta_2$ , 그리고 배치 크기 사이의 선호되는 관계가 서로 다른 잡음 체제 (noise regimes) 에서 변화하는지 여부입니다.

방법론
저자들은 미니배치 잡음과 메모리의 효과를 분리하여 Adam 의 암묵적 편향을 분석하기 위한 이론적 프레임워크를 개발했습니다. 이 접근법은 세 단계로 진행됩니다:

메모리 제거: Cattaneo 와 Shigida [10] 의 기법을 활용하여 메모리 의존적 Adam 반복을 명시적 보정 항을 가진 메모리 없는 반복으로 변환합니다. 이를 통해 동역학을 현재 상태만의 함수로 근사할 수 있으며, 전역 오차 범위는 $O(\eta^2)$ 입니다.
잡음 전개 및 평균화: 이 프레임워크를 미니배치 Adam 에 적용하여 잡음 도함수에서의 보정 항을 2 차 단항식까지 전개합니다. 모든 샘플 순열에 대해 평균화 (비복원 추출) 함으로써 전체 배치 효과와 미니배치 잡음 효과를 분리하는 명시적 보정 항을 유도합니다.
날카로움 대리 지표 해석: 결과적으로 도출된 보정 항의 지배적 항들을 날카로움 대리 지표를 통해 해석합니다. 구체적으로, 이 항들의 계수가 $\beta_1$ , $\beta_2$ , 그리고 "단순 잡음 스케일" $B_{simple}$ (임계 배치 크기와 관련됨) 에 어떻게 의존하는지에 초점을 맞춥니다. 저자들은 두 가지 체제 하에서 베타의 함수로서 날카로움 - 편향 계수 $C_{total}$ 의 단조성을 분석합니다: 고정된 $\beta_1$ 과 변화하는 $\beta_2$ , 그리고 고정된 $\beta_2$ 와 변화하는 $\beta_1$ 입니다.

주요 기여 및 결과
본 논문은 암묵적 날카로움 - 편향 메커니즘에 의해 주도되는, 배치 크기에 의존하는 Adam 의 베타 선호 선택 반전에 대한 최초의 이론적 설명을 제공합니다:

단조성의 반전: $\beta_2$ $β_{2}$ 와 날카로움 패널티 사이의 관계는 모든 배치 크기에서 단조롭지 않습니다.
- 고잡음, 소배치 체제 ( $b \ll 2B_{simple}$ ): 미니배치 잡음이 단조성을 반전시킵니다. 이 체제에서 더 큰 $\beta_2$ 는 반-정규화 메모리 항을 보상합니다. 결과적으로, 일반화를 개선하고 모델 민감도를 줄이기 위해 기본 순서인 $\beta_1 \ll \beta_2$ (예: 0.9 대 0.999) 가 이론적으로 잘 뒷받침됩니다.
- 저잡음, 대배치 체제 ( $b \gg 2B_{simple}$ ): $\beta_2$ 를 증가시키면 메모리에 의해 유도된 반-정규화를 강화합니다. 여기서 $\beta_1$ 을 $\beta_2$ 에 가깝게 선택하는 것 (예: $\beta_1 = \beta_2 = 0.9$ ) 이 일반화에 더 우수할 것으로 예측됩니다.
$\beta_1$ 에 대한 대칭적 효과: $\beta_2$ 를 0.999 로 고정하고 $\beta_1$ 을 변화시킬 때 유사한 반전이 발생합니다. 대배치의 경우 더 큰 $\beta_1$ 이 선호되며, 소배치의 경우 $\beta_1 \ll \beta_2$ 구조를 유지하기 위해 더 작은 $\beta_1$ 이 선호됩니다.
전이 스케일: 이러한 체제 간의 전이는 임계 배치 크기와 밀접하게 관련된 $2B_{simple}$ 에 의해 제어되는 배치 크기 스케일에서 발생합니다.
실증적 검증: WikiText-2 에서 과적합된 작은 Transformer 와 DCLM 에서 수행된 280M 파라미터 Llama3 사전 학습 실험이 이러한 정성적 예측을 지지합니다. 결과는 소배치 설정에서는 $\beta_2$ 를 증가시키면 검증 손실과 날카로움이 감소하는 반면, 대배치 설정에서는 이 경향이 반전되어 더 낮은 $\beta_2$ (또는 $\beta_1 \approx \beta_2$ ) 가 더 나은 성능을 보임을 보여줍니다.

의의
본 논문은 Adam 의 모멘텀 파라미터 간의 최적 관계가 배치 크기에 의존하는 이유를 일반화에 기반한 최초의 이론적 논거로 제시합니다. 이는 기본 하이퍼파라미터가 보편적으로 최적이라는 관념에 도전하며, 대신 $\beta_1$ 과 $\beta_2$ 의 "적정 지점"이 메모리에 의해 유도된 반-정규화와 미니배치 잡음 사이의 상호작용에 의해 결정된다고 제안합니다. 이 발견은 실무자에게 다음과 같은 경험적 법칙을 제공합니다: 소배치의 경우 기본 $\beta_1 \ll \beta_2$ 를 사용하고, 매우 큰 배치의 경우 일반화와 모델 민감도를 최적화하기 위해 $\beta_1 \approx \beta_2$ 를 고려하십시오. 이 이론은 상당한 실증적 작업과 부합하지만, 암묵적 편향과 손실 지형의 날카로움에 기반한 기계적 유도를 제공합니다.