🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

이 논문은 GaLore와 같은 메모리 효율적인 옵티마이저에 의해 추적 가능하다고 가정된 저계수 그래디언트 부공간(low-rank gradient subspace)이 높은 추정치 노이즈로 인해 근본적으로 식별 불가능함을 입증하며, 성능 향상은 부공간의 안정성보다는 부공간 갱신 과정에서 옵티마이저 상태를 올바르게 전달하는 데서 기인한다는 것을 밝힌다.

원저자: Noel Thomas

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Noel Thomas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 유령을 쫓는 일

당신이 거대한 로봇(대규모 언어 모델)에게 말을 가르치려 한다고 상상해 보세요. 이를 효율적으로 하기 위해, 로봇은 GaLore라는 특별한 기술을 사용합니다.

이 기술의 원리는 이렇습니다. 몇 분마다 로봇은 방금 저지른 "실수"(그래디언트)를 살펴보고, 그 실수가 발생하는 상위 128개의 방향을 찾아냅니다. 그런 다음 나머지 부분은 모두 무시하고 오직 그 128개의 방향 안에서만 학습합니다. 여기서 전제는 이 128개의 방향이 천천히 움직이는 강물과 같아서, 조금씩 흐르더라도 대체로 일정한 형태를 유지하므로 로봇이 이를 "추적(track)"할 수 있다는 것입니다.

이 논문의 주요 발견은 충격적입니다: 그 강물은 천천히 흐르는 것이 아니었습니다. 그것은 강물조차 아니었습니다. 그것은 볼 때마다 형태가 완전히 바뀌어 버리는 폭포였습니다.

저자들은 약 39개의 아주 작은 핵심 방향을 제외하면, 로봇이 선택한 "상위 128개 방향"은 본질적으로 무작위적인 노이즈(noise)에 불과하다는 것을 증명했습니다. 만약 로봇이 지금 한 세트의 방향을 골랐다가 10초 후에 다른 세트를 고른다면, 두 세트는 거의 완전히 다를 것입니다 (마치 두 사람이 모자에서 128개의 무작위 숫자를 뽑았는데 서로 거의 일치하는 숫자가 없는 것과 같습니다).

그렇다면 GaLore는 왜 작동하는가?

당신은 이렇게 물을 수 있습니다: "방향이 계속 무작위로 바뀐다면, 로봇은 어떻게 여전히 학습할 수 있는 거죠?"

논문은 GaLore가 특정 경로를 추적하기 때문이 아니라, **에너지를 포착(catching energy)**하기 때문에 작동한다고 설명합니다.

비유: 당신이 양동이로 빗물을 받으려 한다고 상상해 보세요. 빗방울 하나하나가 정확히 어디로 떨어질지 알 필요는 없습니다. 그저 비가 내리는 일반적인 영역에 양동이를 들고 있으면 됩니다.
상위 128개의 방향이 매번 완전히 바뀌더라도, 이 방향들은 실수의 전체 "에너지"(유용한 정보)의 약 67~73%를 여전히 포착해 냅니다. 따라서 로봇은 지도를 끊임없이 바꾸면서도 계속해서 학습을 이어갈 수 있습니다.

평균을 내는 것이 도움이 되지 않는 이유

이 "변하는 지도" 문제를 해결하기 위한 자연스러운 아이디어는 다음과 같습니다: "지난 10,000개의 지도를 보고 평균을 내서 안정적인 지도를 만들자."

저자들은 이를 테스트했고, 효과가 없다는 것을 발견했습니다.

비유: 비가 단순히 무작위 노이즈가 아니라, 특정한 바람과 구름의 패턴(신호)이라고 가정해 봅시다. 만약 시간이 지남에 따라 비를 평균 내려고 시도한다면, 비가 어디에 있는지에 대한 명확한 그림을 얻는 대신, 그저 흐릿한 덩어리만을 얻게 될 것입니다.
로봇의 실수 속에 있는 "노이즈"는 단순한 정적 소음이 아닙니다. 그것은 평균을 내려고 할수록 매우 느리게 줄어드는 복잡한 신호입니다. 아무리 평균을 내더라도 안정적인 "상위 128개" 목록을 만들어낼 수는 없습니다. 왜냐하면 그 목록은 본질적으로 안정적인 형태로 존재하지 않기 때문입니다.

진짜 문제: 로봇의 기억력

진짜 문제는 지도가 아니라 로봇의 기억력입니다.
로봇은 Adam이라는 옵티마이저를 사용하는데, 이는 장기 기억(지난 1,000단계의 실수를 기억함)을 가지고 있습니다.

문제점: 로봇이 지도를 갱신할 때마다(매 160단계마다), 지도는 90도 회전합니다. 하지만 로봇의 기억은 여전히 이전의 지도에 머물러 있습니다. 이는 마치 자동차 운전대를 90도 돌렸는데, 당신의 손은 여전히 예전 위치의 핸들을 잡고 있는 것과 같습니다. 로봇은 더 이상 존재하지 않는 지도를 바탕으로 조종하려고 애쓰고 있는 것입니다.

논문에서 찾아낸 해결책들

저자들은 이 "운전대" 문제를 해결하기 위해 두 가지 방법을 테스트했습니다.

기억을 회전시키기 (Transport): 기억을 예전 위치에 그대로 두는 대신, 로봇이 새로운 지도에 맞춰 물리적으로 자신의 기억을 회전시켜야 합니다.
- 결과: 이 방법은 매우 잘 작동합니다. 이는 운전대가 돌아간 것을 깨닫고 즉시 손을 움직여 맞추는 것과 같습니다.
기억의 길이를 줄이기: 로봇의 기억이 너무 깁니다 (1,000단계 전까지 기억함). 지도가 160단계마다 바뀌는데, 1,000단계를 기억하는 것은 완전히 다른 세상에서 온 과거의 데이터이므로 무의미합니다.
- 결과: 로봇이 지난 1,000단계 대신 마지막 100단계만을 기억하도록 설정함으로써, 로봇이 오래된 지도를 바탕으로 조종하는 것을 방지했습니다. 이 방법 역시 잘 작동했습니다.

설계자를 위한 시사점

만약 당신이 이러한 저차원(low-rank) 기법을 사용하는 시스템을 구축하고 있다면, 이 논문이 주는 조언은 다음과 같습니다.

하위 공간(subspace)을 추적하려 하지 마세요. 그것은 유령입니다. 너무 빠르게 변해서 추적할 수 없습니다.
당신의 "재현 가능한 랭크(Reproducible Rank, $k^*$ )"를 확인하세요. 128이라는 랭크를 신뢰하기 전에, 실제로 유효한 방향이 몇 개인지 확인하십시오. 논문에 따르면 약 39개만이 실제이며, 나머지는 노이즈입니다.
만약 실제 숫자보다 높은 랭크를 사용한다면:
- 기억을 회전시키세요: 옵티마이저의 기억이 새로운 지도와 함께 움직이도록 만드세요.
- 기억의 길이를 줄이세요: 로봇이 너무 멀리까지 기억하게 두지 마세요.
- 평균 내기를 멈추세요: 지도를 안정적으로 만들기 위해 평균을 내는 데 시간을 낭비하지 마세요. 효과가 없을 것입니다.

요약하자면: "저차원 하위 공간(low-rank subspace)"은 따라갈 수 있는 안정적인 대상이 아닙니다. 그것은 빠르게 변화하는 구름입니다. 이러한 시스템을 제대로 작동시키는 비결은 구름을 더 잘 따라가는 것이 아니라, 끊임없이 변하는 상황에 맞춰 당신의 기억을 조정하는 것입니다.

기술 요약: "추적할 하위 공간 없음: 저차원 훈련에서의 비식별성과 옵티마이저 상태"

문제 정의

GaLore(Zhao et al., 2024)와 같은 메모리 효율적인 옵티마이저는 그래디언트를 주기적으로 재계산되는 저차원 하위 공간(rank $r$ )으로 투영하고 그 안에서 Adam을 실행함으로써 대규모 언어 모델의 메모리 사용량을 줄입니다. 이 접근 방식의 근저에 깔린 기하학적 전제는 상위- $r$ 그래디언트 하위 공간이 의미 있고 천천히 변화하는 객체이며, 리프레시 간격( $T$ 스텝) 동안 추적될 수 있다는 것입니다. 만약 이 전제가 성립한다면, 연속적인 하위 공간 추정치들은 서로 유사할 것이며, 리프레시 시점에 옵티마이저 상태(모멘트)를 유지하는 데에는 미세한 보정만 필요할 것입니다.

본 논문은 이러한 전제에 이의를 제기하며, 재현 가능한 작은 핵심 부분을 제외하면 상위- $r$ 하위 공간은 안정적인 객체가 아니라 통계적으로 식별 불가능(non-identifiable)하다고 주장합니다. 결과적으로, 각 리프레시 시 발생하는 외견상의 "회전"은 안정적인 기하학적 구조의 움직임이 아니라 추정치 노이즈(estimator noise)에 의해 지배됩니다.

방법론

저자들은 하위 공간의 안정성과 비식별성이 옵티마이저 성능에 미치는 영향을 정량화하기 위해 엄격한 측정 프레임워크를 채택했습니다:

하위 공간 회전 측정: 본 논문은 이전 기저( $U_{old}$ )와 새로운 기저( $U_{new}$ ) 사이의 회전을 측정하기 위해 부호 교정된 코달 거리(sign-corrected chordal distance, $\|\Delta U\|_F$ ) 메트릭을 도입했습니다. 이 메트릭은 0(동일)에서 $\sqrt{2r}$ (직교)까지의 범위를 가집니다.
동일 스텝 제어 (The "No Time" Test): 실제 시간적 드리프트(drift)와 추정치 노이즈를 구분하기 위해, 저자들은 동일한 훈련 스텝에서 단일 미니배치를 두 개의 서로 소인 절반으로 나누었습니다. 각 절반에 대해 상위- $r$ 하위 공간을 계산하고 그 불일치를 측정했습니다. 만약 하위 공간이 그래디언트의 안정적인 속성이라면, 동일 스텝의 추정치들은 일치해야 합니다. 만약 이들이 $T$ 스텝 차이가 나는 추정치만큼이나 불일치한다면, 그 회전은 노이즈입니다.
스펙트럼 분석: 저자들은 그래디언트의 특이값 스펙트럼(singular value spectrum)을 분석하여, 안정적인 하위 공간 절단을 정당화할 수 있는 스펙트럼 갭(spectral gap)이 rank $r$ 에 존재하는지 확인했습니다.
평균화 실험: 저자들은 $N$ 스텝 동안 그래디�언트를 평균 내거나(또는 시간을 따라 기저를 평균 내거나) 하는 것이 스펙트럼 갭을 열어 식별성을 "구출"할 수 있는지 테스트했습니다.
해결책 평가: 저자들은 하위 공간 재작도(redraw)의 비용을 완화하기 위한 세 가지 전략을 테스트했습니다:
- 기저 평균화 (Basis Averaging): 공분산 행렬의 지수 이동 평균(EMA)을 사용하여 기저를 안정화합니다.
- 상태 전송 (State Transport): 회전 행렬 $R = U_{new}^\top U_{old}$ 를 통해 옵티마이저 모멘트(1차 및 2차)를 명시적으로 전송합니다 (LDAdam에서 수행되는 방식).
- 메모리 단축 (Memory Shortening): Adam의 감쇠 파라미터 $\beta_2$ 를 줄여 2차 모멘트의 기억을 단축함으로써, 이전 하위 공간으로부터의 오래된 통계치가 통합되는 것을 방지합니다.

실험은 70M에서 6.9B 파라미터에 이르는 네 가지 모델 제품군(Pythia, GPT-2, Qwen2.5, Llama-3)과 하나의 Vision Transformer(ViT-B)를 대상으로 수행되었습니다.

주요 결과

1. 하위 공간은 식별 불가능하다

최대 회전: 모든 리프레시 시, 측정된 회전 $\|\Delta U\|_F$ 는 기하학적 최대치인 $\sqrt{2r}$ 의 96.7~99.6%에 도달합니다. 새로운 기저는 이전 기저와 거의 직교합니다.
노이즈 지배: 동일 스텝 제어 결과, 동일 배치 내의 서로 다른 두 절반에서 얻은 추정치는 $0.725\sqrt{2r}$ 만큼 불일치했으며, 이는 시간 차를 둔 회전 값인 $0.742\sqrt{2r}$ 와 거의 동일했습니다. 즉, "회전"은 움직임이 아니라 추정치 노이즈입니다.
재현 가능한 핵심 ( $k^\star$ ): 오직 극소수의 방향만이 재현 가능합니다. $r=128$ 일 때, 미니배치 간에 일관된 방향은 $k^\star \approx 39$ 개뿐입니다. 나머지 $r - k^\star$ 방향은 사실상 갭이 없는 스펙트럼 테일(spectral tail)에서 무작위로 추출된 값입니다.

2. 스펙트럼의 원인과 평균화의 실패

갭이 없는 스펙트럼: 그래디언트 스펙트럼은 소수의 지배적인 스파이크(몇 개에서 약 20개 방향) 이후, 갭이 없는 매끄럽고 등방성에 가까운 테일(tail)로 구성됩니다. $r=128$ 에서의 인접한 특이값 비율은 $\approx 1.005$ 입니다.
노이즈가 아닌 신호: 깊은 스펙트럼 테일은 샘플링 노이즈가 아니라 멱법칙(power-law) 스펙트럼을 가진 신호입니다. $N$ 배 평균을 취하더라도 이 테일은 순수 노이즈에서 기대되는 $N^{-1/2}$ 이 아니라 $N^{-1/4}$ 로만 감소합니다. 따라서 유한한 평균화 예산으로는 갭을 열거나 하위 공간을 안정화할 수 없습니다.
평균화의 실패: 10,000 스텝 동안 기저를 평균 내더라도 리프레시당 회전은 약간 감소(최대치의 97%에서 84%로)할 뿐이며, 최종 퍼플렉시티(perplexity)에는 측정 가능한 영향(0.36 범위 내)을 주지 못했습니다.

3. GaLore가 여전히 작동하는 이유

안정적인 하위 공간이 없음에도 불구하고 GaLore가 작동하는 이유는 투영의 주된 역할이 추적이 아니라 **에너지 캡처(energy capture)**이기 때문입니다. 그래디언트 테일은 거의 등방성이므로, 지배적인 스파이크를 포함하는 임의의 $r$ -차원 프레임은 대략 일정한 비율의 그래디언트 에너지( $\gamma_g \approx 0.67–0.73$ )를 포착합니다. 하강 방향을 결정할 때 특정 방향의 선택은 중요하지 않으며, 에너지 비율이 보존되기만 하면 됩니다.

4. 효과적인 해결책

재작도(redraw)의 비용은 운반되는 옵티마이저 상태, 특히 2차 모멘트(분산)의 노후화(staleness)입니다.

상태 전송: 1차 모멘트는 $R$ 을 통해, 2차 모멘트는 $R$ 의 제곱 항목을 통해 전송하는 것이 최적입니다. 2차 모멘트를 맹목적으로 운반하는 것은 $\approx (r - k^\star)/2$ 만큼 확실히 차이가 나는 하위 최적(suboptimal) 방식입니다. 통제된 테스트에서 $\beta_2=0.999$ 일 때 상태를 전송한 경우 18.73의 퍼플렉시티를 기록하여, 전송하지 않은 GaLore(19.28)보다 우수한 성능을 보였습니다.
메모리 단축: $\beta_2$ 를 0.999에서 0.99로 낮추면, 주기적인 재작도로 인해 발생하는 오래된 통계치의 통합을 방지하여 리프레시되는 옵티마이저를 개선할 수 있습니다. 이는 옵티마이저와 레시피에 따라 퍼플렉시티를 1.8에서 26 포인트까지 개선했습니다.
기저 평균화의 무효성: 언급했듯이, 평균화를 통해 기저를 안정화하는 것은 하위 공간이 근본적으로 식별 불가능하기 때문에 효과가 없습니다.

의의 및 주장

본 논문은 저차원 그래디언트 옵티마이저의 기하학적 전제를 직접 측정하여, 일반적인 랭크에서 그 전제가 거짓임을 밝힌 첫 번째 연구라고 주장합니다.

메커니즘의 명확화: GaLore가 안정적인 구조를 추적해서가 아니라, 사실상 새로 그려지는 프레임 내에서 일정한 비율의 그래디언트 에너지를 포착하기 때문에 작동한다는 점을 명확히 했습니다.
진단 도구: 저자들은 배치를 분할하여 재현 가능한 랭크 $k^\star$ 를 측정하는 실용적인 프로브를 제안합니다. 만약 선택된 랭크 $r > k^\star$ 라면, 초과된 방향들은 노이즈입니다.
엔지니어링 처방: 저자들은 저차원 훈련을 위한 두 가지 실행 가능한 해결책을 제시합니다:
1. 상태를 맹목적으로 운반하는 대신 회전을 통해 상태를 전송할 것 (LDAdam과 같이).
2. 2차 모멘트의 기억을 줄이기 위해 $\beta_2$ 를 0.99로 낮출 것.
범위: 이 결과는 그래디언트 하위 공간을 명시적으로 계산하고 갱신하는 옵티마이저(GaLore 계열)에 국한됩니다. 그래디언트 하위 공간을 계산하지 않는 LoRA와 같은 파라미터화 방식에는 적용되지 않습니다.

저자들은 결론적으로, (안정적인) "객체"(안정적인 저차원 하위 공간)는 작은 핵심 부분을 제외하고는 존재하지 않으며, 이를 추적하려는 시도는 환상을 쫓는 것과 같다고 말합니다. 앞으로의 방향은 재작도(redraw)를 인정하고 그에 따라 옵티마이저 상태를 적응시키는 데 있습니다.