당신이 로봇에게 이야기를 쓰거나 수학 퍼즐을 풀도록 가르치려 한다고 상상해 보세요. 로봇은 자신의 뇌 안에 있는 수백만 개의 미세한 조절 나사(knobs)를 조정하며 학습하는데, 이 과정을 "최적화(optimization)"라고 부릅니다. 효율적으로 이 작업을 수행하기 위해 로봇은 나사를 어느 방향으로 돌려야 할지 알아야 합니다. 단순히 무작위로 추측한다면 시간이 너무 오래 걸릴 것입니다. 만약 "오차를 줄이는 방향으로 나사를 돌려라"와 같은 단순한 규칙을 사용한다면, 앞으로 나아가기는 하겠지만 국소적인 골짜기(local valley)에 갇히거나 너무 느리게 움직일 수 있습니다.

더 똑똑하게 움직이기 위해, 과학자들은 "2차(second-order)" 방법이라는 것을 사용합니다. 이것은 마치 등산객이 단순히 경사(어느 쪽이 아래인지)만 보는 것이 아니라, 발밑 지면의 모양을 느끼는 것과 같습니다. 지면이 평평한가요? 가파른 절벽인가요? 아니면 울퉁불퉁한 바위인가요? 이 "모양"을 기하학(geometry) 또는 곡률(curvature)이라고 합니다. 지형을 이해함으로써, 등산객은 작고 조심스러운 발걸음 대신 크고 자신감 있는 성큼걸음을 내디딜 수 있습니다. 하지만 이 지형을 계산하는 것은 매우 비용이 많이 들고 느린 작업입니다. 마치 산을 오르는 동안 모든 자갈 하나하나를 다 지도화하려고 노력하는 것과 같습니다. 오랫동안 연구자들은 이 "똑똑한 등산객"의 이점을 얻으면서도, 매 초마다 산 전체를 지도화하는 막대한 비용을 들이지 않는 방법을 찾아내기 위해 노력해 왔습니다.

이 논문은 GO-MUON이라는 새로운 방법을 소개합니다. 이는 로봇이 훨씬 더 빠르고 정확하게 학습 지형을 탐색하도록 가르치는 영리한 방법입니다. NVIDIA Research의 저자인 Tong Che는 이전의 이러한 "똑똑한 지형" 지식을 활용하려는 시도들이 종종 무질서했거나 불안정한 가정에 의 reliance(의존)했다고 주장합니다. 그들은 두 가지 아이디어의 "원칙적인 결합(principled marriage)"을 제안합니다. 바로 Muon이라는 수학적 도구(로봇이 올바른 방향으로 움직이도록 돕는 것)와 스펙트럼 기하학(Spectral Geometry)(학습 지형의 모양을 설명하는 것)입니다.

핵심 아이디어는 단순하지만 강력합니다. 전체 산의 지도를 매 단계마다 다시 그리는 대신, 좋은 지도를 하나 만들고, 그 지도를 몇 단계 동안 사용한 다음, 업데이트하는 것입니다. 논문은 이 "지연된(deferred)" 접근 방식이 단순히 시간을 절약할 뿐만 아니라, 실제로 로봇이 더 잘 학습하게 만든다는 것을 보여줍니다. 테스트에서 GO-MUON은 인간처럼 글을 쓰고 모듈러 수학 퍼즐을 푸는 속도를 이전의 최고 방법들보다 현저히 빠르게 만들었습니다. 예를 들어, 특정 수학 퍼즐에서 기존 방법은 4,500단계 이상이 필요했던 반면, GO-MUON은 단 220단계 만에 높은 정확도에 도 도달했습니다. 저자는 학습 기하학을 더 세심하게 다룸으로써 AI 훈련을 더 저렴하고 효과적으로 만들 수 있다고 제안합니다.

똑똑한 등산객과 지연된 지도의 이야기

당신이 로봇에게 이야기를 쓰도록 훈련시킨다고 상상해 보세요. 로봇은 "모멘텀(momentum)" 벡터를 가지고 있는데, 이는 가던 방향으로 계속 가려는 성질을 가진 굴러가는 공과 같습니다. 문제는 지면(학습 과정의 수학)이 울퉁불퉁하고 고르지 않다는 점입니다. 때로는 지면이 평평하고, 때로는 가파른 절벽이며, 때로는 미끄러운 경사면이기도 합니다.

Muon이라 불리는 기존 방식은 경사의 방향은 알지만 지면의 질감은 무시하는 등산객과 같았습니다. 그저 공을 앞으로 밀 뿐입니다. 작동은 하지만, 가장 효율적인 방식은 아닙니다.

새로운 방법인 GO-MUON은 특별한 나침반과 지도를 들고 있는 등산객과 같습니다. 이 지도는 지면이 어떻게 휘어져 있는지 알려줍니다. 하지만 여기에는 함정이 있습니다. 전체 산의 완벽한 지도를 그리는 데는 몇 시간이 걸립니다. 만약 한 걸음을 내디딜 때마다 새로운 지도를 그리려 한다면, 당신은 결코 정상에 도달하지 못할 것입니다.

"매칭된(Matched)" 비밀
이 논문의 첫 번째 큰 돌파구는 "Matched Spectral Oracle"이라고 불리는 수학적 트릭입니다. 이것은 로봇의 "모멘텀"(움직이고자 하는 욕구)을 지면의 모양이라는 언어로 번역하는 방법이라고 생각하면 됩니다.

• 문제: 만약 외부에서 경사만 본다면 왼쪽으로 가야 한다고 생각할 수 있지만, 실제 지면은 왼쪽이 미끄럽기 때문에 오른쪽으로 가야 할 수도 있습니다.
• 해결책: GO-MUON은 "매칭된 맵-백(matched map-back)"을 사용합니다. 이는 로봇의 모멘텀을 지면의 좌표계로 변환하고, 그곳에서 완벽한 방향을 찾은 다음, 다시 원래대로 변환하는 과정입니다. 논문은 이 방법이 사용하는 지도에 대해 **정확(exact)**하다는 것을 수학적으로 증명합니다. 지도가 오래되었든 새것이든 상관없이, 지도가 "이쪽으로 가라"고 하면 GO-MUON은 정확히 그 방향으로 갑니다. 이는 완벽한 번역입니다.

"4제곱근(Quarter-Power)"의 반전
그렇다면 로봇은 지도를 어떻게 얻을까요? 로봇은 데이터의 "2차 모멘트(second moments)", 즉 로봇의 입력과 출력이 얼마나 흔들리고 있는지를 살펴봅니다.

• 기존 방식: 어떤 방법들은 가공되지 않은 전체의 흔들림을 그대로 사용하려고 했는데, 이는 매우 노이즈가 심하고 불균형할 수 있습니다(마치 산의 높이가 실제로는 10인데 지도가 100마일이라고 말하는 것과 같습니다).
• GO-MUON 방식: 저자는 "4제곱근 기하학(quarter-power geometry)"을 사용합니다. 지도가 약간 어둡고 부드럽게 처리된 사진이라고 상상해 보세요. 데이터의 "4제곱근"을 취함으로써, 중요한 세부 사항을 잃지 않으면서도 지도의 거칠고 노이즈가 심한 부분을 길들입니다. 이를 통해 로봇은 데이터의 이상한 스파이크(spike)에 덜 민감해집니다. 또한, 로봇이 이러한 새로운 스마트한 단계를 밟을 때 에너지를 잃지 않도록 안전 장치 역할을 하는 "프로베니우스 그래프트(Frobenius graft)"를 추가합니다.

"지연된(Deferred)" 갱신 전략
이 이야기에서 가장 재미있는 부분입니다. 저자는 매 초마다 지도를 새로 그릴 필요가 없다는 것을 깨달았습니다.

• 전략: GO-MUON은 신선한 지도를 계산한 다음, 그 동일한 지도를 연속으로 4단계 동안 사용합니다.
• 이유는? 지도를 계산하는 것이 비용이 많이 드는 부분(컴퓨팅 비용)입니다. 로봇을 움직이는 것은 저렴합니다. 지도를 4단계 동안 재사용함으로써, 로봇은 엄청난 시간을 절약합니다.
• 트레이드오프(Trade-off): 논문은 이것이 단순히 "노이즈 제거(denoising)"(지도를 더 매끄럽게 만드는 것)가 아니라고 주장합니다. 이것은 트레이드오프입니다. 지도를 재사용하면 지도가 약간 오래되어 노이즈가 생길 수 있지만, 로봇이 훨씬 더 빠르게 움직이기 때문에 결과적으로 승리하게 됩니다. 저자는 이를 측정하였고, "지연된" 접근 방식이 단계당 시간을 약 20% 줄였다는 것을 발견했습니다.

실험 결과가 보여준 것

저자는 수학만 한 것이 아니라, 실제 과업을 통해 이를 테스트했습니다.

1. 이야기 쓰기 (Tiny Shakespeare & Penn Treebank):
   로봇에게 셰익스피어처럼 글을 쓰거나, Penn Treebank 데이터셋의 다음 단어를 예측하도록 요청했습니다.

• 결과: GO-MUON이 더 뛰어났습니다. "Tiny Shakespeare" 작업에서 표준 Muon 방식에 비해 오차를 3.71% 줄였습니다. Penn Treebank에서는 오차를 0.38% 줄였습니다.
• 속도: 지도를 재사용했기 때문에, 로봇은 훈련 단계를 20% 더 빠르게 마쳤습니다 (시간 비율 0.798x).

2. "그로킹(Grokking)" 퍼즐 (Modular Addition):
   이것은 가장 흥ante한 결과입니다. "그로킹"은 로봇이 수학 퍼즐을 전혀 이해하지 못하다가, 오랜 고군분투 끝에 갑자기 완벽하게 이해하게 되는 현상을 말합니다.

• 과업: 로봇은 103과 107에 대한 모듈러 덧셈(기본적으로 "숫자를 102까지만 셀 때 5 + 6은 얼마인가?"를 배우는 것)을 배워야 했습니다.
• 결과: 표준 Muon 방식은 모듈러스 103에 대해 퍼즐을 "그로킹"하는 데 2,320단계가 걸렸습니다. GO-MUON은 단 290단계 만에 해냈습니다. 이는 8배 더 빠른 것입니다.
• 모듈러스 107의 경우, Muon은 4,520단계가 걸린 반면, GO-MUON은 220단계 만에 끝냈습니다. 이는 20.5배 더 빠른 것입니다.
• 저자는 두 방법 모두 훈련 데이터를 배우는 속도는 동일했지만, GO-MUON이 "홀드아웃(held-out)" 테스트 데이터에 훨씬 더 빠르게 일반화(generalize)되었다고 언급했습니다. GO-MUON이 "아하!(aha!)" 모먼트를 훨씬 더 빨리 찾아낸 것입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 자신의 주장에 대해 매우 신중합니다. GO-MUON이 모든 AI 문제를 해결하는 마법의 탄환이라고 말하지 않습니다. 또한 "지연된" 지도가 완벽하다고 주장하지도 않습니다. 사실, 지도를 재사용하면 데이터에 노이즈가 생긴다는 것을 수학적으로 보여줍니다. 하지만 실험은 이 노이즈가 엄청난 속도 향상과 더 나은 방향성이라는 이점에 비하면 작은 대가라는 것을 보여줍니다.

저자는 "오래된 지도(staleness)"를 사용하는 것이 "노이즈 제거" 메커니즘으로 작용한다는 아이디어를 명시적으로 배제합니다. 대신, 이것이 계산 능력을 아끼기 위해 노이즈를 기꺼이 수용하는 계산된 트레이드오프임을 보여줍니다. 즉, 더 많은 컴퓨팅 자원을 아끼기 위해 약간의 노이즈를 받아들이는 선택을 하며, 그 결과가 여전히 더 나은 경로를 제공한다는 것입니다.

요약하자면, GO-MUON은 AI를 훈련시키는 더 똑똑하고 빠른 방법입니다. 이는 학습 지형의 모양을 이해하기 위해 정밀한 수학적 번역을 사용하고, "4제곱근" 필터로 노이즈를 다스리며, 필요할 때만 지도를 새로 그리는 "지연된" 전략을 사용합니다. 그 결과, 로봇은 이전보다 훨씬 더 빠르고 정확하게 글을 쓰고 수학 퍼즐을 풀 수 있게 되었으며, 이는 때때로 지도를 재사용하는 것이 정상에 도달하는 가장 빠른 방법임을 입증합니다.