인공지능의 세계를 거대한 도서관이라고 상상해 보세요. 그곳에서는 거대한 로봇들(대규모 언어 모델이라 불리는)이 읽고, 쓰고, 추론하는 법을 배우기 위해 분투하고 있습니다. 이를 위해 이 로봇들은 엄청난 양의 정보를 처리해야 하며, 여기에는 막대한 에너지와 메모리가 필요합니다. 이는 마치 슈퍼컴퓨터를 AA 건전지 하나로 돌리려는 것과 같습니다. 제대로 작동할 리 만무하죠. 과학자들은 이 로봇들이 더 '단순한' 숫자로 생각하도록 가르침으로써 효율성을 높이려 노력해 왔습니다. 아주 정밀한 소수점(예를 들어 밀리미터의 백만 분의 일 단위까지 측정하는 것) 대신, 대략적인 4비트 숫자(예를 들어 인치 단위로 측정하는 것)를 사용하는 방식입니다. 이렇게 하면 공간과 에너지를 엄청나게 절약할 수 있습니다. 하지만 문제가 있습니다. 로봇들이 이 투박한 숫자를 사용하여 학습하려고 할 때, 종종 혼란에 빠지고 실수를 저지르며 학습을 완전히 멈춰버리곤 합니다. 이는 마치 지도가 스스로의 규칙을 계속 바꾸는 미로를 항해하는 것과 같습니다.

여러분이 읽게 될 이 논문은 바로 이 특정한 혼란을 다룹니다. 논문은 다음과 같이 묻습니다. 왜 초간단 숫자로 AI 로봇을 가르치는 것이 시스템 충돌을 일으키는가? 저자들은 문제가 단순히 숫자가 단순해서가 아니라, 로봇이 "앞으로 학습할 때"(문장을 읽을 때)와 "뒤로 학습할 때"(실수를 확인하며 수정할 때) 숫자를 조직하는 방식이 변하기 때문이라는 사실을 발견했습니다. 이는 마치 로봇이 책을 왼쪽에서 오른쪽으로 읽지만, 노트를 확인할 때는 갑자기 오른쪽에서 왼쪽으로 읽으면서 페이지 번호가 뒤섞이고 맥락을 놓치는 것과 같습니다. 이 논문은 영리한 해결책을 제안합니다. 로봇이 어느 방향을 보든 규칙이 동일하게 유지되도록 숫자를 조직하는 새로운 방법입니다. 이를 통해 로봇은 가장 단순한 숫자를 사용하면서도 안정적으로 학습할 수 있으며, 지능을 잃지 않으면서도 더 빠르고 저렴하게 훈련할 수 있게 됩니다.

---

거대한 숫자의 셔플: AI의 메모리 글리치 해결하기

당신은 매우 똑똑한 AI를 만들고 싶지만, 컴퓨터의 전력과 메모리가 부족합니다. 일반적인 방법은 AI에게 "저정밀도(low-precision)" 수학을 사용하라고 지시하는 것입니다. 이렇게 생각해 보세요. 보통 AI는 아주 미세한 눈금이 있는 초정밀 자(예: BF16 또는 FP8)를 사용하여 측정합니다. 하지만 공간을 아끼기 위해, 우리는 네 개의 굵직한 눈금만 있는 자(FP4)를 사용하게 하고 싶습니다. 이것이 훨씬 빠르고 공간도 적게 차지합니다. 하지만 문제는 여기서 발생합니다. AI가 이 굵직한 눈금들로 학습하려고 하면 종종 무너져 내립니다. 엉뚱한 추측을 하기 시작하고, 훈련이 중단됩니다.

오랫동안 과학자들은 문제가 단순히 굵직한 눈금들이 충분히 세밀하지 못해서라고 생각했습니다. 그들은 숫자들을 그룹으로 묶고 각 그룹에 공유된 "스케일(숫자를 늘리거나 줄이는 방식)"을 부여하여 이를 해결하려 했습니다. 이 방법은 어느 정도 효과가 있었지만, 메디 라히미파르(Mehdi Rahimifar)와 그의 팀이 쓴 새 논문은 이렇게 말합니다. "잠깐만요! 진짜 범인을 찾았습니다."

그 범인은 바로 **전치(transposition)**라고 불리는 교활한 작은 글리치입니다.

"왼쪽에서 오른쪽 vs 오른쪽에서 왼쪽" 문제

당신이 벽에 행(row) 형태로 배열된 포스트잇 격자를 가지고 있다고 상상해 보세요. 각 포스트잇에 숫자를 적고, 그 행 전체에 숫자의 크기를 나타내는 라벨을 붙입니다. 이것이 AI가 데이터를 조직하는 일반적인 방식입니다.

이제 AI가 학습하고 있다고 상상해 봅시다. 먼저, AI는 왼쪽에서 오른쪽으로 포스트딧을 읽습니다(포워드 패스). 숫자를 보고 라벨을 확인하며 학습합니다. 하지만 그 후, 자신의 실수를 확인하고 수정하기 위해 격자를 뒤집어야 합니다(수학에서는 이를 '전치'라고 합니다). 갑자기 행이 열(column)로 바뀝니다.

여기서 재앙이 발생합니다. 기존 방식(1D 블록 양자화)에서는 격자를 뒤집을 때 포스트잇들이 새로운 그룹으로 뒤섞여 버립니다. 특정 라벨을 가지고 "그룹 A"에 속해 있던 포스트잇이 이제는 전혀 다른 라벨을 가진 "그룹 B"로 넘어가 버리는 것입니다. AI는 생각합니다. "잠깐, 이 숫자는 작다고 생각했는데, 이제 라벨은 이게 엄청 크다고 하네!" 학습할 때 본 숫자와 수정할 때 보는 숫자 사이의 이러한 불일치는 혼란스럽고 편향된 신호를 만듭니다. 이는 마치 페이지를 넘길 때마다 재료 목록이 바뀌는 레시피를 따르는 것과 같습니다. 결과는 어떨까요? AI는 어지러움을 느끼고, 훈련은 불안정해지며, 결국 학습에 실패합니다.

2D 정사각형 솔루션

이 논문의 저자들은 멋진 아이디어를 냈습니다. 격자를 뒤집어도 그룹이 바뀌지 않게 만드는 것입니다.

그들은 2D 정사각형 블록을 사용하는 방식을 제안했습니다. 포스트잇을 긴 행으로 배치하는 대신, 완벽한 정사각형(예: 32x32 체커보드) 형태로 배치한다고 상상해 보세요. 정사각형 격자를 뒤집어도 정사각형은 여전히 정사각형입니다. 왼쪽 상단 정사각형에 있던 포스트잇은 뒤집힌 후에도 여전히 동일한 그룹에 해당하는 정사각형에 머물러 있습니다. 즉, AI가 앞방향으로 읽든 뒷방향으로 읽든 그 숫자들에 대한 라벨(스케일)은 정확히 동일하게 유지됩니다.

이 전치 불변성(transposition-invariant) 규칙을 강제함으로써, AI는 더 이상 혼란을 겪지 않습니다. 학습할 때 보는 숫자가 수정할 때 보는 숫자와 같아지기 때문입니다. 이 간단한 변화는 AI의 "어지럼증"을 해결하고, 초간단 FP4 숫자를 사용하면서도 안정적으로 훈련할 수 있게 해줍니다.

안전장치: 클리핑(Clipping)과 무작위 추측 방지

하지만 그게 전부가 아닙니다! 단순히 그룹을 맞추는 것만으로는 부족했습니다. FP4 숫자는 매우 단순하기 때문에 너무 커지거나(오버플로), 편향을 유발하는 방식으로 반올림될 수 있기 때문입니다(예를 들어 항상 올림하는 경우).

이를 해결하기 위해 팀은 두 가지 안전 기능을 추가했습니다:

1. 무절단 스케일링(Truncation-Free Scaling): 숫자가 너무 커서 잘라내는 대신(데이터를 왜곡함), 모든 숫자가 범위 안에 편안하게 들어갈 수 있도록 "자(ruler)" 자체를 조정합니다. 이는 키 큰 사람의 머리가 잘리지 않도록 자의 길이를 늘리는 것과 같습니다.
2. 확률적 반올림(Stochastic Rounding): 숫자가 자의 눈금 사이에 있을 때, 단순히 가장 가까운 곳으로 반올림하는 대신(편향을 생성함), AI가 동전 던지기를 합니다. 때로는 올리고 때로는 내립니다. 시간이 지나면 평균은 완벽하게 정확해집니다. 이는 집(하우스)이 속임수를 쓰지 않는 공정한 게임과 같습니다.

"어텐션(Attention)"을 위한 특별한 소스

AI의 뇌에는 "어텐션(Attention)"이라는 까다로운 부분이 있습니다. 이곳은 문장에서 어떤 단어가 중요한지 결정하는 곳입니다. 이 부분은 매우 민감합니다. 만약 이곳에 단순한 FP4 숫자를 사용하면 AI는 혼란에 빠집니다.

그래서 저자들은 혼합 정밀도(mixed-precision) 전략을 고안했습니다. 무거운 계산 작업에는 매우 효율적인 FP4 숫자를 사용하지만, "어텐션" 부분에는 약간 더 정밀한 형식인 MXFP8을 사용합니다. 이는 큰 구멍을 파기 위해 빠르고 투박한 삽을 사용하다가, 중간에 있는 섬세한 꽃밭을 가꿀 때는 정교한 모종삽으로 교체하는 것과 같습니다. 이 방식은 가장 민감한 부분을 보호하면서도 전체 시스템을 빠르고 효율적으로 유지합니다.

실제로 효과가 있을까?

연구팀은 최대 300억 개의 파라미터(엄청난 양의 뇌세포죠!)를 가진 모델을 포함하여 매우 큰 AI 모델들을 대상으로 이 아이디어를 테스트했습니다. 그들은 최대 1,000억 개의 토큰(단어와 기호)을 사용하여 훈련했습니다.

결과는 인상적이었습니다:

• 안정성: 모델들이 시작부터 끝까지 매끄럽게 훈련되었습니다. 이 2D 정사각형 트릭을 사용하지 않은 기존 방식의 모델들은 초기에 충돌했습니다.
• 성능: 이 새로운 방식으로 훈련된 AI 모델은 느리고 무거운 고정밀 숫자로 훈련된 모델과 거의 동일한 성능을 보였습니다. 품질 차이는 매우 미미했습니다(일부 테스트에서 1.3% 미만).
• 효 efficiency: 메모리를 엄청나게 절약했으며(약 65% 감소), 향-하드웨어에서는 이론적으로 3.5배 더 빠르게 실행될 수 있습니다.

결론

이 논문은 AI 훈련을 초효율적으로 만드는 데 있어 가장 큰 장애물이 단순히 작은 숫자를 사용하는 것이 아니라, AI가 숫자를 어떤 방향으로 보더라도 그 숫자들이 일관되게 행동하도록 만드는 것임을 시사합니다. 어지러운 행의 움직임을 멈추고 깔끔하고 안정적인 정사각형으로 전환함으로써, 저자들은 AI 훈련을 매우 빠르면서도 견고하게 만드는 방법을 찾아냈습니다.

물론 아직 넘어야 할 산은 남아 있습니다. 이 계산을 네이티브로 수행할 수 있는 특수 칩들이 아직 널리 보급되지 않았기 때문에, 팀은 현재의 컴퓨터에서 이를 시뮬레이션해야 했습니다. 하지만 수학적 검증은 완료되었으며, 나아갈 길은 명확합니다. AI를 더 빠르고 저렴하게 만들고 싶다면, 숫자의 셔플을 멈추고 규칙을 일관되게 유지해야 합니다.