당신이 로봇에게 이야기를 읽는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 로봇이 읽는 모든 단어마다 특별한 "스티커"를 붙여주는 것이었습니다. 만약 로봇이 "cat"이라는 단어를 본다면, 그것은 "첫 번째 단어" 스티커를 가지고 있으므로 첫 번째 단어라는 것을 알게 될 것이고, 나중에 "dog"를 본다면 "다섯 번째 단어" 스티커를 갖게 될 것입니다. 이러한 스티커 없이 로봇은 "The cat chased the dog"와 "The dog chased the cat"이 그저 재료들이 뒤섞인 더미일 뿐이라서 두 문장이 같다고 착각하며 혼란에 빠질 것입니다. 단어에 라벨을 붙이는 이 방식은 "위치 인코딩(positional encoding)"이라고 불리며, 오늘날 우리가 사용하는 거의 모든 스마트 언어 모델의 표준 규칙이었습니다.

하지만 로봇에게 스티커가 전혀 필요하지 않다면 어떨까요? 만약 로봇이 라벨을 보는 대신, 이야기를 읽으면서 그 순서를 직접 '느낄' 수 있다면 어떨까요? 이것이 바로 이 논문이 던지는 질문입니다. 이 논문은 스티커에 의존하지 않는 새로운 방식의 언어 모델을 구축하는 방법을 탐구합니다. 대신, 읽는 동안 스스로를 업데이트하는 "메모리 루프(memory loop)"를 사용하여 자연스럽게 이전에 무엇이 왔는지를 기억하게 합니다. 이것이 중요한 이유는, 우리가 위치를 명시적으로 알려주지 않아도 순서를 이해할 수 있는 모델을 만들 수 있다면, 모델을 더 똑똑하고 효율적으로 만들 수 있으며, 길을 잃지 않고 매우 긴 이야기를 처리하는 능력을 키울 수 있기 때문입니다.

이 논문의 핵심 아이디어: ZetaGPT

이 논문의 저자는 바로 그런 일을 시도하는 작고 오픈 소스인 언어 모델인 ZetaGPT를 소개합니다. 주요 발견은 모델의 어텐션 메커니즘 바로 앞에 특별한 "인과적 상태 공간 모듈(causal state-space module)"을 배치함으로써, 모델이 자신의 내부 역학을 통해 단어의 순서를 암묵적으로 학습할 수 있다는 것입니다.

표준 언어 모델을 "질문 1", "질문 2"라고 적힌 참조 시트(위치 인코딩)를 볼 수 있는 권한이 있는 시험을 치르는 학생이라고 생각해보세요. ZetaGPT는 오로지 지금까지 읽은 이야기의 기억에만 의존해야 하는 학생과 같습니다. 학생이 각 단어를 읽을 때마다 그들의 내부 상태는 변화하며, 그 순간의 이야기를 나타내는 고유한 "지문(fingerprint)"을 만들어냅니다. 논문은 이 내부 지문이 외부의 도움 없이도 모델에게 "이 단어는 저것 다음에 온다"라고 말해주기에 충분하다고 제안합니다.

작동 원리: 메모리 루프

ZetaGPT가 이 일을 어떻게 해내는지 이해하기 위해, 계주 경기를 상상해 보세요. 일반적인 경주에서는 바톤을 전달하고 모두가 그냥 달립니다. ZetaGPT 버전에서는 주자(모델)가 방금 지나온 곳에 따라 모양과 무게가 변하는 특별한 배낭(상태 공간 모듈)을 메고 달립니다.

1. 배낭 (상태 공간 모듈): 모델이 연결 관계를 이해하기 위해 전체 문장을 보기 전에, 먼저 이 배낭을 통해 단어들을 통과시킵니다. 이 배낭은 "재귀적(recurrent)" 시스템으로, 과거를 기억한다는 의미입니다. 새로운 단어가 들어올 때마다 배낭은 이전 단어들을 바탕으로 내부 상태를 업데이트합니다.
2. 진화: 논문은 이 배낭이 훈련됨에 따라 서로 다른 "기억 지평(memory horizons)"을 개발하는 법을 배운다는 것을 보여줍니다. 배낭의 어떤 부분은 바로 직전의 몇 단어만을 기억하는 단기 기억을, 다른 부분은 이야기의 긴 구간을 기억하는 장기 기억을 담당합니다.
3. 결과: 단어가 배낭을 떠나 메인 어텐션 레이어로 들어갈 때, 그것은 더 이상 단순한 가공되지 않은 단어가 아닙니다. 그것은 "위치를 인식하는" 단어가 됩니다. 즉, 문장 내에서의 위치 역사를 품고 있습니다. 논문은 훈련 과정 중에 모델이 이러한 다양한 기억 시간 척도를 사용하여 시퀀스를 인코딩하는 법을 자연스럽게 학습하며, 결과적으로 다른 모델들이 사용하는 "스티커(위치 인코딩)"의 필요성을 효과적으로 대체한다고 관찰했습니다.

논문이 부정하고 찾아낸 것들

이 논문은 작동하는 언어 모델을 만들기 위해 반드시 명시적인 위치 인코딩(앞서 언급한 "스티커")을 사용해야 한다는 생각에 명시적으로 반대합니다. 저자는 위치 정보가 외부에서 주입되는 "구조적으로 습득된 능력"이어야 한다는 관념을 거부합니다. 대신, 이 정보가 모델 자체의 역학에 내재된 "고유한 속성"이 될 수 있다고 제고합니다.

저자는 ZetaGPT가 성공적임을 확인했습니다. 저자는 각각 3,440만, 1억 5,920만, 4억 7,990만 개의 파라미터를 가진 세 가지 버전(Small, Medium, Large)의 모델을 훈련시켰습니다. 이 모델들이 위치 인코딩을 전혀 받지 않고도 문장의 다음 단어를 예측하는 법을 배울 수 있음을 보여주었습니다.

하지만 논문은 자신의 확신에 대해 신중한 태도를 취합니다. 이 모델이 언어 모델링 문제를 "해결"했다거나, ZetaGPT가 거대 IT 기업들이 사용하는 거대 모델들보다 더 낫다고 주장하지 않습니다. 실제로 저자는 자신들의 모델이 작으며, 상대적으로 규모가 작은 데이터셋(WikiText-103 코퍼스)으로 훈련되었다는 점을 인정합니다. 모델이 작기 때문에 짧은 컨텍스트(256, 512, 1024 토큰)로만 훈련되었다는 점을 언급했습니다. 논문은 이 아키텍처가 작은 규모에서는 작동하지만, 한 번에 수백만 단어를 읽는 거대 모델에서도 동일하게 잘 작동할지는 아직 알 수 없다고 제안합니다.

전체 여정: 기초부터 추론까지

이 논문의 가장 흥미롭고 완전한 부분 중 하나는 단순히 모델을 보여주는 데 그치지 않고, 이를 만드는 전체 "레시피"를 보여준다는 점입니다. 저자는 원시 텍스트로부터 추론이 가능한 모델에 이르기까지의 전체 오픈 소스 파이프라인을 제공합니다.

• 토크나이저 (Tokenizer): 먼저, 원시 바이트(raw bytes)에서 시작하여 50,259개의 기호로 병합되는 어휘집을 만들어, 처음부터 직접 "토크나이저"(텍스트를 숫자로 바꾸는 번역기)를 구축했습니다.
• 훈련 (Training): 모델을 사전 훈련(pre-training)한 다음, 지시사항을 따르도록 미세 조정(fine-tuning)하고, AI가 인간의 피드백으로부터 배울 수 있도록 돕는 "보상 모델(reward model)"을 훈련시켰습니다.
• "아하!" 모먼트 (The "Aha" Moment): 마지막으로, GRPO(Group Relative Policy Optimization) 기술을 사용하여 모델에게 "사고의 사슬(Chain-of-Thought)" 추론을 가르쳤습니다. 이는 모델이 사전에 단계별 과정을 배우지 않고도, 마치 인간이 수학 문제를 풀 듯이 단계별로 생각하는 법을 배우는 과정입니다. 논문은 이러한 추론 능력이 강화 학습을 통해 직접 "발현(emerge)"될 수 있다고 제안합니다.

한계점

저자는 자신의 연구가 가진 경계를 매우 솔직하게 밝히고 있습니다. 저자는 주요 한계가 아이디어 자체의 결함이 아니라 컴퓨팅 자원의 문제라고 명시했습니다. 무한한 전력을 가진 슈퍼컴퓨터에 접근할 수 없었기 때문에, 현대의 거대 모델들이 사용하는 방대한 데이터셋(수조 개의 토큰)으로 훈련할 수 없었습니다. 결과적으로, 이들의 모델은 그러한 거대 시스템들이 가진 광범위한 세상 지식을 갖추지 못했습니다.

또한, 매우 긴 텍스트로 훈련할 수 없었기 때문에, 이 "스티커 없는" 접근 방식이 극도로 긴 이야기에서도 작동하는지 완전히 테스트하지 못했다고 지적합니다. 논문은 ZetaGPT가 거대 모델을 대체할 완성된 제품이라기보다는, 위치 정보가 외부 주입이 아닌 내부적으로 어떻게 학습될 수 있는지를 연구하기 위한 "압축된 참조 구현(compact reference implementation)"이자 실험실임을 결론짓습니다.

요약하자면, ZetaGPT는 한 번에 한 단어씩 여행을 기억하게 함으로써 이야기가 진행되는 순서를 이해할 수 있다는 것을 증명하는, 스티커가 없는 작은 로봇입니다. 이는 작은 진歩이지만, 차세대 언어 모델을 어떻게 구축할지에 대한 새로운 문을 여는 일입니다.