당신이 도서관에 가득한 책들을 읽도록 아주 똑똑한 로봇을 가르치고 있다고 상상해 보세요. 이 로봇은 뛰어난 두뇌를 가졌지만, 그가 생각할 때 사용하는 작은 책상인 '작업 기억(working memory)'은 매우 작습니다. 인공지능의 세계에서 이 책상은 VRAM(비디오 랜덤 액세스 메모리)이라고 불립니다. 만약 로봇이 긴 이야기를 읽으려 한다면, 현재 문장을 이해하기 위해 이미 읽은 모든 단어를 기억해야 합니다. 하지만 이야기가 너무 길어지면 로봇의 책상은 엉망이 되고, 수업을 마치기도 전에 충돌(crash)이 발생하여 멈춰버립니다. 이것이 바로 '롱 컨텍스트(long-context)' 문제입니다. 어떻게 하면 더 큰 책상 없이도 수천 단어를 기억하도록 모델을 가르칠 수 있을까요?

이를 해결하기 위해 과학자들은 몇 가지 기술을 개발했습니다. 하나는 QLoRA인데, 이는 로봇의 뇌를 더 작고 가벼운 배낭으로 압축하여 책상 위에 올릴 수 있게 만드는 것과 같습니다. 또 다른 기술인 **밀집 어텐션(dense attention)**은 로봇이 지금까지 읽은 모든 단어를 다시 훑어보며 적절한 단서를 찾는 방식입니다. 이 방식은 짧은 이야기에는 효과적이지만, 긴 이야기에서는 로봇이 자신의 작은 작업 기억 속에 전체 역사를 모두 담아두어야 하기 때문에 불가능해집니다. 이 논문은 똑똑한 메모리 기술과 새로운 '검색 엔진' 스타일의 독서법을 결요하여, 거대한 책상 없이도 방대한 이야기를 다룰 수 있도록 로봇을 가르치는 새로운 방법을 탐구합니다.

---

문제점: 로봇의 작은 책상

당신이 역사 시험 공부를 하고 있다고 상상해 보세요. 당신에게는 10,000페이지짜리 교과서가 있습니다. 하지만 당신의 뇌는 한 번에 약 2,000페이지의 노트만 담을 수 있습니다. 만약 당신이 8,000페이지를 읽고 있다면, 100페이지에서 무슨 일이 있었는지 기억해야 하지만 당신의 노트는 이미 꽉 차 있습니다. 과거의 AI 모델들은 자신이 읽었던 모든 페이지의 복사본을 책상 위에 두려고 시도하는 학생들과 같았습니다. 책이 너무 길어지면 책상이 폭발해 버렸습니다.

이 논문의 저자들은 Qwen3-8B(80억 개의 '뉴런'을 가진 똑똑한 로봇)라는 모델을 16 GB의 메모리만 가진 Quadro RTX 5000이라는 특정 그래픽 카드에서 훈련시키고자 했습니다. 그들은 "밀집 어텐션"이라는 표준적인 방법으로 로봇을 가르치려 했습니다. 결과는 어땠을까요? 로봇은 2,048 토큰(토큰은 음절이나 짧은 단어 같은 단어의 덩어리입니다) 길이의 이야기는 처리할 수 있었습니다. 하지만 이야기 길이를 4,096 토큰으로 늘리자마자 로봇의 책상은 가득 찼고, 훈련은 중단되었습니다. 과거의 기억을 그 작은 공간에 담아내는 데 실패한 것입니다.

해결책: "계층적 글로벌 어텐션(HGA)" 도서관

연구진은 **계층적 글로벌 어텐션(Hierarchical Global Attention, HGA)**이라는 새로운 전략을 고안했습니다. 과거의 모든 단어를 책상 위에 두려고 하는 대신, 그들은 똑똑한 2단계 파일링 시스템을 구축했습니다.

이야기를 거대한 도서관이라고 생각해 보세요.

1. 요약본 (목록): 먼저, 로봇은 이야기의 **64-토큰 덩어리(chunk)**마다 아주 작은 요약 카드를 만듭니다. 이 요약 카드들은 매우 작아서 모두 책상 위에 올릴 수 있습니다.
2. 그룹 (선반): 이 덩어리 안에는 더 작은 8-토큰 그룹들이 있습니다. 로봇은 이 그룹들에 대한 요약 캐시도 보관합니다.
3. 실제 책 (정확한 단어들): 로봇이 이야기의 특정 부분을 읽어야 할 때, 도서관 전체를 불러오지 않습니다. 책상 위의 요약 카드를 보고 가장 관련 있는 덩어리를 고른 다음, 그 특정 덩어리에서만 정확한 단어들('Key' 및 'Value' 데이터)을 꺼내 저장실(RAM 또는 하드 드라이브)에서 책상 위로 가져옵니다.

이것은 마치 당신에게 필요한 페이지가 무엇인지 정확히 아는 사서가 있는 것과 같습니다. 책 전체를 들고 오는 대신, 사서는 당신이 찾고 있는 딱 세 페이지를 가져다줍니다. 나머지 책은 선반(RAM 또는 하드 드라이브)에 머물러 있으며, 당신의 책상 공간을 전혀 차지하지 않습니다.

실제 작동 방식

연구진은 긴 이야기를 여러 구간(segment)으로 나누었습니다. 로봇은 한 번에 하나의 구간씩 학습합니다.

• 활성 구간 (Active Segment): 현재 학습 중인 이야기의 부분은 책상 위에 있습니다.
• 역사 (History): 지나간 부분들은 "저장실"에 보관됩니다.
• 마법: 로봇이 과거를 되돌아봐야 할 때, 요약 카드를 사용하여 적절한 페이지를 찾고, 해당 페이지들만 가져와서 학습합니다. 한 구간의 학습을 마치면, 다음 구간을 위해 공간을 확보하고자 이전 페이지들을 다시 저장실으로 밀어 넣습니다.

이 방법은 **구간별 역전파(segment-wise backpropagation)**라고 불립니다. 이것은 한 챕터를 공부하고, 테스트를 본 뒤, 이전 챕터의 중요한 사실들이 어디에 있는지 지도를 쥐고 책상을 정리한 후 다음 챕터를 공부하는 것과 같습니다.

결과: 더 큰 이야기, 같은 책상

연구진은 이 실험을 16 GB 그래픽 카드에서 테스트했습니다. 결과는 다음과 같습니다.

• 기존 방식 (밀집 어텐션): 2,048 토큰까지만 처리할 수 있었습니다. 4,096 토큰이 되자 완전히 실패했습니다.
• 새로운 방식 (HGA): 동일한 카드로 최대 16,384 토큰(심지어 32,768 토큰까지 테스트함) 길이의 이야기를 성공적으로 훈련했습니다.

새로운 방식의 피크 메모리 사용량은 15.28 GB였으며, 이는 16 GB 제한 범위 안에 안정적으로 들어왔습니다. 로봇은 더 큰 책상 없이도 이전보다 8배 더 긴 이야기를 처리할 수 있었습니다.

속도와 품질: 트레이드오프(Trade-off)가 있는가?

보통 무언가를 더 똑똑하거나 크게 만들면 속도가 느려지기 마련입니다. 저자들은 이 새로운 방식이 더 느린지 확인했습니다.

• 1,024 토큰일 때, 새로운 방식은 기존 방식보다 약 20% 느렸습니다. 이야기가 짧을 때는 적절한 페이지를 찾는 "검색" 과정에 추가 시간이 걸리기 때문입니다.
• 하지만 2,048 토큰 지점에서는 새로운 방식이 오히려 약간 더 빨랐습니다 (217.75 tokens/sec vs 207.02 tokens/sec).
• 저자들은 이야기가 길어질수록 기존 방식은 점점 더 많은 단어를 훑어봐야 하므로 느려지지만, 새로운 방식은 고정된 적은 수의 중요한 단어들만 보기 때문에 속도가 일정하게 유지된다고 설명합니다. 그들은 매우 긴 이야기를 처리할 때 새로운 방식이 훨씬 더 빠를 것이라고 예측합니다.

로봇이 잘 배웠을까요? 그들은 표준 독해 테스트(PG19 데이터셋)를 통해 로봇의 지식을 테스트했습니다.

• 새로운 방식으로 훈련된 로봇의 점수는 2.7405 (다음 단어를 얼마나 잘 예측하는지를 나타내는 척도)였습니다.
• 기존 방식으로 훈련된 로봇의 점수는 2.7383이었습니다.
• 차이는 매우 미미하며(0.0022), 이는 새로운 방식이 더 적은 단어를 보았음에도 불구하고 기존 방식만큼 잘 학습했음을 의미합니다.

한계: 로봇이 아직 할 수 없는 것

이 논문은 이 방식이 아직 할 수 없는 부분에 대해 매우 솔직하게 밝히고 있습니다.

1. 인과적 누출 (Causal Leakage): 만약 로봇을 아주 오랫동안(수억 개의 토큰 동안) 훈련시킨다면, 로봇이 '치팅'을 할 수도 있습니다. 로봇이 요약을 만들기 위해 단어들을 그룹화하기 때문에, 초기의 단어가 미래의 단어에 대한 정보를 우연히 "보게" 될 수 있습니다. 이를 "인과적 누락"이라고 합니다. 저자들은 이것이 짧은 훈련 세션(그들이 수행한 100 스텝 정도)에는 괜찮지만, 아직 이 방식을 사용하여 거대한 다년 프로젝트를 위한 로봇을 처음부터 훈련시키는 것은 권장하지 않는다고 말합니다.
2. 추론 (Inference, 이야기 읽기): 로봇은 이 새로운 방식으로 '학습'할 수는 있지만, 실제로 이야기를 '읽거나' '쓸' 때는 기존 소프트웨어와 호환되도록 표준적이고 더 느린 방식을 사용합니다. 저자들은 로봇이 이 빠른 새로운 방식으로도 읽을 수 있도록 하는 "프로덕션 등급(production-grade)" 버전을 개발 중이지만, 아직 준비되지 않았습니다.

핵심 요약

이 논문은 AI를 긴 이야기로 훈련시키기 위해 반드시 초고가의 거대한 컴퓨터가 필요한 것은 아니라는 점을 보여줍니다. 스마트한 파일링 시스템(HGA)과 "구간별" 학습 방식을 사용하면, 이전에 2,048 토큰밖에 처리하지 못했던 16 GB 그래픽 카드에서 16,384 토큰의 훈련 세션을 소화할 수 있습니다. 로봇은 똑같이 잘 학습하며, 이야기가 길어질수록 이 새로운 방식이 기존 방식보다 더 빨라집니다. 이는 메모리 제한을 관리 가능한 퍼즐로 바꾸어, 로봇이 책상 공간 부족 없이 책 한 권 전체를 읽을 수 있는 문을 열어주는 영리한 기술입니다.