Joint Optimization for Greedy Longest-match Tokenization

당신이 거대한 도서관의 책들을 여행을 위해 단 하나의 작은 여행 가방에 담으려고 한다고 상상해 보세요. 당신은 가능한 한 많은 텍스트를 제한된 공간 안에 넣고 싶지만, 페이지들을 공처럼 뭉쳐서 구겨 넣을 수는 없습니다. 대신 이들을 깔끔하고 관리하기 쉬운 덩어리로 정리해야 합니다. 인공지능의 세계에서 이 "여행 가방"은 컴퓨터의 메모리이며, 이 "덩어리"는 토큰(token)이라고 불립니다. AI 모델은 전체 단어가 아닌 이러한 더 작은 조각들로 텍스트를 읽습니다. 단어를 어떻게 자르느냐는 매우 중요합니다. 만약 단어를 잘못 자르면 공간을 더 많이 차지하게 되고, 컴퓨터는 이를 읽기 위해 더 많이 노력해야 하기 때문입니다. 수년 동안 이 단어들을 자르는 표준적인 방법은 BPE(Byte Pair Encoding)라고 불리는 방식이었습니다. BPE를 아주 효율적이지만 약간은 경직된 사서라고 생각해보세요. 이 사서는 "항상 가장 흔한 두 개의 텍xt 조각을 먼저 붙인다"라는 엄격한 규칙을 따릅니다. 이는 빠르고 탐욕적인(greedy) 접근 방식이며 잘 작동해 왔지만, 본질적으로는 완벽한 수학적 해답이 아니라 단순한 규칙에 기반한 좋은 추측, 즉 휴리스틱(heuristic)입니다.

최근 과학자들은 한 가지 큰 질문을 던지기 시작했습니다: 이 사서의 "좋은 추측"이 우리가 할 수 있는 최선일까요? 아니-면 단어를 더 잘 자르는 더 똑똑한 방법이 있어서 여행 가방에 더 많은 텍스트를 넣을 수 있을까요? 이 논문은 AI가 텍스트를 읽는 특정 방식인 "Greedy Longest-Match"를 살펴보며 이 질문을 파고듭니다. 문장을 읽다가 매 단계마다 다음 글자로 넘어가기 전에 자신이 알고 있는 가장 긴 가능한 단어를 움켜쥐는 것을 상상해 보세요. 저자들은 일반적인 용도의 어휘가 효과가 있기를 단순히 바라는 것이 아니라, 이 읽기 방식에 특화된 어휘를 설계할 수 있는지 알고 싶었습니다. 그들은 JOLT(Joint Optimization for Greedy Longest-match Tokenization)라는 새로운 시스템을 구축했습니다. JOLTY는 단순히 빈도수에 따라 조각들을 붙이는 대신, 전체 문제를 하나의 거대하고 복잡한 퍼즐처럼 다룹니다. 이 시스템은 고급 수학을 사용하여 어떤 단어 조각들을 유지할지, 그리고 학습 데이터의 모든 단어를 어떻게 자를지를 계산하여, AI가 "longest-match" 규칙을 사용하여 읽을 때 사용하는 조각의 수를 절대적으로 최소화합니다.

논문의 결과에 따르면, 기존의 사서(BPE)는 이미 이론적인 최적의 패킹(packing)에 1%에서 2% 이내로 근접해 있을 만큼 꽤 훌륭하지만, 새로운 시스템인 JOLT는 공간을 조금 더 짜낼 수 있다는 것을 보여줍니다. 이 수학적 퍼즐을 해결함으로써, JOLT는 기존 방식과 완벽한 이론적 한계 사이의 남은 간극을 거의 모두 메울 수 있었습니다. 다양한 크기의 텍xt 데이터로 테스트했을 때, JOLT는 표준 방식에 비해 토큰 수를 최대 0.78% 줄였습니다. 그 숫자가 작게 들릴 수도 있지만, AI의 세계에서는 1% 미만의 아주 작은 차이라도 모델이 더 많은 텍스트를 읽고, 더 빨리 생각하며, 실행 비용을 낮출 수 있음을 의미합니다. 저자들은 어휘를 AI가 실제로 읽는 방식과 완벽하게 일치시킴으로써, 이전에 버려졌던 "압축 여유 공간(compression headroom)"을 거의 모두 회복할 수 있음을 보여줍니다.

JOLT의 이야기: 단어 퍼즐 풀기

JOLT가 어떻게 작동하는지 이해하기 위해, 당신이 거대한 연회를 위한 완벽한 메뉴를 만들려는 숙련된 요리사라고 상상해 보세요. 당신에게는 엄청난 양의 재료(텍s트) 목록이 있고, 손님(AI)에게 대접하기 위해 이들을 특정 크기(토큰)로 잘라야 합니다. 문제는 손님들의 식습가 매우 독특하다는 것입니다. 그들은 다음 한 입을 먹기 전에 항상 입에 들어갈 수 있는 가장 큰 조각을 먼저 집어갑니다. 이것이 바로 "Greedy Longest-Match" 규칙입니다.

오랫동안 요리사들(AI 연구자들)은 BPE라는 표준 레시피를 사용해 왔습니다. 그들은 재료를 보고 "헤야, 'th'와 'e'가 자주 같이 나타나니까, 'the'로 붙이자"라고 말하곤 했습니다. 그들은 정해진 크기의 메뉴를 가질 때까지 가장 흔한 쌍들을 계속해서 붙여 나갔습니다. 그것은 잘 작동했지만, 벽이 완벽하게 직선인지 확인하지 않고 단순히 벽돌을 쌓는 것과 비슷했습니다. 그것은 "탐욕적인(greedy)" 접근 방식이었습니다. 즉, 가장 쉽고 명백한 일을 먼저 하는 방식이었습니다.

이 논문의 저자들은 손님들이 효율적으로 식사를 하게 하려면, 단순히 흔한 것에 기반하여 메뉴를 만드는 것이 아니라, 그들이 어떻게 먹는지에 기반하여 메뉴를 만들어야 한다는 점을 깨달았습니다. 그들은 JOLT를 만들었는데, 이는 모든 재료와 그것을 자를 수 있는 모든 가능한 방법을 고려하여, 최종 결과가 손님들의 "가장 큰 한 입" 습관에 완벽하게 최적화되도록 전체 메뉴를 계획하는 초스마트 요리사와 같습니다.

수학적 퍼즐
JOLT의 핵심은 거대한 수학 문제입니다. 저자들은 두 가지를 동시에 결정해야 했습니다:

1. 어떤 재료를 유지할 것인가: 최종 어휘에 포함될 단어 조각들은 무엇인가?
2. 텍스트를 어떻게 자를 것인가: 학습 데이터의 모든 단어에 대해, 그 단어를 구성하기 위해 어떤 특정 조각들을 사용해야 하는가?

까다로운 점은 이 두 결정이 서로 묶여 있다는 것입니다. 당신은 "ta"와 "ble"로 단어를 자르기로 결정하기 전에는 "ta"와 "ble"를 어휘에 포함할지 결정할 수 없습니다. 게다가, AI는 "longest match" 규칙을 사용하기 때문에, 만약 당신이 단어를 "ta"와 "ble"로 자르더라도, "table"이라는 더 긴 조각이 어휘에 존재한다면 그 조각이 주인공을 가로챌 것이라는 점을 반드시 고려해야 합니다. 만약 "table"이 존재한다면, AI는 "table"을 통째로 먹을 것이고, 당신이 "ta"와 "ble"로 서빙하려던 계획은 실패하게 됩니다.

이를 해결하기 위해 저자들은 "정수 계획법(Integer Programming)"이라는 기법을 사용했습니다. 거대한 스위치 격자를 상상해 보세요. 어떤 스위치는 단어를 켜고(어휘에 포함시키고), 다른 스위치는 단어를 자르는 특정 방식을 켭니다. 목표는 가능한 가장 적은 수의 조각을 얻기 위해 스위치를 조절하는 것입니다. 하지만 전체 텍스트에 대해 이 격자를 푸는 것은 너무 방대하여 가장 빠른 컴퓨터라도 영원히 걸릴 것입니다.

스마트한 지름길
그래서 저자들은 영리한 묘책을 냈습니다. 전체 퍼즐을 한꺼번에 풀려고 하는 대신, 작고 간단한 버전부터 시작했습니다. 그들은 단어를 하나 또는 두 개의 조각으로 자르는 것만 고려했습니다. 수학 문제를 풀었을 때 만약 컴퓨터가 "이봐, 이 단어는 이 조각들만으로는 자르기 너무 어려워, 옵션이 더 필요해"라고 말하면, 오직 그 단어에 대해서만 더 복잡한 자르기 옵션을 추가했습니다. 이 과정을 반복하며 필요한 곳에만 복잡성을 더해갔고, 솔루션이 안정될 때까지 계속했습니다.

이 접근 방식 덕분에 그들은 이론적 최적 한계에 매우 근접한 솔루션을 찾을 수 있었습니다. 그들은 기존 BPE 방식이 이미 아주 잘하고 있으며, 최적의 결과 대비 1%~2% 이내에 위치해 있다는 것을 발견했습니다. 하지만 JOLT는 그 남은 간극의 89.6%에서 99.4%를 메웠습니다.

결과
그들이 다양한 양의 데이터(100,000단어에서 400,000단어까지)와 다양한 어휘 크기(32,000개 및 64,000개)에 대해 새로운 시스템을 테스트했을 때, 결과는 명확했습니다. JOLT는 일관되게 표준 BPE 방식보다 더 적은 토큰을 사용했습니다.

• 어휘가 32,000개일 때, JOLT는 표준 방식에 비해 토큰 수를 최대 0.78% 줄였습니다.
• 어휘가 64,000개일 때, 개선 폭은 더 작았지만 여전히 존재하여 최대 **0.31%**에 달했습니다.

논문은 또한 그들의 솔루션이 절대적인 수학적 한계에 얼마나 근접했는지 확인했습니다. 그들은 최종적인 반올림된 솔루션이 이론적 최적값의 0.008%에서 0.176% 이내에 있음을 발견했습니다. 이는 "반올림" 과정(수학적 솔루션을 실제 사용 가능한 어휘로 바꾸는 과정)에서 효율성이 거의 손실되지 않았음을 의미합니다. JOLT가 BPE보다 보여준 작은 이득은 단순한 우연이 아니라, 실질적이고 구조적인 개선이었습니다.

저자들은 다른 방법들도 살펴보았습니다. 그들은 동일한 "longest match" 읽기 스타일을 위해 설계된 인기 있는 방식인 WordPiece가, 테스트했을 때 BPE보다 오히려 성능이 떨어진다는 것을 발견했습니다. 이는 WordPiece가 토큰 수를 최소화하는 것이 아니라, 다른 목표(다음 단어 예측)를 극대화하도록 훈련되었기 때문입니다. 이는 하나의 목적을 위해 설계된 어휘를 다른 목적으로 사용하면 완벽하게 작동할 것이라고 기대할 수 없음을 증명합니다. 어휘는 반드시 AI가 읽는 방식에 맞춰 특별히 훈련되어야 합니다.

요약하자면, 이 논문은 기존의 "탐욕적인" 사서(BPE)가 놀라울 정도로 잘 해내고 있었지만, 여전히 짜낼 수 있는 아주 작은 공간이 남아 있음을 보여줍니다. AI의 읽기 방식과 완벽하게 일치하는 새로운 수학적 접근 방식을 사용함으로써, JOLT는 그 잃어버린 공간을 거의 모두 회복합니다. 이는 AI의 세계에서 효율성의 작은 개선조차도 더 빠르고, 저렴하며, 더 유능한 모델을 만들 수 있음을 상기시켜 줍니다. 저자들은 단순히 추측한 것이 아니라, 그들의 방식이 이전보다 더 완벽한 패킹 작업을 수행한다는 것을 수학적으로 증명했습니다.