당신이 지구상의 모든 언어로 된 모든 단어가 담긴 거대한 마법 도서관 앞에 서 있다고 상상해 보십시오. 당신은 이야기꾼이며, 당신의 임무는 이야기의 다음 문장을 쓰는 것입니다. 이를 위해 당신은 그 전체 도서관에서 단 하나의 가장 좋은 단어를 골라야 합니다. 인공지능의 세계에서 이러한 "도서관"을 어휘집(vocabulary)이라 부르며, "이야기꾼"은 거대 언어 모델(LLM)을 의미합니다. 이 모델들은 매우 똑똑하지만, 한 가지 큰 문제가 있습니다. 10만 개 또는 25만 개의 단어로 이루어진 도서관에서 모든 단어를 확인하는 것은 엄청난 시간과 에너지가 듭니다. 이는 마치 건더기 하나하나를 일일이 집어 올리며 건초 더미 속에서 특정 바늘을 찾는 것과 같습니다. 이 느린 과정은 채팅, 코딩, 또는 질문에 빠르게 답변하는 것과 같은 실시간 작업에서 이 모델들을 사용하기 어렵게 만듭니다. 기존의 대부분의 시도들은 실수를 피하기 위해 너무 많이 추측하거나(오류의 위험), 도서관 전체를 다시 구축해야 했습니다.

이 논문은 CSV-Decode라고 불리는 영리한 새로운 기술을 소개합니다. 모든 단어를 확인하는 대신, 저자들은 어떤 이야기가 진행되는 특정 순간에는 실제로 정답이 될 가능성이 있는 단어가 아주 소수라는 점을 깨달았습니다. 나머지는 그저 "노이즈"일 뿐입니다. 연구팀은 기하학(geometry)—말하자면 비슷한 단어들의 그룹 주변에 보이지 않는 원을 그리는 것—을 사용하여 특정 단어 그룹이 결코 정답이 될 수 없음을 수학적으로 증명하는 방법을 찾아냈습니다. 이를 통해 그들은 단 한 번도 들여다보지 않고도 도서관의 거대한 덩어리들을 안전하게 무시할 수 있습니다. 그들은 이 시스템을 매우 효율적으로 구축하여 AI를 2~3배 더 빠르게(어떤 작업에서는 거의 5배까지) 실행하면서도 정답을 보장하도록 만들었습니다. 그들은 이 기술을 다양한 모델에 테스트했으며, 품질을 희생하지 않으면서도 에너지와 시간을 크게 절약한다는 것을 발견했습니다.

문제점: "도서관" 병목 현상

거대 언어 모델을 거대한 사전을 암기한 매우 똑똑한 학생이라고 생각해 보십시오. 이 학생이 문장을 쓰려고 할 때, 다음에 올 단어가 무엇인지 결정해야 합니다. 이 결정을 내리기 위해 학생은 자신의 "숨겨진 상태(hidden state, 현재의 생각)"를 살펴보고, 이를 자신의 사전 속 모든 단어와 비교하여 어떤 단어가 가장 잘 어울리는지 확인합니다.

문제는 현대의 사전들이 매우 방대하다는 것입니다. 어떤 모델들은 250,000개가 넘는 단어를 가진 사전을 가지고 있습니다. 하나의 생각을 250,000개의 단어와 비교하는 것은 많은 컴퓨팅 파워를 소모합니다. 이는 마치 당신이 에세이의 다음 줄을 쓰기 전에 경기장에 있는 250,000명의 사람들에게 "이것이 맞는 단어입니까?"라고 물어야 하는 것과 같습니다. 이 과정은 너무 느리고 비용이 많이 들어서, AI 모델이 얼마나 빠르게 작동할 수 있는지를 가로막는 주요 장애물이 됩니다.

기존 방식들: 추측과 또 다른 추측

이 새로운 방법이 나오기 전, 과학자들은 속도를 높이기 위해 몇 가지 다른 방법들을 시도했습니다:

• Adaptive Softmax: 이는 가장 흔한 단어들을 그룹화하고 드문 단어들은 무시하는 방식입니다. 하지만 이는 경직되어 있어 이야기에 따라 변하지 않으며, 종종 모델 전체를 다시 학습시켜야 합니다.
• Hierarchical Softmax: 이는 단어들을 가족 계보와 같은 트리 구조로 조직하여 모든 잎(leaf)을 확인할 필요가 없게 만듭니다. 하지만 이 트리를 구축하는 것은 어렵고, 단어의 의미를 항상 잘 포착하는 것은 아닙니다.
• Speculative Decoding: 이는 주니어 조수가 다음 몇 단어를 추측하면, 메인 학생이 그 추측이 맞는지 확인하는 방식입니다. 이 방법은 도움이 되긴 하지만, 여전히 메인 학생이 추측을 검증하기 위해 많은 작업을 수행해야 하며, 전체 사전을 확인하는 근본적인 문제를 해결하지 못합니다.

이 논문의 저자들은 이러한 방법들이 정확도를 희생하거나(실수를 범함), 너무 많은 단어를 확인해야 하는 근본적인 수학적 문제를 해결하지 못한다고 주장합니다.

새로운 아이디어: "기하학적 울타리"

Dong Liu와 동료들이 이끄는 저자들은 다른 접근 방식을 고안해 냈습니다. 그들은 컴퓨터 메모리 속의 단어들이 단순히 무작위 목록이 아니라, 의미에 따라 기하학적 공간에 배치되어 있다는 점을 깨달았습니다. 의미가 비슷한 단어들(예: "고양이"와 "새끼 고양이")은 서로 가깝게 모여 있고, 매우 다른 단어들(예: "고양이"와 "비행기")은 멀리 떨어져 있습니다.

여기 마법 같은 기술이 있습니다:

1. 그룹화(Grouping): AI가 글을 쓰기 시작하기 전에, 저자들은 사전을 가져와 유사한 단어들을 클러스터(예: 모든 "동물" 단어를 한 상자에, 모든 "탈것" 단어를 다른 상자에 넣는 것)로 묶습니다.
2. 울타리(The Fence): 각 상자에 대해, 그들은 "기하학적 울타리"를 계산합니다. 이 울타리는 해당 상자 안의 어떤 단어도 얻을 수 있는 최대 가능한 점수를 나타내는 수학적 경계입니다.
3. 지름길(The Shortcut): AI가 다음 단어를 생각할 때, 상자 안의 모든 단어를 일일이 확인하지 않습니다. 대신, 울타리를 확인합니다. 만약 "탈것" 상자의 울타리가 AI가 이미 찾은 최고의 단어 점수보다 낮다면, AI는 그 상자 안의 어떤 단어도 승자가 될 수 없다는 것을 확실히 알게 됩니다. 따라서 아무런 작업 없이 상자 전체를 통째로 건너뜁니다!

이는 숲을 걷다가 "이 골짜기에는 보물이 절대 없습니다. 왜냐하면 그곳의 최고 지점이 너무 낮기 때문입니다"라는 표지판을 보는 것과 같습니다. 당신은 그 골짜기의 모든 나무를 오를 필요 없이 그냥 지나쳐 가면 됩니다.

작동 방식: "인증된" 건너뛰기

이 논문은 이 건너뛰기가 안전하다는 것을 보장하기 위해 두 가지 주요 방법을 도입합니다:

• Exact Top-k Certification: 만약 당신이 가장 좋은 10개의 단어(예를 들어, 가장 좋은 하나를 뽑기 위해)가 필요하다면, 이 시스템은 선택된 그룹 외의 어떤 단어도 톱 10 안에 들 수 없음을 수학적으로 증м합니다. 이는 100% 보장됩니다.
• $\epsilon$-Certified Softmax: 만약 모든 단어의 확률이 필요하다면(확률에 따라 단어를 무작위로 뽑기 위해), 이 시스템은 오차가 매우 작음($\epsilon$보다 작음)을 보장합니다.

이 시스템은 실시간으로 작동합니다. 먼저 가장 유망한 그룹들의 "울타리"를 확인하며 시작합니다. 만약 그룹이 좋아 보이면, 상자를 열고 그 안의 단어들을 확인합니다. 만약 그룹이 별로라면, 그 상자를 영원히 닫아둡니다. 시스템은 충분한 단어를 찾았다고 확신하거나 안전 한계에 도달할 때까지 이 과정을 반복합니다.

결과: 빠르고, 안전하며, 친환경적임

저자들은 이 아이디어를 테스트하기 위해 완전한 시스템을 구축했습니다. 그들은 강력한 그래픽 카드(GPU)를 사용하여 코드를 실행했으며, Llama-3, Mistral, CodeLlama를 포함한 여러 유명한 AI 모델들을 테스트했습니다.

결과는 다음과 같습니다:

• 속도: 이 새로운 방법은 표준적인 방식보다 AI를 2.67배에서 4.95배 더 빠르게 만들었습니다. 코드를 작성하는 것과 같은 특정 작업에서는 거의 5배 더 빨랐습니다.
• 정확도: 수많은 단어를 건너뛰었음에도 불구하고, 출력의 품질은 거의 완벽하게 유지되었습니다. 모델은 원래 품질의 **99.3%**를 유지했습니다.
• 안전성: 시스템은 "폴백(fallback, 건너뛰기를 멈추고 전부 확인하는 것)"을 하는 경우가 거의 없었습니다. 폴백 발생률은 2% 미만이었으며, 이는 시스템이 거의 매번 올바른 단어들을 성공적으로 건너뛰었음을 의미합니다.
• 에너지: 계산을 덜 하기 때문에, 단어를 생성할 때마다 52% 적은 에너지를 사용합니다. 이는 비용을 절감하고 환경을 보호하는 데 매우 중요한 부분입니다.

그들은 또한 여러 대의 컴퓨터(GPU)를 함께 사용하는 환경에서도 이 기술이 잘 작동하는지 테스트했습니다. 결과는 거의 완벽하게 확장(scale up)되었으며, 이는 더 많은 컴퓨터를 추가해도 통신으로 인한 시간 낭비 없이 더 빨라질 수 있음을 의미합니다.

이것이 왜 중요한가

이 논문은 단순히 멋진 아이디어를 제안하는 것이 아니라, 그것이 작동한다는 수학적 증명을 갖춘 작동하는 시스템을 제공합니다. 우리는 빠르고 똑똑한 것 중 하나를 선택할 필요가 없다는 것을 보여줍니다. 기하학을 사용하여 단어들이 서로 어떻게 연관되어 있는지 이해함으로써, 우리는 훨씬 더 효율적인 AI 시스템을 구축할 수 있습니다.

저자들은 이 방법이 그룹화가 얼마나 잘 되어 있는지에 달려 있다고 인정합니다. 만약 그룹이 엉망이라면, "울타리"가 너무 느슨해져서 시스템이 더 많은 단어를 확인해야 할 수도 있습니다. 그러나 그들의 실험에 따르면, 적절한 그룹화를 사용할 경우 이 방법은 믿을 수 없을 정도로 효과적입니다.

향후 저자들은 그룹화를 더 똑똑하게 만들어 다양한 종류의 이야기나 언어에 실시간으로 적응할 수 있게 되기를 희望합니다. 하지만 현재로서는, CSV-Decode는 거대 언어 모델을 더 빠르고, 저렴하며, 모두가 쉽게 접근할 수 있게 만드는 강력한 새로운 도구로 자리 잡았습니다. 이는 백만 개의 단어를 확인하는 불가능한 과제를 빠르고 확신에 찬 건너뛰기로 바꾸어 놓으며, 때로는 정답을 찾는 가장 좋은 방법이 무엇을 보지 않아도 될지 정확히 아는 것임을 증명합니다.