Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

거대한 도서관에 사는 아주 똑똑한 로봇 친구에게 메시지를 보내려고 한다고 상상해 보세요. 이 로봇은 우리처럼 단어를 읽는 것이 아니라, 모든 문장을 '토큰'이라고 불리는 작고 한 입 크기의 조각들로 잘게 나눕니다. 이 토큰들을 퍼즐 조각이라고 생각하면 됩니다. 만약 당신이 영어로 문장을 쓰면, 로봇은 그 그림을 맞추기 위해 몇 개의 크고 덩어리진 조각만 필요할 수도 있습니다. 하지만 똑같은 문장을 다른 언어로 쓰면, 로봇은 그 문장을 이해하기 위해 수십 개의 아주 작고 부스러기 같은 조각들로 잘게 나누어야 할 수도 있습니다.

이것이 바로 거대 언어 모델(LLM), 즉 우리가 글을 쓰고, 배우고, 코딩하는 것을 돕는 강력한 AI 도구들의 세계입니다. 하지만 여기에는 함정이 있습니다. 로봇의 '퍼즐 상자'가 모두에게 평등하게 만들어지지는 않았다는 점입니다. 어떤 언어는 상자에 딱 들어맞는 크고 효율적인 조각들로 구성되어 있는 반면, 어떤 언어들은 수많은 작고 비싼 파편들로 으깨져 버립니다. 이것은 매우 중요합니다. 왜냐하면 현실 세계에서는 당신이 사용하는 퍼즐 조각 하나하나마다 비용을 지불해야 하는 경우가 많기 때문입니다. 만약 당신의 언어가 같은 내용을 말하기 위해 두 배의 조각을 필요로 한다면, 당신은 두 배의 비용을 지불해야 하고, 메시지는 더 빨리 끊기며, 전체적인 경험은 더 느려지고 답답해질 것입니다. 이것은 로봇이 얼마나 똑똑하냐의 문제가 아니라, 퍼즐 상자 자체의 불공평한 규칙에 관한 문제입니다.

---

거대한 토큰 세금: 불평등한 퍼즐 조각의 이야기

새로운 연구에서 연구원인 아비짓 로이(Avijit Roy), 프로마 로이(Proma Roy), 그리고 흐리시트바 파텔(Hrishitva Patel)은 이 보이지 않는 세금을 조사하기로 했습니다. 그들은 **토큰화 형평성 감사(Tokenization Equity Audit, TEA)**라는 특별한 테스트를 만들었습니다. 예를 들어, 그들이 "왜 내 코드가 충돌했나요?" 또는 "이 오류를 어떻게 고치나요?"와 같은 표준적인 초급 수준의 파이썬 프로그래밍 질문 120개를 가져왔다고 상상해 보세요. 그리고 이 질문들을 영어, 벵골어, 힌디어, 아랍어, 타밀어, 요루바어로 번 번역했습니다. 그런 다음, 이 번역본들을 인기 있는 AI 시스템에서 사용되는 세 가지 서로 다른 '퍼즐 상자'(토크나이저)에 입력했습니다. 하나는 OpenAI(GPT-4o)의 것이고, 하나는 Qwen, 다른 하나는 Mistral의 것입니다.

그들의 목표는 간단했습니다. 각 언어가 똑같은 내용을 말하기 위해 얼마나 많은 퍼즐 조각이 필요한지 세는 것이었습니다.

연구 결과: 누군가에게는 무거운 짐

결과는 극명한 불평등을 드러냈습니다. OpenAI(GPT-4o) 시스템을 사용할 때, 벵골어는 동일한 기술적 내용을 표현하기 위해 영어보다 1.56배 더 많은 토큰을 필요로 했습니다. 이를 이해하기 쉽게 설명하자면, 만약 로봇에게 128,000개의 토큰을 담을 수 있는 '기억 양동이'가 있다면, 영어 사용자는 그 양동이를 풍성한 대화로 채울 수 있습니다. 하지만 벵골어 사용자는 같은 양동이를 사용하더라도 내용이 넘치기 전에 약 82,000 토큰 정도의 의미만을 담을 수 있습니다. 이는 어떤 사람에게는 튼튼한 가죽 끈으로 된 배낭을 주는 반면, 어떤 사람에게는 가늘고 해지는 실로 만든 끈이 달린 무거운 배낭을 주는 것과 같습니다.

다른 두 시스템(Qwen2.5 및 Mistral)에서는 상황이 훨씬 더 심각해졌습니다. 벵골어의 경우, 이 시스템들은 영어보다 무려 4.5배나 더 많은 토큰이 필요했습니다. 즉, 영어 사용자에게는 쉽게 들어가는 대화가 벵골어 사용자에게는 거대하고 다루기 힘든 파편 더미로 쪼개져, 메모리를 잡아먹고 속도를 늦춘다는 뜻입니다.

문자의 신화: 단지 알파벳의 문제가 아니다

이 연구에서 가장 놀라운 발견 중 하나는 요루바어와 관련된 것이었습니다. 여러분은 아랍어나 타밀어처럼 라틴 문자가 아닌 문자를 사용하는 언어가 영어와 매우 다르게 보이기 때문에 처리하기 더 어려울 것이라고 추측할 수 있습니다. 비록 그 언어들도 어려움을 겪었지만, 연구 결과 요루바어가 (우리가 사용하는 A, B, C와 같은) 라틴 알파벳을 사용함에도 불구하고 GPT-4o 시스템에서 영어 대비 가장 높은 페널티인 2.37배의 토큰 수를 기록했습니다.

이 발견은 문제가 단순히 글자의 '모양'에 관한 것이 아님을 시사합니다. 요루바어가 익숙한 라틴 문자를 사용함에도 불구하고, 로봇의 퍼즐 상자가 이 언어 특유의 소리와 악센트를 효율적으로 처리할 수 있는 충분한 조각들을 갖추지 못했다는 것입니다. 연구진은 퍼즐 상자에 특정 소리를 처리할 적절한 조각들이 부족하여, 로봇이 단어를 작고 비효율적인 부스러기로 쪼개도록 강제하고 있다고 제안합니다.

현실 세계의 비용

이것이 왜 중요할까요? 논문은 이것이 단순한 수학 문제가 아니라 경제적, 교육적 장벽이라고 제안합니다.

• 유료 서비스의 경우: 만약 토큰 단위로 비용을 지불한다면, 코딩을 배우는 벵골어 학생은 1,000번의 요청에 대해 0.07달러를 지불해야 하는 반면, 영어 학생은 동일한 도움을 받는 데 추가 비용을 0.00달러도 내지 않습니다. 시간이 흐를수록 이는 쌓여가며, 소외된 공동체들에게 AI 튜터링을 훨씬 더 비싸게 만듭니다.
• 오프라인 도구의 경우: 인터넷 연결이 원활하지 않은 지역의 많은 사람들은 자신의 스마트폰에서 직접 실행되는 AI에 의존합니다. 이러한 기기들은 메모리가 제한적입니다. 만약 AI가 동일한 수업을 위해 4.5배 더 많은 '퍼즐 조각'을 저장해야 한다면, 프로그램이 충돌하거나 공간이 부족해져서 도구를 사용할 수 없게 될 수 있습니다.

연구의 성과와 한계

저자들은 자신들이 AI가 해당 언어들에 대해 더 '멍청하다'는 것을 증명한 것이 아니라, 단지 전달 시스템이 비효율적이라는 것을 증명했을 뿐이라고 주의를 기울였습니다. 또한 전 세계의 모든 언어를 테스트한 것도 아니며, 명확한 패턴을 보여주기 위해 특정 120개의 프로그래밍 예시에 집중했습니다. 그들은 이것이 단순히 '특이한' 스크립트만의 문제가 아니라는 점을 분명히 하며, 요루바어와 같은 라틴 기반 언어조차 어휘가 제대로 구축되지 않으면 고통받을 수 있음을 보여주었습니다.

이 연구는 AI를 진정으로 공정하게 만들기 위해서는 단순히 로봇을 더 똑똑하게 만드는 것에만 집중해서는 안 된다고 제안합니다. 우리는 또한 퍼즐 상자를 고쳐야 합니다. 벵골어, 힌디어, 또는 요루바어로 된 문장이 영어로 된 문장보다 더 많은 비용을 들거나 더 많은 공간을 차지하지 않도록 시스템을 설계해야 합니다. 그때까지 '토큰 세금'은 보이지 않는 장벽으로 남아, 무료의 글로벌 교육이라는 약속을 누군가에게는 다른 이들보다 조금 더 비싸게 만들 것입니다.