💬 NLP

The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs

이 논문은 최첨단 거대 언어 모델에서 아프리카 언어에 대한 상당한 수준의 "아프리카 언어세(African Language Tax)"를 정량화하며, 토크나이저가 영어보다 아프리카 언어에 1.88배에서 8.92배 더 많은 토큰을 체계적으로 할당함으로써, 해당 언어 사용자들의 디지털 격차를 심화시키는 불균형한 추론 비용, 지연 시간 및 컨텍스트 창 페널티를 부과한다는 점을 입증한다.

원저자: Olaoye Anthony Somide

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Olaoye Anthony Somide

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: "디지털 통행료"

당신이 자동차를 운전하고 있다고 상상해 보세요. 어떤 나라의 도로들은 넓고 매끄러우며, 통행료 징수 시스템도 효율적입니다. 적은 비용을 지불하면 빠르게 통과할 수 있죠. 하지만 다른 나라의 도로는 좁고, 구멍이 숭숭 뚫려 있으며, 통행료 징수 시스템도 느립니다. 똑같은 목적지를 향해 똑같은 거리를 이동하려는데도, 훨씬 더 높은 비용을 지불하고 훨씬 더 오래 기다려야 합니다.

이 논문은 아프리카의 언어들이 현재 인공지능(AI)의 "나쁜 도로"에 갇혀 있다고 주장합니다.

AI(챗봇 같은 것)가 질문을 이해하거나 답변을 시작하기도 전에, AI는 문장을 **토큰(token)**이라고 불리는 아주 작은 구성 단위로 쪼개야 합니다. 이 논문은 아프리카 언어들이 직면한 이 추가적인 비용과 시간을 **"토큰 세금(Token Tax)"**이라고 부릅니다.

핵심 문제: "레고" 비유

AI의 어휘를 레고 브릭 상자라고 생각해 보세요.

영어는 브릭들이 크고 이미 완성된 모양(예: 자동차 전체나 집 한 채)인 세트와 같습니다. AI는 아주 적은 수의 브릭만 사용해서 문장을 만들 수 있습니다.
많은 아프리카 언어들은 브릭들이 아주 작고 개별적인 돌기 형태인 세트와 같습니다. 똑같은 "자동차"(동일한 의미)를 만들기 위해, AI는 수백 개의 작은 돌기들을 일일이 끼워 맞춰야 합니다.

AI는 사용하는 **브릭의 개수(토큰 수)**에 따라 비용을 청구하기 때문에, 그리고 수백 개의 작은 돌기를 끼워 맞추는 데 시간이 더 오래 걸리기 때문에, 아프리카 언어 사용자들은 영어 사용자들보다 더 많은 돈을 내고 더 오래 기다려야 합니다.

연구진이 측정한 것

연구진은 20개의 서로 다른 아프리카 언어(스와힐리어, 요루바어 같은 주요 언어와 암하라어, 은코(N'Ko) 같은 스크립트 기반 언어 포함)를 가져와 영어와 비교했습니다. 연구진은 "병렬 코퍼스(parallel corpus)", 즉 동일한 문장을 모든 언어로 번역한 데이터를 사용하여 각 언어가 얼마나 많은 "브릭(토큰)"을 필요로 하는지 계산했습니다.

연구 결과:

모두가 세금을 냅니다: 연구된 모든 아리리카 언어는 영어를 처리하는 것보다 더 많은 비용이 들었습니다. 예외는 없었습니다.
격차가 매우 큽니다:
- 라틴 문자 언어(스와힐리어, 하우사어, 요루바어 등): 영어보다 약 1.5배에서 2배 더 많은 비용이 들었습니다.
- 에티오피아 스크립트(암하라어 등): 영어보다 약 7배에서 9배 더 많은 비용이 들었습니다.
- 은코(N'Ko) 스크립트(만딩 언어에 사용): 가장 최악이었으며, 영어보다 거의 9배 더 많은 비용이 들었습니다.
단순히 돈만의 문제가 아닙니다:
- 속도: AI가 더 많은 브릭을 처리해야 하기 때문에, 답변 생성 속도가 느려집니다. 암하라어 응답은 영어보다 생성하는 데 약 7배 더 오래 걸립니다.
- 메모리: AI에는 제한된 "작업 기억(context window)"이 있습니다. 아프리카 언어는 너무 많은 브릭을 사용하기 때문에, AI는 대화의 시작 부분을 훨씬 더 빨리 "잊어버립니다". 은코어 대화는 내용을 잘라내기 전까지 영어 대화 메모리 용량의 약 **11%**밖에 활용하지 못합니다.

"통화"의 이중고

논문은 잔인한 반전을 지적합니다. AI 기업들은 **미국 달러($)**로 비용을 청구한다는 점입니다.

나이지리아나 에티오피아의 개발자라면 달러로 결제해야 합니다.
만약 현지 통화(나이라나 비르 등)의 가치가 달러에 비해 하락한다면, 비용은 더욱 올라갑니다.
따라서 아프리카의 빌더들은 두 가지 세금을 동시에 맞게 됩니다: "토큰 세금"(더 많은 브릭 사용)과 "통화 세금"(더 강한 통화로 결제)입니다.

좋은 소식: 해결 가능합니다

연구진은 이것이 물리적인 법칙이 아니라, 설계상의 선택 문제라는 것을 발견했습니다.

더 나은 브릭: 최신 AI 모델들(Gemma 4 및 Llama 4 등)은 아프리카의 형태들을 더 많이 포함하는, 더 크고 똑똑한 레고 브릭 상자를 제공받았습니다.
결과: 암하라어의 경우, 이러한 최신 모델로 교체했을 때 비용이 74% 절감되었습니다. 은코어의 경우, Qwen 3라는 모델은 더 적은 브릭을 사용하는 방법을 찾아내어 다른 모델들에 비해 비용을 33% 줄였습니다.
교훈: AI 기업이 아프리카 스크립트에 더 잘 맞는 "브릭"을 의도적으로 설계한다면, 세금은 크게 낮아집니다.

빌더들을 위한 가이드 ("의사 결정 가이드")

이 논문은 아프리카를 위한 AI 도구를 만드는 사람들에게 실질적인 조언을 제공합니다.

오래된 도구를 사용하지 마세요: 오래된 AI 모델(예: 기존의 cl100k_base)을 사용하는 것은 거대한 구멍이 숭숭 뚫린 도로 위를 달리는 것과 같습니다. 불필요하게 비쌉니다.
적절한 모델을 선택하세요: 암하라어를 위해 구축하고 있다면 Gemma 4를 사용하세요. 은코어를 위해서라면 Qwen 3를 사용하세요.
단순히 영어로 번역하지 마세요: 연구진은 아프리카 텍스트를 먼저 영어로 번역하는 것이 비용을 아낄 수 있는지 확인했습니다. 그 결과, 영어가 처리하기에는 더 저렴하지만, 번역 단계 자체에서도 비용과 시간이 든다는 것을 발견했습니다. 적절한 AI 모델을 선택한다면, 현지 언어로 직접 구축하는 것이 종종 더 낫습니다.

결론

"아프리카 언어 세금"은 아프리카 언어를 사용하는 것이 구조적으로 영어보다 더 비싸고 느리게 만드는, 소프트웨어에 내장된 숨겨진 수수료입니다. 이는 해당 언어들이 "어렵거나" "나빠서"가 아니라, 디지털 도구(토크나이저)가 영어에 맞춰 설계되었기 때문입니다.

이 논문은 이 세금이 실제로 존재함을 증명하고, 정확히 얼마의 비용이 드는지 측정하며, 더 나은 엔지니어링(더 나은 "브릭")을 통해 누구나 통행료를 낮출 수 있음을 보여줍니다.

기술 요약: 아프리카 언어세 (The African Language Tax)

문제 정의
상용 대규모 언어 모델(LLM)은 토큰 기반의 경제 모델을 기반으로 작동하며, 이에 따라 과금, 지연 시간(latency), 컨텍스트 창 용량은 생성되는 토큰 수에 직접적으로 비례한다. 그러나 영어와 고자원 웹 데이터에 주로 학습된 서브워드 토크나이저(subword tokenizers)는 언어 간에 상당한 "생성력(fertility)" 격차를 보인다. 이는 동일한 의미적 내용을 담더라도 언어와 스크립트에 따라 필요한 토큰 수가 크게 달라짐을 의미한다. 아프리카 언어의 경우, 이는 추론 비용을 부풀리고, 생성 지연 시간을 증가시키며, 모델의 추론 능력이 본격적으로 가동되기도 전에 유효 컨텍스트 창을 잠식하는 구조적인 "토크나이제이션 세금(tokenization tax)"을 발생시킨다. 이러한 현상은 일반적인 차원에서 언급되어 왔으나, 기업형 배포 경제 측면에서 아프리카 언어에 대해 체계적으로 정량화되거나, 특히 비라틴 스크립트(게즈/에티오피아, 은코) 및 교착적 형태론(agglutinative morphologies)의 영향을 분리하여 분석한 연구는 없었다.

방법론
본 연구는 언어 및 스크립트 효과를 콘텐츠 변동성으로부터 분리하기 위해 병렬 코퍼스 측정 방식을 채택한다.

데이터: 분석에는 5개의 언어 가족과 3개의 스크립트(라틴, 게즈/에티오피아, 은코)에 걸친 20개의 아프리카 언어가 포함된다. 주요 데이터셋은 FLORES-200+ devtest 코퍼스이며, 견고성과 레지스터(register) 확인을 위해 SIB-200 및 MAFAND-MT가 보완되었다.
토크나이저: OpenAI의 o200k_base (GPT-5) 및 cl100k_base (레거시), Meta의 Llama 3.1/4 및 Gemma 4, Mistral (Tekken), Qwen 3, DeepSeek-V3, BLOOM, 그리고 Cohere의 Aya를 포함한 11개의 프런티어 및 오픈 소스 토크나이저를 평가한다. 두 개의 불투명 API(Claude, Gemini)는 카운트 전용 스팟 체크를 통해 포함되었다.
지표: 핵심 지표는 생성력(Fertility) (단어당 토큰 수)이다. 이는 프리미엄(Premium) (영어 대비 상대적 비율), 비용(Cost) (USD 및 현지 통화 NGN, ZAR, KES), 지연 시간 배수(Latency Multipliers), 그리고 컨텍스트 창 효율성(Context Window Efficiency) (128k 토큰 창 내의 유효 단어 수)으로 변환된다.
통제 변수: 안정성을 확보하기 위해 병렬 문장에 대한 합산 후 나누기(sum-then-divide) 집계 방식을 사용하며, 부트스트랩 신뢰 구간을 적용한다. 또한 유니코드 정규화(NFC)와 단어 분절(UAX-29)을 통제하며, 교착어의 한계를 인지하고 이를 고려한다.

주요 기여

포괄적 감사: 20개의 아프리카 언어와 11개의 토크나이저에 걸친 토크나이제이션 프리미엄에 대한 최초의 체계적 측정으로서, 디지털 형평성을 위한 기준점을 수립하였다.
기업용 비용 모델: 추상적인 생성력 지표를 구체적인 배포 용어로 변환하는 프레임워크를 제공한다: 연간 추론 비용(현지 통화 및 USD), 지연 시간 배수, 그리고 "운영 메모리(operational memory)"(컨텍스트 용량)의 잠식.
오픈 아티팩트: 결정론적 측정 도구인 afri-fertility, 공개된 아프리카 토크나이제이션 세 리더보드(African Tokenization Tax Leaderboard), 그리고 재현 및 향후 확장을 가능하게 하는 전체 결과 데이터셋을 공개한다.

주요 결과

보편적 프리미엄: 연구된 모든 아프리카 언어는 테스트된 모든 토크나이저에서 영어보다 엄격히 높은 토크나이제이션 프리미엄( $P > 1$ $P > 1$ )을 나타냈다.
- 라틴 스크립트 언어: 중간 프리미엄은 1.88배이다 (Hausa의 1.35배에서 o200k_base 기준 Zulu의 2.75배까지의 범위).
- 에티오피아(게즈) 언어: 평균 프리미엄은 7.08배이다 (Amharic: 7.36배, Tigrinya: 6.79배).
- 은코(N'Ko): 가장 높은 페널티가 관찰되었으며, o200k_base에서 8.92배에 달했다.
스크립트 지배력: 스크립트 유형이 페널티의 주된 동인이다. 에티오피아 및 은코 스크립트는 사용된 토크나이저와 관계없이 라틴 스크립트 아프리카 언어보다 4~5배 높은 페널티를 부과한다.
토크나이저 편차:
- Gemma 4 (262k 어휘)는 가장 낮은 평균 아프리카 프리미엄(2.38배)을 달성하여 레거시 토크나이저들을 크게 앞질렀다. 이는 Amharic의 프리미엄을 7.36배에서 2.47배로 줄였다.
- Qwen 3 (152k 어휘)는 은코(N'Ko)에 대한 주목할 만한 예외 사례로, 5.96배의 프리미엄을 달성하여(다른 토크나이저들의 8.6~8.9배 클러스터보다 33% 낮음) 부분적인 코드포인트 커버리지를 시사했다.
- 레거시 토크나이저: cl100k_base가 평균 프리미엄 3.31배로 가장 저조한 성능을 보였으며, 라틴 스크립트 언어의 경우 최선의 옵션들보다 최대 47% 더 많은 토큰을 추가했다.
비용 및 지연 시간 영향:
- GPT-5 상의 Amharic 고객 서비스 배포는 동일한 영어 배포에 비해 7.36배의 추론 비용이 발생한다 (100만 쿼리당 영어 $183k 대비$ 1.35M/년).
- 컨텍스트 창 효율성이 심각하게 저하된다: o200k_base 상의 은코(N'Ko)는 영어의 유효 컨텍스트 용량의 **11.2%**만을 활용한다 (영어 105,108 단어 대비 은코 11,781 단어).
정확도 vs 프리미엄 (H4): 본 연구는 토크나이제이션 프리미엄과 GPT-4o 벤치마크 정확도(AfroBench) 사이에 통계적으로 유의미한 상관관계가 없음을 발견했다 (Pearson $r = 0.039$ ). 이는 높은 토크나이제이션 비용이 반드시 낮은 모델 정확도를 예측하는 것은 아니며, 낮은 비용이 높은 정확도를 보장하는 것도 아님을 나타낸다. 즉, 두 지표는 서로 다른 자원 결핍의 축(스크립트 커버리지 vs 훈련 데이터 양)을 추적한다.

의의 및 주장
본 논문은 "아프리카 언어세"가 프롬프트 엔지니어링이나 모델 품질의 문제가 아니라, 서브워드 어휘(vocabulary)에 직접 인코딩된 구조적 페널티라고 주장한다.

경제적 영향: 이 페널티는 USD 대비 현지 통화 가치 하락과 결합하여 복리로 작용하는 구조적 할증료이며, 이는 모델의 역량이 평가되기도 전에 많은 아프리카 언어 기반 AI 배포를 경제적으로 불가능하게 만든다.
교정 가능성: 이 페널티는 불변의 것이 아니다. 본 연구는 의도적인 어휘 설계가 이 세금을 크게 줄일 수 있음을 입증한다. 예를 들어, cl100k_base에서 Gemma 4로 전환하면 평균 아프리카 프리미엄이 28% 감소하며, 특히 Amharic의 페널티를 74.5% 줄일 수 있다.
행동 촉구: 저자들은 토크나이저의 투명성(불투명 API의 어휘 공개)과 스크립트 및 형태론적 커버리지가 규모 확장(scaling)의 부수적 결과물이 아닌 일급 목표로서 다뤄지는 아프리카 친화적 토크나이저 설계를 촉구한다. 본 논문은 현재의 토크나이저가 페널티를 완전히 제거할 수는 없더라도, 의도적인 설계 선택을 통해 산업을 완전한 교정 가능성(remediability)의 방향으로 움직일 수 있다고 결론짓는다.