CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
이 논문은 기존 벤치마크보다 두 배 이상 큰 'CharBench'를 도입하여 토큰화 방식이 문자 단위 태스크 수행에 미치는 영향을 분석한 결과, 문자 위치 파악에는 긴 토큰 길이가 부정적 영향을 주지만, 문자 카운팅에는 토큰화 특성보다 단어 길이와 실제 문자 수가 더 중요한 역할을 한다는 것을 밝혔습니다.
우리가 '딸기'라는 단어를 볼 때, 뇌는 s-t-r-a-w-b-e-r-r-y라는 알파벳 11 개를 한눈에 봅니다. 하지만 AI 는 다릅니다.
AI 의 시선: AI 는 알파벳 하나하나를 보지 않고, '조각 (토큰)' 단위로 봅니다.
예: 'strawberry'라는 단어는 AI 에게 straw + berry처럼 두 개의 큰 덩어리로 나뉘어 보입니다.
마치 레고 블록을 조립할 때, 개별 블록 (알파벳) 보다는 이미 붙어 있는 큰 블록 (단어 조각) 으로만 생각하는 것과 비슷합니다.
연구자들은 "아마도 AI 가 알파벳 대신 '조각' 단위로 생각하기 때문에, 조각 안에 숨겨진 알파벳 위치를 찾거나 세는 데 서툴러서 이런 실수가 생긴 게 아닐까?"라고 의심했습니다.
2. 해결책: 거대한 시험지 'CHARBENCH'
이 의심을 검증하기 위해 연구자들은 **기존 시험지보다 100 배나 더 큰 'CHARBENCH'**라는 새로운 시험지를 만들었습니다.
시험 내용:
세기 (Counting): "단어 안에 'a'가 몇 개 있나요?"
찾기 (Indexing): "단어에서 'e'가 처음 나오는 위치는 몇 번째인가요?"
참가자: GPT-4, Llama, Mistral 등 최신 AI 모델 7 개를 초대했습니다.
3. 놀라운 결과: AI 는 여전히 '초보'입니다
시험 결과는 충격적이었습니다.
평균 점수: AI 들의 평균 점수는 50% 대였습니다. 즉, 동전 던지기 (50%) 만 못하거나 비슷하게 찍는 수준입니다.
특이점:
GPT-4o가 가장 잘했지만, 그래도 70% 정도밖에 못 했습니다.
위치 찾기 (Indexing) 문제가 세기 (Counting) 문제보다 훨씬 더 어려웠습니다. "첫 번째 'r'은 어디에 있나요?"라고 물으면 AI 는 길을 잃기 쉽습니다.
4. 핵심 발견: 왜 틀릴까요? (비유로 설명)
연구자들은 AI 가 틀리는 이유를 분석해서 두 가지 중요한 사실을 발견했습니다.
A. "단어가 길수록 AI 는 더 혼란스러워한다"
비유: 짧은 단어는 작은 상자에 담겨 있어 찾기 쉽지만, 긴 단어는 거대한 창고처럼 되어 있습니다.
현실: 단어의 길이가 길어질수록 AI 가 정답을 맞힐 확률은 꾸준히 떨어집니다. AI 는 긴 문장을 한 번에 처리하는 데 한계가 있습니다.
B. "조각 (토큰) 이 너무 크면 알파벳 위치를 잃는다"
이게 이 논문의 가장 중요한 발견입니다.
상황: AI 가 'strawberry'를 straw와 berry로 나눴다고 가정해 봅시다.
만약 우리가 straw 조각 안에 있는 'r'을 찾으라고 하면, AI 는 그 조각이 너무 커서 정확히 어느 위치에 있는지 기억해내지 못합니다.
비유: **거대한 책 한 권 (긴 토큰)**을 한 번에 읽으라고 하면, 책의 특정 페이지 (알파벳 위치) 를 기억하기 어렵습니다. 하지만 **작은 포스트잇 (짧은 토큰)**에 적혀 있다면 위치를 쉽게 찾을 수 있습니다.
결론: AI 가 단어를 '조각'으로 잘게 쪼개는 것이 오히려 알파벳의 위치 정보를 흐리게 만들 수 있다는 것입니다.
C. "조각의 개수보다는 '실제 숫자'가 중요하다"
많은 사람들은 "단어를 조각으로 몇 개로 나눴느냐 (토큰 수)"가 중요할 거라고 생각했습니다.
하지만 연구 결과, 토큰의 개수나 크기보다는 **"실제로 그 알파벳이 몇 번 나왔는지 (정답의 크기)"**가 AI 의 성능과 더 깊은 연관이 있었습니다. 즉, AI 는 '조각' 자체의 구조보다는 '내용의 양'에 더 민감하게 반응했습니다.
5. 요약 및 결론
이 논문의 핵심 메시지는 다음과 같습니다:
AI 는 아직 '문자'를 잘 못 다룹니다: 최신 AI 가 고난도 수학이나 논리 문제는 잘 풀지만, 알파벳을 세거나 위치를 찾는 아주 기초적인 작업에서는 여전히 인간보다 훨씬 못합니다.
원인은 '조각화' (Tokenization) 에 있습니다: AI 가 단어를 알파벳이 아닌 '조각' 단위로 처리하는 방식이, 알파벳의 정확한 위치를 파악하는 것을 방해합니다. 특히 조각이 클수록 위치를 찾기 더 어려워집니다.
미래의 방향: 앞으로 AI 를 더 똑똑하게 만들려면, 단순히 단어를 큰 덩어리로 처리하는 방식에서 벗어나 알파벳 하나하나의 위치와 관계를 더 잘 이해할 수 있도록 설계해야 합니다.
한 줄 요약:
"AI 는 거대한 레고 블록 (조각) 으로만 세상을 보다가, 작은 알파벳 하나하나의 위치를 잃어버리고 있습니다. 이 '눈가림'을 해결하는 것이 다음 세대 AI 의 핵심 과제입니다."
1. 문제 제기 (Problem)
최근 대규모 언어 모델 (LLM) 은 고수준의 언어 이해 능력은 탁월하지만, 텍스트 분석의 표면적 수준에 해당하는 저수준 (low-level) 작업, 특히 문자 단위 (character-level) 추론에서는 심각한 실패를 보입니다.
대표적 예시: "strawberry"라는 단어에 'r'이 몇 개 있는지 묻는 질문과 같이 인간에게는 자명한 작업에서도 LLM 은 자주 틀립니다.
주요 가설: 이러한 실패의 원인은 LLM 이 개별 문자가 아닌 서브워드 (subword) 단위로 작동하기 때문이라는 가설이 지배적입니다. 즉, 토큰화 (tokenization) 과정이 문자 수준의 정보 손실을 초래한다는 것입니다.
연구의 필요성: 기존 연구들은 토큰화의 역할에 대해 상반된 결론 (중요함 vs 중요하지 않음) 을 내리고 있어, 그 영향력을 명확히 규명할 수 있는 체계적인 벤치마크와 분석이 부족했습니다.
2. 방법론 (Methodology)
A. CHARBENCH 벤치마크 구축
저자들은 기존 벤치마크보다 두 자릿수 (orders of magnitude) 더 큰 규모의 CHARBENCH를 제안했습니다.
데이터 구성: MiniPile 데이터셋에서 4~10 자 길이의 175,000 개의 문자열을 균일하게 샘플링하여 편향을 최소화했습니다.
작업 유형: 두 가지 주요 범주로 나뉩니다.
카운팅 (Counting): 문자 발생 빈도 파악 (예: 's'가 몇 번 등장하는가, 고유 문자는 몇 개인가).
인덱싱 (Indexing): 문자의 위치 파악 (예: 특정 문자의 첫 번째/마지막 등장 인덱스).
특징: 모든 질문은 자연어이지만, 내부적으로는 count()나 index() 같은 결정론적 (deterministic) 연산으로 매핑되어 정답을 검증하기 용이합니다.
B. 실험 설정
평가 대상: GPT-4o, GPT-4o-mini, GPT-3.5-turbo 와 같은 독점 모델과 DeepSeek-V3, Llama-3.3/3.1, Mistral-7B 와 같은 오픈 가중치 모델을 포함하여 총 7 개의 최첨단 모델을 평가했습니다.
분석 지표: 모델의 정확도 (Accuracy) 와 함께, **토큰화의 내재적 속성 (Intrinsic Tokenizer Metrics)**과 성능 간의 상관관계를 분석했습니다.
분석 변수: 단어 길이 (WL), 정답 (GT), 토큰 수 (NT), 압축률 (CR), 타겟 토큰 길이 (TTL, 인덱싱 작업 시 대상 문자가 포함된 토큰의 길이) 등.
3. 주요 기여 (Key Contributions)
대규모 벤치마크: 기존 연구들보다 훨씬 방대하고 통제된 환경에서 문자 단위 작업을 평가할 수 있는 CHARBENCH를 공개했습니다.
토큰화 영향에 대한 통계적 분석: 단순한 성능 평가를 넘어, 단어의 내재적 속성과 토큰화 방식이 모델 성능에 미치는 영향을 대규모로 통계적으로 분석했습니다.
상반된 결론의 통합: 기존 연구들의 모순된 주장을 해결하고, 어떤 작업에서는 토큰화 속성이 중요하고 어떤 작업에서는 그렇지 않음을 규명했습니다.
4. 결과 및 분석 (Results & Analysis)
A. 전반적 성능
CHARBENCH 는 현대 LLM 에게 여전히 큰 도전 과제입니다. 평가된 모델들의 평균 정확도는 **50.33%**에 불과했습니다.
성능 순위: GPT-4o 가 70.73% 로 가장 우수했으나, 오픈 모델 중 DeepSeek-V3 가 가장 좋은 성적을 보였습니다. Mistral-7B 는 파라미터 수가 10 배 적은 Llama-3.3-70B 보다 평균적으로 더 좋은 성능을 보였습니다.
작업별 난이도: **인덱싱 작업 (위치 파악)**이 카운팅 작업보다 훨씬 어렵습니다. 특히 '마지막 등장 위치 찾기 (find_last)'는 평균 32.37% 로 가장 낮은 성능을 보였습니다.
B. 토큰화 속성과의 상관관계 (핵심 발견)
단어 길이 (Word Length): 모든 작업에서 단어 길이가 길어질수록 성능이 선형적으로 감소하는 강한 음의 상관관계를 보였습니다. 이는 LLM 이 긴 문자열을 처리하는 데 근본적인 한계가 있음을 시사합니다.
카운팅 작업 (Counting Tasks):
성능은 **실제 문자 발생 횟수 (Gold Truth)**와 가장 강하게 상관관계가 있었습니다.
반면, **토큰 수 (NT)**나 **압축률 (CR)**과는 약한 상관관계만 보였습니다. 즉, 카운팅 작업에서는 토큰화 방식 자체보다 '얼마나 많은 문자가 있는지'가 더 중요합니다.
인덱싱 작업 (Indexing Tasks):
**타겟 토큰 길이 (TTL)**가 성능과 가장 강하게 음의 상관관계를 가집니다.
해석: 대상 문자가 포함된 토큰이 길수록 (즉, 여러 문자가 하나의 토큰으로 압축될수록), 모델이 해당 문자의 정확한 위치를 파악하는 데 어려움을 겪습니다. 이는 토큰 수준의 압축과 문자 단위 위치 추론 능력 사이의 **트레이드오프 (Trade-off)**를 보여줍니다.
C. 오차 분석
모델 간 오차 패턴은 작업에 따라 달랐습니다. 카운팅 작업에서는 모델마다 오차 패턴이 달랐으나, 위치 찾기 작업에서는 대부분의 모델이 유사한 실패 패턴을 보였습니다.
GPT-4o 는 다른 모델들과 오차 겹침 (Error Overlap) 이 거의 없어, 다른 모델들과는 다른 추론 방식을 사용하는 것으로 보입니다.
5. 의의 및 결론 (Significance & Conclusion)
토큰화의 역할 재정의: 토큰화가 모든 문자 단위 작업의 실패 원인인 것은 아닙니다. **위치 파악 (Positional Understanding)**이 필요한 작업에서는 긴 토큰이 정보를 가리는 주요 원인이지만, **빈도 세기 (Counting)**와 같은 작업에서는 토큰 수나 압축률보다 실제 문자의 수와 분포가 더 중요한 요소임을 밝혔습니다.
향후 연구 방향: 이 연구는 LLM 의 문자 단위 추론 능력을 향상시키기 위해, 단순한 토큰 수 최적화를 넘어 문자 수준의 구조적 정보 보존이 필요한 영역을 식별하는 데 기여합니다.
한계: 현재는 영어 데이터에 국한되어 있으며, 향후 다양한 언어와 스크립트로 확장될 필요가 있습니다.
이 논문은 CHARBENCH 를 통해 LLM 의 문자 단위 추론 실패 원인을 체계적으로 규명하고, 토큰화 전략이 모델의 추론 능력에 미치는 미묘한 영향을 통계적으로 증명했다는 점에서 의의가 큽니다.