💬 NLP

Effective Context in Transformers: An Analysis of Fragmentation and Tokenization

본 논문은 분할 (작은 단위 사용) 이 최적 로그 손실을 증가시킴으로써 본질적으로 예측 성능을 저하시킬 수 있는 반면, 탐욕적 토큰화 (큰 단위 사용) 는 모델의 사용 가능한 컨텍스트 창을 효과적으로 확장할 수 있음을 보여주는 유한 컨텍스트 정보 이론적 프레임워크를 정립하여 바이트/문자 수준과 서브워드 기반 트랜스포머 모델 간의 성능 차이를 설명한다.

원저자: Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이야기의 다음 단어를 예측하려고 한다고 상상해 보세요. 여러분은 일정 수의 항목만 보관할 수 있는 '기억 창(memory window)'을 가지고 있습니다. 이 논문은 단순하지만 심오한 질문을 던집니다: 그 항목들로 이야기를 어떻게 쪼개느냐가 중요할까요?

저자 아미르메디 J. 페샤라키, 모하마드아민 라미, 아를란 차크메르텐은 텍스트를 분해하는 두 가지 방식을 탐구합니다: 개별 문자나 바이트와 같은 작은 조각으로 잘게 나누는 것과, 단어나 서브워드 토큰과 같은 더 큰 덩어리로 묶는 방식입니다. 그들은 수학을 통해 데이터 자체가 정확히 동일하더라도 데이터를 어떻게 잘게 나누느냐에 따라 컴퓨터가 미래를 예측하는 능력이 달라진다는 것을 증명합니다.

간단한 비유를 사용하여 그들의 발견 사항을 다음과 같이 정리해 보겠습니다:

1. "너무 많은 세부 사항" (분할) 의 문제

비유: 체스 게임에서 다음 수를 예측하려고 한다고 상상해 보세요.

시나리오 A (서브워드): 체스판을 보니 말들이 선명하게 보입니다: "나이트", "폰", "킹". 패턴을 쉽게 파악할 수 있습니다.
시나리오 B (분할): 이제 누군가 체스판을 덮고 모든 체스 말을 작은 컬러 픽셀로 쪼갠다고 상상해 보세요. 동일한 양의 과거를 보려면 훨씬 더 넓은 픽셀 영역을 봐야 합니다.

논문의 주장:
저자들은 소스 심볼 (예: 문자) 을 비트나 바이트와 같은 더 작고 손실 없는 조각으로 쪼개면, 모델이 더 넓은 창을 제공받더라도 예측이 실제로 더 어려워진다는 것을 발견했습니다.

왜 그럴까요? 그것은 정렬 (alignment) 문제입니다.
- 단어를 보면 시작과 끝을 정확히 알 수 있습니다.
- 그 단어를 구성하는 비트를 보면, 여러분의 '창'이 문자의 한가운데를 잘라낼 수 있습니다. 한 문자의 끝과 다른 문자의 시작을 볼 수는 있지만, 정확히 어떤 문자를 보고 있는지 알 수 없습니다.
- 비유: 단어 사이의 공백이 무작위로 이동한 문장을 읽으려 한다고 상상해 보세요. 전체 문장을 측정할 만큼 긴 자를 가지고 있더라도, 한 단어가 어디서 끝나고 다음 단어가 어디서 시작되는지 알 수 없습니다. 이 혼란은 '위상 모호성 (phase ambiguity)'을 만들어냅니다. 모델은 경계가 어디인지 추측하는 데 에너지를 낭비하게 되어, 더 오래 훈련하거나 더 많은 컴퓨팅 파워를 추가한다고 해서 해결될 수 없는 높은 오류율이 발생합니다.

2. "지능적 그룹화 (토큰화)"의 힘

비유: 이제 책을 읽는데, 글자 하나하나가 아니라 의미의 '덩어리'로 읽는다고 상상해 보세요.

설정: 10 개의 항목만 보관할 수 있는 제한된 기억 창을 가지고 있습니다.
시나리오 A (원본 텍스트): 항목이 글자라면, 창에는 10 개의 글자만 들어갑니다. 이는 겨우 한두 단어에 불과합니다. 문맥을 거의 볼 수 없습니다.
시나리오 B (토큰화): 항목이 일반적인 단어나 단어의 일부를 형성하는 글자 그룹인 '토큰'이라면, 10 개의 항목으로 구성된 창에는 50 개의 글자나 전체 문장이 들어갈 수 있습니다.

논문의 주장:
저자들은 심볼을 더 큰 토큰으로 그룹화하면 짧은 창이 훨씬 더 긴 창처럼 행동할 수 있음을 증명합니다.

조건: 이는 '덩어리'가 신뢰할 수 있을 때만 작동합니다. 토크나이저가 충분히 지능적이어서 10 개의 토큰이 항상(또는 거의 항상) 원래 이야기의 긴 부분을 커버한다면, 모델은 작은 창을 사용하여 전체 이야기의 패턴을 학습할 수 있습니다.
지표: 그들은 이를 측정하는 **"유효 소스 컨텍스트 (Effective Source Context)"**라는 방법을 도입합니다. 이는 토큰의 수에 관한 것이 아니라, 그 토큰이 실제로 나타내는 원본 문자의 수에 관한 것입니다. 10 개의 토큰이 100 개의 문자를 커버한다면, 모델이 10 개의 항목만 보더라도 '100 문자 기억'을 가진 것과 같습니다.

3. "여유 (Slack)" 요인

이 논문은 또한 실제 세계의 토크나이저가 완벽하지 않다고 지적합니다. 때로는 토큰이 매우 짧을 수 있고 (단 하나의 글자), 때로는 길 수 있습니다 (전체 단어).

발견: '나쁜' 경우 (토큰이 너무 짧은 경우) 가 드물다면, 모델은 토큰이 완벽했을 때와 거의 동일한 성능을 발휘합니다. 수학은 이득이 사라지기 전에 얼마나 많은 '여유 (오차)'를 견딜 수 있는지를 정확히 보여줍니다.

양측의 요약

이 논문은 AI 에게 데이터를 표현하는 방식에 대한 대차대조표를 제시합니다:

더 작게 만들기 (분할): 데이터를 바이트와 같은 작은 비트로 쪼개면 '위상 불일치'가 발생합니다. 모델은 원래 단위의 시작과 끝이 어디인지 혼란을 겪게 되어, 모델을 더 크게 만드는 것만으로는 해결할 수 없는 영구적인 효율성 손실이 발생합니다.
더 크게 만들기 (토큰화): 데이터를 BPE 나 WordPiece 와 같은 지능적인 덩어리로 그룹화하면 압축 도구처럼 작용합니다. 덩어리가 충분히 일관된다는 전제하에, 동일한 고정된 창 크기 내에서 이야기의 훨씬 더 긴 과거를 볼 수 있게 해줍니다.

핵심 결론:
'컨텍스트 창' 크기는 단순히 항목의 수가 아니라 원본 소스 단위의 수입니다. 데이터를 너무 세밀하게 잘게 나누면 큰 그림을 볼 능력을 잃게 됩니다. 반면, 현명하게 그룹화하면 더 적은 노력으로 더 멀리 볼 수 있습니다. 이 논문은 그룹화가 언제 도움이 되고 쪼개기가 언제 해가 되는지를 정확히 알려주는 수학적 규칙을 제공합니다.

기술적 요약: 트랜스포머에서의 유효 문맥

1. 문제 제기

현대 언어 모델링은 트랜스포머 아키텍처에 의존하지만, 학습에 앞서 입력 시퀀스의 표현 방식이라는 근본적인 선택이 이루어집니다. 동일한 텍스트는 바이트, 문자, 또는 서브워드 토큰으로 인코딩될 수 있습니다. 이러한 인코딩들은 종종 손실 없으나, 트랜스포머의 고정된 문맥 창은 표현 방식에 따라 원본 소스 역사의 서로 다른 양을 커버합니다.

이는 다음과 같은 핵심 이론적 질문을 제기합니다: 표현 방식의 선택이 유한 문맥 예측기가 달성할 수 있는 바를 어떻게 변화시키는가?

현재 문헌은 성능 격차를 관찰합니다: 바이트나 문자로 작동하는 토큰 없는 모델 (예: ByT5, CANINE) 은 문맥 창을 동일한 명목상의 소스 역사를 커버하도록 확대하더라도, 서브워드 토큰화 모델에 비해 유한 문맥 예측에서 종종 어려움을 겪습니다. 반면, 토큰화 모델 (BPE, WordPiece 사용) 은 더 짧은 토큰 창으로도 높은 성능을 달성하는 경우가 많습니다. 본 논문은 이러한 현상을 설명하기 위해 정보 이론적 프레임워크를 제공하여, 경험적 관찰을 넘어 서로 다른 손실 없는 재부호화 하에서 유한 문맥 예측의 본질적 한계를 규명하고자 합니다.

2. 방법론

저자들은 정상 유한 차수 마르코프 소스를 사용하여 이 문제를 분석합니다. 이 설정은 "관련 역사"를 명시적으로 정의할 수 있게 합니다: 문맥 창이 마르코프 차수 $k$ 에 도달하면, 최적의 유한 문맥 손실은 엔트로피율에 도달합니다. 표현 계층을 격리함으로써, 저자들은 고정된 창 내에서 재부호화가 이용 가능한 정보에 어떤 영향을 미치는지 결정할 수 있습니다.

연구는 두 가지 보완적인 방향으로 진행됩니다:

분할 (세분화): 소스 심볼을 더 작은 단위로 분할하는 효과 (예: 문자에서 비트로) 분석.
토큰화 (집약): 소스 심볼을 더 큰 단위로 그룹화하는 효과 (예: 문자에서 서브워드로) 분석.

분석은 조건부 엔트로피와 상호 정보와 같은 정보 이론적 도구를 사용하여 표현 방식 선택으로 인한 "초과 손실"을 정량화합니다. 이론적 결과는 합성 마르코프 소스와 실제 데이터셋 (WikiText-103) 에 대한 트랜스포머 아키텍처 및 N-그램 모델을 사용한 실험을 통해 검증됩니다.

3. 주요 기여

A. 분할 효과

본 논문은 분할 (fragmentation) 개념을 도입합니다: 각 소스 심볼이 $M$ 개의 더 작은 심볼 블록으로 대체되는 손실 없는 재부호화입니다.

현상: 저자들은 문맥 창을 동일한 명목상의 소스 심볼 수 ($Mw $개의 분할 대$ w$개의 소스 심볼) 를 커버하도록 확대하더라도, 분할이 최적 유한 문맥 로그 손실을 엄격하게 증가시킬 수 있음을 증명합니다.
메커니즘: 초과 손실은 두 가지 원인에서 발생합니다:
1. 위상 모호성: 예측기가 현재 분할이 소스 심볼 내에서 어떤 "위상"에 있는지 (예: 이 문자의 첫 번째 비트인가 두 번째 비트인가?) 구별할 수 없습니다. 서로 다른 위상은 다음 분할에 대해 서로 다른 조건부 분포를 유도하지만, 예측기는 원시 분할 문맥만 봅니다.
2. 문맥 부족: 분할된 창은 소스 심볼 경계를 잘라내어 최적 예측에 필요한 소스 역사와 정렬되지 않을 수 있습니다.
이론적 결과: 정리 3.1 은 분할된 예측기와 소스 수준 예측기 간의 최적 손실 격차를 정량화합니다. 이 격차는 표현 방식에 내재된 것으로 나타나며, 단순한 최적화나 용량 문제가 아닙니다. 이는 바이트/문자 수준 모델 (ByT5, CANINE) 과 서브워드 모델 간에 관찰된 성능 격차에 대한 이론적 설명을 제공합니다.

B. 토큰화 이득

본 논문은 유효 문맥을 확장하는 메커니즘으로서 탐욕적 토큰화 (greedy tokenization) (예: BPE, WordPiece) 를 분석합니다.

메커니즘: 토큰화는 소스 심볼을 더 큰 단위로 그룹화합니다. $w$ 개의 토큰으로 구성된 고정된 창은 $w$ 개의 소스 심볼보다 훨씬 더 많은 범위를 커버할 수 있습니다.
소스 범위: 저자들은 토큰 창의 소스 범위 (source span) $S$ 를 그 안에 포함된 원래 소스 심볼의 수로 정의합니다.
이론적 보장: 정리 4.1 및 Corollary 4.2 는 모든 $w$ -토큰 창이 적어도 $w_s$ 개의 소스 심볼을 범위로 포함한다면, 토큰 수준 예측기가 점근적 손실 없이 $w_s$ 문맥을 가진 소스 수준 예측기의 행동을 재현할 수 있음을 보여줍니다.
일반적 범위 분석: 실제 토크나이저는 가변적인 토큰 길이를 가진다는 점을 인식하여, 저자들은 확률적 분석 (정리 4.3) 을 도입합니다. 토크나이저가 $(\epsilon, w, w_s)$ -일반적일 경우 (즉, $w$ -토큰 창이 확률 $1-\epsilon$ 로 적어도 $w_s$ 개의 소스 심볼을 범위로 포함함), 토큰 수준 손실은 범위 $w_s$ 에서의 소스 수준 손실에 $\epsilon$ 과 토크나이저의 압축률에 비례하는 여유 (slack) 항을 더한 값으로 제한됨을 보여줍니다.
진단: 이 프레임워크는 실제 토크나이저에 대한 간단한 진단을 제공합니다: "여유" (토큰 창이 목표 소스 역사를 범위로 포함하지 못할 확률) 를 측정함으로써, 평균 토큰 길이뿐만 아니라 제공하는 유효 소스 문맥에 기반하여 토크나이저를 비교할 수 있습니다.

4. 결과

분할 실험: 합성 마르코프 소스에서, 분할된 시퀀스 (비트/문자) 를 예측하는 모델은 문맥 창을 동일한 소스 역사를 커버하도록 확장하더라도 소스 수준 모델보다 엄격하게 더 높은 손실에 수렴했습니다. 관찰된 손실 격차는 위상 모호성과 문맥 부족의 이론적 분해와 일치했습니다.
토큰화 실험: 12 차 이진 마르코프 소스에서, 트랜스포머는 엔트로피율에 도달하기 위해 12 개의 소스 심볼 창이 필요했습니다. 토큰화 후, 동일한 아키텍처는 토큰이 필요한 소스 역사를 범위로 포함하는 경우 훨씬 더 작은 토큰 창 (예: $w < 12$ ) 으로 엔트로피율에 도달했습니다.
실제 세계 분석: WikiText-103 에 대한 토크나이저 분석은 고정된 토큰 창 (예: $w=128$ ) 에 대해 유효 소스 범위가 "여유" 항이 유의미해지기 전에 일반적으로 토큰 창 길이의 3~5 배임을 보여주었습니다. 이는 토큰화가 모델에 이용 가능한 문맥을 효과적으로 확장함을 확인시켜 줍니다.

5. 중요성 및 주장

본 논문은 트랜스포머의 표현 방식 선택에 대한 추론을 위한 유한 문맥 정보 이론적 프레임워크를 확립한다고 주장합니다.

이론적 설명: 바이트/문자 수준 모델이 서브워드 모델보다 더 어려운 예측 문제에 직면하는 이유에 대한 엄밀한 설명을 제공하며, 이 어려움을 아키텍처적 한계가 아닌 내재적 표현 속성 (위상 모호성) 에 기인합니다.
설계 기준: 토크나이저 품질의 지표를 평균 토큰 길이에서 소스 범위 분포의 하단 꼬리로 전환합니다. 토크나이저가 데이터를 압축하기 때문에 효과적인 것이 아니라, 고정된 토큰 창이 충분한 양의 소스 역사를 포함하도록 신뢰성 있게 보장하기 때문에 효과적입니다.
한계: 저자들은 그들의 결과가 달성 가능한 손실 효과를 격리한다고 명시적으로 밝힙니다. 특정 트랜스포머 아키텍처가 항상 이러한 최적 예측기를 학습할 수 있음을 증명하지 않으며, 최적화 역동성도 완전히 다루지 않습니다 (다만 경험적 결과는 토큰화가 수렴 속도를 개선할 수 있음을 시사함). 이 작업은 특정 훈련된 모델의 성능이 아니라, 주어진 표현 방식에 따른 최대 가능한 성능을 규명합니다.

요약하자면, 본 논문은 유한 문맥 예측기에 있어 "유효 문맥"은 표현 방식에 의해 결정된다고 주장합니다. 분할은 위상과 역사를 흐리게 하여 성능을 저하시킬 수 있는 반면, 토크나이저의 범위 분포가 유리하다면 고정된 창이 커버하는 소스 역사를 확장함으로써 토큰화는 성능을 향상시킬 수 있습니다.