💬 NLP

What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling?

이 논문은 토큰화를 언어 모델링과 함께 공동 최적화하는 것이 토큰 구조를 근본적으로 변화시킨다는 것을 입증하며, 바이트 수준의 효율성을 우선시하는 H-Net과 달리, 토큰이 없는 접근 방식인 SSLM이 퍼플렉시티를 낮추고 다양한 언어에 걸쳐 경쟁력 있는 다운스트림 성능을 달성하는 형태론적으로 정렬되고 문맥적으로 효율적인 토큰을 학습한다는 점을 밝히고 있다.

원저자: Saketh Reddy Vemula, Parameswari Krishnamurthy

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saketh Reddy Vemula, Parameswari Krishnamurthy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터는 인간처럼 텍스트를 읽지 않습니다. 컴퓨터는 문장을 흐르는 의미의 줄기로 보지 못하고, 이산적인 단위들의 연속으로 봅니다. 언어를 이해하기 위해 이 시스템들은 먼저 단어를 더 작은 조각들로 나누어야 하며, 이 과정을 토큰화(tokenization)라고 부릅니다. 책이 어떻게 쓰였는지에 따라 책 전체가 아니라 개별 장이나 심지어 문단 단위로 도서관을 정리해야 하는 사서라고 상상해 보십시오. 만약 사서가 엉뚱한 곳에서 책을 자른다면, 이야지를 따라가기가 어려워질 것입니다. 수십 년 동안 연구자들은 어디에서 이러한 절단을 할지 결정하기 위해 고정된 규칙을 사용해 왔으며, 이는 종종 특정 철자 조합이 얼마나 자주 함께 나타나는지에 대한 단순한 통계에 의존했습니다. 이러한 규칙들은 충분히 잘 작동하지만, 정적입니다. 일단 설정되면, 컴퓨터가 새로운 언어나 복잡한 방언을 배우더라도 결코 변하지 않습니다. 이는 근본적인 질문을 던집니다. 만약 우리가 이러한 고정된 규칙을 사용하는 것을 멈추고, 대신 컴퓨터가 언어 자체를 배우는 동안 단어를 어떻게 자를지도 스스로 배우게 한다면 어떤 일이 벌어질까요?

IIIT 하이데라바드의 한 연구팀은 언어를 배우면서 토큰화하는 법도 함께 배우는 언어 모델을 구축함으로써 이 질문에 답하고자 했습니다. 그들은 영어와 스웨덴어부터 타밀어, 힌디어, 히브리어에 이르기까지 18가지의 서로 다른 언어를 대상으로 이 '토크나이저 프리(tokenizer-free)' 시스템들을 테스트했습니다. 이 언어들은 단순하고 짧은 단어부터, 조각이 추가될 때마다 의미가 변하는 길고 복잡한 소리의 사슬에 이르기까지 단어가 구성되는 방식의 다양한 범위를 나타내도록 선택되었습니다. 연구진은 이 새로운 학습형 시스템들을 전통적인 고정 방식과 비교했습니다. 그들은 컴퓨터가 스스로 만들어낸 단어 조각들이 어떤 형태인지, 그 조각들이 언어학적으로 의미가 있는지, 그리고 그것이 컴퓨터의 언어 이해를 돕는지 확인하고자 했습니다.

결과에 따르면, 컴퓨터가 단어를 나누는 자신만의 방식을 배울 수 있게 되면 사용된 아키텍처에 따라 매우 다른 두 가지 전략을 개발한다는 것이 밝혀졌습니다. 서브워드 분절 언어 모델(subword segmental language model)로 알려진 한 가지 접근 방식은 언어의 자연스러운 구성 요소와 밀접하게 일치하는 방식으로 단어를 자르는 법을 배웠습니다. 단어가 흔히 어근에 특정 어미를 붙여 형성되는 힌디어와 같은 언어에서, 이 시스템은 어근과 어미를 빠르게 식별하여 명확하게 분리했습니다. 의미가 단어의 끝에 단순히 추가되는 것이 아니라 내부 구조 속에 엮여 있는 히브리어의 경우, 시스템은 이러한 내부 패턴을 인식하는 법을 배웠습니다. 이 방식은 인간이 언어의 문법과 구조를 이해하는 방식과 잘 부합하는, 언어학적으로 의미 있는 토큰을 생성했습니다.

반면, H-Nets라고 불리는 다른 접근 방식은 훨씬 더 실용적인 경로를 택했습니다. 언어적 구성 요소를 찾으려 노력하는 대신, 이 시스템은 전적으로 효율성에 집중했습니다. 이 시스템은 데이터 처리에 필요한 단계 수를 최소화하기 위해 때로는 전체 구절에 달하는 매우 긴 텍ant 덩어리를 만드는 법을 배웠습니다. 이러한 덩어리들은 실제 단어의 문법이나 의미와는 거의 관련이 없었습니다. 예를 들어, 복잡한 문자를 사용하는 언어에서 이 시스템은 다른 어떤 방식보다도 현저히 긴 토큰을 생성했는데, 이는 단어 구조의 명확성보다 처리 속도를 우선시했기 때문입니다. 이는 시스템을 계산적으로 효율적으로 만들었지만, 결과적으로 인간이나 전통적인 알고리즘이 단어를 나누는 표준적인 방식과는 전혀 닮지 않은 어휘를 만들어냈습니다.

연구는 또한 이러한 시스템이 학습하는 방식이 처리하는 언어의 유형에 따라 달라진다는 것을 보여주었습니다. 단어가 많은 작은 부분들을 엮어서 만들어지는 언어의 경우, 학습 과정은 더 역동적이고 변동이 심했습니다. 시스템은 단어를 자르는 다양한 방식을 시도하며, 때로는 완벽한 분할 지점을 찾았다가 다시 그곳에서 벗어난 뒤, 최종적으로 효율성과 의미 사이의 균형을 맞춘 해결책에 안착했습니다. 더 단순한 언어의 경우, 시스템은 단어를 자르는 안정적인 방법을 매우 빠르게 찾아내어 그것을 고수했습니다. 이는 언어 자체의 복잡성이 컴퓨터가 토큰화를 학습하는 방식을 형성한다는 것을 시사합니다.

연구진이 이러한 새로운 토큰화 방법들을 문장의 감정을 식별하거나 사람 및 장소의 이름을 찾는 것과 같은 실제 작업에서 테스트했을 때, 결과는 고무적이었습니다. 비록 컴퓨터가 표준 모델에서 사용하는 것과는 완전히 다른 어휘를 학습했음에도 불구하고, 시스템은 이러한 작업에서 대등하거나 어떤 경우에는 더 나은 성능을 보였습니다. 언어의 자연스러운 구조와 일치하도록 학습한 시스템은 문장에서 다음 단어를 예측할 때 컴퓨터가 느끼는 혼란을 지속적으로 줄여주었습니다. 이는 컴퓨터가 자신만의 토큰화 전략을 배우게 하는 것이 고정된 규칙이 놓칠 수 있는 의미 있는 패턴을 발견할 수 있게 해준다는 것을 나타냅니다.

궁극적으로, 이 연구는 컴퓨터를 위한 단어 분할에 있어 단 하나의 '최선'의 방법은 존재하지 않는다는 것을 보여줍니다. 최적의 방법은 시스템이 무엇을 달성하려고 하는지에 달려 있습니다. 만약 목표가 언어의 깊은 구조를 이해하는 것이라면, 모델이 스스로 분절 방식을 배우게 함으로써 인간의 언어적 직관을 반영하는 토큰을 얻을 수 있습니다. 만약 목표가 가공되지 않은 처리 속도라면, 모델은 언어적 명확성을 희생하면서 효율성을 위해 완전히 다른 더 긴 덩어리들을 만들어낼 수도 있습니다. 이러한 공동 학습 접근 방식이 인간이 설계한 규칙 없이도 효과적이고 의미 있는 어휘를 생성할 수 있음을 보여줌으로써, 이 연구는 인간 언어의 다양한 다양성을 다룰 수 있는 더 적응력 있고 언어적으로 인지 능력이 뛰어난 인공지능 시스템으로 가는 문을 열어줍니다.

기술 요약: 언어 모델링과 함께 토큰화가 공동 최적화될 때 어떤 토큰이 학습되는가?

문제 정의

토큰화는 언어 모델링(LM) 파이프라인에서 중요한 전처리 단계이지만, 일반적으로 BPE(Byte-Pair Encoding), ULM(Unigram Language Model), 또는 WordPiece와 같은 통계적 사전 확률을 사용하여 언어 모델과는 독립적으로 학습되는 고정된 구성 요소로 취급됩니다. 이러한 "고정된 토크나이저" 방식은 빈번하게 공생하는 문자(character)들이 토큰을 형성해야 한다고 가정하지만, 이러한 휴리스틱이 다양한 형태론적 복잡성, 유형론 및 스크립트를 가진 언어들 전반에서 최적의 성능을 내는지 여부는 불분명합니다. 더욱이, 표준 파이프라인(토크나이저 $\to$ LM $\to$ 디토크나이저)은 토크나이저가 훈련 과정에서 모델이 학습하는 특정 언어적 패턴에 적응하는 것을 방지합니다. 이를 해결하기 위해 "토크나이저 프리(tokenizer-free)" 구조가 등장했으나, 이들이 학습하는 토큰의 구체적인 성격과 고정된 방식에 대한 상대적 효과성은 여전히 충분히 분석되지 않았습니다.

방법론

저자들은 18개의 유형론적 및 스크립트 다양성을 가진 언어(교착어, 굴절어, 고립어 및 내포적 언어를 포함)를 대상으로 토크나이저 프리 접근 방식과 고정 토크나이저 방식을 비교하는 포괄적인 분석을 수행합니다.

1. 평가된 접근 방식

토크나이저 프리 (공동 최적화):
- SSLM (Subword Segmental Language Model): LSTM 또는 Transformer를 사용하여 가능한 모든 분절(segmentation)을 마진화(marginalize)하며, 언어 모델링과 분절을 공동으로 최적화합니다.
- H-Nets (Hierarchical Networks): 바이트 수준의 언어 모델링과 함께 데이터 의존적 경계 예측을 수행하는 엔드 투 엔드 아키텍처입니다.
고정 토크나이저 (베이스라인 및 변형):
- 표준 알고리즘: BPE, ULM, WordPiece.
- 수정/신규 알고리즘: SaGe, Morfessor, BPE-dropout, PathPiece, MorphBPE, MYTE, PickyBPE, SuperBPE, BoundlessBPE.

2. 실험 설정

데이터: 언어 간 정보 밀도를 동일하게 맞추기 위해 **바이트 프리미엄(Byte-Premiums, BP)**으로 스케일링된 비병렬 단일 언어 코퍼스(WMT News Crawl 및 NLLB).
사전 훈련: SSLM과 H-Net은 250,000개의 문장으로 훈련되었습니다. H-Net은 약 3M 개의 파라미터를 사용하였고, SSLM은 약 2M 개의 파라미터를 사용하였습니다.
다운스트림 평가: 공정한 비교를 위해, 저자들은 토크나이저 프리 접근 방식을 사전 토큰화(pretokenization) 데 사용하여 코퍼스를 생성하였고, 그 위에 표준 BERT 모델(12M 파라미터)을 고정 토크나이저(예: SSLM-BPE, SSLM-ULM)와 함께 훈련시켰습니다. 이 모델들은 영어, 힌디어, 텔루구어에 대해 감성 분석, POS 태깅, 개체명 인식(NER), 의존 구문 분석에 대해 미세 조정되었습니다.

3. 평가 지표

내재적 지표: 형태론적 정렬(MorphScore), 맥락적 지수성(contextual exponence, 서로 다른 이웃의 수), 유효 어휘 크기, 페르리티(fertility), 평균 토큰 길이.
외재적 지표: 사전 훈련 중 검증 퍼플렉시티(perplexity) 및 다운스트림 작업 성능(Accuracy, F1, LAS).

주요 기여 및 결과

1. 학습 역학 및 형태론적 정렬

본 연구는 공동 최적화가 토큰 구조를 근본적으로 변화시키지만, 그 동작이 언어 유형론에 따라 달라짐을 밝혀냅니다:

SSLM은 형태론적으로 정렬되고 맥락적으로 효율적인 토큰을 복구합니다. 이는 네 가지 뚜렷한 학습 단계(급격한 초기 진화, 플럭세이션(특히 교착어에서 두드러짐), 수렴, 포화)를 보입니다.
H-Nets는 바이트 수준의 계산 효율성을 우선시하며, 종종 매우 낮은 중복도를 가진 매우 긴 토큰을 생성합니다. 이들은 형태론적 정렬을 희생하여 시퀀스 효율성을 얻으며, 모든 언어에서 낮은 MorphScore F1(<0.1)을 기록합니다.
유형론적 차이: 교착어(예: 타밀어, 헝가리어)는 분석어나 굴절어에 비해 더 역동적인 분절 패턴과 학습 중의 변동을 보입니다. 예를 들어, 타밀어의 SSLM은 초기에 완벽한 정렬을 달로하지만, 이후 덜 정확한 분할로 수렴하는데, 이는 모델이 엄격한 형태론적 경계보다 맥락적 유용성을 우선시한다는 트레이드오프를 시사합니다.

2. 학습된 토큰의 내재적 특성

맥락적 지수성: 토크나이저 프리 접근 방식(SSLM 및 H-Nets)은 고정 토크나이저보다 일관되게 낮은 맥락적 지수성(더 적은 수의 서로 다른 이웃)을 나타냅니다. 이는 이들이 더 예측 가능한 문법적 역할을 가진 단위를 학습함을 시사하며, 의미적 품질을 향imal상시킵니다.
어휘 크기 및 길이:
- 라틴 스크립트 언어는 낮은 맥락적 지수성을 가진 더 큰 유효 어휘 크기(14k–15k 토큰)를 보입니다.
- 비라틴 스크립트(예: 타밀어, 힌디어)는 더 작은 어휘 크기와 더 높은 맥락적 지수성을 보이며, 이는 유연하고 근본적인 형태소에 대한 선호를 나타냅니다.
- H-Nets는 비라틴 스크립트에서 매우 긴 토큰(17–18.5자)을 생성하는데, 이는 경계 예측이 바이트 수준 손실을 최소ize하기 위해 긴 구절(phrase)을 선호하기 때문인 것으로 보입니다.
어휘 중복도: H-Nets는 고정 토크나이저와 자카드 유사도(Jaccard overlap)가 거의 0에 가까워, 이들이 근본적으로 다른 토큰 세트를 학습함을 보여줍니다. SSLM은 빈도 기반 방식(BPE, WordPiece)과 낮은 수준의 중복도를 보이지만, 특히 교착어에서 고정 토크나이저의 크고 임의적인 단위에 비해 더 작은 원자적 형태소를 학습함으로써 상대적으로 높은 중복을 보입니다.

3. 다운스트림 성능

퍼플렉시티: SSLM 기반의 사전 토큰화를 통해 사전 훈련된 모델은 영어, 힌디어, 텔루구어 전반에서 일관되게 가장 낮은 검증 퍼플렉시티를 달성하며, 고정 토크나이저 베이스라인보다 더 빨리 수렴합니다.
태스크 성능: 고유한 어휘를 가짐에도 불구하고, 토크나이저 프리 접근 방식(사전 토큰화를 통한 방식)은 경쟁력 있는 다운스트림 성능을 달성합니다.
- SSLM-ULM은 텔루구어 POS 태깅에서 가장 높은 F1(90.17%)을 기록했습니다.
- SSLM-WPC는 힌디어 NER에서 가장 높은 F1(91.41%)을 기록했습니다.
- Morfessor 기반 사전 토큰화가 전반적으로 가장 강력한 성능을 유지했지만, SSLM 기반 접근 방식은 표준 고정 토크나이저 및 많은 변형 알고리즘(예: SaGe, PickyBPE)보다 일관되게 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 공동 최적화된 토크나이저가 언어적으로 의미 있는 토큰 구조를 학습하며, 표준 방식과 어휘가 크게 다르더라도 다운스트림 NLP에 효과적임을 주장합니다.

근본적 변화: 공동 최적화는 엄격한 통계적 사전 확률에서 벗어나 맥락적 및 계산적 효율성을 향해 나아갑니다. SSLM은 형태론적 정렬과 맥락을 최적화하는 반면, H-Net은 바이트 수준의 효율성을 최적화합니다.
효과성: 본 연구 결과는 토크나이저 프리 접근 방식이 효과를 내기 위해 반드시 고정된 어휘를 가질 필요는 없음을 입증합니다. 사전 토킹 전략으로 사용될 때, 이는 언어 모델이 더 낮은 퍼플렉시티와 경쟁력 있는 태스크 성능을 달성할 수 있게 합니다.
언어 특이성: 최적의 토킹 전략은 언어 유형론에 크게 의존합니다. 교착어는 고정 토크나이저가 포착하지 못하는 역동적인 분절 패턴으로부터 이득을 얻는 반면, 고립어는 안정적인 중간 범위의 정렬로 수렴합니다.

저자들은 형태론 인지 사전 토킹(Morfessor와 같은)이 전반적으로 가장 강력한 방식이긴 하지만, SSLM 기반 사전 토킹이 모델의 언어적 및 맥락적 요구에 더 잘 부합하는 토큰을 학습함으로써 언어 모델링을 근본적으로 개선하는 견고하고 경쟁력 있는 대안을 제공한다고 결론짓습니다.