💬 NLP

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

이 논문은 고정된 토크나이저의 경직성을 극복하기 위해 학습 가능한 경계 예측기를 단순화된 학습 목적 함수와 함께 활용하는 바이트 수준 언어 모델을 위한 유연한 토크나이징 방법인 FLEXITOKENS 를 소개하며, 이를 통해 과도한 분할을 줄이고 다양한 언어와 작업에서 최대 10% 의 성능 향상을 달성합니다.

원저자: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 세상을 읽고 이해하도록 가르친다고 상상해 보세요. 이를 위해 로봇은 문장을 "토큰"이라고 불리는 더 작고 관리 가능한 조각들로 분해해야 합니다. 토큰은 벽을 쌓는 건축가가 사용하는 벽돌과 같습니다.

오랫동안 로봇은 매우 경직된 벽돌 세트를 사용해 왔습니다. 이러한 벽돌은 고정된 규칙서에 기반하여 "un-", "do", "able"과 같은 특정 형태로 미리 잘려 있었습니다. 이는 로봇이 원래 훈련받은 언어와 주제에는 매우 잘 작동했습니다. 하지만 로봇이 의학 저널, 코딩 매뉴얼, 또는 전혀 본 적 없는 언어와 같은 새로운 내용을 읽으려 시도하는 순간, 이러한 경직된 규칙서는 문제를 일으킵니다.

문제: "일률적"인 벽돌

이 논문은 이 문제를 **과도한 분할 (over-fragmentation)**이라고 부릅니다.

긴 연속적인 텍스트 리본으로 벽을 쌓으려 한다고 상상해 보세요. 만약 규칙서가 "하이픈이 보일 때마다 리본을 자르라"고 말한다면, "hypertrophic"(의학적 용어) 과 같은 단일 단어가 "hyper", "tro", "phic"과 같이 작고 쓸모없는 조각들로 잘려버릴 수 있습니다.

결과: 로봇은 벽을 쌓기 위해 너무 많은 작은 벽돌을 운반해야 합니다. 이는 시공을 느리게 만들고 (컴퓨팅 파워 측면에서) 비용이 많이 들며 혼란을 야기합니다. 로봇은 잘게 부숴진 작은 조각들을 보느라 바빠서 전체 단어의 의미를 잃어버립니다.
구식 방식: 전통적인 방법 (예: BPE) 은 로봇이 시공을 시작하기 전에 모든 벽돌을 미리 잘라내는 공장과 같습니다. 일단 벽돌이 잘리면, 나중에 로봇이 다른 종류의 집을 짓더라도 그 벽돌은 변경할 수 없습니다.

해결책: FLEXITOKENS

이 논문의 저자인 FLEXITOKENS는 더 지능적인 방식을 제안합니다. 미리 잘린 벽돌을 사용하는 대신, 로봇이 시공 하는 동안 리본을 자르는 방법을 학습하는 지능적이고 유연한 절단기를 제공합니다.

간단한 비유를 들어 그들이 어떻게 했는지 살펴보겠습니다.

구식 규칙 ("고정 압축"의 함정):
로봇이 스스로 벽돌을 자르게 하려는 이전 시도들은 엄격한 규칙을 사용했습니다: "텍스트 10 인치당 정확히 3 개의 벽돌이 나오도록 리본을 자르라."
- 결함: 만약 텍스트가 터키어와 같이 단어가 본질적으로 긴 언어라면, 3 개 벽돌 규칙을 강요하면 하나의 단어가 작고 무의미한 조각들로 잘릴 수 있습니다. 반면, 중국어와 같이 단어가 짧은 언어라면 동일한 규칙이 서로 다른 두 단어를 하나의 혼란스러운 덩어리로 붙여버릴 수 있습니다. 이 규칙은 텍스트의 특정 "형태"에 적응하기에는 너무 경직되어 있었습니다.
신규 규칙 (FLEXITOKENS):
FLEXITOKENS 는 규칙을 유연한 범위로 변경합니다. "정확히 3 개의 벽돌을 가져야 한다"고 말하는 대신, "이 특정 문장에 무엇이 적합한지에 따라 2 개에서 4 개 사이의 벽돌을 가질 수 있다"고 말합니다.
- "힌지 (Hinge)" 손실: 이 논문은 안전 지대 역할을 하는 특별한 학습 방법 ("힌지형 손실") 을 도입합니다. 로봇이 텍스트를 안전 범위 내의 조각 수로 잘랐다면, 로봇은 "면제"를 받아 페널티를 받지 않습니다. 이는 로봇이 유연하게 행동할 수 있게 합니다. 로봇은 긴 의학 용어를 하나의 크고 의미 있는 벽돌로 남기거나, 짧은 문장을 이해하는 데 도움이 되는 한 많은 작은 벽돌로 잘라낼 수 있습니다.

시도했을 때 어떤 일이 일어났나요?

연구자들은 이 새로운 유연한 절단기를 영어, 스페인어, 러시아어, 힌디어, 텔루구어 등 다양한 언어와 의학 및 코딩과 같은 다양한 주제에 대해 테스트했습니다.

덜 messy 해짐: 로봇은 불필요하게 단어를 잘라내는 것을 멈췄습니다. 예를 들어, 의학 텍스트에서 "hypertrophic"을 쓰레기 조각으로 분해하는 대신 하나의 일관된 단위로 유지하도록 학습했습니다.
더 빠르고 똑똑해짐: 로봇이 작고 부서진 벽돌을 덜 운반해야 했기 때문에 정보를 더 빠르게 처리하고 컴퓨터 메모리를 덜 사용했습니다.
더 나은 성능: 번역 및 문장 이해와 같은 작업에서 유연한 절단기를 가진 로봇은 구식 경직된 방법을 사용하는 로봇보다 더 잘 수행했습니다. 우르두어와 같이 본 적 없는 언어조차도 작고 혼란스러운 조각으로 분해하지 않고 훨씬 더 잘 처리했습니다.

핵심 요약

FLEXITOKENS를 생각해보세요. 이는 로봇을 미리 잘린 플라스틱 장난감 벽돌 세트에서 사용하는 것에서, 그 순간 무엇을 짓고 있든 완벽한 크기와 모양의 벽돌을 인쇄할 수 있는 지능형 3D 프린터를 사용하는 것으로 업그레이드하는 것과 같습니다.

고정된 규칙을 강요하는 대신 로봇이 문맥에 기반하여 단어를 어떻게 분해할지 결정하게 함으로써, 이 논문은 언어 모델이 더 효율적이 되고, 새로운 언어를 더 잘 처리하며, "과도하게 잘린" 텍스트에 혼란을 느끼지 않고 의학 같은 복잡한 주제를 이해할 수 있음을 보여줍니다.

기술 요약: FLEXITOKENS

문제 제기

미처 보지 못한 도메인, 언어, 또는 문자와 같은 새로운 데이터 분포에 언어 모델 (LM) 을 적응시키는 과정은 종종 서브워드 토크나이저 (예: BPE) 의 경직성으로 인해 방해받습니다. 이러한 토크나이저는 적응 과정에서 정적 (static) 으로 유지되어, 분포 외 (out-of-distribution) 컨텍스트에서 과도한 분할로 특징지어지는 비효율적인 토큰화를 초래합니다. 이러한 과도 분할은 시퀀스 길이를 증가시켜 계산 오버헤드, 메모리 사용량, 추론 비용을 높이는 동시에 하류 작업의 성능을 저하시킵니다.

이 문제를 해결하기 위해 직접 바이트를 모델링하거나 LM 내부에서 학습 가능한 토큰화 모듈을 사용하는 "토크나이저 없는" 접근 방식이 등장했으나, 이들은 새로운 형태의 경직성을 도입합니다. 기존 경사 기반 토큰화 방법들은 일반적으로 사전 학습 중 미리 결정된 고정된 압축률을 강제하는 보조 손실 (예: 이항 손실) 에 의존합니다. 이러한 고정된 비율은 토크나이저가 새로운 도메인 (예: 형태론적으로 풍부한 언어나 전문 의학 용어) 이나 보지 못한 문자의 구체적인 구조적 요구 사항에 적응하는 것을 방해하여, 종종 최적이지 않은 분할을 초래합니다.

방법론

저자들은 적응 과정에서 토큰화 전략이 역동적으로 진화할 수 있도록 설계된 유연한 경사 기반 토큰화 프레임워크인 FLEXITOKENS (FXT) 를 제안합니다.

모델 아키텍처

이 모델은 Nawrot 등 (2023) 의 설계를 따르며, 학습 가능한 토큰화 모듈을 아키텍처에 직접 통합한 바이트 레벨 트랜스포머입니다. 아키텍처는 세 가지 주요 단계로 구성됩니다:

토큰화/다운샘플링: 경량 트랜스포머 모듈 (1~2 레이어) 이 입력 바이트 시퀀스를 처리합니다. 경계 예측기는 각 위치에서 세그먼트 경계의 확률을 추정합니다. 이산적인 경계는 미분 가능성을 유지하기 위해 베르누이 분포의 하드 Gumbel 시그모이드 재매개변수화를 통해 얻어집니다.
언어 모델링: 모델은 예측된 경계 사이의 바이트 레벨 은닉 상태를 풀링하여 토큰 레벨 표현을 생성하며, 이는 표준 트랜스포머 블록에 의해 처리됩니다.
업샘플링: 최종 모듈은 스킵 연결과 경량 트랜스포머를 사용하여 토큰 레벨 표현으로부터 바이트 레벨 출력 확률을 재구성합니다.

FLEXITOKENS 목적 함수

핵심 혁신은 경계 예측기를 위한 학습 목적 함수에 있습니다. 엄격한 목표 압축률 $\alpha$ 를 이항 손실을 통해 강제하는 이전 방법들과 달리, FLEXITOKENS 는 단일 점이 아닌 허용 가능한 압축률의 범위를 정의하는 힌지 유사 손실 (hinge-like loss) 을 도입합니다.

손실 함수 $L_{BP}$ 는 다음과 같이 정의됩니다:
$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$
여기서:

$k$ 는 예측된 경계의 수입니다.
$N$ 은 총 바이트 수입니다.
$\alpha$ 는 압축률의 상한입니다.
$\beta = \alpha - \lambda\sigma$ 는 하한으로, 여기서 $\sigma$ 는 샘플에 대한 토큰화율의 표준 편차이고 $\lambda$ 는 하이퍼파라미터입니다.

핵심 메커니즘: 압축률 ( $k/N$ ) 이 범위 $[\beta, \alpha]$ 내에 있으면 손실은 0 이 됩니다. 이는 허용 가능한 밴드 내에서 변하는 압축률에 대한 패널티를 제거하여, 모델이 경직된 전역 평균에 강제로 맞추어지지 않고 입력 시퀀스의 구조에 기반하여 분할을 역동적으로 조정할 수 있게 합니다.

다국어 적응

라틴어와 데바나가리 문자와 같이 서로 다른 문자가 서로 다른 바이트 복잡도를 요구하는 다국어 학습을 처리하기 위해, 저자들은 언어별 하이퍼파라미터 ( $\alpha_L$ ) 를 가진 공유 경계 예측기를 사용하는 것을 제안합니다. 이러한 파라미터는 기준 언어 (영어) 와 대상 언어 간의 작은 병렬 말뭉치에서 유도되어, 각 언어마다 별도의 예측기가 필요하지 않으면서도 다양한 문자 간 공정한 토큰화를 보장합니다.

주요 기여

유연한 학습 목적 함수: 고정된 압축률의 제약을 완화하는 범위 기반 손실 함수의 도입으로, 토크나이저가 미세 조정 중 다양한 데이터 분포에 적응할 수 있게 합니다.
역동적 적응: 학습된 토큰화 경계가 도메인별 패턴 (예: 의학 용어를 전체 단위로 취급) 을 포착하거나 과도 분할 없이 보지 못한 문자를 처리하도록 이동할 수 있음을 입증했습니다.
통합 다국어 프레임워크: 단일 공유 예측기와 유도된 언어별 경계를 사용하여 다양한 문자 간 공정한 토큰화를 달성하는 방법으로, 문자별 예측기의 복잡성을 피합니다.

결과

저자들은 FLEXITOKENS 를 라틴, 키릴, 데바나가리, 텔루구 문자를 포괄하는 여러 다국어 벤치마크와 번역, 개체명 인식 (NER), 감정 분석 등 다양한 작업에서 평가했습니다.

성능 향상: FLEXITOKENS 는 베이스라인 (BPE, 정적 바이트 풀링, 이항 손실 기반 토크나이저) 보다 일관되게 우수한 성과를 보였습니다. 기계 번역과 같은 생성 작업에서는 BPE 대비 최대 21 점의 개선이 관찰되었습니다. XNLI(자연어 추론) 에서는 이항 베이스라인 대비 3 점 이상의 향상이 기록되었습니다.
압축 효율성: 이 방법은 베이스라인에 비해 훨씬 높은 평균 압축률 (시퀀스당 적은 토큰 수) 을 달성하여 추론 실행 시간을 단축시켰습니다.
분할 감소: 정성적 분석은 FLEXITOKENS 가 토큰 과도 분할을 줄였음을 보여주었으며, 특히 BPE 가 최대 6 배 더 많은 토큰을 생성했던 형태론적으로 풍부한 언어 (힌디어, 텔루구어) 와 보지 못한 문자 (우르두어) 에서 두드러졌습니다.
확장성: 다양한 모델 크기 (소형: 1 억 2,600 만, 중형: 3 억 8,800 만) 와 레이어 구성을 통한 실험은 이 방법이 효과적으로 확장됨을 확인시켰으며, 더 깊은 모델이 더 높은 압축률과 성능을 달성했습니다.

의의 및 주장

이 논문은 FLEXITOKENS가 현재 언어 모델 적응의 중요한 한계인, 데이터와 함께 진화하지 못하는 정적이거나 경직되게 제약된 토크나이저의 문제를 해결한다고 주장합니다. 토크나이저가 정의된 범위 내에서 분할 전략을 유연하게 조정할 수 있게 함으로써, 이 방법은 다음을 가능하게 합니다:

효율적인 추론: 높은 압축률로 계산 비용을 줄입니다.
분포 변화에 대한 강건성: 토크나이저를 재학습하거나 휴리스틱 대체를 필요로 하지 않고 새로운 도메인과 보지 못한 언어에 적응합니다.
의미 정렬: 사전 학습된 서브워드 단위에 의존하는 대신, 특정 작업 (예: 의학 용어) 과 관련된 의미적으로 유의미한 토큰을 복원하도록 토크나이저가 학습합니다.

저자들은 적응 가능한 토큰화 전략이 특히 다국어 및 도메인별 설정에서 더 효율적이고 일반화 가능한 언어 모델을 구축하는 데 필수적이라고 결론지었습니다. 그들은 더 큰 규모를 위한 계산 예산과 불연속 형태소 (예: 셈어족 언어) 를 가진 언어에서의 잠재적 어려움과 관련된 한계를 인정하지만, 이 방법이 일반적이며 더 넓은 언어 다양성으로 확장될 가능성이 있다고 주장합니다.