💬 NLP

From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

이 논문은 훈련 데이터의 불균형으로 인해 발생하는 비효율적인 토큰화를 해결하기 위해 소스 속성을 고려한 BPE 기법 (SA-BPE) 을 제안하여, 과적합을 줄이고 미훈련 토큰을 최소화하면서도 기존 추론 절차를 유지하는 효율적인 코드 토크나이저 정규화 방법을 제시합니다.

원저자: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

게시일 2026-04-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍕 1. 문제: AI 의 '불필요한 메뉴'와 '익숙하지 않은 재료'

대형 언어 모델 (LLM) 이 코드를 이해하려면 텍스트를 잘게 쪼개야 합니다. 이를 **토크나이저 (Tokenizer)**라고 하는데, 마치 피자를 잘게 썰어 먹는 것과 비슷합니다.

기존 방식 (BPE) 은 **"자주 나오는 조합을 먼저 잘라라"**는 원칙을 따릅니다. 예를 들어, "Hello"와 "World"가 자주 함께 나오면 "HelloWorld"라는 하나의 조각으로 만듭니다.

하지만 여기서 문제가 생깁니다.

상황: 어떤 개발자가 프로젝트에서 실수로 Loremipumdolor (오타가 난 Lorem ipsum) 라는 변수 이름을 썼다고 칩시다.
결과: AI 는 이 오타가 포함된 긴 단어를 아주 자주 봤기 때문에, 이를 하나의 고유한 '조각 (토큰)'으로 만들어 기억해 둡니다.
문제: 하지만 다른 프로젝트에서는 이 오타가 절대 나오지 않습니다. AI 는 이 조각을 배웠지만, 실제로는 쓸모없는 쓰레기 조각을 품고 있는 셈이 됩니다.
- 비유: 식당 메뉴판에 '실수한 요리사 이름이 적힌 특수 피자'가 있는데, 그 피자는 그 식당에서만 한 번 나왔을 뿐입니다. 다른 손님이 오면 이 메뉴는 전혀 쓸모없고, 오히려 메뉴판이 너무 두꺼워져서 주문이 느려집니다.

이런 **'쓸모없는 조각 (Under-trained tokens)'**이 너무 많으면 AI 는:

메모리를 낭비합니다.
엉뚱한 말을 하거나 (할루시네이션),
해커들이 이 빈틈을 이용해 AI 를 속일 수 있습니다.

🔍 2. 해결책: "출처가 명확한 재료만 고르자" (SA-BPE)

저자들은 이 문제를 해결하기 위해 SA-BPE라는 새로운 방법을 제안했습니다. 핵심은 **"단순히 자주 나오는 것만 고르는 게 아니라, 어디서 많이 나왔는지 확인하자"**는 것입니다.

기존 방식은 "이 조합이 전체 텍스트에서 100 번 나왔으니 잘라라"라고 했지만, SA-BPE 는 다음과 같이 질문합니다.

"이 조합이 **100 개의 다른 프로젝트 (저장소)**에서 나왔나요? 아니면 단 하나의 프로젝트에서 100 번 반복된 것인가요?"
"이 조합이 여러 프로그래밍 언어에서 쓰였나요? 아니면 한 언어에서만 쓰였나요?"

새로운 규칙 (SA-BPE) 의 비유:

기존 방식: "이 재료가 많이 쓰이니까 장바구니에 담자!" (단순 빈도수)
새로운 방식 (SA-BPE): "이 재료가 여러 다른 요리사들의 레시피에서 공통적으로 쓰이는지 확인해 봐. 만약 한 요리사만 쓰는 특수 재료라면, 아무리 많이 쓰여도 장바구니에 담지 마!"

이를 통해 특정 프로젝트에만 국한된 오타나 고유한 이름은 AI 가 배우지 않도록 막아줍니다. 대신, 어떤 프로젝트에서도 통용되는 일반적인 코드 구조는 확실히 배우게 됩니다.

🛠️ 3. 어떻게 작동하나요? (간단한 원리)

이 방법은 AI 를 가르치는 과정 (학습) 에서만 적용됩니다.

체크: 두 단어를 합치려고 할 때, 그 조합이 몇 개의 프로젝트와 몇 개의 언어에 걸쳐 있는지 세어봅니다.
선택: 만약 특정 프로젝트나 언어에만 국한되어 있다면, 합치는 작업을 건너뜁니다 (Skip).
결과: AI 는 쓸모없는 '쓰레기 조각'을 만들지 않고, 진짜 유용한 '일반적인 조각'들만 모아서 어휘를 만듭니다.

🌟 4. 어떤 효과가 있나요?

이 방법을 적용한 결과:

메모리 효율: AI 가 기억해야 할 쓸모없는 조각이 크게 줄었습니다. (메뉴판이 깔끔해짐)
정확도: AI 가 오타나 특정 프로젝트의 고유한 이름을 헷갈려서 엉뚱한 코드를 짜는 일이 줄어듭니다.
속도: 학습은 조금 더 오래 걸릴 수 있지만, **실제 코드를 짜는 속도 (추론)**는 기존과 똑같거나 오히려 빨라집니다. (왜냐하면 쓸데없는 조각을 처리할 필요가 없기 때문)

💡 요약

이 논문은 **"AI 가 코드를 배울 때, '자주 나오는 것'보다 '널리 퍼져 있는 것'에 집중하게 만들어라"**고 말합니다.

마치 전 세계적으로 통용되는 공통된 요리법만 배우게 하고, 한 식당에서만 쓰는 이상한 비법은 배제함으로써, AI 가 더 똑똑하고, 빠르고, 안전한 코드를 작성할 수 있도록 도와주는 것입니다.

이 기술은 AI 가 코드를 더 잘 이해하고, 실수를 줄이며, 해킹 시도를 막는 데 큰 도움이 될 것입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 효율성과 안전성은 토크나이저 (Tokenizer) 의 품질에 크게 의존합니다. 특히 코드 생성 모델에서 널리 사용되는 바이트 페어 인코딩 (BPE, Byte-Pair Encoding) 알고리즘은 훈련 데이터의 불균형 (저장소 및 언어 다양성 부족) 으로 인해 다음과 같은 심각한 문제를 야기합니다.

미훈련 토큰 (Under-trained Tokens) 의 발생: BPE 는 빈도 기반 병합을 수행하므로, 특정 저장소나 프로젝트에 국한된 반복적인 토큰 (예: 특정 변수명, 잘못된 오타가 포함된 플레이스홀더 등) 이 자주 병합되어 어휘에 포함됩니다. 그러나 이러한 토큰은 모델 훈련 중에는 거의 등장하지 않아 적절한 임베딩 표현을 학습하지 못합니다.
과적합 (Overfitting) 및 위험: 미훈련된 토큰은 모델의 어휘를 불필요하게 채울 뿐만 아니라, 할루시네이션 (Hallucination) 을 유발하거나 토큰 수준의 자일브레이크 (Jailbreak) 공격의 매개체로 악용될 수 있습니다.
코드 데이터의 특수성: 코드는 CamelCase, snake_case 와 같은 네이밍 컨벤션과 특수 기호, 주석 내 자연어 등이 혼합되어 있어, 일반적인 텍스트 토크나이징보다 더 정교한 접근이 필요합니다.

2. 방법론 (Methodology)

저자들은 BPE 훈련 과정에 정규화 (Regularization) 기법을 도입하여 과적합을 방지하고, 데이터 소스 (저장소 및 언어) 의 다양성을 고려한 새로운 알고리즘인 SA-BPE (Source-Attributed BPE) 를 제안했습니다.

핵심 아이디어: TF-IDF 의 역발상 개념을 적용합니다. TF-IDF 는 문서에 드문 단어를 강조하지만, SA-BPE 는 특정 문서 (저장소) 나 언어에만 국한된 토큰을 우선순위에서 배제하여 정규화를 수행합니다.
주요 수정 사항:
1. 병합 건너뛰기 기준 (Merge Skip Criterion):
  - 각 토큰 쌍이 포함된 저장소 수 (R) 와 언어 수 (L) 를 추적합니다.
  - 미리 설정된 임계값 ( $R_t, L_t$ ) 보다 적은 수의 저장소나 언어에서만 나타나는 병합은 훈련 과정에서 건너뜁니다. 이는 특정 프로젝트에 과적합된 토큰 생성을 원천 차단합니다.
2. 우선순위 기준 (Priority Criterion):
  - 기존 BPE 가 단순히 빈도 ( $F$ ) 를 기준으로 병합을 선택하는 것과 달리, 새로운 목적 함수를 도입합니다.
  - 예: $F \cdot \log(R+1)$ 또는 $F \cdot \log(R+1) \cdot L$ .
  - 이 방식은 다양한 저장소와 언어에 걸쳐 나타나는 보편적인 토큰의 우선순위를 높이고, 단일 저장소/언어에 국한된 토큰의 우선순위를 낮춥니다.
추론 (Inference) 단계: SA-BPE 는 훈련 단계에서만 변경이 가해지며, 추론 시에는 기존 BPE 와 동일한 절차를 따릅니다. 따라서 추론 속도와 메모리 오버헤드가 추가되지 않습니다.

3. 주요 기여 (Key Contributions)

코드 모델의 미훈련 토큰 분석: CodeGemma, Qwen 2.5 Coder, StarCoder2 등 주요 코드 모델의 어휘를 분석하여 미훈련 토큰의 주요 원인 (특정 저장소 이름, 오타가 포함된 플레이스홀더 등) 을 규명했습니다.
SA-BPE 알고리즘 제안: 저장소와 언어 정보를 활용한 정규화 기법을 BPE 에 통합하여, 과적합을 줄이고 일반화 성능을 향상시키는 방법론을 제시했습니다.
실험적 검증: 소규모 언어 모델 (Llama 기반) 을 훈련시켜 SA-BPE 가 미훈련 토큰 수를 획기적으로 줄이고, 압축률과 어휘 커버리지를 개선함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Java, Python 및 다국어 (18 개 언어) 데이터셋을 사용하여 SA-BPE 를 평가했습니다.

미훈련 토큰 감소: Magikarp 라이브러리를 이용한 분석 결과, 기본 BPE 대비 SA-BPE(특히 $F \cdot \log R \cdot L$ 우선순위 기준 적용 시) 는 검증된 미훈련 토큰 수를 640 개에서 44 개 수준으로 대폭 감소시켰습니다.
압축률 및 커버리지 향상:
- SA-BPE 는 기본 BPE 보다 **더 높은 압축률 (Compression Rate)**과 더 높은 토큰 커버리지를 달성했습니다.
- 평균 토큰 길이 (MTL) 가 감소하여, 불필요하게 긴 저장소 특화 변수명 토큰이 줄어든 것을 의미합니다.
다국어 지원: 언어 수 ( $L$ ) 를 고려한 수정안은 저자원 언어 (Low-resource languages) 의 성능을 더욱 향상시켰으며, 언어 간 형평성 (Parity) 을 개선했습니다.
비교 평가: Unigram, WordPiece, BoundlessBPE, PickyBPE 등 기존 방법론들과 비교했을 때, SA-BPE 는 압축률, 커버리지, 추론 시간 등 모든 측면에서 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

생산 환경 적용 가능성: SA-BPE 는 훈련 과정만 변경하고 추론 프로세스는 기존 BPE 와 동일하게 유지하므로, 기존 모델 파이프라인에 통합하기 쉽고 추가적인 추론 비용이 발생하지 않습니다.
안전성 및 효율성 증대: 미훈련 토큰을 줄임으로써 모델의 할루시네이션 위험을 낮추고, 자일브레이크 공격에 대한 내성을 강화할 수 있습니다.
확장성: 이 접근법은 코드 데이터뿐만 아니라, 문서나 책과 같은 데이터 소스 개념을 적용하여 자연어 처리 분야에도 확장 가능하다고 저자들은 주장합니다.

결론적으로, 이 논문은 데이터 소스 (저장소 및 언어) 의 다양성을 BPE 훈련에 명시적으로 반영함으로써, 코드 모델용 토크나이저의 과적합 문제를 해결하고 더 효율적이고 안전한 어휘를 구축하는 효과적인 방법론을 제시했습니다.