💬 NLP

Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices

이 논문은 엣지 장치에서 표준 cl100k 기반 토크나이저와 동일한 출력을 유지하면서 마이크로벤치마크 처리량을 최대 2.48 배, 전체 인코딩 속도를 1.14 배 향상시키는 바이트 레벨 BPE 를 위한 고도로 최적화된 정규식 없는 프리토크나이저인 Peek2 를 소개합니다.

원저자: Liu Zai, Iraklis Klampanos

게시일 2026-05-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liu Zai, Iraklis Klampanos

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구에게 긴 편지를 보내려는데, 친구가 짧은 특정 코드 단어만 이해한다고 상상해 보세요. 편지를 보내기 전에 문장을 그 코드 단어들로 분해해야 합니다. 이 과정을 토큰화(tokenization) 라고 하며, GPT-3 나 LLaMa 와 같은 컴퓨터가 인간의 언어를 이해하는 방식입니다.

지금 읽고 계신 논문은 Peek2라는 새로운 도구를 소개합니다. 그 작동 원리를 간단히 설명하면 다음과 같습니다:

문제: "정규식 (Regex)" 교통 체증

현재 대부분의 컴퓨터는 텍스트를 이러한 코드 단어로 분할하기 위해 정규식 (Regular Expressions, Regex) 이라는 방법을 사용합니다. 정규식을 클럽 입구에 있는 매우 엄격하고 복잡한 보안 요원으로 생각해보세요.

요원에게는 방대한 규칙 목록 (Branches) 이 있습니다.
한 사람 (문자) 이 도착하면, 요원은 규칙 1 을 확인합니다. 맞지 않으면 규칙 2 를 확인하고, 실패하면 규칙 3 을 확인하는 식으로 계속합니다.
이 "확인, 실패, 다시 확인" 과정은 특히 노트북이나 태블릿 같은 소형 저전력 장치 (Edge devices) 에서 느립니다. 마치 요원이 사람이 올 때마다 거대한 규칙책을 넘겨보며 기다리게 만드는 것과 같습니다.

해결책: "Peek2" 단축키

저자들은 이 작업을 훨씬 더 빠르고 메모리를 적게 사용하는 새로운 방법인 Peek2를 개발했습니다.

요원이 규칙책을 넘기는 대신, Peek2 는 요약표 (lookup table) 를 사용합니다.

"Peek(peek)": 한 글자씩 확인하는 대신, Peek2 는 한 번에 두 글자를 봅니다 (앞을 내다보는 것처럼).
범주화: 이 두 글자를 간단한 통으로 빠르게 분류합니다 (예: "공백인가?", "숫자인가?", "문자인가?").
요약표: 두 개의 통만 보면 되므로, 저자들은 작은 7x7 격자 (스도쿠 보드와 같은) 를 만들었습니다. 두 통을 보고 격자에서 해당 칸을 찾으면, 격자가 즉시 다음에 무엇을 해야 하는지 알려줍니다.

비유:

기존 방식 (Regex): 미로 앞에 서 있습니다. 왼쪽 문을 시도합니다. 잠겨 있습니다. 오른쪽 문을 시도합니다. 잠겨 있습니다. 뒷문을 시도합니다. 열려 있습니다. 통과합니다. 그런 다음 줄에 있는 모든 사람마다 이 과정을 반복합니다.
새로운 방식 (Peek2): 거대한 지도가 하나 붙어 있는 벽 앞에 서 있습니다. 현재 위치를 가리키면 지도가 즉시 출구까지 선을 그어줍니다. 추측도, 잠긴 문도 없이 직진 경로만 있을 뿐입니다.

왜 이것이 중요한가요?

논문은 "미로"를 "지도"로 교체함으로써 프로세스가 훨씬 빨라졌다고 주장합니다:

속도: 일부 테스트에서 분할 단계만으로도 2.48 배 더 빠릅니다.
전체: 텍스트를 코드 단어로 변환하는 전체 작업을 볼 때, 전체적으로 약 14% 더 빠릅니다.
정확도: 기존 방법과 정확히 동일한 결과를 생성합니다. 이는 "드롭인 교체 (drop-in replacement)"로, 시스템을 변경하거나 고장 내지 않고 기존 요원을 새로운 요원으로 교체할 수 있음을 의미합니다.

함정 (한계점)

논문은 이 도구가 무엇을 하지 않는지 솔직하게 밝힙니다:

특정 장치를 위한 것: 데스크톱 컴퓨터에서 테스트되었습니다. 저자들은 이것이 휴대폰과 태블릿에서도 작동하기를 희망하지만, 아직 증명하지는 못했습니다.
특정 모델을 위한 것: "cl100k" 스타일을 사용하는 모델 (GPT-3 및 LLaMa-3 등) 에 작동합니다. 모든 AI 모델을 마법처럼 고쳐주지는 않습니다.
버그 유지: 기존 방법에는 단어를 잘못 분할하는 것과 같은 이상한 실수가 있었습니다. Peek2 는 기존 방법의 행동을 정확히 복제하도록 설계되었기 때문에, 이러한 동일한 실수를 그대로 유지합니다. 이러한 실수를 수정하려면 AI 모델을 재학습시켜야 하는데, 이는 단순히 도구를 교체하는 것보다 훨씬 더 큰 작업입니다.

요약하자면: Peek2 는 AI 를 위해 텍스트를 분할하는 더 똑똑하고 빠른 방법으로, 슈퍼컴퓨터 없이도 일상적인 장치에서 원활하게 실행되도록 특별히 설계되었습니다.

"Peek2: 엣지 장치용 LLM 추론을 위한 정규식 없는 바이트 레벨 바이트 페어 인코딩 프리토크나이저"에 대한 상세 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 원시 텍스트를 토큰 시퀀스로 변환하기 위해 바이트 레벨 바이트 페어 인코딩 (BPE) 토크나이저에 의존합니다. 이 과정의 중요한 초기 단계는 프리토크나이징으로, 페어 병합 단계 전에 텍스트를 더 작은 조각으로 분할합니다.

현재 상태: 대부분의 프리토크나이저 (특히 GPT-3, LLaMa-3, Qwen-2.5 에서 사용하는 cl100k 표준) 는 **정규식 (Regex)**에 의존합니다.
병목 현상: 정규식 컴파일 및 실행은 고성능 서버 CPU 에서는 허용 가능하지만, 다음과 같은 이유로 엣지 장치(데스크톱, 노트북, 임베디드 시스템) 에서는 상당한 오버헤드를 초래합니다:
- 제한된 처리 능력.
- 제한된 메모리.
- 복잡한 정규식 엔진에 필요한 특정 명령어 세트의 부재.
- 프리토크나이징 단계의 순차적이며 비병렬화 가능한 특성.
제약 조건: 모든 최적화는 원본 학습 프리토크나이저와 버그 대 버그 (bug-for-bug) 호환성을 유지해야 합니다. 모델을 재학습하지 않고 분할 경계를 변경하면 BPE 압축률과 하류 성능이 저하됩니다.

2. 방법론: Peek2 알고리즘

저자들은 cl100k 프리토크나이저의 정규식 없는 재구현인 Peek2를 제안합니다. 비결정성 유한 오토마타 (NFA) 나 복잡한 정규식 매칭 대신 Peek2 는 Hopcroft 의 DFA 최소화 알고리즘에서 영감을 받은 결정론적, 테이블 기반 접근 방식을 활용합니다.

주요 기술 구성 요소:

문자 분류 (PeekCategorize):
복잡한 패턴에 대한 원시 유니코드 스칼라 값 매칭 대신, Peek2 는 각 문자를 유니코드 클래스에 기반하여 7 개의 이산 카테고리 중 하나로 먼저 매핑합니다:
1. ASCII 공백
2. ASCII 단일 따옴표
3. ASCII CR/LF
4. 유니코드 문자
5. 유니코드 공백
6. 유니코드 숫자
7. 기타 모든 스칼라
  이로 인해 입력 공간이 $10^5$ 개 이상의 잠재적 스칼라에서 단 7 개의 카테고리로 축소됩니다.
분기 결정 룩업 테이블:
- 원래 정규식 로직은 엔진이 순차적으로 매칭을 시도하고 실패 시 되돌아가는 (fail back) 계층적 분기 (Branch0 에서 Branch6 까지) 를 포함합니다.
- Peek2 는 이 순차적인 "시도 및 실패" 로직을 $7 \times 7$ 룩업 테이블로 대체합니다.
- 알고리즘은 현재 문자와 다음 문자를 미리 확인 (peek) 하여 해당 카테고리를 결정하고, 해당 쌍 (튜플) 을 인덱스로 사용하여 테이블을 참조합니다.
- 테이블 항목은 실행할 분기 ID(0–6) 를 직접 반환하여 백트래킹이나 스택 기반 실패 처리의 필요성을 제거합니다.
알고리즘 흐름:
1. 현재 문자와 다음 문자를 분류합니다.
2. 단일 테이블 조회를 수행하여 올바른 분기 핸들러를 선택합니다.
3. 특정 분기 로직을 실행합니다 (이는 특정 분할 유형만 처리하도록 단순화됨).
4. 나머지 문자열을 재귀적으로 처리합니다.

복잡도 분석:

시간 복잡도: $O(n)$ 입니다. 여기서 $n$ 은 입력 길이입니다. NFA 기반 정규식 엔진의 $O(n \times k)$ 또는 $O(n \times m)$ 과 비교하여 각 문자는 한 번 (또는 드문 폴백 사례에서 두 번) 방문됩니다.
공간 복잡도: $O(1)$ 입니다. 룩업 테이블은 고정 크기 ( $7 \times 7$ ) 이며, 정규식 컴파일러가 생성하는 복잡한 상태 머신에 비해 무시할 수 있는 메모리만 필요합니다.

3. 주요 기여

정규식 없는 구현: cl100k 프리토크나이저에 대한 정규식 의존성을 완전히 제거하고, 복잡한 패턴 매칭을 경량 결정론적 상태 머신으로 대체했습니다.
엣지 최적화: 저자원 환경을 위해 특별히 설계되었으며, 정규식 컴파일 오버헤드 없이 일정한 메모리 사용량과 선형 시간 복잡도를 제공합니다.
버그 대 버그 호환성: 이 알고리즘은 수학적으로 원래 정규식 기반 cl100k 토크나이저와 동일한 분할 경계를 생성함이 증명되어 모델 재학습이 필요하지 않습니다.
오픈 소스 통합: 구현체가 Hugging Face tokenizers 라이브러리(Safe Rust) 에 통합되어 커뮤니티에서 즉시 사용할 수 있게 되었습니다.

4. 실험 결과

저자들은 Intel Core i5-13600KF CPU 에서 네 가지 데이터셋 (영어 (en), 중국어 (cn), 코드 (code), 수학 (math)) 에 대해 Peek2 를 테스트했습니다.

마이크로 벤치마킹 (프리토크나이징 단계만):
- 처리량 증가: 원래 정규식 구현체보다 최대 2.48 배 빠릅니다.
- 데이터셋 편차:
  - 영어 (en): 약 2.48 배 속도 향상 (단어 수준 토크나이징으로 인한 가장 높은 이득).
  - 중국어 (cn): 약 2.20 배 속도 향상 (이 단계에서 중국어 분할이 덜 세분화되어 이득이 낮음).
- 정확도: 기준이 되는 정규식 토크나이저와 100% 동일한 출력.
종단 간 벤치마킹 (전체 BPE 파이프라인):
- 전체 처리량: 모든 작업 (인코딩 및 BPE 학습) 에서 1.03 배에서 1.14 배 개선되었습니다.
- 코드/수학에 미치는 영향: 이러한 데이터셋은 프리토크나이징에 크게 의존하고 하류 페어 병합 작업이 적기 때문에 인코딩 작업에서 가장 큰 상대적 이득을 보였습니다.
- 시간 단축: code 데이터셋에서 프리토크나이징 시간이 전체 파이프라인 시간의 **22.8%**에서 **14.0%**로 감소했습니다.

5. 의의 및 향후 작업

의의: Peek2 는 엣지 기반 LLM 추론의 중요한 병목 현상을 해결합니다. 순차적 프리토크나이징 단계를 최적화함으로써 소비자 하드웨어에서 더 빠른 콜드 스타트 시간과 더 높은 처리량을 가능하게 하여, 서버 중심에서 엣지 - 클라우드 하이브리드 추론 아키텍처로의 전환을 촉진합니다.
한계 및 향후 방향:
- 현재 cl100k 스타일 프리토크나이저로만 제한됩니다.
- 실험은 데스크톱 CPU 에서 수행되었으며, 향후 작업은 임베디드 장치에서 테스트하고 알고리즘을 TPU/APU 로 포팅하는 것을 목표로 합니다.
- 저자들은 Peek2 가 현재의 (버그가 있는) 정규식 동작과 호환되지만, 원본 학습 데이터에는 일부 분할 "버그"(예: 축약형 오해석) 가 존재한다고 지적합니다. 이러한 버그를 수정하려면 모델 재학습이 필요하며, 이는 이 최적화의 범위를 벗어납니다.

요약하자면, Peek2는 복잡한 정규식 로직을 단순한 분류 기반 룩업 테이블로 대체함으로써 모델 성능을 희생하거나 재학습을 요구하지 않고도 엣지 장치에서 LLM 토크나이징을 크게 가속화할 수 있음을 보여줍니다.