ScribeTokens: Fixed-Vocabulary Tokenization of Digital Ink

이 논문은 디지털 잉크를 고정된 10 개 어휘의 토큰으로 변환하는 'ScribeTokens'를 제안하여, 생성 및 인식 작업에서 기존 벡터 표현을 능가하는 성능을 달성하고 자기지도 학습을 통해 수렴 속도를 획기적으로 개선했다고 요약할 수 있습니다.

핵심

이 논문은 '디지털 잉크 (Digital Ink)', 즉 태블릿이나 스마트폰에 펜으로 쓴 글씨를 컴퓨터가 이해하고 다시 만들어내는 방식을 혁신한 연구입니다.

비유하자면, 이 연구는 **"글씨를 쓰는 행위를 '점'의 나열이 아니라, '작은 발걸음'의 연속으로 해석하는 새로운 언어를 개발"**한 것입니다.

핵심 내용을 쉬운 비유와 함께 설명해 드릴게요.

---

1. 기존 방식의 문제: "너무 많은 점, 너무 복잡한 지도"

기존에 컴퓨터는 우리가 쓴 글씨를 볼 때, 펜이 움직인 좌표 (x, y) 의 연속으로 보았습니다.

• 비유: 마치 지도 위에 수천 개의 작은 점을 찍어서 길을 표시하는 것과 같습니다.
• 문제점:
  • 데이터가 너무 많아요: 글자 하나를 그리기 위해 수백 개의 점이 필요해서 컴퓨터가 처리하기 무겁습니다.
  • 예측이 불안정해요: "다음 점은 어디로 갈까?"라고 예측할 때, 컴퓨터가 헷갈려서 엉뚱한 곳으로 점프하거나 글씨가 뭉개지는 경우가 많습니다.
  • 새로운 글자는 못 읽어요: 훈련하지 않은 이상한 글씨나 새로운 글자가 나오면 컴퓨터가 "이건 뭐지? (OOV, Out-of-Vocabulary)"라고 당황합니다.

2. 새로운 해결책: '스크라이브 토큰 (ScribeTokens)'

저자는 이 문제를 해결하기 위해 **10 가지의 아주 간단한 '기호'**만으로 모든 글씨를 표현하는 방법을 고안했습니다.

• 핵심 아이디어: "브레세넘 알고리즘 (Bresenham's Algorithm)"

  • 이 알고리즘은 두 점 사이를 연결할 때, 가장 가까운 격자 (눈금) 위를 따라 한 칸씩 이동하는 경로를 찾아줍니다.
  • 비유: 마치 미로 게임에서 "오른쪽, 아래, 대각선"처럼 **작은 발걸음 (Unit Step)**만 남기고 길을 그리는 것과 같습니다.

• 10 가지 기본 기호 (토큰):

  1. 8 가지 방향: ↗, ↘, ↙, ↖, →, ←, ↑, ↓ (펜이 움직이는 방향)
  2. 2 가지 상태: [펜을 내림 (DOWN)], [펜을 들음 (UP)]
  • 이 10 가지만 있으면, 어떤 복잡한 글씨든 모든 글씨는 이 작은 발걸음들의 조합으로 다시 만들어낼 수 있습니다.

• 장점:

  • OOV 없음: 세상에 어떤 글씨가 나오든, 결국은 이 10 가지 발걸음으로 나뉘기 때문에 "이건 못 알아본다"는 일이 없습니다.
  • 압축: 컴퓨터는 이 작은 발걸음들을 묶어서 (BPE) 더 큰 덩어리로 만들어 저장하므로, 데이터 양이 획기적으로 줄어듭니다.

3. 놀라운 성과: "글씨 쓰기 vs 글씨 읽기"

이 새로운 방식을 실험해 보니 두 가지 놀라운 결과가 나왔습니다.

A. 글씨를 '생성'할 때 (쓰기)

• 결과: 기존 방식 (벡터) 은 글씨를 쓰려고 하면 70% 이상 틀리는 반면, 이 새로운 방식은 17% 만 틀렸습니다.
• 비유: 기존 방식은 "다음 점의 정확한 위치를 예측"하려다 보니 헷갈려서 글씨가 뭉개졌지만, 새로운 방식은 **"다음 발걸음이 어디로 가야 하는지"**를 직관적으로 이해해서 훨씬 자연스러운 글씨를 썼습니다.

B. 글씨를 '읽을' 때 (인식)

• 결과: 미리 학습 (Pretraining) 을 시키지 않아도, 기존 방식보다 더 잘 읽었습니다.
• 비유: 다른 방식들은 글씨를 읽기 위해 엄청난 양의 예제 공부가 필요했지만, 이 방식은 글씨의 구조 (발걸음) 를 잘 이해하고 있어서 적은 공부로도 잘 읽었습니다.

4. 비밀 무기: "다음 발걸음 예측 게임" (Pretraining)

연구진은 컴퓨터에게 **"다음에 어떤 발걸음이 나올지 맞춰보는 게임"**을 먼저 시켰습니다.

• 효과: 이 게임을 먼저 한 컴퓨터는, 실제 글씨를 읽거나 쓰는 작업을 할 때 83 배나 더 빠르게 학습을 마쳤습니다.
• 이유: 컴퓨터가 "다음 발걸음"을 예측하려면 글자의 모양과 구조를 머릿속에 그려야 하기 때문입니다. 이 '구조 이해' 능력이 글씨 인식과 생성 모두에 도움이 된 것입니다.

5. 결론: 왜 이 연구가 중요한가요?

이 연구는 **"디지털 글씨를 처리하는 방식"**을 단순하고 강력하게 바꿨습니다.

• 기존: 복잡한 좌표 나열 (지도 위의 점들) → 처리 무거움, 예측 불안정.
• 새로운 방식 (ScribeTokens): 간단한 발걸음 언어 (미로 게임) → 가볍고, 정확하며, 어떤 글씨든 다 처리 가능.

마치 레고 블록을 생각해보세요. 기존 방식은 각 블록의 정확한 위치를 숫자로 기록하는 것이었다면, 이 새로운 방식은 **"오른쪽, 왼쪽, 위로 쌓기"**라는 간단한 지시어만으로도 어떤 구조든 완벽하게 재현할 수 있게 한 것입니다.

이 기술은 향후 손글씨 인식, 디지털 필기, AI 가 그림을 그리는 기술 등 다양한 분야에서 더 빠르고 정확한 AI 를 만드는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

디지털 잉크는 손글씨 인식, 수식 파싱, 스케치 합성 등 다양한 응용 분야의 핵심 모달리티이나, 이를 모델링하기 위한 통일된 표현 방식이 부재합니다. 기존 접근법들은 다음과 같은 심각한 한계를 가지고 있습니다:

• 벡터 표현 (Vector Representations): 연속적인 좌표와 펜 상태 (펜 올림/내림) 를 시퀀스로 표현합니다.
  • 단점: 시퀀스 길이가 매우 길어지고, 입력 정규화 및 시퀀스 처리에 대한 설계 선택이 까다롭습니다. 생성 작업에서는 혼합 밀도 네트워크 (Mixture Density Networks) 를 사용해야 하는데, 이는 학습 불안정성, 모드 붕괴 (mode collapse), 해석하기 어려운 확률 값 등의 문제를 야기합니다.
• 기존 토큰 표현 (Token Representations): Byte-Pair Encoding (BPE) 등을 통해 압축을 시도하지만, 다음과 같은 문제가 있습니다.
  • OOV (Out-of-Vocabulary) 문제: 캔버스 해상도에 따라 어휘 크기가 커지거나, 훈련 시 보지 못한 좌표가 발생할 경우 [UNKNOWN]으로 매핑되어 성능이 저하됩니다.
  • 취약한 문법 (Fragile Syntax): 일부 표현 (예: TextTokens) 은 자동회귀 모델이 유효하지 않은 좌표 쌍을 생성할 수 있어 잉크로 디코딩이 불가능한 경우가 발생합니다.
  • 인식 성능 저하: 기존 연구에 따르면 토큰 기반 모델은 벡터 기반 모델보다 인식 성능이 낮은 경우가 많았습니다.

2. 방법론 (Methodology)

저자는 ScribeTokens를 제안하며, 이는 디지털 잉크를 **단위 픽셀 단계 (unit pixel steps)**로 분해하여 고정된 10 개의 기본 토큰으로 표현하는 방식입니다.

핵심 기술

1. 브레센햄 분해 (Bresenham Decomposition):
   • 펜의 이동 경로를 인접한 픽셀 간의 단위 단계로 분해합니다.
   • 브레센햄 알고리즘 (Bresenham's line algorithm): 두 점 사이의 직선 구간을 정수 격자로 래스터화하여 최적의 인접 픽셀 경로를 생성합니다.
   • 프리먼 체인 코드 (Freeman chain codes): 각 단위 단계를 8 방향 (상하좌우 및 대각선) 중 하나로 인코딩합니다.
2. 고정된 기본 어휘 (Fixed Base Vocabulary):
   • 8 개의 방향 토큰: →, ↑, ←, ↓, ↗, ↖, ↙, ↘
   • 2 개의 펜 상태 토큰: [DOWN] (펜 터치), [UP] (펜 리프트)
   • 총 10 개의 기본 토큰으로 모든 디지털 잉크를 표현할 수 있으며, 이는 OOV 가 발생하지 않음을 보장합니다.
3. BPE 압축:
   • 기본 10 개 토큰 위에 Byte-Pair Encoding (BPE) 을 적용하여 시퀀스 길이를 압축합니다.
   • [UP]과 [DOWN] 토큰은 절대 병합되지 않도록 제한하여 획 (stroke) 의 경계를 명시적으로 유지합니다.
   • 모든 병합된 토큰은 다시 기본 방향 토큰으로 분해 가능하므로 OOV-free 특성이 유지됩니다.
4. 샘플링 불변성 (Sampling Invariance):
   • 입력의 샘플링 빈도나 점 밀도와 무관하게, 격자 상에서 동일한 래스터화 경로를 가진 잉크는 동일한 토큰 시퀀스를 생성합니다. 이는 다양한 입력 조건에서의 일반화 능력을 향상시킵니다.

사전 학습 전략: Next-Ink-Token Prediction

• 자기 지도 학습 (Self-supervised Pretraining): 레이블이 없는 데이터에서 다음 잉크 토큰을 예측하는 작업을 통해 모델을 사전 학습시킵니다.
• 이 전략은 토큰 임베딩이 초기에 공간적 의미를 갖지 않는다는 '콜드 스타트 (cold-start)' 문제를 해결하고, 모델이 잉크 신호에서 구조를 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. ScribeTokens 제안:
   • OOV 가 발생하지 않고, 고정된 10 개 기본 어휘를 가지며, 강력한 문법 (모든 토큰 시퀀스가 유효한 잉크로 디코딩됨) 을 가진 최초의 토큰화 방법입니다.
   • 전통적인 토큰화 중 유일하게 사전 학습 없이도 벡터 표현보다 손글씨 인식 성능이 뛰어납니다.
2. 효과적인 사전 학습 전략 입증:
   • 'Next-Ink-Token Prediction'이 토큰 기반 모델의 인식 성능을 일관되게 향상시키고, 수렴 속도를 최대 83 배까지 가속화함을 증명했습니다.
   • 벡터 기반 모델 (Point-5) 에서는 사전 학습이 오히려 성능을 저하시키는 반면, 토큰 기반 모델에서는 큰 개선을 보였습니다.
3. 성능 기록 달성:
   • 사전 학습을 적용한 ScribeTokens 는 IAM 및 DeepWriting 데이터셋에서 모든 표현 방식 중 가장 높은 인식 성능을 기록했습니다.

4. 실험 결과 (Results)

논문은 IAM (문장 단위, 긴 시퀀스, 적은 데이터) 과 DeepWriting (단어 단위, 짧은 시퀀스, 많은 데이터) 데이터셋을 사용하여 평가했습니다.

손글씨 인식 (Handwritten Text Recognition, HTR)

• 사전 학습 없이: ScribeTokens 는 DeepWriting 에서 벡터 기반 (Point-5) 보다 우수한 성능을 보였으며, IAM 에서는 다른 토큰 모델들보다 나았습니다.
• 사전 학습 적용 시:
  • IAM: ScribeTokens + PT 가 8.27% CER (Character Error Rate) 을 기록하여 모든 방법 중 최고 성능을 달성했습니다. (기존 벡터 기반 Point-5 는 9.43% → 13.63% 로 오히려 저하됨).
  • DeepWriting: ScribeTokens + PT 가 9.83% CER로 최고 성능을 기록했습니다.
  • 수렴 속도: 사전 학습을 통해 ScribeTokens 는 인식 작업에서 21 배, 생성 작업에서 83 배 빠른 수렴을 보였습니다.

손글씨 생성 (Handwritten Text Generation, HTG)

• 생성 성능: 토큰 표현이 벡터 표현보다 생성 작업에 훨씬 효과적이었습니다.
  • IAM: ScribeTokens 는 17.33% CER (벡터 기반 70.29% 대비 압도적 우위) 을 기록했습니다.
  • DeepWriting: RelTokens 가 가장 좋았으나, ScribeTokens 도 경쟁력 있는 성능을 보였습니다.
• 사전 학습의 영향: IAM 과 같이 데이터가 부족하고 시퀀스가 긴 환경에서 사전 학습의 효과가 극대화되었습니다.

5. 의의 및 결론 (Significance)

• 표준화된 토큰화: ScribeTokens 는 디지털 잉크를 위한 표준적이고 OOV-free 인 토큰화 방식을 제시하여, 대규모 언어 모델 (LLM) 아키텍처를 디지털 잉크 처리에 안정적으로 적용할 수 있는 길을 열었습니다.
• 생성 및 인식의 균형: 기존 토큰화 방법들은 인식 성능이 낮거나 생성이 불안정했으나, ScribeTokens 는 두 작업 모두에서 최상의 성능을 달성했습니다.
• 효율적인 학습: 자기 지도 학습 (Next-Ink-Token Prediction) 을 통해 모델이 잉크의 공간적 구조를 효과적으로 학습하도록 유도하여, 데이터가 부족한 환경에서도 높은 성능을 발휘할 수 있게 했습니다.
• 한계 및 향후 작업: 현재는 영어 손글씨와 단일 Transformer 모델에 국한되어 평가되었으며, 다양한 언어, 태스크, 모델 아키텍처로 확장 필요성이 있습니다. 또한, 대규모 비레이블 데이터셋을 활용한 사전 학습의 잠재력을 더 탐구할 필요가 있습니다.

결론적으로, 이 논문은 디지털 잉크 처리를 위한 새로운 패러다임을 제시하며, 고정된 어휘와 브레센햄 알고리즘 기반의 분해가 어떻게 안정적이고 효율적인 딥러닝 기반 잉크 처리를 가능하게 하는지 입증했습니다.