기술 요약: ReconSpan: 재구성 가이드형 적응적 잠재 토큰화 (Reconstruction-Guided Adaptive Latent Tokenization)

문제 정의

기존의 언어 모델은 고정된 서브워드 토크나이저(예: BRP, WordPiece)에 의존하며, 이는 모델 실행 전 코퍼스 수준의 빈도 통계에 따라 토큰 경계를 결정합니다. 이러한 고정된 입도는 입력 내용이나 난이도에 적응하지 못하므로, 미세한 정보의 효율적인 표현에 실패하거나 불필요하게 긴 시퀀스를 생성할 수 있습니다. 바이트(byte) 또는 문자(character) 수준의 입력은 미세한 세부 사항을 보존하지만, 결과적으로 시퀀스 길이를 크게 늘려 계산 비용을 증가시킵니다. 적응적 잠재 토큰화(Adaptive latent tokenization)는 인접한 단위들을 입력 의존적인 스팬(span)으로 그룹화하여, 각 스팬을 하나의 연속적인 잠재 토큰으로 표현하는 것을 목표로 합니다. 그러나 기존의 스팬 경계 결정 방식은 고정된 위치, 예측 엔트로피, 또는 언어 모델링 목적 함수의 일부로 학습된 라우터에 의존하는 경우가 많으며, 결과로 생성된 잠재 표현이 원래의 텍스트를 재구성하기에 충분한지를 보장하는 직접적인 메커니즘이 부족합니다.

방법론

본 논문은 **재구성 충실도(reconstruction fidelity)**를 기반으로 텍스트를 청크(chunk)로 나누는 적응적 잠재 토큰화 방법인 ReconSpan을 소개합니다. 핵심 전제는 하나의 문맥적 접두사 코드(contextual prefix code)로부터 역방향 디코더가 성공적으로 재구성할 수 있는 만큼 청크가 길어야 한다는 것입니다.

아키텍처

ReconSpan은 두 가지 학습된 구성 요소를 활용합니다:

1. 접두사 인코더 ($E$): 임의의 토큰 시퀀스 $x_{1:t}$를 단일 연속 코드 $c_t$로 매핑하는 인과적 모델(예: Transformer)입니다.
2. 역방향 디코더 ($D$): 코드 $c_t$를 입력받아 이전 토큰들($x_t, x_{t-1}, \dots$)을 역순으로 재구성하려고 시도하는 모델입니다.

역방향 디코더의 사용이 결정적인 이유는, 디코더가 올바른 토큰을 예측하는 데 처음으로 실패하는 지점이 해당 단일 코드가 얼마나 멀리까지 "도달"할 수 있는지를 측정하는 직접적인 척도가 되기 때문입니다.

청킹 알고리즘

토큰화 과정은 추론 시점에 탐욕적(greedy)인 교사 강제(teacher-forced) 알고리즘을 사용하여 수행됩니다:

1. 인코더는 단 한 번의 패스로 전체 입력 시퀀스에 대한 접두사 코드를 생성합니다.
2. 마지막 위치에서 시작하여, 역방향 디코더는 역순으로 토큰을 재구성하려고 시도합니다.
3. 이 과정은 **중단 규칙(stopping rule)**이 트리거될 때까지 계속됩니다. 논문은 두 가지 유형의 중단 규칙을 정의합니다:
   • Failure($m$): $m$번째 토큰이 잘못 재구성되었을 때 중단합니다.
   • Logit-gap($\tau$): 정답 토큰의 예측 로짓과 최대 로짓 사이의 누적 격차가 임계값 $\tau$를 초과할 때 중단합니다.
4. 성공적으로 재구성된 접미사(suffix)가 하나의 청크가 됩니다. 해당 청크의 끝 경계에 해당하는 접두사 코드가 그 청크의 잠재 토큰으로 유지됩니다.
5. 전체 텍스트가 커버될 때까지 첫 번째 재구성되지 않은 위치부터 이 과정을 반복합니다.

학습

모델은 오직 오토인코더 재구성 목적 함수만으로 학습됩니다. 인코더와 디코더는 공동으로 학습되며(동결된 인코더 사전 학습 단계를 포함한 2단계 과정), 스팬 할당은 명시적인 길이 목적 함수를 타겟팅하지 않습니다. 대신, 디코더의 재구성 능력으로부터 자연스럽게 발생합니다. 이를 통해 모델을 재학습시키지 않고도 중단 규칙 임계값을 조정함으로써 사후 학습 제어가 가능한 그래뉴러티(granularity, 입도) 조절이 가능해집니다.

주요 기여

1. 할당 기준으로서의 재구성 충실도: 본 논문은 고정된 위치, 엔트로피, 또는 의미적 유사성과 구별되는, 역방향 재구성 도달 범위를 적응적 잠재 토큰 경계를 결정하는 주요 신호로 사용하는 것을 제안합니다.
2. 사후 학습 그래뉴러티 제어: 저자는 단일 학습된 오토인코더가 중단 규칙을 완화함으로써 평균 청크 길이를 다양하게 지원할 수 있음(6.5에서 12.2 토큰 사이)을 보여주며, 이는 시퀀스 길이와 재구성 품질 사이의 유연한 트레이드오프를 제공합니다.
3. 잠재 정보의 특성화: 직접적인 판독(readout) 실험을 통해, 본 논문은 오토인코더가 보유한 정보와 다운스트림 독자(reader)가 접근 가능한 정보 사이를 구분합니다.

결과

토큰화 특성

• 재구성 품질: ReconSpan 경계는 네이티브 재구성 작업에서 길이 기반 무작위 경계보다 우수한 성능을 보입니다. 예를 들어, WikiText에서 평균 청크 길이가 6.5인 ReconSpan은 퍼플렉서티(perplexity) 15.95를 달 기록한 반면, 무작위 경계는 20.03을 기록했습니다.
• 적응적 스팬 할당: 이 방법은 가변적인 청크 길이를 생성하며, 어려운 스팬에는 짧은 청크를, 쉬운 스팬에는 긴 청크를 할당합니다. 그러나 엄격한 규칙(Failure(1)) 하에서 발생하는 청크 중 상당 부분은 단일 토큰이며(청크의 28.1%, 텍스트의 4.3% 점유), 저자는 이를 역방향 디코딩 과정의 기계적 산물이라고 언급합니다.
• 의미적 기하학: 원시 잠재 코드는 강한 의미적 클러스터링을 보이지 않으며(SONAR와 비교했을 때 MTEB 벤치마크 성능이 낮음), 이는 코드가 의미적 유사성이 아닌 재구성에 최적화되어 있음을 나타냅니다.

다운스트림 판독(Readout)

• 주제 vs 세부 사항: 잠재 토큰으로부터 텍스트를 직접 예측하도록 학습된 다운스트림 언어 모델(독자)은 주제 정보(예: AG News 분류 정확도가 원본 텍스트와 유사함)는 안정적으로 회복하지만, 정확한 어휘적 세부 사항(예: LAMBADA 단어 예측이 왕복 재구성 베이스라인보다 훨씬 낮음)을 추출하는 데는 어려움을 겪습니다.
• 태스크 적응: 특정 태스크에 대해 독자를 지도 미세 조정(supervised fine-tuning)하면, 직접 판독과 네이티브 재구성 사이의 격차를 줄일 수 있으며, 특히 HotpotQA와 같은 검색 태스크에서 효과적입니다. 다만, 정확한 세부 사항 추출은 여전히 한계로 남습니다.
• 강건성: 특정 그래뉴러티(예: Failure(1))로 학습된 독자는 재학습 없이도 더 거친 그래뉴러티(예: Failure(2))에서 기능적으로 작동합니다.

의의 및 주장

본 논문은 ReconSpan이 적응적 잠재 토큰화를 위한 실용적이고 제어 가능한 기준으로서 재구성 충실도를 확립했음을 주장합니다. 주요 의의는 다음과 같습니다:

• 단일 오토인코더가 동일한 시퀀스 길이에서 무작위 경계보다 더 많은 텍스트를 보존하는 가변 길이 잠재 토큰을 생성할 수 있음을 입증했습니다.
• 오토인코더가 보유한 정보(고품질 재구성에 충분함)와 다운스트림 독자가 접근 가능한 정보(의미 전달은 강하나 정확한 세부 사항 전달은 약함) 사이의 간극을 강조했습니다.
• 핵 모델을 재학습시키지 않고도 입력 의존적 할당 및 사후 학습 제어를 위한 메커니즘을 제공했습니다.

저자는 현재의 한계에 대해 겸허한 태도를 유지하며, "정확한 세부 사항 판독"이 현재 시스템의 핵심적인 제한 사항임을 인정합니다. 또한, 추가적인 연구 없이는 경계가 반드시 언어적 구조(통사론 또는 담화)와 일치하지는 않는다는 점도 명시했습니다. 이 연구는 입력 콘텐츠의 난이도에 따라 표현 용량을 동적으로 할당하는 방법에 대한 이해를 위한 단계로 제시되었습니다.