기술 요약: 대규모 언어 모델에서의 창발적 재토큰화 대칭성 (Emergent Retokenization Symmetry in Large Language Models)

문제 정의

대규모 언어 모델(LLM)의 토큰화는 표현상의 중복성을 유발한다: 단일 바이트 문자열이 동일한 표면 텍스트로 디코딩되는 여러 유효한 토큰 시퀀스(분절)로 분해될 수 있기 때문이다. 표준 토크나이저(예: BPE, WordPiece)는 일반적으로 탐욕적(greedy) 또는 동적 계획법 알고리즘을 통해 단 하나의 "정준적(canonical)" 분절을 선택한다. 이러한 정준적 형태를 기반으로 학습하는 것이 일반적이지만, 모델이 의미론적으로 동일한 비정준적 분절을 불변의 입력으로 처리하도록 학습하는지는 여전히 불분명하다.

기존 연구들은 토큰화가 모델의 취약성을 유발하는 원인임을 강조해 왔다(예: 모델이 문자 수준 작업이나 철자 민감 작업에서 실패하는 현상). 반대로, 최근 연구들은 모델이 서브워드(subword) 시퀀스로부터 전체 단어 표현을 복구하는 등 창발적인 구성적 이해력을 가질 수 있음을 시사한다. 그러나 분절 불변성(동일한 문자열의 서로 다른 분절을 동일하게 취급하는 것)과 분절 민감성(서로 다른 분절이 서로 다른 내부 상태와 출력을 유도하는 것) 사이의 트레이드오프를 이해하는 데에는 공백이 존재한다. 기존의 대부분의 입력 섭동 연구(예: 패러프레이징, 오타)는 표면 문자열을 변경함으로써 의미론적 변화와 표현의 강건성(robustness)을 혼동시킨다. 따라서 밑바탕이 되는 바이트 문자열, 구문, 의미를 변경하지 않고 오직 토큰화의 효과만을 격리하여 조사할 수 있는 통제된 프로브(probe)가 필요하다.

방법론

저자들은 **재토큰화(retokenization)**를 통제된 추론 시점의 개입(intervention)으로 도입한다. 고정된 어휘집과 바이트 문자열 $s$가 주어졌을 때, 다음과 같이 정의한다:

• $E_0(s)$: 정준적 토큰 인코딩.
• $E_\mu(s)$: 동일한 어휘집 하에서의 $s$에 대한 다른 모든 유효한 분절.

핵심 실험 설정은 **재토큰화 샘플링(Retokenization Sampling)**이다:

1. 확률적 재토큰화: 주어진 프롬프트에 대해, 저자들은 $p_{retok}$의 확률로 토큰을 무작위로 재분절하는 알고리즘(유효한 분해로부터 균등하게 샘플링하는 알고리즘 사용)을 사용하여 $k$개의 유효한 비정준적 분절을 생성한다.
2. 탐욕적 디코딩(Greedy Decoding): 모델을 각 분절된 프롬프트에 대해 탐욕적 디코딩(온도 = 0)으로 실행한다. 이는 출력의 다양성이 출력 샘플링의 무작위성이 아닌, 오직 입력 표현으로부터 발생하도록 보장하기 위함이다.
3. 지표: 저자들은 적어도 하나의 $k$개 재토큰화된 프로ンプ트가 정답을 도출할 확률을 **pass@retok(k)**로 정의한다. 이는 표준 pass@k 지표의 직접적인 대응물이며, 여기서 다양성은 출력의 확률적 변동이 아닌 입력의 분절에서 기인한다.

본 연구는 다음 모델 및 벤치마크를 통해 이 방법론을 적용한다:

• 모델: OLMo-2 제품군(7B 파라미터)의 다양한 학습 단계(사전 학습, SFT, DPO, Instruct) 및 기타 모델 제품군(Qwen3, Llama-3.1, Gemma, Pythia).
• 벤치마크: HumanEval (코드 생성), GSM8K (수학 추론), GSM8K Python (코드 매개 수학), MMLU (지식 검색).
• 비교 대상: 저자들은 재토큰화를 다음 항목들과 비교한다:
  • 정준적 온도 샘플링(Canonical Temperature Sampling): 표준적인 출력 측 다양성.
  • 오타 샘플링(Typo Sampling): 표면 문자열을 변경하는 입력 섭동 (덜 통제되었지만 더 강력한 탐색 축).
  • 은닉 상태 분석(Hidden State Analysis): 레이어 전반에 걸친 잠재 표현의 변위(displacement) 및 분산(variance) 측정.

주요 기여

1. 통제된 프로브로서의 재토크나이즈: 저자들은 재토큰화를 의미 보존적 개입으로 공식화한다. 이는 오직 고정된 바이트 문자열의 토큰 수준 분해만을 변경하므로, 분절 효과를 의미론적 또는 구문적 변화로부터 깨끗하게 격리할 수 있게 한다.
2. 창발적 대칭성과 잔여 민감성: 은닉 상태 분석을 통해, 저자들은 비정준적 분절의 내부 표현이 함께 클러스터링된다는 점(창발적 대칭성 시사)을 보여주는 동시에, 이들이 정준적 상태로 완전히 붕괴되지 않는다는 점을 입증한다. 즉, "잔여 민감성(residual sensitivity)"이 존재하며, 이는 특히 모델의 마지막 레이어에서 두드러진다. 이러한 민감성은 사전 학습 및 사후 학습 과정에서 점진적으로 학습된다.
3. 재토큰화 샘플링 프로토콜: 저자들은 입력 표현의 다양성이 작업 성공에 어떻게 영향을 미치는지 정량화하기 위해 pass@retok(k)를 도입한다. 이 지표는 표준 pass@k와 유사하게 수확 체감의 상승 곡선을 그리며, 서로 다른 분절이 독특하고 유용한 궤적을 노출함을 보여준다.
4. 작업 의존적 이득 및 강건성 추세:
   • 실패한 솔루션의 회복: HumanEval 및 GSM8K에서, 재토큰화 샘플링은 정준적 디코딩이 놓친 정답을 찾아낸다.
   • 구조적 다양성: HumanEval에 대한 AST 기반 분석 결과, 재토큰화된 생성물들은 단순히 하나의 정준적 템플릿에 머물지 않고 상당한 범위의 프로그램 구조를 포괄한다.
   • 모델 스케일링: 강력한 모델은 일반적으로 재토큰화 상황에서도 강력함을 유지하며, 분절 강건성은 전반적인 모델 능력과 궤를 같이한다.
5. 연산 효율성 분석: 저자들은 일치된 프롬프트-토큰 예산 하에서 재토큰화를 온도 및 오타 샘플링과 비교한다. 재토큰화가 고유한 다양성을 제공하기는 하지만, 비정준적 분절이 종종 프롬프트 길이를 증가시키기 때문에 온도 샘플링보다 연산 효율성이 낮다는 것을 발견했다.

결과

• 표현 공간: 사전 학습 과정 동안, 재토큰화에 따른 잠재 표현의 변위(bias)와 분산(variance)은 감소하지만 완전히 사라지지는 않는다. 마지막 레이어가 분절 변화에 대해 가장 큰 민감도를 보인다.
• 행동적 성능:
  • HumanEval: 재토کن화 샘플링은 정준적 pass@k 대비 가장 큰 격차를 보이며, 구조적으로 다양한 정답 프로그램을 회복한다. 일부 작업은 오직 재토큰화 샘플링에 의해서만 해결된다.
  • GSM8K & GSM8K Python: 재토큰화가 성능을 향상시키지만, 코드 생성에 비해 정준 샘플링과의 격차는 작다.
  • MMLU: 작고 이산적인 정답 공간으로 인해, 반복적인 샘플링(정준 및 재토큰화 모두)이 빠르게 포화되어 pass@retok의 차별성이 덜 두드러진다.
• 학습 역학: pass@k와 pass@retok(k) 모두 사전 학습 중에 개선되며, 사후 학습(SFT, DPO, Instruct) 단계에서 급격한 상승을 보인다. 이는 분절 불변성이 모델 능력과 함께 확장되는 학습된 속성임을 시사한다.
• 오타와의 비교: 오타 샘플링은 일반적으로 정확도 이득 측면에서 재토큰화보다 우수하지만, 가시적인 텍스트를 변경하므로 통제력이 떨어진다. 재토큰화는 분절 특유의 효과를 측정하는 데 있어 가장 "깨끗한" 프로브로 남는다.
• 다양성: 재토큰화된 생성물들은 단일 템플릿으로 붕괴되지 않으며, 온도 샘플링된 생성물들과 필적하는 범위의 프로그램 구조를 탐색한다.

의의 및 주장

본 논문은 재토큰화를 단순하면서도 강력한 프로브로 규정하며, 두 가지 주요 통찰을 제공한다:

1. 과학적 통찰: 모델이 창발적이고 부분적인 분절 대칭성을 보유하고 있음을 밝혀낸다. 모델은 정준적 토큰화에 엄격하게 묶여 있지 않으며 동일한 입력을 다양한 방식으로 처리할 수 있지만, 계산에 영향을 미치는 잔여 민감성을 유지한다. 이는 토큰화가 단순히 압축 단계라는 관점에 도전하며, 그것이 모델의 계산 인터페이스의 근본적인 부분임을 시사한다.
2. 실용적 응용: 재토논화 샘은 새로운 샘플링 전략(재토큰화 샘플링)을 제공하여, 의미론적으로 동일한 입력을 통해 모델의 내부 계산으로부터 다양성을 생성한다. 현재로서는 프롬프트 길이가 길어지는 비용 문제로 인해 온도 샘플링의 완전한 대체제는 아니지만, 탐색을 위한 보완적인 축으로서 역할을 할 수 있다. 이는 특히 여러 유효한 알고리즘 패밀리가 존재하는 코드 생성과 같은 개방형 도메인에서 기존 방식이 놓친 솔루션을 찾아낼 수 있다.

저자들은 이 연구가 모델의 **구성적 이해(compositional understanding)**와 프롬프트 민감도를 밝히는 데 기여한다고 주장하며, 유효한 분절의 다중성이 배포된 토큰화된 LLM에서 무시할 수 없는 "기계적으로 의미 있는 자유도"임을 입증한다. 저자들은 재토큰화가 보편적으로 다른 샘플링 방법보다 우월하다고 주장하는 것이 아니라, 의미를 보존하면서 다양성을 제공하는 독특한 경로임을 강조한다.