기술 요약: 스크래치패드 패칭 (SP)

문제 정의

현대 언어 모델은 일반적으로 텍스트를 서브워드 단위로 분할하기 위해 토큰화 (tokenization) 에 의존하는데, 이 과정은 취약성, 프롬프트 포맷팅에 대한 민감성, 그리고 확장 어려움 등을 야기합니다. 바이트를 직접 처리하는 토크나이저 없는 접근법은 이러한 문제를 해결할 수 있지만, 긴 시퀀스 길이로 인해 과도한 계산 비용이라는 단점이 있습니다. 이를 완화하기 위해 패치 기반 바이트 레벨 모델은 연속된 바이트를 더 큰 "패치"로 집계하여 단일 단위로 처리함으로써 시퀀스 길이와 KV 캐시 발자국을 줄입니다.

그러나 저자들은 표준 패치 기반 아키텍처에서 근본적인 트레이드오프인 **패치 지연 (patch lag)**을 식별했습니다. 이러한 모델에서 주요 트렁크 (주요 연산 엔진) 는 패치 경계에서만 표현을 업데이트합니다. 결과적으로 패치 내의 마지막 바이트가 아닌 모든 바이트에 대해, 모델은 인과성을 유지하기 위해 이전 패치에서 온 "구식 (stale)" 표현에 의존해야 합니다. 패치 크기가 효율성을 높이기 위해 커질수록 이 지연은 더 커지며, 더 많은 예측이 구식 컨텍스트에 의존하게 되어 모델링 품질이 크게 저하됩니다. 이로 인해 더 큰 패치가 더 나은 효율성을 제공하지만 더 나쁜 품질을 초래하는 긴밀한 결합이 발생합니다.

방법론: 스크래치패드 패칭 (SP)

이 논문은 **스크래치패드 패칭 (SP)**을 소개합니다. 이는 패치 크기와 계산 할당을 분리하도록 설계된 메커니즘으로, KV 캐시 발자국을 증가시키지 않으면서 패치 지연을 해결합니다.

핵심 메커니즘

SP 는 패치 끝에서만 단일 표현을 확정하는 대신, 패치 내 선택된 내부 바이트 위치에 일시적인 스크래치패드 상태를 삽입합니다.

1. 일시적 상태: 스크래치패드가 트리거되면, 모델은 현재 패치 내에서 지금까지 본 모든 바이트를 집계하고, 이 집계를 주요 트렁크를 통과시켜 새로운 표현을 생성합니다.
2. 인과성 유지: 이 새로운 표현은 동일한 패치 내 후속 바이트 예측에 즉시 사용 가능해지며, 이전 패치에서 온 구식 표현을 대체합니다.
3. KV 캐시 효율성: 중요한 점은 이러한 스크래치패드 상태가 KV 캐시에 영구 저장되지 않는다는 것입니다. 추론 중에 실시간으로 계산된 후 즉시 폐기됩니다. 오직 최종 "확정된" 패치 표현만 저장됩니다. 이를 통해 모델은 추론 시 메모리 발자국이나 트렁크가 보는 유효 시퀀스 길이를 증가시키지 않고도 패치 내에서 여러 번의 정제 단계를 수행할 수 있습니다.

트리거링 전략

모든 바이트에서 업데이트하는 계산 비용 (패칭의 장점을 무효화함) 을 피하기 위해 SP 는 선택적 트리거링 메커니즘을 사용합니다:

• 엔트로피 기반 트리거링: 인코더의 다음 바이트 예측 엔트로피가 미리 정의된 임계값 ($\tau_{SP}$) 을 초과하면 바이트 위치 $n$에서 스크래치패드 업데이트가 실행됩니다.
• 콘텐츠 적응성: 이 전략은 모델이 불확실한 "정보 밀집" 영역에 선택적으로 연산을 할당하고 예측 가능한 영역은 건너뜁니다.
• 사후 조정: 트리거가 인코더 출력에 적용된 임계값에 기반하므로, 스크래치패드 업데이트 빈도는 재학습 없이 추론 시간에 조정할 수 있어 효율성과 품질 간의 유연한 트레이드오프를 가능하게 합니다.

아키텍처

SP 는 하부 패치파이어 (패치 경계를 정의하는 방법) 에 구애받지 않습니다. 이는 패치 내 정보 흐름을 수정함으로써 표준 5 구성 요소 패치 기반 아키텍처 (인코더, 패치파이어, 주요 트렁크, 언패치파이어, 디코더) 에 통합됩니다. 학습 중에는 스크래치패드 상태가 풀려 (unrolled) 트렁크 입력에 연결되며, 스크래치패드가 미래 상태나 다른 스크래치패드에 주의를 기울이지 못하게 하는 특수한 인과적 어텐션 마스크가 적용됩니다. 이를 통해 스크래치패드는 현재 패치 내 과거 바이트만 집계하도록 보장됩니다.

주요 기여

1. 계산과 패치 크기의 분리: SP 는 모델이 더 큰 패치 (효율성 목적) 를 사용하더라도 증가된 패치 지연과 관련된 품질 저하를 겪지 않도록 하는 일반적 메커니즘을 도입합니다.
2. 패치 지연 해결: 저자들은 패치 지연을 패치 기반 모델의 구조적 실패 모드로 규정하고, SP 가 패치 내에서 컨텍스트를 새로 고침함으로써 이 지연을 효과적으로 줄인다는 것을 입증합니다.
3. 효율적인 추론: SP 는 표준 패치 기반 모델과 동일한 확정된 패치 시퀀스 길이와 KV 캐시 발자국을 유지하면서 이러한 개선을 달성합니다.
4. 유연한 계산 제어: 이 방법은 엔트로피 임계값을 통해 추론 시간 계산의 사후 조정을 가능하게 하여, 효율성 - 정확도 트레이드오프를 위한 "단일 노브" 제어를 제공합니다.

실험 결과

저자들은 자연어, 코드, 수학 데이터셋에서 네 가지 패치파이어 계열 (고정 크기, SpaceByte, 엔트로피 기반, H-Net) 에 대해 SP 를 평가했습니다.

• 품질 - 효율성 프론티어: SP 는 일관되게 품질 (Bits-Per-Byte, BPB 로 측정) 대 효율성 (시퀀스 축소) 의 파레토 프론티어를 이동시킵니다.
• 높은 패치 크기: 공격적인 패치 크기 (예: 패치당 16 바이트) 에서 SP 가 적용된 모델은 바이트 레벨 베이스라인과 일치하거나 근접한 성능을 보입니다. 예를 들어, SP 를 적용한 고정 크기 (p=16) 모델은 평균 NLU 정확도 54.2 를 달성하여 바이트 레벨 베이스라인 (54.1) 과 거의 일치하면서도 16 배 작은 KV 캐시와 3~4 배 적은 추론 계산을 사용했습니다.
• 코드 생성: SP 는 MBPP 및 HumanEval 벤치마크에서 pass@1 비율을 크게 향상시켰으며, 특히 일반 모델이 어려움을 겪었던 큰 패치 크기에서 두드러졌습니다.
• 계산 할당: FLOPs 일치 비교 하에서 SP 모델은 일반적으로 비-SP 베이스라인과 일치하거나 능가하여, 이득이 단순히 더 많은 연산을 추가하는 것이 아니라 더 잘 타겟팅된 계산 할당에서 비롯됨을 시사합니다.
• 다국어 강건성: SP 는 200 개 언어 (FLORES-200) 에 걸쳐 패치 기반 모델의 성능을 향상시켜 순수 바이트 레벨 모델과의 격차를 줄였습니다.

중요성 및 주장

이 논문은 스크래치패드 패칭이 더 유연한 엔드투엔드 언어 모델을 향한 실질적인 단계라고 주장합니다. 토크나이저나 패치파이어로부터 물려받은 경직된 분할이 아닌 정보 밀도에 기반하여 모델이 어디에 연산을 할당할지 결정할 수 있게 함으로써, SP 는 영구 시퀀스 길이, 계산 비용, 작업 성능 간의 우월한 트레이드오프를 제공합니다.

저자들은 SP 가 많은 기존 패치 기반 아키텍처에 적용 가능한 범용 기술임을 강조합니다. SP 가 도입되면 다양한 패치화 전략 (예: 고정 크기 대 학습된 경계) 간의 성능 격차가 좁아지므로, 계산 할당이 패치 경계를 정의하는 특정 방법보다 더 중요한 병목 현상일 수 있음을 시사합니다.

이 연구는 제한 사항이 소극적입니다: 단일 단계 패칭에 초점을 맞추며 표준 베이스라인에 비해 학습 시간 FLOPs 를 직접 줄이지는 않습니다 (다만 추론 효율성은 향상시킵니다). 저자들은 향후 작업이 계층적 아키텍처와 더 풍부한 업데이트 규칙을 탐구할 수 있다고 제안합니다.