💬 NLP

Fast Byte Latent Transformer

Byte Latent Transformer(BLT)는 병렬 생성과 추측적 디코딩 기법을 활용하여 추론 지연 시간과 메모리 대역폭 비용을 크게 줄이면서도 높은 품질을 유지하는 세 가지 새로운 변형인 BLT-Diffusion, BLT-Self-speculation, BLT-Diffusion+Verification을 도입함으로써 바이트 수준 언어 모델의 느린 생성 병목 현상을 해결합니다.

원저자: Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz, Gargi Ghosh, Luke Zettlemoyer, Christopher Potts, Xiaochuang Han, Srinivasan Iyer

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Julie Kallini, Artidoro Pagnoni, Tomasz Limisiewicz, Gargi Ghosh, Luke Zettlemoyer, Christopher Potts, Xiaochuang Han, Srinivasan Iyer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이야기를 쓰려고 하는데, 한 글자씩만 써야 하고, 글자 하나를 쓸 때마다 멈춰서 거대한 도서관으로 가서 다음 글자를 찾기 위해 거대한 백과사전을 확인한 뒤 다시 책상으로 돌아와야 한다고 상상해 보세요. 이것이 현재 '바이트 단위' AI 모델이 작동하는 방식입니다. 이 모델들은 사전에 만들어진 단어 덩어리 (토큰) 에 의존하지 않기 때문에 어떤 언어든 완벽하게 이해할 수 있을 만큼 매우 똑똑하지만, 매 글자마다 그 '도서관 이동'을 해야 하므로 극도로 느립니다.

이 논문은 BLT(Byte Latent Transformer) 라는 새로운 모델 계열과 그들의 지능을 잃지 않으면서 속도를 높이는 세 가지 새로운 방법을 소개합니다. 이 방법들은 도서관을 너무 자주 왕복하지 않도록 하는 다양한 전략으로 생각할 수 있습니다.

다음은 이 논문이 제안하는 세 가지 주요 전략을 간단한 비유로 설명한 것입니다:

1. "그룹 추측" 전략 (BLT-Diffusion)

문제: 표준 모델은 한 글자를 쓰고 도서관을 확인한 뒤, 다음 글자를 쓰고 다시 도서관을 확인하는 식으로 반복합니다.
해결책: 한 글자씩 추측하는 대신, 이 새로운 방법 (BLT-Diffusion) 은 빈 종이의 한 블록 (예를 들어 8 글자) 을 통째로 가져와 한 번에 모두 채우려 합니다.

작동 원리: 크로스워드 퍼즐을 풀고 있다고 상상해 보세요. 한 칸씩 푸는 대신, 힌트를 보고 단어 한 줄을 동시에 추측해 봅니다. 몇 글자에서 막히면 채우고, 작업을 확인한 뒤 나머지를 채웁니다.
결과: 도서관 방문 횟수 (모델을 통한 '순전달' 횟수) 가 줄어듭니다. 논문은 이 방법으로 시간과 에너지 비용을 50% 이상, 경우에 따라 최대 92% 까지 절감할 수 있다고 주장합니다.
단점: 한 번에 전체 블록을 추측하다 보니, 특히 블록이 매우 크다면 몇 글자를 틀릴 수 있습니다. 이는 속도 향상과 복잡한 작업 (예: 코딩) 에서의 정확도 약간 하락 사이의 절충안입니다.

2. "초안 작성 보조" 전략 (BLT Self-Speculation)

문제: 표준 모델은 '패치' 형태의 텍스트가 복잡해져 불확실성을 느낄 때마다 도서관을 확인하기 위해 쓰기를 멈춥니다.
해결책: 이 방법 (BLT-S) 은 모델이 불확실성을 느낄 때도 계속 쓰도록 하는 '가벼운 보조원 (로컬 디코더)'을 사용합니다.

작동 원리: 보통 문장 하나하나를 서명하기 전에 모두 확인하는 관리자 (무거운 글로벌 모델) 를 상상해 보세요. 이 새로운 시스템에서는 관리자가 주니어 직원 (로컬 디코더) 에게 몇 문장 더 스스로 써보게 합니다. 주니어 직원이 초안을 작성하면, 관리자가 그 초안을 빠르게 검토합니다. 주니어 직원이 맞았다면 관리자는 전체 배치를 서명합니다. 실수가 있었다면 관리자는 그 부분만 수정하고 계속 진행합니다.
결과: 관리자가 멈춰서 생각할 필요가 줄어듭니다. 이 방법은 놀라울 정도로 빠르며, '그룹 추측' 방법과 달리 품질이 전혀 떨어지지 않습니다. 최종 이야기는 관리자가 모든 글자를 확인했을 때와 정확히 같은 수준이지만, 훨씬 빠르게 작성됩니다.

3. "하이브리드" 전략 (BLT Diffusion + Verification)

문제: '그룹 추측' 방법은 빠르지만 때때로 실수를 합니다. '초안 작성 보조' 방법은 완벽하지만 모델의 표준 작성 스타일에 의존합니다.
해결책: 이 방법 (BLT-DV) 은 두 가지를 결합합니다.

작동 원리: 먼저 모델이 '그룹 추측' 방법을 사용해 텍스트 블록을 빠르게 초안으로 작성합니다. 그런 다음 즉시 '검증' 모드로 전환하여 그 초안을 자체 고품질 예측과 비교해 확인합니다.
결과: 이는 안전망 역할을 합니다. 그룹 추측의 속도를 얻으면서도 검증 단계가 오류를 수정합니다. 순수한 그룹 추측보다는 약간 느리지만 훨씬 더 정확하여, 양쪽의 장점을 모두 누리는 중간 지점을 제공합니다.

전체적인 그림

이 논문은 언어 번역과 컴퓨터 코드 작성과 같은 작업에서 이러한 방법들을 테스트했습니다.

속도: 세 가지 방법 모두 모델 실행에 필요한 '메모리 대역폭' 비용 (에너지와 데이터 이동) 을 크게 줄였습니다. 가장 빠른 방법 (BLT-Diffusion) 은 표준 모델 대비 비용을 50% 이상 절감했습니다.
품질: 'Self-Speculation' 방법은 속도를 높이는 동안 품질을 100% 완벽하게 유지했습니다. 'Diffusion' 방법은 어려운 코딩 작업에서는 정확도가 약간 낮았지만 여전히 매우 좋았으며, 특히 번역에서는 더 뛰어났습니다.

요약하자면: 저자들은 어떤 언어든 완벽하게 이해하거나 복잡한 입력을 처리하는 능력을 포기하지 않으면서, '글자 단위' AI 모델을 '단어 단위' 모델과 거의 같은 속도로 실행할 수 있는 방법을 찾아냈습니다. 그들은 모델에게 그룹으로 추측하게 하고, 미리 초안을 작성하게 하며, 작업을 검증하게 함으로써 이러한 유형의 AI 를 가로막던 가장 큰 병목 현상을 효과적으로 제거했습니다.

기술 요약: Fast Byte Latent Transformer

문제 정의

바이트 단위 언어 모델 (LM) 은 서브워드 토큰화 대비 입력 노이즈에 대한 강건성, 구조화되거나 도메인 외 입력에 대한 더 나은 처리, 향상된 문자 단위 이해, 그리고 다국어 간 격차 감소 등 상당한 장점을 제공합니다. 그러나 추론 비효율성으로 인해 실제 적용은 제한되어 왔습니다. 단일 순전파로 서브워드 토큰 (종종 여러 바이트에 걸침) 을 생성하는 토큰 단위 모델과 달리, 단순한 자기회귀 바이트 단위 모델은 한 번에 하나의 바이트를 생성해야 합니다. 이로 인해 토큰 단위 모델에 비해 시퀀스 길이가 수 배 더 길어지고, 순전파 횟수가 급증하며, 모델 가중치를 반복적으로 로드하고 키 - 값 캐시에 접근하는 과정에서 발생하는 심각한 메모리 대역폭 병목 현상이 초래됩니다.

최근 Byte Latent Transformer(BLT) 와 같은 아키텍처는 바이트를 가변 길이 패치로 동적으로 그룹화하고 잠재 토큰 표현에 계산을 집중시킴으로써 계산 격차를 줄였으나, 표준 BLT 추론은 여전히 바이트를 순차적으로 생성합니다. 이러한 순차적 특성으로 인해 모델은 병렬 생성을 활용할 수 없으며, 메모리 대역폭 병목 현상이 유지됩니다.

방법론

본 논문은 BLT 의 계층적 아키텍처를 유지하면서 병렬 바이트 생성을 가능하게 하기 위해 Byte Latent Transformer Diffusion(BLT-D) 과 두 가지 추측적 디코딩에서 영감을 받은 확장인 BLT Self-speculation(BLT-S) 및 BLT Diffusion+Verification(BLT-DV) 을 소개합니다.

1. BLT Diffusion (BLT-D)

BLT-D 는 BLT 프레임워크에 블록 단위 이산 확산 (discrete diffusion) 을 통합합니다.

아키텍처: BLT 의 로컬 인코더와 글로벌 트랜스포머를 유지하되, 반자기회귀 생성을 지원하도록 로컬 디코더를 수정합니다.
학습: 모델은 결합된 목적 함수로 학습됩니다.
- 정제된 시퀀스에서의 다음 바이트 예측 손실(표준 자기회귀 손실).
- 손상된 블록에 대한 마스킹 바이트 예측 손실. 전처리 과정에서 첫 번째를 제외한 가변 길이 패치들은 $B$ 바이트 크기의 고정 크기 블록으로 확장됩니다. 이러한 블록들은 확률 $t$ 로 바이트를 무작위 마스킹하여 손상시킵니다. 디코더는 정제된 접두사와 잠재 토큰 표현을 조건으로 하여 이러한 마스킹된 바이트를 재구성하는 법을 학습합니다.
추론: 한 번에 하나의 바이트를 생성하는 대신, BLT-D 는 $B$ 개의 마스킹된 위치로 구성된 블록을 초기화합니다. 디코더는 블록이 완전히 생성될 때까지 신뢰도 기반 또는 엔트로피 제한 샘플링 전략을 사용하여 여러 위치를 병렬로 반복적으로 마스킹 해제합니다. 이는 디코더 순전파 횟수를 줄일 뿐만 아니라, 인코더와 글로벌 모델을 패치 단위가 아닌 블록 단위마다 한 번만 호출함으로써 비용이 많이 드는 인코더 및 글로벌 모델 호출 빈도를 획기적으로 감소시킵니다.

2. BLT Self-speculation (BLT-S)

BLT-S 는 별도의 초안 모델을 필요로 하지 않고 표준 BLT 추론을 가속화합니다.

메커니즘: 표준 BLT 에서 디코더는 엔트로피 기반 패처가 새로운 패치를 신호할 때 생성을 중단합니다. BLT-S 는 마지막 사용 가능한 잠재 토큰을 조건으로 하여 경량 로컬 디코더가 일반 패치 경계를 넘어 $k$ 개의 바이트를 자기회귀적으로 초안 작성하도록 허용합니다.
검증: 그런 다음 전체 BLT 모델 (인코더, 글로벌, 디코더) 은 단일 순전파를 수행하여 초안을 검증합니다. 초안 작성된 바이트가 모델의 예측과 일치하면 수용되고, 그렇지 않으면 첫 번째 불일치 지점으로 생성이 되돌아갑니다.
효과: 이 접근법은 디코더 호출 횟수를 증가시키지만 비용이 많이 드는 인코더/글로벌 모델 호출 횟수를 획기적으로 줄여, 표준 자기회귀 BLT 의 정확한 출력 분포를 유지하면서 전반적인 효율성을 향상시킵니다.

3. BLT Diffusion+Verification (BLT-DV)

BLT-DV 는 BLT-D 의 속도와 자기회귀 검증의 품질을 결합합니다.

메커니즘: 확산 디코더를 사용하여 바이트 블록을 병렬로 초안 작성합니다. 그 후 동일한 모델이 자기회귀 다음 바이트 예측 기능을 사용하여 초안 작성된 블록을 검증합니다.
효과: 이는 최종 출력이 자기회귀 분포와 일치하도록 보장함으로써 대규모 블록 크기에서 순수 확산 모델에서 종종 관찰되는 품질 저하를 완화하며, BLT-D 의 속도와 표준 BLT 의 품질 사이의 중간 지점을 제공합니다.

주요 기여

BLT-D: BLT 의 동적 패치 및 계층적 잠재 표현과 블록 단위 이산 확산을 결합하여 고정된 서브워드 토큰화 없이 병렬 바이트 생성을 가능하게 하는 새로운 바이트 단위 언어 모델.
추론 확장: BLT 아키텍처에 맞춘 두 가지 추측적 디코딩 전략:
- BLT-S: 기존 로컬 디코더를 초안 작성 메커니즘으로 사용하여 표준 BLT 를 가속화.
- BLT-DV: 자기회귀 다음 바이트 예측으로 확산 초안을 검증하여 BLT-D 생성 품질을 향상시킴.
경험적 분석: 번역 및 코드 생성 작업과 함께 가능성 기반 평가를 수행한 1B 및 3B 파라미터 모델에 대한 속도 - 품질 트레이드오프에 대한 포괄적 평가.

결과

저자들은 프랑스어 - 영어 및 독일어 - 영어 번역 (FLORES-101) 과 코드 생성 (HumanEval, MBPP) 작업에서 제안한 방법들을 평가했습니다.

효율성: BLT-D 는 가장 빠른 방법으로, 표준 BLT 대비 추정 메모리 대역폭 비용을 50% 이상 절감합니다. 더 큰 블록 크기 (예: BLT-D-16) 의 경우 메모리 대역폭 감소는 최대 **92%**에 달합니다.
품질 vs 속도 트레이드오프:
- BLT-D: 더 큰 블록 크기는 더 큰 속도 향상을 제공하지만 코딩과 같은 복잡한 작업에서 성능 저하를 초래합니다.
- BLT-DV: 순수 확산 (예: BLT-D-8 및 BLT-D-16) 에서 손실된 성능의 상당 부분을 회복하면서도 BLT 대비 최대 81% 의 메모리 대역폭 감소를 달성합니다.
- BLT-S: 표준 자기회귀 디코딩의 정확한 출력을 유지하므로 작업 성능에 손실 없이 메모리 대역폭을 최대 77% 절감합니다.
가능성 기반 작업: ARC, PIQA, MMLU 와 같은 벤치마크에서 BLT-D 변형들은 BLT 기준선에 근접한 점수를 달성하여, 확산 목적 함수의 통합이 모델의 자기회귀 능력이나 추론 성능을 훼손하지 않음을 보여줍니다.

중요성 및 주장

본 논문은 이러한 방법들이 바이트 단위 LM 의 실용적 사용에 대한 주요 장벽을 제거한다고 주장합니다. 병렬 생성을 가능하게 함으로써 제안된 기술들은 바이트 단위와 서브워드 단위 모델 간의 추론 효율성 격차를 크게 좁힙니다. 저자들은 각 방법이 고유한 장점을 제공한다고 강조합니다.

BLT-D: 일부 성능 트레이드오프가 허용되는 응용 분야에서 최대 속도 향상을 제공합니다.
BLT-S: 출력 품질을 희생하지 않고 표준 BLT 에 대한 속도 향상을 제공합니다.
BLT-DV: 확산 품질을 향상시키면서 상당한 속도 이득을 유지하는 균형 잡힌 접근 방식을 제공합니다.

이 연구는 추론 병목 현상이 이러한 새로운 학습 및 생성 기술을 통해 해결된다면, 바이트 단위 모델이 강건성과 다국어 처리 측면에서 고유한 장점을 제공하면서도 서브워드 모델과 경쟁력 있는 성능을 달성할 수 있음을 보여줍니다. 저자들은 효율성을 위한 대리 지표로 네트워크 함수 평가 (NFE) 와 추정 메모리 대역폭을 사용하지만, 향후 연구에서는 실제 세계의 지연 시간 개선을 검증하기 위해 고도로 최적화된 추론 구현에서 벤치마킹을 포함해야 한다고 지적합니다.