💬 자연어 처리

CoBit: Language Modeling with Bitstream Diffusion

CoBit은 단일 트랜스포머 패치 내에서 고정 너비의 이진 토큰 코드를 공동으로 디노이징함으로써 텍스트를 생성하는 연속 확산 언어 모델로, 표준 벤치마크에서 경쟁력 있는 퍼플렉시티를 달축하고 Sudoku 및 GSM8K와 같은 작업에서 강력한 추론 성능을 달성하는 동시에 밀집 토큰 출력 베이스라인에 비해 개선된 메모리 효율성과 처리량을 제공한다.

원저자: Georgios Batzolis, Mark Girolami, Luca Ambrogioni

게시일 2026-11-09✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Georgios Batzolis, Mark Girolami, Luca Ambrogioni

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨터는 문장에서 다음 단어를 예측하는 데 매우 뛰어난 능력을 갖추게 되었습니다. 자동 완성부터 정교한 챗봇에 이르기까지 이 능력을 활용하는 방식은 '자기회귀(autoregression)'라고 불리는 기법에 기반합니다. 이 방식에서 모델은 단어의 시퀀스를 읽고 다음 단어를 추측한 뒤, 그 새로 생성된 단어를 다시 읽어 그다음 단어를 추측하며 한 번에 한 단계씩 이야기를 쌓아 올립니다. 이 방법은 효과적이긴 하지만, 컴퓨터가 다음 단어를 만들기 위해 각 추측이 끝날 때까지 기다려야 하므로 본질적으로 느립니다. 이는 마치 사람이 책을 소리 내어 읽다가 다음 단어를 생각하기 위해 잠시 멈추는 것과 같습니다. 수년 동안 연구자들은 텍-트 전체를 한 번에 다듬는, 즉 단어 하나하나를 구축하는 대신 문장 전체를 동시에 정제할 수 있는 더 빠른 텍스트 생성 방법을 찾아왔습니다. '연속 확산(continuous diffusion)'이라 불리는 새로운 접근 방식은 정적 노이즈로부터 이미지가 서서히 드러나는 이미지 생성의 개념을 빌려와 이 가능성을 제시합니다. 그러나 텍스트는 별개의 분리된 기호들로 구성되어 있는 반면, 확산 모델은 매끄럽고 연속적인 데이터에서 가장 잘 작동하기 때문에 이 기술을 언어에 적용하는 것은 어려웠습니다.

연구팀은 이제 비트(binary codes)의 흐름을 정제함으로써 텍스트를 생성할 수 있는 'CoBit'이라는 시스템을 도입하여 이 간극을 성공적으로 메웠습니다. 이 시스템은 거대한 사전에서 다음 단어를 예측하는 대신, 모든 단어를 고정된 길이의 0과 1의 문자열로 취급합니다. 단어를 특정 패턴의 스위치들이 들어 있는 작은 밀봉 상자라고 상상해 보십시오. 컴퓨터는 무작위적이고 노이즈가 섞인 스위치로 가득 찬 상자에서 시작하여, 주변 단어의 맥로에 따라 각 스위치의 위치를 조정하며 점진적으로 깨끗하게 만듭니다. 각 단어의 스위치들을 하나의 단위로 그룹화함으로써, 시스템은 시퀀스의 길이를 관리 가능한 수준으로 유지하면서도 수천 개의 단어 중 하나를 선택해야 하는 복잡한 과제를 수십 개의 스위치 상태를 결정하는 더 단순한 과제로 대체합니다. 이 방식은 모델이 문장의 모든 부분을 동시에 작업할 수 있게 하여 속도와 유연성의 새로운 길을 제시합니다.

연구진은 이 시스템을 잘 작동하게 만든 핵심이 단순히 단어를 표현하는 방식뿐만 아니라, 노이즈를 어떻게 제거하느냐에 있다는 것을 발견했습니다. 그들은 컴퓨터가 노이즈를 제거하기 위해 엄격하고 계산된 경로를 따르는 순수 결정론적 접근 방식은 안전하지만 반복적이고 다양성이 부족한 텍스트를 생성하는 경향이 있다는 것을 발견했습니다. 이를 해결하기 위해, 그들은 과정 속에 무작위성, 즉 '처닝(churn, 흔들림)'을 통제된 방식으로 도입했습니다. 이 무작위성은 모델이 안전하고 예측 가능한 선택의 루프에 갇히지 않도록 방지하는 부드러운 흔들림 역할을 합니다. 모델이 비트(bit)의 의미에 대해 가장 불확실할 때 이 흔들림이 발생하도록 정교하게 타이밍을 맞춤으로써, 연구진은 속도를 늦추지 않고도 텍스트의 품질을 개선할 수 있었습니다. 그 결과, 이 시스템은 자연스러운 일관성과 다양성의 균형을 갖춘 텍스트를 생성하며, 근본적으로 다른 메커니즘을 사용하면서도 기존의 최고 모델들과 대등한 수준의 유창성을 달-성했습니다.

실험에서 연구팀은 뉴스 기사와 오픈 웹에서 가져온 두 가지 대규모 텍스트 컬렉션을 대상으로 CoBit을 테스트했습니다. 그들은 생성된 텍스트의 품질을 실제 인간의 글쓰기 패턴과 얼마나 잘 일치하는지를 확인하여 측정했습니다. 1억 3천만 개의 파라미터를 가진 모델로 실험했을 때, 이 모델은 해당 분야의 상위권 성적을 기록했으며, 시스템을 4억 6,200만 개의 파라미터로 확장했을 때는 성능이 더욱 향상되어 훨씬 더 큰 규모의 기존 모델들의 성능에 근접했습니다. 일반적인 글쓰기 외에도, 그들은 스도쿠 퍼즐을 풀거나 수학 문장제를 해결하는 것과 같이 엄격한 논리가 요구되는 작업에서도 시스템을 테스트했습니다. 어려운 스도쿠 퍼즐에 대해 이 시스템은 65% 이상의 정확도로 문제를 해결했으며, 수학 문제의 경우 연구진이 모델의 확신도를 해석하는 방식을 조정했을 때 35% 이상의 정확도에 도달했습니다. 이러한 결과는 모델이 단순히 언어 패턴을 흉내 내는 것이 아니라 논리적 제약을 따를 수 있는 능력이 있음을 시사합니다.

또한 이 연구는 시스템이 컴퓨터 메모리를 사용하는 방식에서의 중요한 실용적 이점을 강조했습니다. 모델이 거대한 사전에서 전체 단어를 예측하는 대신 개별 비트의 상태를 예측하기 때문에, 특히 긴 텍스트를 생성할 때 훨씬 적은 메모리가 필요합니다. 이러한 효율성 덕분에 시스템은 동일한 하드웨어에서 더 빠르게 실행되고 더 많은 양의 데이터를 처리할 수 있습니다. 연구진은 이 시스템이 아직 완벽하지는 않으며 여전히 반복적이거나 터무니없는 문장을 생성할 수 있지만, 병렬 처리 속도, 논리적 과제 수행 능력, 그리고 줄어든 메모리 점유율의 조합이 중요한 진전임을 나타낸다고 언급했습니다. 그들은 이 접근 방식이 텍-스트의 독특한 특성에 맞춰 표현과 샘플링 과정을 정교하게 조정한다면, 연속 확산이 언어에도 효과적으로 작동할 수 있음을 증명한다고 주장합니다. 이 연구는 텍스트 생성의 미래가 반드시 전통적인 단어 단위의 예측에만 의존하는 것이 아니라, 의미 전체를 한꺼번에 정제하는 방식을 수용할 수도 있음을 시사합니다.

기술 요약: CoBit – 비트스트림 확산을 이용한 언어 모델링

문제 정의

자기회귀 언어 모델(ARLM)은 그 확장성과 단순한 인수 분해 덕분에 텍스트 생성 분야를 지배하고 있으나, 본질적인 순차적 생성의 한계를 안고 있다. 연속적 확산 언어 모델(DLM)은 병렬적 정제 대안을 제공하여 임의의 인필링(infilling)과 조절 가능한 연산-품질 트레이드오프를 가능하게 한다. 그러나 기존의 연속적 DLM은 종종 모델이 안전하고 빈번한 토큰을 선호하게 되어 낮은 엔트로피와 낮은 생성 퍼플렉서티(GenPPL)를 초래하는 품질-다양성 트레이드오프 문제에 직면한다. 또한, 표준적인 연속적 접근 방식은 어휘 크기가 커짐에 따라 계산 비용이 급증하는 밀집 어휘 크기 출력 헤드( $O(TV)$ )에 의존하는 경우가 많다. 본 논문은 연속적 언어 모델링에서의 이러한 한계를 해결하기 위해 표현, 목적 함수, 그리고 샘플러 설계 간의 상호작용을 조사한다.

방법론

저자들은 고정 너비의 이진 토큰 코드를 공동으로 디노이징함으로써 텍ert를 생성하는 프레임워크인 CoBit(Continuous Bitstream Diffusion)를 소개한다.

1. 표현 및 아키텍처

비트스트림 인코딩: 각 토큰은 고정 너비의 이진 코드( $m = \lceil \log_2 V \rceil$ 비트)로 인코딩된다. 예를 들어, LM1B는 15비트 토크나이저 ID를 사용하며, OpenWebText(OWT)는 16비트 코드 토큰을 사용한다.
패칭(Patching): $m$ 개의 비트를 하나의 시퀀스로 처리하는 대신, 모델은 각 토큰의 $m$ 개 비트를 하나의 트랜스포머 패치로 그룹화한다. 이는 의미론적 시퀀스 길이 $T$ 를 유지하면서, 어휘 전체에 대한 예측 문제를 위치당 $\lceil \log_2 V \rceil$ 개의 비트 로짓 문제로 대체한다.
디노이저 아키텍처: 모델은 시퀀스 확산 트랜스포머(SDT) 트렁크를 활용한다. 패치 어댑터는 아날로그 비트 그룹을 트랜스포머 입력으로 투영한다. 출력 헤드는 글로벌 패치 컨텍스트와 로컬 노이지 비트 특징, 그리고 셀프 컨디셔닝 입력을 결합하여 잔차(residual) 로짓을 예측한다.

2. 매치드 필터 잔차 파라미터화 (Matched-Filter Residual Parameterization)

이는 디노이징 목적 함수의 파라미터화에 관한 핵심 혁신이다.

분석적 베이스라인: 균등 사전 확률(uniform prior) 하에서 가우시안 오염을 겪는 고립된 비트에 대해, 사후 로그 오즈(posterior log-odds)는 다음과 같은 폐쇄형 해를 갖는다: $\ell_{ind}(x, \sigma) = \frac{x - 0.5}{\sigma^2}$ .
잔차 학습: CoBit는 이 분석적인 "매치드 필터" 항을 직접 제공하며, 네트워크가 컨텍스트 잔차( $r_\theta$ )만을 예측하도록 학습시킨다. 전체 로짓은 $\ell_\theta = r_\theta + \text{clip}(\ell_{ind})$ 이다. 이를 통해 네트워크는 기본적인 가우시안 디노이징을 다시 학습하는 대신, 컨텍스트 의존성과 비균등한 비트 사전 확률을 학습하는 데 집중할 수 있다.

3. 학습 목적 함수

모델은 EDM(Elucidating the Design Space of Diffusion-based Generative Models) 가중치를 사용하는 가중 디노이징 평균 제곱 오차(MSE) 목적 함수로 학습된다. 셀프 컨디셔닝이 채택되어, 이전 패스에서 분리된 사후 확률이 학습 및 샘플링 중에 보조 입력으로 사용된다.

4. 샘플링: 엔트로피율 적응형 노이즈 할당

본 논문은 샘플러가 경험적 이득의 주요 동력임을 밝혀냈다.

엔트로피율 그리드: 저자들은 비트스트림의 정보 프로파일에 따라 노이즈 할당을 조정한다. 이들은 가중치가 부여되지 않은 비트당 학습 오차를 사용하여 온라인으로 엔트로피율 $h_{\log}(\sigma)$ 를 추정한다. 노이즈 스케줄 밀도 $\pi_\alpha(u)$ 는 비트 불확실성이 해결되는 지점에 솔버의 해상도를 집중시키도록 구축된다.
스토캐스틱 처른(Stochastic Churn): 샘플링 과정은 이 엔트로피율 그리드 상에서 EDM 스타일의 스토캐스틱 처른(노이즈를 추가하고 다시 디노이징하는 과정)을 수행한다. 이론적 분석에 따르면, 이 특정 그리드 상에서 일정한 원시 처른(constant raw churn)은 **정보 적응형 랑주뱅 교정(information-adaptive Langevin correction)**을 유도한다. 즉, 확률성이 정보가 활발히 해결되고 있는 노이즈 영역에 효과적으로 집중되어, 신경 함수 평가(NFE) 예산을 늘리지 않고도 GenPPL-엔트로피 트레이드오프를 개선한다.

주요 기여

비트스트림 표현: 패칭을 통해 의미론적 시퀀스 길이 $T$ 를 유지하면서도, 출력 복잡도를 $O(TV)$ 에서 $O(T \log V)$ 로 줄이는 압축된 예측 인터페이스를 제공한다.
매치드 필터 잔차: 로컬 가우시안 디노이징과 컨텍스트 학습을 분리하여 학습 효율성과 안정성을 높이는 분석적 파라미터화를 제공한다.
엔트로피율 스토캐스틱 샘플링: 솔버의 해상도와 확률적 교정을 확산 궤적의 정보 활성 영역과 일치시키는 새로운 샘플링 전략을 제시하여, 생성 품질과 다양성의 향상을 이끌어낸다.
스코어-온도 스케일링: 연속적 확산에서 수치적 불안정성을 피하기 위해 스코어 온도를 적용하는 수정된 절차를 도입하여, 검증 가능한 추론 작업에서의 성능을 개선한다.

결과

언어 생성

LM1B: 256 NFE에서 CoBit-S(130M 파라미터)는 스토캐스틱 샘플링을 사용하여 59.76(엔트로피 4.31)의 GenPPL을 달성하며, 이는 결정론적 베이스라인(82.90)보다 크게 개선된 수치이며 LangFlow와 같은 다른 연속적 DLM과 경쟁할 만한 수준이다.
OpenWebText: CoBit-S는 27.06(엔로피 5.26)의 GenPPL을 달성한다. CoBit-M(462M 파라미터)으로 확장하면 19.48(엔트로피 5.40)로 개선되어, 유사한 엔트로피 수준에서 사전 학습된 GPT-2 Medium(15.54 GenPPL)의 성능에 근접한다.
효율성: 비트 패칭 접근 방식은 밀집 토큰 출력 베이스라인과 비교했을 때 피크 학습 메모리를 각각 1.64배(LM1B) 및 2.46배(OWT) 감소시키며, 처리량(throughput)은 각각 2.31배 및 3.29배 증가시킨다.

검증 가능한 추론

스도쿠(Sudoku): CoBit는 가이던스나 검증기 기반 탐색 없이도 어려운 스도쿠 퍼즐에서 **65.9%**의 정확도를 달성하여 Duo 베이스라인(58.4%)을 능가했다.
GSM8K: 온도 조절되지 않은 최종 통합 단계를 포함한 스코어-온도 스케일링을 사용할 때, CoBit-S의 GSM8K 정확도는 28.1%에서 **35.3%**로 상승하며, 이는 온도 조절된 이산 확산 베이스라인(33–36%)의 범위 내에 위치한다.

의의 및 주장

본 논문은 표현, 파라미터화, 그리고 샘플링이 공동 설계될 때 연속적 확산이 언어 모델링에서 경쟁력 있는 생성 품질과 다양성을 달성할 수 있음을 보여준다고 주장한다.

구성 요소의 상호작용: 결과는 비트스트림 표현이 압축된 인터페이스를 제공하고, 매치드 필터 잔차가 필요한 로컬 구조를 공급하며, 엔트로피율 그리드 상의 스토캐스틱 처른이 품질-다양성 경계(frontier)를 최적화하는 데 결정적임을 강조한다.
확장성: 방법론은 효과적으로 확장되며, 462M 파라미터 모델은 OpenWebText에서 강력한 성능을 보여준다.
실질적 이점: 압축된 출력 인터페이스는 계산적 이점을 제공하며, 이는 다국어 또는 멀티모달 어휘가 커질수록 더욱 가치 있을 것이다.
한限制: 저자들은 CoBit가 GenPPL과 다양성을 개선하지만, 정제되지 않은 샘플은 여전히 반복과 불일치를 보인다는 점을 겸허히 언급한다. 모델은 배포 시의 사실성이나 안전성에 대해 평가되지 않았으며, 자기회귀 모델과의 격차는 남아 있다. 계산적 이득은 최대 462M 파라미터 규모까지의 특정 척도에서 측정되었으며, 십억 단위 파라미터 규모에서는 검증되지 않았다.