기술 요약: Zonkey

문제 정의

현재의 대규모 언어 모델(LLM)은 고정된 비미분 토크나이저(예: Byte Pair Encoding)에 의존하고 있으며, 이는 엔드 투 엔드(end-to-end) 최적화 과정에서 병목 현상을 일으킵니다. 이러한 정적 방식은 미등록 단어(OOV) 문제, 노이즈가 섞인 데이터, 그리고 도메인 적응 문제에 취약합니다. 또한, 기존의 계층적 모델들은 고정된 길이의 세그먼트를 가정하는 경우가 많아 유연성이 제한됩니다. 확산 모델(Diffusion models)은 이미지 생성에서 가능성을 보여주었으나, 텍스트에 적용할 때는 이산적인 토큰 제약, 노이즈로 인한 의미론적 왜곡, 그리고 명시적인 문장 종료(EOS) 토큰 없이 가변 길이 시퀀스를 처리하기 어렵다는 문제에 직면해 있습니다.

방법론

Zonkey는 원시 문자(raw characters)부터 문서 수준의 표현까지 작동하는 완전 미분 가능한 계층적 확산 프레임워크를 제안합니다. 이 아키텍처는 다섯 가지 핵심 구성 요소로 통합됩니다:

1. 확률적 어텐션 (Probabilistic Attention)

이론적으로 무한한 시퀀스와 가변 길이를 하드 마스킹(그래디언트 흐름을 방해함) 없이 처리하기 위해, Zonkey는 확률적 어텐션을 도입합니다.

• 메커니즘: 각 위치 $k$에는 존재 확률 $p_k \in (0, 1]$가 할당됩니다. 어텐션 점수는 미래 위치의 존재 확률 비율($p_k/p_q$)에 기반한 스케일 인자로 의해 조절됩니다.
• 효과: 이는 저확률 위치가 고확률 위치에 미치는 영향을 최소화하는 "소프트 마스크(soft mask)"를 생성합니다. 이를 통해 모델은 절단(truncation)을 시뮬레이션하고 불확실성을 처리하면서도 그래디언트 흐름을 보존하여, 이론적으로 무한한 시퀀스를 모델링할 수 있게 합니다.

2. 세그먼트 스플리터 (The Segment Splitter, 미분 가능한 토크나이저)

정적 토크나이저를 대체하는 세그먼트 스플리터는 데이터로부터 확률적인 문장 시작(BOS) 결정을 직접 학습합니다.

• 프로세스: 입력 벡터(예: 문자 임베딩)를 경량 트랜스포머 인코더를 통해 처리하여 각 위치에 대한 $p_{BOS}$를 예측합니다.
• 미분 가능성: 모델은 하드 샘플링 대신, 이러한 확률들을 사용하여 다운스트림 모듈의 어텐션 가중치를 조절합니다. 재구성을 방해하는 부적절한 분할(suboptimal splits)은 더 높은 손실을 입게 되며, 이는 명시적인 감독 없이도 스플리터가 언어적으로 의미 있는 경계(예: 단어를 위한 공백, 문장을 위한 마침표)를 학습하도록 유도하는 암묵적인 그래디ền트 신호를 생성합니다.
• 출력: 중첩된 세그먼트와 연관된 존재 확률 및 "존재 쉐어(existence shares, 정규화된 가중치)"를 출력하여 중첩 영역 전체에 걸쳐 균일한 손실 기여를 보장합니다.

3. 압축기 (The Compressor)

이 모듈은 가변 길이의 세그먼트를 고차원 추상화를 위한 고정 차원 벡터 표현으로 응축합니다.

• 아키텍처: 학습 가능한 CLS 벡터를 세그먼트에 전치(prepend)한 후, 확률적 어텐션을 사용하는 트랜스포머 인코더를 통해 처리합니다.
• 목표: 압축된 벡터는 대조 학습 목적 함수(contrastive objectives)를 사용하는 마스크드 언어 모델링(MLM) 손실 및 재구성 손실을 통해 최적화됩니다. 이를 통해 압축된 잠재 공간이 단순한 표면 형태가 아닌 의미론적 의미를 포착하도록 하며, 유사한 개념(예: "excellent"와 "great")을 클러스터링하는 동시에 엔트로피를 증가시키는 임의의 분할에 페널티를 부여합니다.

4. 디노이징 확산 혼합 모델 (Denoising Diffusion Mixed Model, DDMM)

Zonkey는 압축된 잠재 표현으로부터 세그먼트를 재구성하기 위해 하이브리드 확산 전략을 채택합니다.

• 하이브리드 접근법: DDPM의 분산 탐색적 확률성(작은 단계, 높은 다양성)과 DDIM의 궤적 효율성(큰 도약, 결정론적)을 결합합니다.
• 혼합 단계 목적 함수: 모델은 신호가 강할 때는 깨끗한 데이터(clean data)를 향해 "야심 찬 도약(ambious leaps)"을 하도록 학습되지만, 불확실할 때는 "신중하고 작은 단계"로 돌아갑니다. 이는 디노이징된 상태와 깨끗한 상태 및 과하게 노이즈가 섞인 상태를 잇는 선분 사이의 코사인 거리를 최소화함으로써 달성됩니다.
• 프로세스: 모델은 압축을 하위 레벨 벡터로 역전시키고, 시퀀스 길이를 결정하기 위해 존재 확률을 예측하며, 확률적 어텐션을 사용하여 시퀀스를 정교화합니다.

5. 세그먼트 스티처 (The Segment Stitcher)

중첩되고 디노이징된 세그먼트들을 일관된 문서로 재조립하기 위해, Zonkey는 미분 가능한 스티처를 사용합니다.

• 기능: 존재 확률 감소 및 콘텐츠 유사성을 바탕으로 소프트 오프셋(soft offsets)을 추론하여 연속적인 세그먼트를 정렬합니다.
• 정교화: 경량 크로스 어텐션 메커니즘을 사용하여 중첩 영역을 블렌딩함으로써, 잔여 오류(예: 중첩된 내용이 "classical mechanics"에서 "quantum mechanics"임을 시사할 경우 이를 수정)를 교정하고 전역적 일관성을 유지합니다. 이를 통해 계층적 출력이 특정 세그먼트 경계에 불변하도록 보장합니다.

주요 기여

• 완전 미분 가능한 파이프라인: Zonkey는 학습 가능한 분할(Segment Splitter)과 재조립(Stitcher)을 엔드 투 엔드로 학습함으로써 전통적인 토크나이저의 비미분적 병목 현상을 제거합니다.
• 확률적 어텐션: 가변 길이 시퀀스와 무한한 컨텍스트를 처리하기 위해 소프트 마스킹을 사용하는 새로운 어텐션 메커니즘을 도입하여, 불확실한 세그먼트 경계를 통한 그래디언트 흐름을 가능하게 합니다.
• 계층적 확산: 원시 문자를 단어 및 문장 단위의 추상화로 압축하고, 이를 DDMM을 통해 재구성하여 노이즈로부터 일관된 가변 길이 텍스트를 생성하는 프레임워크를 제공합니다.
• 창발적 언어 구조: 모델은 명시적인 언어적 감독 없이 재구성과 MLM 목적 함수만을 통해 의미 있는 토큰 경계(공백, 마침표)와 계층적 추상화를 스스로 학습하는 능력을 보여줍니다.

결과

Wikipedia 데이터를 사용하여 단일 GPU에서 엔드 투 엔드로 학습된 Zonkey는 다음과 같은 능력을 입증합니다:

• 일관된 생성: 노이즈로부터 문장 수준의 일관된 가변 길이 텍{스트를 생성합니다.
• 창발적 계층 구조: 모델은 단어 수준 및 문장 수준의 구조를 자발적으로 발달시키며, 세그먼트 스플리터는 언어적으로 적절한 위치(예: 공백이나 마침표 뒤)에 BOS 토큰을 배치하는 법을 학습합니다.
• 적응형 토크나이저: 고정된 토크나이저와 달리, Zonkey는 데이터 분포에 따라 세그먼테이션을 적응시켜 노이즈가 많거나 도메인 특화된 텍스트를 더욱 견고하게 처리합니다.
• 인필링(Infilling): 고정된 접두사/접미사 벡터를 조건으로 하여 간극(gap)을 디노이징함으로써, 누락된 텍텍스트 섹션에 대한 비순차적 인필링을 자연스럽게 지원합니다.

의의 및 주장

본 논문은 Zonkey를 완전한 그래디언트 기반 언어 모델을 향한 중요한 진전으로 규정합니다. 고정된 토크나이저와 하드 길이 제약을 제거함으로써, Zonkey는 현재 LLM의 경직성을 해결하며 다음과 같은 잠재력을 제공합니다:

• 더 나은 도메인 적응: 토크나이징과 계층 구조를 데이터로부터 직접 학습하는 능력은 노이즈가 많거나 특수한 도메인을 더 강력하게 다룰 수 있게 합니다.
• 확장 가능한 생성: 계층적 레벨의 병렬 처리(순차적 자기회귀 생성과 대조됨)는 장문 합성에서 속도 이점을 제공합니다.
• 통합된 최적화: 프레임워크는 토크나이징, 압축, 생성을 하나의 미분 가능한 목적 함수로 통합하여, 저수준 표현을 고수준 재구성 품질과 일치시킵니다.

저자들은 현재 결과가 예비적 단계(단일 GPU에서의 개념 증명)이며, 고정된 어휘집이 없기 때문에 정량적 평가가 어렵다는 점을 언급했습니다. 그러나 언어적 구조의 질적 창발과 가변 길이 확산 생성의 성공적인 시연은 확장 가능하고 적응 가능하며 진정으로 미분 가능한 언어 모델링을 향한 실행 가능한 경로를 시사합니다.