기술 요약: MultiHashFormer

문제 정의

표준 언어 모델(LM)은 어휘 크기에 따라 선형적으로 확장되는 학습된 임베딩 행렬에 의존하며, 이는 "어휘 병목 현상(vocabulary bottleneck)"을 생성합니다. 이러한 선형적 확장은 모델을 고정된 토큰 용량에 종속시켜, 상당한 파라미터 증가 없이 새로운 도메인이나 언어에 적응하는 능력을 저해합니다. 이전 연구들은 파라미터 발자국을 제한하기 위해 토큰 해싱을 탐구했으나, 기존의 해시 기반 모델(예: Proformer, HashFormer)은 다대일(many-to-one) 매핑을 사용합니다. 이러한 시스템에서는 여러 토큰이 단일 해시 인덱스를 공유합니다. 이는 파라미터 효율적이지만, 토큰 충돌을 유발하여 자기회귀적 생성 과정 중 결정론적인 토근 복구를 방해합니다. 결과적으로, 기존의 해시 기반 방식은 인코더 전용 아키텍처와 판별적 학습(discriminative training)에 국한되었으며, 이는 인과적(causal, 디코더 전용) 생성 언어 모델에는 적용하기 불가능했습니다.

방법론

저자들은 멀티 식별자 시그니처 접근 방식을 통해 토큰 충돌을 제거함으로써 해시 기반 자기회귀를 가능하게 하도록 설계된 프레임워크인 MultiHashFormer를 제안합니다. 이 아키텍처는 세 가지 주요 모듈로 구성됩니다:

1. 해시 인코더 (Hash Encoder):

   • 멀티 해시 인덱싱 (Multi-Hash Indexing): 토큰을 단일 해시 ID로 매핑하는 대신, 각 토큰은 $H$개의 독립적인 해시 함수(MurmurHash3 알고리즘 사용)에 의해 생성된 짧은 이산 해시 ID 시퀀스로 구성된 고유한 "해시 시그니처"로 변환됩니다. 예를 들어, 하나의 토큰은 $[12, 40, 56]$과 같이 표현될 수 있습니다. 이 멀티 ID 매핑은 엄격한 부서브 리니어(sub-linear) 파라미터 발자국을 유지하면서도 방대한 어휘 용량(예: $B^H$ 개의 고유 시그니처)을 이론적으로 지원합니다.
   • 게이트형 합성 임베딩 (Gated Compositional Embedding): 해시 버킷이 전역적으로 공유됨에 따라 발생할 수 있는 토큰 간의 충돌(의미적으로 관련 없는 토큰 간의 충돌)을 처리하기 위해, 모델은 문맥 인식형 합성 게이트를 사용합니다. 이 모듈은 개별 해시 임베딩을 하나의 통합된 밀집 잠재 벡터로 압축합니다. 이는 각 버킷의 기여도를 결정하기 위해 소프트맥스 정규화를 사용하는 피드포워드 병목 네트워크를 사용하며, 이후 선형 어댑터를 사용하여 결합된 표현을 백본의 잠재 공간으로 투영합니다.

2. 시퀀스 처리 백본 (Sequence Processing Backbone):

   • 압축된 잠재 벡터는 (Qwen3 아키텍처를 기반으로 하는) 표준 스택의 트랜스포머 디코더 레이어를 통과하여 문맥화된 표현을 생성합니다.

3. 해시 디코더 (Hash Decoder):

   • 계단식 예측기 (Cascaded Predictor): 다음 토큰을 재구성하기 위해 모델은 단일 토큰 ID를 예측하는 것이 아니라, 다음 토큰의 멀티 ID 시그니처를 자기회귀적으로 재구성합니다. 이는 구조화되고 반복적인 오류 수정 시스템을 통해 수행됩니다.
   • 디코더는 백본의 최종 은닉 상태를 사용하여 예측 루프를 초기화합니다. 그 후, 해시 시그니처의 각 좌표($H_1, H_2, \dots, H_H$)를 순차적으로 반복하여 예측합니다.
   • 소프트 임베딩 검색 (Soft Embedding Retrieval): 계단식 구조 내에서 미분 가능성을 유지하기 위해, 모델은 중간 단계에서 하드 이산 인덱스 대신 "소프트 버킷 임베딩"(로그 확률에 의해 가중치가 부여된 임베딩 행렬의 기대값)을 계산합니다.
   • 상태 업데이트 (State Update): 재귀적 계단식 믹서(recursive cascade mixer)는 현재 상태를 검색된 소프트 임베딩과 결oxel하여 내부 상태를 업데이트하고, 결합된 표현을 병목 레이어로 라우팅하여 다음 해시 좌표의 예측에 정보를 제공합니다.

4. 확률 모델링 (Probability Modeling):

   • 학습 (Training): 모델은 독립적인 좌표 확률의 곱($\prod P(H_i(w) | \cdot)$)을 최적화하며, 이를 통해 최적화를 단순화하기 위해 실제 어휘 항목에 매핑되지 않을 수 있는 좌표 조합에 대해서도 예측을 수행합니다.
   • 추론 (Inference): 유효한 생성을 보장하기 위해, 모델은 추론 중에 할당되지 않은 시그니처를 명시적으로 제외하고, 실제 토큰 어휘($V_{actl}$)에 대해 엄격하게 확률 분포를 재정규화합니다.

핵심 기여

• 최초의 해시 기반 인과적 LM: MultiHashFormer는 멀티 ID 시그니처 생성을 통해 토큰 충돌을 방지함으로써 해싱을 사용한 인과적 언어 모델링을 지원하는 최초의 프레임워크입니다.
• 파라미터 효율성 및 성능: 이 모델은 100M, 1B, 3B 파라미터 규모에서 10개의 벤치마크를 통해 표준 트랜스포머 LM보다 일관되게 우수한 성능을 보입니다. 이는 어휘를 파라미터 행렬에서 분리하는 것이 단순히 표준 모델에 레이어를 추가하는 것보다 더 효과적임을 입증합니다.
• 파라미터 없는 어휘 확장: 이 프레임워크는 파라미터 수나 구조적 변경 없이도 원활한 어휘 확장(예: 32K에서 48K로)을 가능하게 합니다. 모델은 새로운 고유 가상 시그니처를 등록함으로써 다국어 확장을 처리합니다.
• 희귀 단어 표현 개선: 공유 버킷 메커니즘은 희귀 단어의 표현을 개선하며, 이는 Card-660 데이터셋에서 표준 베이스라인보다 인간의 주석과 더 높은 상관관계를 보이는 것으로 입증되었습니다.

결과

• 핵심 역량: 1B 및 3B 규모에서 Multiهاformer(특히 H4B16K 구성)는 LAMBADA(언어 모델링) 및 HellaSwag(서사 논리)에서의 상당한 이득을 포함하여 11개 작업 중 9개에서 표준 베이스라인을 능가합니다.
• 파라미터 매칭: 동일한 파라미터 수(또는 총 파라미터 수를 맞추기 위해 레이어가 추가된 베이스라인)와 비교했을 때, Multiهاformer 변형 모델은 대다수의 작업에서 우수한 성능을 달립니다.
• 어휘 확장: 어휘를 32K에서 48K로 확장하는 지속적 사전 학습 실험에서, Multiهاformer는 새로운 토큰을 수용하기 위해 표준 베이스라인이 필요로 하는 약 3,100만 개의 추가 파라미터 없이도 다국어 작업에서 성능을 유지하거나 향상시켰습니다.
• 희귀 단어: Multiهاformer는 특히 마지막에서 두 번째 디코더 레이어의 은닉 상태를 분석했을 때, 표준 모델에 비해 희귀 단어 쌍에 대해 인간의 유사도 점수와 더 높은 피어슨(Pearson) 및 스피어먼(Spearman) 상관관계를 보여주었습니다.

의의 및 주장

본 논문은 Multiهاformer가 디코더 기반 LM의 전통적인 어휘 병목 현상을 성공적으로 우회한다고 주장합니다. 선형 임베딩 행렬을 모듈형 해싱 인터페이스로 대체함으로써, 모델은 어휘 용량을 이론적 한계(예: 경 단위의 시그니처)까지 확장하면서도 엄격한 부서브 리니어 파라미터 발자국을 달성합니다. 저자들은 이 접근 방식이 생성 설정에서의 토큰 충돌 모호성을 해결하며, 이는 기존에 해싱을 인코더 전용 모델에만 국한시켰던 한계였습니다. 또한, 이 프레임워크는 다국어 적응을 위한 실질적인 솔루션을 제공하여, 임베딩 행렬 확장에 따른 계산 및 메모리 비용 없이 새로운 언어와 토큰을 통합할 수 있게 합니다. 결과는 해시 인코더와 디코더가 제공하는 귀납적 편향(inductive bias)이 무작위 샘플링 분산이 아닌 아키텍처 자체에서 비롯된 견고한 것임을 시사합니다.