💬 NLP

BitNet Text Embeddings

BITEMBED는 사전 학습된 LLM 백본을 삼진 가중치(ternary-weight) 및 양자화된 활성화 임베딩 인코더로 변환하고 증류 기술을 통해 학습함으로써, 유연한 다중 정밀도 출력 임베딩을 통해 저장 공간과 대역폭 비용을 크게 절감하는 동시에 전정밀도 수준의 성능을 달성하는 극저비트 프레임워크입니다.

원저자: Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거대한 도서관이 있고, 당신의 특정 질문에 가장 잘 부합하는 책을 찾고 싶다고 상상해 보세요. 이를 빠르게 수행하기 위해, 컴퓨터는 모든 책과 모든 질문을 '임베딩(embedding)'이라 불리는 숫자들의 긴 목록인 "디지털 지문"으로 변환합니다. 이 지문은 텍스트의 의미를 포착하여 컴퓨터가 수학적으로 비교할 수 있게 해줍니다.

오랫동안 이러한 디지털 지문을 만드는 가장 좋은 방법은 거대하고 똑똑한 뇌(거대 언어 모델 또는 LLM)를 사용하는 것이었습니다. 하지만 여기에는 문제가 있습니다. 이 거대한 뇌들은 실행 속도가 느리고, 그 지문들이 차지하는 저장 공간도 엄청나다는 점입니다. 이는 마치 단 하나의 사실을 찾기 위해 백팩에 백과사전 한 권 분량의 데이터를 담아 들고 다니는 것과 같습니다.

이 논문은 성능(지능)을 크게 잃지 않으면서도 초고속이며 매우 작은 디지털 지문을 만드는 새로운 방법인 BITEMBED를 소개합니다.

이들은 다음과 같은 쉬운 비유를 사용하여 이 작업을 어떻게 수행했는지 설명합니다.

1. 문제점: 무거운 백팩

현재의 시스템은 "풀 프리시전(full-precision, 고정밀)" 모델을 사용합니다. 이것은 고해상도의 금괴로 가득 찬 무거운 백팩을 메고 있는 것과 같습니다. 각 금괴(모델의 숫자 하나)는 정밀하고 가치 있지만, 백팩이 너무 무겁기 때문에 다음과 같은 문제가 발생합니다.

추론 (모델 실행): 백팩을 들어 올리고 움직이는 데 시간이 오래 걸립니다.
저장: 수백만 개의 이러한 백팩을 보관하기 위해 거대한 창고가 필요합니다 문입니다.

2. 해결책: "비트넷(BitNet)" 백팩

저자들은 그 무거운 금괴를 **가벼운 삼진법 블록(ternary blocks)**으로 교체하기로 결정했습니다. 넓은 범위의 값 대신, 모델의 내부 가중치를 단 세 가지 상태인 -1, 0, +1로 단순화했습니다.

비유: 복잡하고 다채로운 색채의 그림을 검은색, 흰색, 회색만을 사용한 간단한 스케치로 바꾸는 것을 상상해 보세요. 훨씬 가볍고 운반하기 쉽지만, 제대로만 만든다면 원래의 그림과 여전히 비슷해 보일 것입니다.

3. 학습: 스케치 화가에게 가르치는 법

단순히 똑똑한 뇌를 가져와서 갑자기 "멍청하게(저비트)" 만들면 모델이 망가질 수 있습니다. 논문은 이를 해결하기 위한 3단계 학습 과정을 설명합니다.

단계 A: "재교육" (지속적 사전 학습)
모델을 단순화하면 세상에 대한 지식을 잊어버리게 됩니다. 저자들은 먼저 단순화된 모델에게 방대한 양의 텍스트 쌍(예: "질문"과 "답변")을 사용하여 다시 가르침으로써, 단어들이 서로 어떻게 연관되는지에 대한 이해를 재구축했습니다.
비유: 은퇴한 교수님에게 새로운, 단순화된 언어를 배우는 속성 과정을 제공하여 다시 가르칠 수 있도록 준비시키는 것과 같습니다.
단계 B: "그림자 학생" (증류, Distillation)
그들은 원래의 무겁고 똑똑한 모델(이하 "선생님")을 배경에서 계속 실행시킵니다. 그리고 새로운 경량 모델(이하 "학생")은 선생님을 모방하려고 노력합니다.
유사도 증류 (Similarity Distillation): 학생은 단순히 어떤 답이 맞는지뿐만 아니라, 서로 다른 답변들 사이의 관계에 대해 선생님이 얼마나 확신(confidence)을 가지고 있는지도 배웁니다.
어텐션 증류 (Attention Distillation): 학생은 선생님의 뇌가 문장의 서로 다른 부분(예: 어떤 단어가 가장 중요한지)에 어떻게 집중하는지를 관찰하고, 그 집중 방식을 모방하려고 노력합니다.
비비유: 학생은 단순히 정답을 암기하는 것이 아니라, 선생님의 사고 과정을 관찰하며 비록 뇌는 더 작더라도 선생님과 똑같이 생각하려고 노력하는 것입니다.

4. 마법의 기술: "마트료시카" 지문

보통 더 작은 파일을 원한다면 완전히 새로운 모델을 훈련시켜야 합니다. 하지만 BITEMBED는 다릅니다. 이 모델은 여러 크기에서 동시에 작동하는 지문을 생성하도록 훈련됩니다.

비유: 러시아 인형인 마트료시카를 상상해 보세요.
- 저장 공간이 충분하다면 전체 16비트 인형(가장 크고 상세한 버전)을 사용할 수 있습니다.
- 공간이 부족하다면, 8비트나 4비트 내부 인형만 사용해도 됩니다.
- 심지어 가장 작은 1비트 버전(가장 작은 인형)조차도 적절한 정보를 찾는 데 충분히 제 역할을 합니다.
  모델은 핵심적인 의미를 잃지 않으면서 스스로를 축소하는 법을 배우며, 이를 통해 사용자는 속도/저장 공간과 완벽한 정확도 사이에서 자유롭게 선택할 수 있습니다.

결과: 무엇을 발견했는가?

저자들은 이 모델을 MMTEB(텍스트 이해 능력을 테스트하는 거대한 벤치마크)에서 테스트했습니다.

속도: 새로운 BITEMBED 모델은 표준 컴퓨터 칩(CPU)에서 무거운 풀 프리시전 버전보다 2배 더 빨랐습니다.
지능: "경량"임에도 불구하고, BITEMBED 모델은 무거운 선생님 모델만큼이나 거의 동일한 성능을 보여주었습니다. 한 테스트에서는 그 차이가 1% 미만이었습니다.
저장 공간: "내부 인형"(낮은 비트 정밀도)을 사용함으로써, 모델의 유용성을 유지하면서도 저장 요구량을 최대 16배까지 줄일 수 있었습니다.

요약

BITEMBED는 매우 똑똑하지만 무거운 사서에게 단순화된 언어로 된 속성 과정을 제공하고, 그 지식을 작고 가벼운 백팩에 담아 나르는 법을 가르치는 것과 같습니다. 이 사서는 무거운 사서만큼 빠르고 정확하게 책을 찾아낼 수 있으며, 훨씬 더 적은 공간과 훨씬 더 빠른 속도로 이를 수행할 수 있습니다. 이는 강력한 AI 검색 도구를 거대한 컴퓨팅 파워나 저장 공간이 없는 기기나 시스템에서도 가능하게 만듭니다.

기술 요약: BitNet 텍스트 임베딩 (BITEMBED)

문제 정의

LLM 기반 텍스트 임베더는 검색 및 의미론적 표현의 품질을 크게 향상시켰으나, 실제 배포 시 두 가지 결정적인 병목 현상에 직면합니다:

높은 추론 지연 시간: LLM 백본은 전통적인 인코더 전용 모델에 비해 계산 비용이 많이 들어, 쿼리와 문서를 임베딩하는 속도를 늦춥니다.
상당한 저장 공간 및 대역폭 오버헤드: 고차원의 전정밀도(full-precision) 임베딩은 수백만 또는 수십억 개의 문서를 유지하는 대규모 검색 시스템에서 메모리 및 데이터 이동 비용을 가중시킵니다.

기존의 극단적 저비트 LLM 접근 방식(예: BitNet)은 일반적인 태스크 모델에 초점을 맞추고 있으며, 공격적인 양자화에도 불구하고 높은 충실도의 의미 보존을 요구하는 텍스트 임베딩의 특수한 요구 사항에는 체계적으로 적응하지 못했습니다.

방법론

저자들은 사전 학습된 LLM 백본을 극단적인 저비트 임베딩 인코더로 변환하는 프레임워크인 BITEMBED를 제안합니다. 이 접근 방식은 세 단계의 학습 파이프라인을 따릅니다:

1. BitNet 스타일의 백본 변환

사전 학습된 LLM은 다음과 같은 특징을 가진 BitNet 스타일 아키텍처로 변환됩니다:

삼진 가중치 (Ternary Weights): 트랜스포머 블록의 선형 가중치는 1.58비트 값인 $\{-\Delta_w, 0, \Delta_w\}$ 로 양자화됩니다.
양자화된 활성화 함수 (Quantized Activations): BitLinear 레이어로 들어오는 토큰별 활성화 함수에 8비트 양자화가 적용됩니다.
서브 레이어 정규화 (Sub-layer Normalization, SubLN): 양자화로 인한 활성화 이상치(outlier) 및 스케일 드리프트에 대한 민감도를 완화하기 위해, 각 트랜스포머 블록 내부에 중간 상태를 정규화하는 SubLN 모듈이 삽입됩니다.
직통 추정기 (Straight-Through Estimator, STE): 역전파 과정에서 미분 불가능한 양자화 연산의 그래디언트를 근사하기 위해 사용됩니다.

2. 학습 파이프라인

양자화된 백본을 표현 학습에 적응시키기 위해, BITEMBED는 다단계 최적화 전략을 채택합니다:

지속적 대조 사전 학습 (Continual Contrastive Pre-training): 양자화된 모델은 InfoNCE 손실을 사용하여 대규모 텍스트 쌍을 통해 사전 학습을 거칩니다. 이 단계는 지도 미세 조정(supervised fine-tuning) 전에 극단적인 양자화로 인해 왜곡된 광범위한 의미 공간을 재구축합니다.
증류 기반 지도 미세 조정 (Distillation-Based Supervised Fine-tuning): 저비트 학생(student) 모델은 고품질의 지도 학습 데이터(hard negative 포함)를 사용하여 미세 조정되며, 이때 전정밀도(FP16) 교사(teacher) 모델의 가이드를 받습니다. 여기에는 두 가지 증류 목적이 포함됩니다:
- 유사도 분포 증류 (Similarity-Distribution Distillation): 후보 집합에 대한 학생과 교사의 소프트 유사도 분포 간의 KL 발산을 최소화하여 미묘한 상대적 선호도를 포착합니다.
- 어텐션 관계 증류 (Attention-Relation Distillation): 학생의 토큰 수준 상호작용 구조(어텐션 맵)를 교사의 구조와 일치시키며, 특히 중간에서 후기 트랜스포머 레이어에서 수행됩니다. 이를 통해 구조적 의존성을 보존합니다.

3. 다중 정밀도 출력 임베딩 학습

백본을 양자화하는 것을 넘어, BITEMBED는 출력 임베딩이 여러 저장 정밀도(1, 2, 4, 8, 16비트)에 대해 견고하도록 학습합니다.

메커니즘: 학습 중에 모델은 지원되는 모든 비트 너비에 대한 평균 손실을 최적화합니다. 낮은 비트 너비의 경우, 임베딩은 양자화(예: 1비트를 위한 스케일된 바이너리)되고 유사도 계산을 위해 재구성됩니다.
목표: 이를 통해 단일 모델 체크포인트가 다양한 메모리 예산에 대응할 수 있게 하여, 사용자가 재학습 없이 저장 비용과 성능 사이의 균형을 맞출 수 있도록 합니다.

주요 기여

최초의 체계적 연구: 본 논문은 인코더 추론 효율성과 벡터 인덱스 저장 모두를 목표로 하는, LLM 기반 텍스트 임베딩을 위한 극단적 저비트 양자화에 대한 최초의 체계적인 조사를 제시합니다.
효과적인 학습 프레임워크: 지속적 대조 사전 학습, 지도 미세 조정, 그리고 이중 증류(유사도 분포 및 어텐션 관계)를 결래한 새로운 프레임워크를 제안하여 양자화 과정에서 손실된 표현 품질을 회복합니다.
다중 정밀도 적응성: 다중 정밀도 출력 임베딩을 위한 학습 전략을 도입하여, 단일 모델이 유연한 저장 구성을 지원하면서도 전정밀도 성능에 근접할 수 있음을 입증했습니다.

실험 결과

저자들은 Qwen3-0.6B 및 Gemma3-270M 백본을 사용하여 MMTEB (eng, v2) 벤치마크에서 BITEMBED를 평가했습니다.

성능 동등성: BITEMBED는 전정밀도 교사 모델과 거의 대등한 성능을 유지합니다.
- Qwen3-0.6B의 경우, BITEMBED는 평균 점수 67.60을 달성하여 FP16 교사(67.95)보다 단 0.35점 낮았습니다.
- Gemma3-270M의 경우, 66.10을 달성하여 교사의 66.71과 매우 유사한 결과를 보였습니다.
추론 효율성: 이 프레임워크는 CPU(8 스레드)에서의 토큰 처리량을 크게 개선했습니다:
- Qwen3-0.6B: 364.36에서 830.50 tokens/s로 증가 (~2.3배).
- Gemma3-270M: 1181.28에서 2055.47 tokens/s로 증가 (~1.7배).
다중 정밀도 트레이드오프:
- 8비트 및 4비트 임베딩은 16비트와 비교했을 때 거의 손실이 없었습니다.
- 1비트 및 2비트 임베딩은 (예: Qwen3-0.6B에서 64.43) 사용 가능한 성능을 유지하면서도 저장 공간을 각각 약 16배 및 8배 줄였습니다.
절제 연구(Ablation) 결과:
- SubLN, 증류, 또는 지속적 사전 학습을 제거하면 성능이 크게 하락했습니다.
- 변환된 BitNet 백본을 이러한 구성 요소 없이 직접 미세 조정했을 때는 낮은 평균 점수(58.92)를 기록하여, 전체 파이프라인의 필요성을 확인했습니다.
- 중간-후기 레이어(예: Qwen3의 경우 레이어 18)에서의 어텐션 증류가 가장 효과적이었습니다.
MRL과의 비교: BITEMBED는 대부분의 저장 시나리오, 특히 극단적인 압축 수준에서 Matryoshka Representation Learning (MRL)보다 우수한 성능을 보였는데, 이는 저비트 재구성에 견고한 완전한 임베딩 공간을 유지했기 때문입니다.

의의 및 주장

본 논문은 BITEMBED가 극단적 저비트 학습이 효율적인 의미 표현을 위한 실행 가능하고 유망한 방향임을 입증한다고 주장합니다. 인코딩 효율성과 벡터 저장 문제를 동시에 해결함으로써, 이 프레임워크는 고성능 태스크에 필요한 의미적 품질을 희생하지 않으면서도 LLM 기반 임베더를 자원이 제한된 환경(예: 온라인 검색 서비스)에 배포할 수 있게 합니다. 다중 정밀도 임베딩을 통해 저장 공간과 성능을 유연하게 교환할 수 있는 능력은 텍스트 임베딩 시스템을 확장하는 데 있어 실질적인 솔루션을 제공합니다.