💬 NLP

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

이 논문은 3단계 사전 학습 레시피를 통해 3,500억 토큰 규모의 방대한 이커머스 코퍼스로 학습된 특화된 BERT 스타일 인코더 제품군인 RexBERT를 소개하며, 이는 훨씬 적은 파라미터 수를 가짐에도 불구하고 도메인 특화 작업에서 더 큰 규모의 범용 모델들을 능가하는 성능을 보여준다.

원저자: Rahul Bajaj, Anuj Garg

게시일 2026-02-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rahul Bajaj, Anuj Garg

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 RexBERT 논문을 일상적인 비유를 사용하여 쉬운 언어로 번역한 내용입니다.

핵심 아이디어: 전문 지식 vs 일반 지식

여러분에게 두 종류의 사서가 있다고 상상해 보세요.

일반 사서 (범용 AI): 이 사서는 세상의 거의 모든 책을 읽었습니다. 역사, 요리, 과학, 영화 등 모든 것에 대해 조금씩 알고 있습니다. 일반적인 대화에는 매우 뛰어납니다.
전문 사서 (RexBERT): 이 사서는 오직 쇼핑, 제품, 유통에 관한 책만 읽었습니다. 양자 물리학에 대해서는 잘 모를 수도 있지만, "빨간 드레스"와 "빨간 셔츠"의 차이를 이해하거나, "충전기"가 휴대폰의 대체재가 아니라 보완재라는 것을 아는 데 있어서는 독보적인 전문가입니다.

이 논문은 이커머스(온라인 쇼핑) 분야에서는 일반 모델이 훨씬 더 크고 더 많은 책을 읽었더라도, 전문 사서가 실제로 더 나을 수 있다고 주장합니다.

문제점: "일반적인" 사서는 혼란을 느낀다

오늘 ini 대부분의 AI 모델은 인터넷 전체를 학습합니다. 이 방식은 모델을 똑똑하게 만들지만, 쇼핑의 미묘한 디테일을 놓치는 경우가 많습니다.

문제점: 만약 여러분이 일반 AI에게 "배터리가 휴대폰의 대체재인가요?"라고 묻는다면, AI는 혼란을 겪을 수 있습니다. 쇼핑에서 배터리는 보완재(둘 다 필요함)이지, 대체재(하나 대신 다른 것을 사용하는 것)가 아니기 때문입니다.
결과: 일반 모델은 제품 간의 유사성, 함께 사용하는 제품, 그리고 서로 아무런 관련이 없는 제품 사이의 차이를 구별하는 데 어려움을 겪습니다.

해결책: RexBERT

저자들은 쇼핑에 특화된 AI 모델 제품군인 RexBERT를 구축했습니다. 그들은 단순히 더 큰 모델을 만든 것이 아니라, 세 가지 주요 단계를 통해 더 똑똑하고 집중력 있는 모델을 만들었습니다.

1. "Ecom-niverse" (전문 도서관)

모델을 학습시키기 위해 인터넷 전체를 사용할 수는 없었습니다. 쇼핑 데이터로 가득 찬 도서관이 필요했습니다.

비유: 거대한 쓰레기 더미(인터넷 전체) 속에서 금화(쇼핑 데이터)만을 골라내는 과정을 상상해 보세요.
수행 내용: 그들은 FineFineWeb이라는 거대한 웹 데이터셋에서 패션, 뷰티, 자동차, 전자제품과 관련된 콘텐츠만을 추출하기 위해 스마트한 필터링 과정(고성능 체질)을 거쳐, 3,500억 단어로 구성된 Ecom-niverse라는 방대한 데이터셋을 만들었습니다. 심지어 다른 AI 모델을 사용하여 추출된 데이터가 단순한 광고나 뉴스가 아니라 실제 쇼핑 관련 내용인지도 이중으로 확인했습니다.

2. "3단계 요리 레시피" (학습 커리큘럼)

모델에 바로 쇼핑 데이터셋을 던져줄 수는 없습니다. 먼저 기초를 배워야 합니다. 저자들은 세 단계의 학습 레시피를 사용했습니다.

1단계: 일반 교육. 먼저 모델에게 모든 것(책, 코드, 뉴스, 웹 텍text)이 섞인 데이터를 가르쳤습니다. 이를 통해 언어가 작동하는 방식에 대한 탄탄한 기초를 쌓았습니다.
2단계: 긴 문장 적응 훈련. 쇼핑 페이지는 매우 길 수 있습니다(상품명, 긴 설명, 20개의 특징 목록이 있는 상품 페이지를 생각해보세요). 그들은 모델이 중요한 세부 정보를 잘라먹지 않도록 아주 긴 텍스트(최대 8,192단어)를 처리하는 법을 가르쳤습니다.
3단계: "쇼핑 부트캠프" (Annealing). 마지막으로, 학습의 초점을 거의 전적으로 Ecom-niverse 쇼핑 데이터로 서서히 옮겼습니다. 그들은 Guided MLM이라는 특별한 기술을 사용했는데, 이는 마치 선생님이 문장에서 가장 중요한 단어(예: "방수" 또는 "사이즈 10")를 가리키며 "여기에 특히 주의를 기울여!"라고 말하는 것과 같습니다. 이를 통해 모델은 제품의 특정한 언어를 배우게 됩니다.

3. 결과: 작지만 강력함

저자들은 1,700만 개의 파라미터부터 4억 개의 파라미터에 이르기까지 다양한 크기의 RexBERT 모델을 만들었습니다.

놀라운 사실: RexBERT 모델은 유명한 일반 모델들보다 2~3배 더 작음에도 불구하고, 쇼핑 관련 작업에서 더 뛰어난 성능을 보였습니다.
증거: 다음과 같은 작업에서 테스트를 거쳤습니다:
- 빈칸 채우기: 상품 제목에서 빠진 단어 추측하기.
- 제품 매칭: 두 아이템이 동일한지, 유사한지, 혹은 관련이 없는지 결정하기.
- 일반적 지능: 농담이나 문법 이해와 같은 비쇼핑 테스트에서도, 이 작은 쇼핑 전문가들은 놀랍게도 일반적인 대형 모델들을 능가하는 모습을 보였습니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 양질의 데이터 + 좋은 학습 계획이 모델을 단순히 크게 만드는 것보다 더 중요하다고 주장합니다.

비유: 게임의 특정 규칙을 잘 아는 고도로 훈련된 소수의 전문가를 갖는 것이, 모든 것을 조금씩 알지만 훈련되지 않은 거대한 군중을 갖는 것보다 낫습니다.
핵심 요약: 만약 특정 직업(예: 의료, 법률, 쇼핑)을 위한 AI를 원한다면, 거대한 "신과 같은" AI를 만들 필요가 없습니다. 적절하고 전문화된 데이터를 제공하고 정교하게 가르치기만 하면 됩니다.

요약

RexBERT는 온라인 쇼핑을 위한 새로운 AI 도구입니다. 다음과 같이 구축되었습니다:

깨끗하게 정제된 방대한 쇼핑 텍스트 라이브러리를 수집했습니다.
일반 학습 $\rightarrow$ 긴 텍스트 학습 $\rightarrow$ 전문 쇼핑 학습의 3단계로 학습시켰습니다.
더 작은 전문화된 모델이 제품, 검색 쿼리 및 고객 의도를 이해하는 데 있어 더 큰 일반 모델을 이길 수 있음을 증명했습니다.

저자들은 누구나 쇼핑뿐만 아니라 다른 분야에서도 이러한 "전문 사서"를 만들 수 있도록 자신들의 데이터와 방법론을 공개했습니다.

기술 요약: RexBERT – 이커머스 특화 양방향 인코더

문제 정의

인코더 전용 트랜스포머(예: BERT, ModernBERT)는 유리한 비용-지연 시간(cost-latency) 트레이드오프 덕분에 검색, 분류 및 랭킹 분야에서 여전히 필수적이지만, 대부분의 범용 모델은 전문적인 도메인 커버리지가 제한된 일반적인 코퍼스로 학습되었습니다. 이커머스 분야에서 범용 모델은 제품 간의 미묘한 관계(예: 대체재 vs 보완재)를 포착하거나, 고유하고 엔티티가 밀집된 반구조적 형태의 텍칭 속성을 인식하는 데 종종 실패합니다. 또한, 연구 커뮤니티가 생성형 모델을 위한 디코더 전용 모델에 점점 더 우선순위를 두면서, 최근의 구조적 발전에도 불구하고 인코더 연구는 상대적으로 미발달된 상태로 남아 있습니다.

방법론

1. 코퍼스 큐레이션: Ecom-niverse

저자들은 이커머스 시맨틱스를 위해 특별히 큐레이션된 3,500억 토큰 규모의 코퍼스인 Ecom-niverse를 소개합니다.

출처: 4.4조 토큰 규모의 CommonCrawl 기반 데이터셋인 FineFineWeb에서 유도되었습니다.
선택 전략: 도메인들을 수동으로 검사하여 필터링이 필요한 도메인(예: 취미, 뉴스)과 거의 완전한 중첩을 보이는 도메인(예: 패션, 뷰티, 자동차)의 두 가지 범주로 그룹화했습니다.
파이프라인: 다음과 같은 모듈형 파이프라인이 사용되었습니다:
- 도메인 선택: 탐색 공간을 줄이기 위해 높은 중첩도를 보이는 도메인에 집중했습니다.
- LLM 레이벨링: 지시어 튜닝된 모델(Phi-4)을 사용하여 샘플링된 아이템에 이진 관련성 레이블(관련 있음 vs 관련 없음)을 할당했습니다.
- QA 감사: 가이드라인을 정교화하고 일관성을 확보하기 위해 더 강력한 모델(Llama3-70B)이 레이블의 일부를 감사했습니다.
- 증류(Distillation): 전체 도메인 파티션의 고처리량 필터링을 위해 LLM 레이블을 확장 가능한 fastText 분류기로 증류했습니다.
- 클리닝: 영어 전용 유지, 불필요한 문구(boilerplate/ad) 제거, 중복 제거(MinHash) 및 비속어 필터링을 수행했습니다.

2. 학습 커리큘럼

사전 학습은 ModernBERT에서 채택되었으나 이커머스의 통계적 특성에 맞게 조정된 3단계 커리큘럼을 따릅니다.

1단계: 일반 사전 학습: 다양한 오픈 데이터(웹, 도서, 코드, 기술 논문) 1.7조 토큰을 대상으로 512-토큰 시퀀스, 30% 마스킹 비율, 높은 드롭아웃을 적용하여 견고한 토큰 표현을 구축했습니다.
2단계: 컨텍스트 확장: 2,500억 토큰에 대해 시퀀스 길이를 8,192 토큰으로 확장했습니다. 이 단계에서는 긴 제품 페이지와 속성 블록을 모델링하기 위해 RoPE(Rotary Positional Embeddings)와 NTK-aware 스케일링, 그리고 교차 글로벌/로컬 어텐션을 활용했습니다.
3단계: 어닐링된 도메인 특화(Annealed Domain Specialization): 350억 토크의 Ecom-niverse 코퍼스로 모델을 특화했습니다.
- 어닐링(Annealing): 파괴적 망각(catastrophic forgetting)을 방지하기 위해 샘플링 가중치를 이커머스 데이터 쪽으로 점진적으로 이동시켰습니다.
- 가이드 MLM(Guided MLM): 경량 마이닝 파이프라인에 의해 식별된 도메인 관련 스팬(엔티티 및 속성)을 우선적으로 마스킹하는 타겟 마스킹 전략을 도입했습니다. 이는 표준 무작위 마스킹을 통한 일반화 성능을 유지하면서도 고가치 토큰의 표현력을 강화하는 것을 목표로 했습니다.

3. 모델 아키텍처

RexBERT는 ModernBERT 원칙에 기반한 현대화된 BERT 스타일 인코더를 채택했습니다.

아키텍처: 바이어스 없는 레이어(Biasless layers), 프리-노멀라이제이션(pre-normalization), GeGLU 활성화 함수, 그리고 이차 복잡도를 줄이기 위한 교차 글로벌/로컬 어텐션을 사용합니다.
토크나이저: OLMo에서 유래한 Modern BPE 토크나이저(보카블러리 50,368)를 사용합니다.
최적화: 트래피조이달(trapezoidal) 학습률 스케줄(Warmup-Stable-Decay)을 갖춘 StableAdamW 옵티마이저를 사용합니다.
규모: Micro (17M), Mini (68M), Base (150M), Large (400M) 파라미터의 네 가지 모델 크기를 학습했습니다.

주요 기여

Ecom-niverse: 오픈 웹 리소스로부터 재현 가능한 모듈형 파이프라인을 통해 큐레이션된 3,500억 토큰 규모의 도메인 특화 코퍼스를 공개합니다.
사전 학습 레시피: 이커머스 시맨틱스 학습을 강화하기 위해 Guided MLM을 포함하는 3단계 학습 방법론(General $\to$ Context Extension $\to$ Annealed Specialization)을 제시합니다.
RexBERT 모델: 일반 목적의 인코더보다 도메인 특정 작업에서 우수한 성능을 입증하는 네 가지 모델 규모를 학습 및 평가했습니다.

결과

토큰 분류 (Masked Token Recovery)

제품 제목 및 설명을 (128, 256, 512 토큰으로 절단하여) top-k 정확도( $k \in \{1, 3, 5\}$ )로 평가했습니다.

성능: RexBERT 모델은 모든 크기에서 일반 목적의 베이스라인(ModernBERT, DistilBERT, BERT-mini)을 일관되게 능가했습니다.
주요 발견: RexBERT-mini(68M 파라미터)는 128 토큰 길이의 제품 제목에 대한 top-1 정확도에서 ModernBERT-large(400M+ 파라미터)를 앞질렀습니다 (65.58% vs 60.5%).
스케일링: RexBERT-base (150M)는 모든 블록 크기와 top-k 설정에서 ModernBERT-base보다 높은 정확도를 달성했습니다.

시맨틱 유사도 (ESCI 벤치마크)

정확한 일치(Exact), 대체(Substitute), 보완(Complement), 무관(Irrelevant) 관계를 구분하는 능력을 측정하기 위해 Amazon ESCI 데이터셋(Shopping Queries)을 평가했습니다.

지표: 예측된 코사인 유사도와 타겟 관련성 점수 사이의 Spearman 상관 계수입니다.
성능: RexBERT 시리즈(Micro에서 Large까지)는 ModernBERT, Ettin, EmbeddingGemma 모델보다 높은 상관관계를 달었습니다.
스케일링 효율성: 이득은 Micro $\to$ Mini $\to$ Base 단계에서 가장 두드상하게 나타났으며, 이는 도메인 특화 커리큘럼 설계가 단순한 파라미터 스케일링보다 태스크 관련 시그널을 더 효과적으로 포착함을 시사합니다.

일반 언어 이해 (GLUE)

특화 과정에도 불구하고, RexBERT 모델은 일반적인 NLU 작업(SST-2, QNLI, QQP, MNLI, STS-B)에서 경쟁력 있는 성능을 유지했습니다.

전이 가능성: RexBERT-mini는 다섯 가지 GLUE 작업 모두에서 DistilBERT를 능가했습니다. RexBERT-micro (17M)는 Ettin-17m을 일관되게 앞질렀습니다.
관찰: 이 모델들은 점진적인 커리큘럼을 통한 도메인 특화가 광범위한 언어 이해 능력을 희생시키지 않는다는 것을 보여주었습니다.

의의 및 주장

본 논문은 고품질의 인-도메인 데이터와 원칙적인 학습 접근 방식이 무분별한 스케일링보다 이커머스 애플리케이션을 위한 더 강력한 토대를 제공한다고 주장합니다.

효율성: RexBERT 모델은 동등한 수준의 일반 목적 인코더보다 2~3배 적은 파라미터로 도메인 특정 벤치마크에서 SOTA(State-of-the-art) 성능을 달성합니다.
재현성: 본 연구는 오픈 데이터로부터 도메인 특화 인코더를 구축하는 사례 연구 역할을 합니다. 저자들은 코퍼스를 교체함으로써 이 파이프라인이 다른 수직적 영역(의료, 법률, 과학 등)에도 모듈식으로 적용 가능하다고 주장합니다.
실질적 영향: 결과는 속성 추출, 카탈로그 완성, 검색 랭킹, 특히 일반 모델이 흔히 혼동하는 미묘한 제품 관계(대체재 vs 보완재)를 구분하는 데 있어 개선된 표현력을 제공함을 시사합니다. 또한, 8k 컨텍스트 능력(long-context capability)은 휴리스틱한 절단 없이 전체 머천트 페이지를 처리해야 하는 필요성을 해결합니다.