💬 NLP

MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning

이 논문은 마스크드 언어 모델링(masked language modeling)과 대조 학습(contrastive objectives)을 공동으로 최적화함으로써 일반 도메인 텍스트 임베딩 모델을 특화된 도메인에 효과적으로 적응시키고, 고자원 및 저자원 설정 모두에서 NDCG@10의 상당한 성능 향상을 달성하는 다단계 프레임워크인 MOSAIC를 소개한다.

원저자: Vera Pavlova, Mohammed Makhlouf

게시일 2026-01-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vera Pavlova, Mohammed Makhlouf

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 역사, 공상과학, 요리, 스포츠 등 모든 장르의 책을 수백만 권 읽은 아주 똑똑한 사서가 있다고 상상해 보세요. 이 사서는 이야기 사이의 일반적인 연결 고리를 찾는 데 매우 능숙합니다. 하지만 만약 당신이 그에게 꾸란의 특정 구절을 찾아달라고 하거나 복잡한 의학 연구 논문을 설명해 달라고 요청한다면, 그는 어려움을 겪을 수도 있습니다. 그는 문장의 구조는 알지만, 이러한 특정 분야의 전문 용어나 깊은 문화적 뉘의(nuance)는 알지 못하기 때문입니다.

이 논문은 이 사서(AI 모델)가 일반적인 지능을 잃지 않으면서도 특정 분야의 전문가가 될 수 있도록 훈련하는 새로운 방법인 MOSAIC를 소개합니다.

MOSAIC가 어떻게 작동하는지, 간단한 단계별로 설명해 드리겠습니다.

문제점: "제너럴리스트(일반론자)"의 함정

오늘날 대부분의 AI 모델은 "제너럴리스트"입니다. 이들은 방대한 양의 인터넷 텍스트로 학습되었습니다.

문제점: 만약 당신이 일반적인 사서에게 의학 서적만을 주어 의학을 가르치려 한다면, 그는 일반적인 대화를 하는 법을 잊어버리거나 새로운 단어들 때문에 혼란에 빠질 수 있습니다.
기존 방식: 이전의 방법들은 모델에게 오직 새로운 단어들만 가르치거나(이 경우 문장을 이해하는 능력이 떨어짐), 혹은 오직 문장 간의 연결만을 가르치는(이 경우 새로운 단어를 배우는 데 도움이 되지 않음) 방식 중 하나를 택했습니다. 이는 마치 레이싱 카를 운전하는 법을 가르치면서 엔진만 보여주거나, 아니면 핸들만 보여주는 것과 같아서, 두 가지를 동시에 보여주지는 못했습니다.

해결책: MOSAIC 레시피

저자들은 MOSIC라고 불리는 3단계 훈련 과정을 만들었습니다. 이것은 마치 신입 사원에게 특수 직무 교육을 하는 것과 같습니다.

1단계: 어휘 확장 (새로운 도구 추가)

먼저, 팀은 특정 분야(예: 생물 의학 또는 이슬람 텍스트)를 살펴보고 일반적인 사서가 모르는 독특한 단어들을 모두 찾아냅니다.

비유: 사서의 사전이 50,000개의 단어로 이루어져 있다고 가정해 봅시다. 팀은 여기에 9,000개의 새로운 전문 용어(예: "myocardial infarction" 또는 특정 꾸란 용어)를 추가합니다.
비결: 기존의 사전을 버리는 것이 아니라, 단순히 확장하는 것입니다. 이는 전체 도서관을 다시 구축할 필요가 없는 저렴하고 쉬운 단계입니다.

2단계: "선택적" 훈련 (비법 소스)

이 부분이 가장 중요한 부분입니다. 팀은 두 가지 유형의 레슨을 동시에 사용하여 사서를 훈련시킵니다.

"빈칸 채우기" 레슨 (MLM): 모델은 문장에서 빠진 단어를 보고 그것을 추측해야 합니다.
"짝 맞추기" 레슨 (Contrastive): 모델은 어떤 두 문장이 서로 어울리는지, 혹은 그렇지 않은지를 판별해야 합니다.

혁신 요소: 과거에는 이 두 가지 레슨을 동시에 수행하는 것이 재앙에 가까웠습니다. "빈칸 채우기" 레슨이 너무 시끄러워서 "짝 맞추기" 레슨을 압도해 버렸기 때문입니다.

MOSAIC의 해결책: 팀은 모델에게 이렇게 말합니다. "'빈칸 채우기' 레슨을 할 때는, 방금 배운 새로운 전문 용어들만 추측해라."
비유: 선생님이 학생의 공부를 도와주는 상황을 상상해 보세요. 선생님이 학생에게 책에 있는 모든 단어를 정의하라고 요구하는 대신(이는 너무 오래 걸리고 학생을 혼란스럽게 합니다), "이 50개의 어렵고 새로운 단어들에만 집중해라"라고 말하는 것과 같습니다. 이를 통해 학생은 전체적인 이야기를 이해하는 능력을 망가뜨리지 않으면서도 새로운 자료에 집중할 수 있습니다.

3단계: "미세 조정" (기술 연마)

모델이 새로운 단어와 그 단어들이 문장 속에서 어떻게 어울리는지를 배운 후, 팀은 "빈칸 채우기" 레슨을 완전히 중단합니다.

비유: 이제 사서가 새로운 어휘를 익혔으므로, 다시 "짝 맞추기" 연습에만 집중하게 합니다. 이는 모델이 검색 엔진으로서 가장 중요한 기술인, 문장 사이의 올바른 연결 고리를 찾는 능력을 탁월하게 유지하도록 보장합니다.

결과: 효과가 있는가?

팀은 이 방법을 매우 다른 두 세계에서 테스트했습니다.

생물 의학 (고자원 분야): 데이터가 엄청나게 많은 분야(수백만 건의 의학 논문).
이슬람 텍스트 (저자원 분야): 영어 데이터가 매우 적은 분야.

결과:

두 경우 모두, MOSAIC로 훈련된 모델은 원래의 제너럴리스트 모델보다 관련 정보를 훨씬 더 잘 찾아냈습니다.
의학 분야에서는 강력한 경쟁 모델들과 비교했을 때 정확도가 최대 13.4% 향상되었습니다.
데이터가 부족한 이슬람 분야에서도 모델은 훨씬 더 신뢰할 수 있었습니다. 다른 모델들과 비교했을 때, 관련 정보를 전혀 찾지 못하는 "제로(zero)" 오류가 훨씬 적었습니다.

이것이 왜 중요한가

이 논문은 이 방법이 단순하고, 저렴하며, 효과적이라고 주장합니다.

모델 전체를 처음부터 다시 훈련시키기 위해 거대한 슈퍼컴퓨터를 필요로 하지 않습니다.
복잡한 구조적 변경을 요구하지 않습니다.
단순히 새로운 단어를 추가하고, 모델이 일반적인 기술을 잊지 않으면서도 그 단어들을 사용하는 법을 가르치기 위한 스마트한 훈련 일정을 사용합니다.

요약하자면, MOSAIC는 똑똑한 일반 AI를 데려와 특정 분야의 전문 학위를 수여하여, 혼란에 빠진 초보자가 아닌 진정한 전문가로 만드는 방법입니다.

기술 요약: MOSAIC

문제 정의
본 논문은 대규모 일반 도메인 텍스트 임베딩 모델을 특화된 도메인에 적응시키는 과제를 다룹니다. 일반 도메인 모델은 방대한 코퍼스를 사용하여 2단계 방식(사전 학습 후 지도 학습 기반 미세 조정)으로 학습되지만, 도메인 특화 지식이 부족하여 전문적인 영역에서의 성능이 제한되는 경우가 많습니다. 기존의 적응 방법들은 다음과 같은 딜레마에 직면해 있습니다:

공동 학습 없는 어휘 확장: 사전 학습된 모델에 도메인 특화 토큰을 단순히 추가하고 마스크 언어 모델링(MLM) 학습을 지속하는 것은 모델의 대조적 특성(contrastive properties)을 저하시킵니다. 이는 인코더가 토큰 예측 목적 함수 하에서 문장 수준의 변별 능력을 상실하기 때문입니다.
대조 학습 전용 적응: 대조 목적 함수만을 사용하여 학습을 지속하면 새로운 도메인 토큰을 효과적으로 업데이트하기 위한 신호가 불충분합니다. 풀링 함수(pooling functions)로 인해 임베딩 행렬에 전달되는 신호가 희석되기 때문입니다.
공동 최적화의 어려움: MLM과 대조 목적 함수를 공동으로 최적화하려고 시도하면 상충하는 학습 신호가 발생할 수 있습니다. MLM 손실은 일반적으로 더 큰 어휘 크기와 높은 그래디언트 크기 때문에 대조 목적 함수를 압도하며, 결과적으로 최적이 아닌 성능을 초래합니다.

방법론: MOSAIC
저자들은 토큰 수준과 문장 수준의 감독을 균형 있게 조절하도록 설계된 다단계 프레임워크인 MOSAIC(Masked Objective with Selective Adaptation for In-domain Contrastive Learning)를 제안합니다. 이 방법은 단순한 전제 조건인 '어휘 확장'에 의존합니다.

프레임워크는 세 단계로 구성됩니다:

1단계: 어휘 증강 (Vocabulary Augmentation). 도메인 코퍼스에서 식별된 도메인 특화 토큰을 통해 모델의 토크나이저를 확장합니다. 이 새로운 토큰들은 임베딩 행렬에 추가되며, 베이스 모델의 서브워드 임베딩 평균값으로 초기화됩니다. 결정적으로, 문장 수준의 변별 능력을 유지하기 위해 기존 인코더 가중치는 보존됩니다.
2단계: 선택적 마스킹을 통한 공동 최적화 (Joint Optimization with Selective Masking). 모델은 MLM과 대조 목적 함수를 결합한 공동 학습을 거칩니다. MLM의 지배력을 완화하기 위해, 저자들은 MLM 목적 함수를 새롭게 도입된 도메인 특화 토큰에만 제한합니다(도메인 제한 어휘). 이는 InfoNCE 스타일 손실의 분모를 줄여, 토큰 수준(MLML)과 문장 수준(대조) 목적 함수 간의 그래디언트 크기를 균형 있게 맞춥니다. 공동 손실은 $L = \alpha \cdot L_{domain}^{MLM} + L_{CL}$ 로 공식화되며, 여기서 $\alpha$ 는 기여도를 조절합니다.
3단계: 대조 학습 전용 단계 (Contrastive-Only Training). 도메인 토큰이 학습된 후, 모델은 대조 목적 함수만을 사용하는 최종 학습 단계를 거칩니다. 이는 공동 학습 단계 동안 희석되었을 수 있는 문장 수준의 변별력을 강화하기 위한 교정 단계 역할을 합니다.

주요 기여

새로운 적응 접근 방식: 본 논문은 기존의 강력한 텍스트 임베딩 모델의 도메인 적응을 위해 상호 정보 최대화(mutual information maximization) 프레임워크 내에서 MLM과 대조 목적 함수를 공동으로 최적화하는 방법인 MOSAIC를 소개합니다.
선택적 적응 메커니즘: 저자들은 MLM 감독을 도메인 특화 토큰에만 제한하는 방식을 제안하며, 이 전략은 그래디언트 크기를 일치시키고 MLM 목적 함수가 대조 신호를 압도하는 것을 방지합니다.
다양한 자원 환경에서의 검증: 이 방법은 고자원(생물 의학) 및 저자원(이슬람) 도메인 모두에서 검증되었으며, 제한된 인도메인 데이터에서도 견고함을 입증했습니다.
포괄적인 분석: 본 연구에는 공동 목적 함수의 영향, 가중치 하이퍼파라미터( $\alpha$ ), 마스킹 전략, 그리고 학습 단계 순서에 대한 광범위한 절제 실험(ablation studies)이 포함되어 있습니다.

결과

고자원 도메인 (생물 의학): MTEB 생물 의학 서브셋에서, MOSAIC는 강력한 일반 도메인 베이스라인 대비 최대 13.4%의 NDCG@10 개선을 달 알파했습니다. 전체 3단계 파이프라인(MOSAIC-Bio-Stage3)은 단순 어휘 확장 및 대조 학습 전용 적응보다 우수한 성능을 보였으며, 검색, 클러스터링 및 의미적 텍스트 유사도 작업 전반에서 가장 높은 평균 점수를 기록했습니다.
저자원 도메인 (이슬람): 영어 데이터가 부족한 특징을 가진 이슬람 도메인에서, MOSAIC-ID-Stage3는 36.8의 NDCG@10을 달성하여 일반 도메인 베이스라인과 대조 학습 전용 변체를 능가했습니다. 이 모델은 베이스라인에 비해 검색 점수가 0인 쿼리의 비율을 크게 줄였습니다.
절제 실험 결과:
- 가중치 인자 $\alpha$ 가 매우 중요합니다. $\alpha=0.3$ 이 최적의 균형을 제공한 반면, 더 높은 값은 MLM의 지배와 성능 저하를 초과했습니다.
- MLM을 전체 어휘가 아닌 도메인 토큰으로 제한하는 것이 매우 낮은 가중치를 적용하더라도 전체 어휘에 적용하는 것보다 더 효과적이었습니다.
- 단계의 순서가 중요합니다. 순수 대조 학습 이전에 공동 학습을 수행하는 것이 그 반대의 경우보다 더 나은 결과를 냈습니다.
- 이 방법은 계산 효율적이며, 표준 대조 미세 조정보다 약 3배의 연산량만을 필요로 하여 전체 도메인 적응 사전 학습(DAPT)보다 훨씬 적게 소요됩니다.

의의 및 주장
본 논문은 MOSAIC가 복잡한 구조적 변경이나 대규모 재학습 없이도 텍스트 임베딩을 전문 도메인에 적응시키는 원칙적이고 효과적인 메커니즘을 제공한다고 주장합니다. 선택적 마스킹을 통해 토큰 수준과 문장 수준의 감독의 상호 보완적인 강점을 활용함으로써, 이 방법은 원래의 일반 도메인 모델이 가진 강력한 의미적 변별력을 유지하면서 도메인 관련 표현을 학습할 수 있게 합니다. 저자들은 이 접근 방식이 데이터 부족으로 인해 전통적인 적응 방법이 어려운 저자원 도메인에서의 실질적인 가치를 강조하며, 이를 통해 최첨단 언어 기술에 대한 공평한 접근을 촉진한다고 설명합니다. 이 작업은 데이터 중심 또는 어댑터 기반 기술과 구별되는, 언어 모델 사전 학습 이후에 작동하는 모델 주도적 접근 방식으로 제시됩니다.