REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning

기술적 요약 (한국어)

이 논문은 이질적인 (heterogeneous) 태스크들을 가진 도메인 특화 텍스트 임베딩 모델의 Pre-finetuning(사전 미세조정) 과정에서 발생하는 문제점을 해결하기 위해 제안된 REZE (Representation Regularization) 프레임워크에 대한 연구입니다.

1. 문제 정의 (Problem)

현대적인 범용 임베딩 모델은 도메인 특화 작업에 적용하기 위해 다양한 태스크 (분류, 검색, NLI 등) 가 섞인 이질적인 데이터셋으로 Pre-finetuning 을 수행합니다. 그러나 기존의 단순한 Pre-finetuning 접근법은 다음과 같은 심각한 문제를 야기합니다.

• 태스크 유도 편향 (Task-induced Bias): 다양한 태스크 간의 근본적인 차이로 인해 모델이 특정 태스크의 노이즈나 편향에 과도하게 적응하게 됩니다.
• 제어되지 않은 표현 이동 (Uncontrolled Representation Shift): Pre-finetuning 과정에서 사전 학습된 임베딩 기하학적 구조 (manifold) 가 왜곡됩니다. 이는 도메인 지식은 흡수하되, 태스크 간 충돌로 인해 오히려 하위 작업 (Downstream tasks) 의 성능이 저하되는 부정적 전이 (Negative Transfer) 현상을 초래합니다.
• 기존 방법의 한계: 기존에 제안된 등방성 (Isotropy) 지향의 사후 처리 기법 (Whitening, Normalizing Flow 등) 은 단일 태스크 환경에서는 유효하나, 이질적인 멀티태스크 Pre-finetuning 환경에서는 오히려 공간 정보를 왜곡시켜 성능을 떨어뜨리는 경우가 많습니다.

2. 제안 방법: REZE (Methodology)

REZE 는 Pre-finetuning 단계에서 표현 이동 (Representation Shift) 을 명시적으로 제어하는 정규화 프레임워크입니다. 핵심 아이디어는 "이질적인 태스크 간에 공유되는 일반적인 도메인 지식은 보존하되, 태스크 고유의 편향 (Noise) 은 선택적으로 억제한다"는 것입니다.

핵심 단계

1. 관계 표현 (Relation Representation) 정의:

   • 개별 임베딩이 아닌, Anchor-Positive 쌍을 연결한 관계 벡터 ($r = [a; p]$) 를 분석 단위로 사용합니다. 이는 태스크 간의 공통된 의미 구조를 포착하는 데 더 효과적입니다.

2. 고유 공간 분해 (Eigenspace Decomposition):

   • 모든 소스 데이터셋의 관계 벡터를 모아서 공분산 행렬을 계산하고, 고유값 분해 (EVD) 를 수행합니다.
   • 이를 통해 데이터를 고유 공간 (Eigenspace) 으로 투영하여 각 성분의 분산 크기를 파악합니다.

3. 태스크 변이 방향 식별 (Task-variant Direction Identification):

   • 각 소스 데이터셋 (태스크) 마다 고유 공간에서의 평균을 계산합니다.
   • 중앙값 (Median) 기반의 산포 지표를 사용하여, 특정 태스크의 평균이 전체 중앙값에서 얼마나 벗어났는지 (Task-variance) 를 측정합니다.
   • Robust Statistics: 평균 (Mean) 대신 중앙값 (Median) 을 사용하여 이상치 (Outlier) 데이터셋의 영향을 최소화하고, 분산이 큰 주성분 (Active Dimensions) 에만 정규화를 적용합니다.

4. 적응형 소프트-슈링크 (Adaptive Soft-shrinkage):

   • 태스크 편향이 큰 방향 (Task-variant directions) 에 대해 소프트-슈링크 (Soft-shrinkage) 를 적용합니다.
   • 특정 임계값을 초과하는 편향 성분은 전역 기준 (Global Reference) 을 향해 부드럽게 당겨집니다 (Shrinkage).
   • 강점: 하드 임계값 (Hard-thresholding) 과 달리 성분을 0 으로 만들지 않으므로, 태스크 간 공통된 의미 구조는 보존하면서 태스크 고유의 노이즈만 제거합니다.
   • 오프라인 계산: 정규화 행렬은 Pre-finetuning 시작 전 참조 모델 (Reference Model) 로 오프라인에 미리 계산되므로, 학습 중 추가적인 계산 비용 (Overhead) 이 발생하지 않습니다.

5. 최종 목적 함수:

   • 기존 InfoNCE 손실 (Main Loss) 에 REZE 정규화 항 ($L_{reze}$) 을 가중치 $\alpha$로 더하여 학습합니다.
   • $L = L_{main} + \alpha \cdot L_{reze}$

3. 주요 기여 (Key Contributions)

1. 새로운 정규화 프레임워크 제안: 이질적인 멀티태스크 Pre-finetuning 환경에서 발생하는 태스크 간 충돌을 해결하기 위해, 고유 공간 기반의 적응형 정규화 기법인 REZE 를 처음 제안했습니다.
2. 표현 이동의 정밀한 제어: 기존 방법들이 임베딩 공간의 등방성 (Isotropy) 을 무조건 추구하는 것과 달리, 원래의 매니폴드 구조를 유지하면서 필요한 부분만 제어된 이동 (Controlled Shift) 을 유도하여 하위 작업 성능을 극대화합니다.
3. 실증적 검증: 다양한 백본 모델 (E5, ModernBERT, GTE, Qwen3) 과 3 가지 전문 도메인 벤치마크 (FinMTEB, Code(MTEB), ChemTEB) 에서 기존 Pre-finetuning 및 사후 처리 기법 (Whitening 등) 을 압도하는 성능을 입증했습니다.
4. 노이즈 제거 메커니즘의 정립: 태스크 간 편향을 식별하기 위해 중앙값 기반의 강건한 통계 기법을 도입하여, 이상치 데이터셋이 전체 학습을 방해하는 것을 방지했습니다.

4. 실험 결과 (Results)

• 성능 향상: 3 개 벤치마크 (금융, 코드, 화학) 및 4 가지 모델에서 REZE 는 표준 Pre-finetuning (PFT) 과 FT(Fine-tuning) 대비 일관되게 높은 성능을 기록했습니다. 특히 데이터가 부족한 (Low-resource) 환경에서 성능 향상이 두드러졌습니다.
• 기존 방법의 실패 극복: PFT 만을 수행하거나 Whitening/Normalizing Flow 를 적용한 경우, Code(MTEB) 벤치마크의 Qwen3 모델 등에서 성능이 급격히 하락 (Collapse) 하는 현상이 관찰되었으나, REZE 는 이러한 붕괴를 막고 안정적인 성능을 유지했습니다.
• 등방성 (Isotropy) 개선: REZE 를 적용한 모델은 PFT 대비 IsoScore(임베딩 공간의 균일성 지표) 가 크게 향상되었습니다 (FinMTEB 에서 약 3 배, ChemTEB 에서 약 2 배 증가). 이는 임베딩 차원이 더 균일하게 활용됨을 의미합니다.
• 시각화: t-SNE/PCA 시각화 결과, PFT 는 임베딩 분포가 원본 구조에서 크게 이탈하는 반면, REZE 는 원본 기하학적 구조를 유지하면서 태스크 간 편향만 제거하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 도메인 적응을 위한 텍스트 임베딩 Pre-finetuning 에서 **"표현 이동 (Representation Shift) 의 제어"**가 단순한 등방성 확보보다 더 중요한 원리임을 제시합니다.

• 실용성: 추론 시 추가 비용 없이, 오프라인 계산만으로 구현 가능하여 실제 산업 환경 (PwC Korea GenAI Team 등) 에 적용하기 용이합니다.
• 이론적 통찰: 이질적인 멀티태스크 학습에서 발생하는 부정적 전이를 해결하기 위해, 태스크 간 공통 지식과 태스크 고유의 노이즈를 기하학적 관점에서 분리하는 접근법의 유효성을 입증했습니다.
• 미래 방향: 법률 등 매우 전문화된 도메인이나 대규모 모델 확장성 (Batch size, 모델 크기) 에 대한 추가 연구가 필요하지만, 현재 제안된 REZE 는 제한된 리소스 하에서도 강력한 도메인 적응 능력을 보여주는 중요한 방법론입니다.

요약하자면, REZE는 다양한 태스크가 섞인 데이터로 모델을 학습시킬 때 발생하는 "혼란"을 수학적으로 정제하여, 모델이 도메인 지식은 잘 흡수하되 태스크 간 충돌로 인한 왜곡은 방지하도록 돕는 고효율 정규화 기술입니다.