BidirLM: 인과적 LLM 을 적응 및 조합하여 텍스트에서 올림모달 양방향 인코더로 변환

이 논문은 BidirLM이라는 새로운 모델 계열을 소개하며, 기존의 인과적 (Causal) 생성형 대규모 언어 모델 (LLM) 을 양방향 (Bidirectional) 인코더로 변환하는 체계적인 방법론을 제시합니다. BERT 스타일의 아키텍처에 의존하지 않고, 방대한 오픈소스 생성형 모델 생태계의 지식을 활용하여 텍스트, 비전, 오디오 등 다양한 모달리티를 지원하는 강력한 표현 학습 모델을 구축하는 것을 목표로 합니다.

1. 연구 배경 및 문제 정의

• 현재의 한계: 현재 표현 학습 (Representation Learning) 과 임베딩 작업은 주로 BERT 와 같은 양방향 인코더 아키텍처에 의존하고 있습니다. 반면, 코드, 수학, 안전, 비전, 오디오 등 다양한 도메인에 특화된 수백만 시간의 GPU 연산 자원이 투입된 인과적 (Causal) 생성형 LLM 생태계는 표현 작업에서 활용되지 못하고 있습니다.
• 적응의 난제: 인과적 모델을 인코더로 재사용하려는 시도가 있었으나, 다음과 같은 세 가지 주요 문제가 해결되지 않았습니다.
  1. 최적 학습 목표에 대한 합의 부재: 어떤 학습 목표 (마스크링, 대비 학습 등) 와 어텐션 메커니즘이 적응 품질을 결정하는지 명확하지 않음.
  2. 대규모 적응 시의 파국적 망각 (Catastrophic Forgetting): 원본 사전 학습 데이터 없이 적응할 때, 모델이 기존 지식을 잃어버리는 문제가 발생함.
  3. 생태계와의 조합 불가: 기존 적응된 인코더들은 다른 특화된 인과적 모델들과 유연하게 결합 (Compose) 되지 못함.

2. 방법론 (Methodology)

저자들은 Gemma3 와 Qwen3 계열 모델을 기반으로 한 체계적인 실험을 통해 다음과 같은 3 단계 전략을 제안합니다.

2.1. 적응 전략의 최적화 (Adaptation Strategies)

• 양방향 어텐션 활성화: 인과적 모델의 어텐션 마스크를 제거하여 양방향 어텐션을 가능하게 함.
• 이중 학습 목표 (Dual Objectives):
  1. MNTP (Masked Next-Token Prediction): 기존 인과적 모델의 다음 토큰 예측 능력을 유지하면서 마스킹된 토큰을 복원하는 단계. 이는 과거에 종종 생략되었으나, 미세 조정 (Fine-tuning) 성능을 극대화하는 데 필수적임.
  2. Contrastive Learning (InfoNCE): 일반적인 임베딩 품질을 높이기 위한 대비 학습 단계.
• 시퀀셜 적응: 먼저 MNTP 단계를 거쳐 양방향성을 학습시킨 후, Contrastive 학습을 수행하는 순차적 접근 방식이 모든 작업에서 최상의 성능을 보임.

2.2. 데이터 없는 확장 및 망각 방지 (Scaling without Data)

원본 사전 학습 데이터가 없는 상황에서도 파국적 망각을 방지하기 위해 두 가지 전략을 결합합니다.

• 선형 가중치 병합 (Linear Weight Merging): 적응된 모델과 원본 베이스 모델의 가중치를 선형적으로 병합 (예: 50:50 비율) 하여 원본의 분포 지식을 보존합니다.
• 경량 다도메인 데이터 혼합: 적응 데이터에 소량 (약 20-30%) 의 다도메인 데이터 (다국어, 수학, 코드 등) 를 혼합하여 모델이 다양한 도메인 지식을 유지하도록 유도합니다.

2.3. 올림모달 조합 (Omnimodal Composition)

• 특화 모델 통합: 텍스트 인코더에 비전 (Vision) 및 오디오 (Audio) 전문 모델 (예: Qwen3-VL, Qwen3-ASR) 의 가중치를 병합합니다.
• 모달리티 헤드 연결: 병합된 백본 (Backbone) 위에 각 모달리티에 특화된 헤드를 연결하여, 별도의 전체 재학습 없이 텍스트, 이미지, 오디오를 동시에 처리하는 올림모달 모델을 구축합니다.

3. 주요 기여 (Key Contributions)

1. MNTP 단계의 중요성 규명: 최근의 대비 학습 (Contrastive-only) 중심 접근법이 미세 조정 성능을 희생한다는 것을 발견하고, 마스킹 기반 사전 적응 (MNTP) 단계가 필수적임을 증명했습니다.
2. 데이터 독립적 확장 전략: 원본 학습 데이터 없이도 선형 병합과 소량의 다도메인 데이터 혼합을 통해 파국적 망각을 효과적으로 해결하는 방법을 제시했습니다.
3. 생태계 기반 올림모달 모델: 인과적 LLM 생태계의 특화된 모델들을 '조립'하여 올림모달 인코더를 생성하는 새로운 패러다임을 제시했습니다. 이는 기존에 없던 효율적인 방법론입니다.
4. BidirLM 모델 계열 공개: 텍스트 전용 (BidirLM-270M/1B, 0.6B/1.7B) 과 올림모달 (BidirLM-Omni-2.5B) 모델을 포함한 5 개의 모델을 오픈소스로 공개했습니다.

4. 실험 결과 (Results)

• 성능 향상: BidirLM 계열 모델은 텍스트, 비전, 오디오 표현 벤치마크 (MTEB, MIEB, MAEB, XTREME 등) 에서 기존 오픈소스 대안들을 능가하는 성능을 기록했습니다.
  • 텍스트: BidirLM-270M 은 mmBERT-base 와 동급의 성능을 내면서 파라미터 수는 10% 적게 사용했습니다.
  • 올림모달: BidirLM-Omni-2.5B는 4.8B 파라미터 규모의 최신 올림모달 모델인 Nemotron-Omni-3B 를 모든 모달리티 (텍스트 +17 점, 이미지 +5 점) 에서 능가하며, 2.5B 크기로 더 작은 모델이 더 큰 모델을 이기는 결과를 보여주었습니다.
• 파레토 프론티어 재정의: 모델 크기에 따른 성능 그래프에서 오픈소스 모델들의 파레토 프론티어를 상향시켰으며, 폐쇄형 모델 (Qwen3-Embedding 등) 과도 경쟁 가능한 수준을 달성했습니다.
• 효율성: 올림모달 모델 구축을 위해 추가적으로 소요된 GPU 시간은 약 250 시간 (MI250X 기준) 에 불과하여, 처음부터 모델을 학습시키는 방식에 비해 압도적으로 효율적입니다.

5. 의의 및 결론

이 연구는 인과적 생성형 LLM 을 단순히 텍스트 생성 도구를 넘어, 범용적인 표현 학습 모델로 재탄생시킬 수 있는 유효한 방법론을 제시했습니다.

• 지식 재사용: 수백만 시간의 오픈소스 특화 모델 학습 지식을 버리지 않고, 이를 인코더로 효율적으로 이전 (Transfer) 할 수 있음을 증명했습니다.
• 유연한 아키텍처: 새로운 도메인이나 모달리티가 등장할 때, 전체 파이프라인을 재학습하지 않고도 기존 특화 모델들을 '병합'하여 새로운 기능을 가진 인코더를 빠르게 구축할 수 있는 유연한 프레임워크를 제공합니다.
• 오픈소스 생태계 강화: 폐쇄형 모델에 의존하지 않고, 오픈소스 데이터와 모델만으로 최상급 성능의 올림모달 인코더를 구축할 수 있음을 보여주어, 향후 오픈소스 임베딩 모델 개발의 새로운 기준을 제시합니다.

결론적으로, BidirLM 은 텍스트에서 올림모달까지 확장 가능한 양방향 인코더를 구축하기 위한 **표준 레시피 (Recipe)**로, 인과적 LLM 생태계의 잠재력을 최대한 끌어올리는 중요한 이정표가 됩니다.