기술 요약: 밀집 임베딩을 위한 랜드마크 풀링 (Landmark Pooling)

문제 정의

표현 학습(Representation learning)은 검색, 클러스터링, 분류와 같은 다운스트림 태스크의 기초가 됩니다. 최첨단 시퀀스 인코더들은 일반적으로 가변 길이의 토큰 시퀀스를 하나의 고정된 차원의 벡터로 압축하기 위해 풀링 연산자를 사용합니다. 두 가지 지배적인 전략은 다음과 같습니다:

1. [CLS] 풀링: 시퀀스 시작 부분에 있는 특수 [CLS] 토큰을 활용하여 정보를 집계합니다.
2. 평균 풀링 (Mean Pooling): 시퀀스의 모든 토큰 임베딩을 평균냅니다.

저자들은 이러한 접근 방식, 특히 긴 문맥 확장(long-context extrapolation)과 관련하여 체계적인 약점을 식별했습니다:

• [CLS]의 한계: [CLS] 토큰은 정보가 시퀀스의 초기 위치로 집중되는 경향이 있습니다. 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)의 메커니즘으로 인해, 먼 거리에 있는 토큰에 대한 어텐션 가중치가 크게 감소하며, 이로 인해 [CLS] 표현은 긴 문서의 후반부에 분포된 증거들을 충분히 반영하지 못하게 됩니다.
• 평균 풀링의 한계: 위치 독립적이지만, 평균 풀링은 모든 토큰을 균등하게 평균냄으로써 핵심적인 국소 신호(local signals)를 희석시킵니다. 이는 정보가 일부 토큰에 집중되어 있는 짧은 문맥 태스크에서 성능을 저하시키는 경우가 많은데, 이는 평균화 과정이 정보가 고르게 분포되어 있다고 가정하기 때문입니다.

기존 방법들은 짧은 시퀀스에서의 성능을 희생하지 않으면서도 긴 문맥에 일반화할 수 있는 능력과 국소적인 핵심 특징을 보존하는 능력 사이의 균형을 맞추는 데 종종 실패합니다.

방법론: 랜드마크 (LMK) 풀링

이러한 한계를 해결하기 위해, 저자들은 시퀀스를 청크(chunk)로 분할하고 청크 사이에 특수 "랜드마크" 토큰을 삽ensis하는 랜드마크 (LMK) 풀링을 제안합니다.

핵심 메커니즘:

1. 토큰화 전략: 단일 특수 토큰(예: [CLS])에 의존하는 대신, 입력 시퀀스를 고정된 크기의 청크(예: 매 $k$ 토큰마다)로 나눕니다. 각 청크 뒤에 특수 랜드마크 토큰(일반적으로 [SEP] 토근, 또는 [SEP]를 사용할 수 없는 경우 [EOS])을 삽입합니다.
2. 풀링 전략: 최종 시퀀스 표현은 모든 토큰 임베딩을 풀링하거나 단일 초기 토큰에 의존하는 대신, 삽입된 랜드마크 토킹들의 임베딩만을 평균내어 생성합니다.
3. 그래뉴러리티(Granularity) 변형:
   • 고정 청킹 (Fixed Chunking): 일정한 간격으로 랜드마크를 삽입합니다.
   • 가변 청킹 (Variable Chunking): 훈련 중에 정해진 집합(예: $\{32, 64, 128, 256\}$)에서 삽입 간격을 무작위로 샘플링하여 그래뉴러리티 선택에 대한 강건성을 높입니다.
   • 문장 기반 (Sentence-based): 문장 경계 뒤에 랜드마크를 삽입합니다 (단, 이는 코드와 같은 도메인에서는 일반화가 어렵다고 언급되었습니다).

이론적 근기:
저자들은 LMK 풀링이 여러 토큰에 걸쳐 집계 부담을 분산시킴으로써 긴 문맥에서 [CLS]의 표현 병목 현상을 완화한다고 주장합니다. 동시에, 각 랜드마크 토큰이 시퀀스의 특정 관리 가능한 청크를 집계하므로 전역 평균 풀링보다 국소적인 핵심 특징을 더 잘 보존합니다. 이 방법은 소수의 특수 토큰을 추가함으로써 약간의 계산 오버헤드를 발생시킵니다 (예: 32k 시퀀스에 대해 128 토큰 그래뉴러리티 적용 시 256개의 추가 토큰 발생).

주요 기여

1. LMK 풀링 도입: 다양한 도메인과 언어에서 긴 문맥 벤치마크에 대해 상당한 이득을 제공하는, 일반적인 풀링 방법의 단순하고 효과적인 대안을 제시합니다.
2. 풀링 한계에 대한 체계적 분석: [CLS] 풀링의 위치 편향성과 평균 풀링의 특징 희석을 보여주는 경험적 증거와 이론적 분석(어텐션 가중치 분포를 통한)을 제공하여, 각각의 강점과 약점을 규명합니다.
3. 강건성 및 호환성: LMK 풀링이 다양한 훈련 체제(짧은 문맥 훈련 포함)에서 강건함을 보여주며, 기존의 사전 훈련(예: RetroMAE) 및 검색 최적화 전략과 호환됨을 입증합니다.

실험 결과

저자들은 English 및 다국어 데이터셋에 대해 ModernBERT-base 및 gte-en-mlm-base 아키텍처를 사용하여 LMK 풀링을 베이스라인(CLS, Mean, Latent Attention, MultiCLS)과 비교 평가했습니다.

• 짧은 문맥 성능: LMK 풀링은 표준 짧은 문맥 검색 벤치마크(예: MS MARCO Dev, BEHIR, MTEB-v2)에서 [CLS] 풀링과 대등하거나 약간 상회하는 성능을 보였으며, 평균 풀링보다 우수한 성능을 보였습니다.
• 긴 문맥 성능: LMK 풀링은 긴 문맥 태스크(예: MLDR, COIR, LongEmbed)에서 모든 베이스라인보다 실질적인 개선을 이루었습니다.
  • MLDR 데이터셋에서 LMK는 [CLS] 및 평균 풀링보다 크게 앞섰습니다.
  • 다국어 설정(mmBERT-base)에서 LMK는 13개 언어에 걸친 긴 문맥 평가에서 상당한 개선을 유지했습니다.
• 외삽 (Extrapolation): 짧은 시퀀스(512 토큰)로 훈련되었음에도 불구하고, LMK 풀링은 최대 32k 토큰까지의 시퀀스에 대해 강력한 외삽 능력을 보여주었습니다. 반면, [CLS] 풀링 성능은 훈련 길이를 넘어 외삽할 때 크게 저하되었습니다.
• 훈련 길이 분석: [CLS] 모델의 훈련 시퀀스 길이를 늘리는 것은 위치 편향을 줄였으나 제거하지는 못했으며, 도메인 외 긴 문맥 태스크에서 LMK와의 성능 격차를 좁히지 못했습니다.
• 사전 훈련 통합: RetroMAE 사전 훈련에 사용되었을 때, LMK 풀링은 CLS 기반 사전 훈련에 비해 다운스트림 긴 문맥 검색 태스크에서 일관된 성능 향상을 제공했습니다.

의의 및 주장

본 논문은 LMK 풀링이 기존 풀링 방법의 실용적이고 확장 가능한 대안이라고 주장합니다. 그 의의는 다음과 같습니다:

• 국소 및 전역 정보의 균형: 평균 풀링에서 흔히 손실되는 국소적 핵심 특징을 보존하는 것과 [CLS]가 놓치기 쉬운 장거리 의존성을 포착하는 것 사이의 트레이드오프를 성공적으로 완화합니다.
• 단순성: 복잡한 구조적 변경이나 추가적인 학습 가능 파라미터 없이(Latent Attention와 달리), 토큰화 및 풀링 로직의 수정만으로 구현이 가능합니다.
• 일반화: 긴 문맥 감독(supervision)이 부족한 현재의 밀집 임베딩 시스템의 핵심적인 간극을 해결하며, 주로 짧은 문맥 데이터로 훈련된 모델에서도 강력한 긴 문맥 외삽을 가능하게 합니다.

저자들은 LMK 풀링이 기존의 훈련 및 평가 파이프라인과 원활하게 통합되므로, 긴 문맥 임베딩 태스크, 멀티 벡터 임베딩, 그리고 청킹 기반의 검색 증강 생성(RAG) 시스템을 위한 실행 가능한 솔루션이라고 결론짓습니다.