The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

기술 요약: 웹 문서 제목에 대한 확장 SPLADE 모델의 사전 학습 연구

문제 제기
마스크드 언어 모델링 (MLM) 사전 학습은 신경 정보 검색 (IR) 모델의 표준 초기화 방법입니다. 그러나 이전 연구에 따르면, MLM 사전 학습 모델은 검색 작업을 위해 신경 양방향 인코더 (Bi-Encoder) 모델로 미세 조정될 때 종종 제한된 준비 상태와 전이 학습 문제를 보입니다. 구체적으로, MLM 의 목표 (인스턴스 내 예측) 와 IR 랭킹 (인스턴스 간 구분) 은 항상 정렬되어 있지 않습니다. 학습된 희소 검색 (LSR) 모델인 SPLADE 와 같은 모델은 미세 조정 시 희소 표현을 생성하기 위해 MLM 계층을 활용하지만, 이러한 모델, 특히 커스텀 고차원 출력 어휘를 사용하는 확장 SPLADE (ESPLADE) 모델의 최적 사전 학습 전략은 아직 충분히 탐구되지 않았습니다. 본 논문은 다양한 사전 학습 데이터셋과 하이퍼파라미터가 ESPLADE 모델의 하류 검색 효과성과 효율성에 미치는 영향을 조사합니다.

방법론
저자들은 확장 마스크드 언어 모델 (EMLM) 의 사전 학습과 이를 ESPLADE 모델로 이어지는 미세 조정을 포함하는 일련의 실험을 수행했습니다. 연구는 주요 데이터 소스로 자체 웹 문서 제목을 활용했습니다.

• 모델 아키텍처: 본 연구는 Dudek 등 (2023) 의 ESPLADE 아키텍처를 사용하며, 커스텀 확장 어휘 (10 만 개 유니그램) 를 지원하도록 출력 MLM 완전 연결 계층을 재구성합니다. 이를 통해 표준 BERT 어휘보다 더 큰 차원성을 가질 수 있습니다.
• 사전 학습 구성: 저자들은 두 가지 주요 요인을 변형했습니다.
  1. 데이터셋:
     • Overlap-Repeat: 미세 조정 학습 세트 (trainset-small) 에서 파생된 6 억 1,400 만 개의 웹 제목으로 사전 학습되었으며, 반복된 마스킹 패턴을 사용했습니다.
     • Indep-Repeat: 미세 조정 세트와 정렬된 어휘를 사용하여 고유한 자체 컬렉션 (7,900 만 개 고유 제목) 의 6 억 1,400 만 개 레코드로 사전 학습되었습니다.
     • Indep-Uniq: 자체 컬렉션의 6 억 1,400 만 개 고유 웹 제목으로 사전 학습되었습니다.
  2. 학습률 및 단계:
     • 낮은 학습률 (-lr-l): 60 만 단계 동안 학습.
     • 높은 학습률 (-lr-h): 290 만 단계 동안 학습되었으나 60 만 단계에서 체크포인트를 저장하여, 낮은 학습률 모델에 비해 더 높은 "실제" 학습률을 갖게 되었습니다.
• 미세 조정 및 평가: 모델은 배치 내 부정적 손실과 FLOPS 정규화를 사용하여 쿼리 - 문서 클릭이 포함된 검색 로그에서 미세 조정되었습니다. 평가는 MLM 로짓 점수에 기반하여 희소 벡터 (쿼리 및 문서 용어) 를 선택적으로 정적 가지치기하여 엄격한 효율성 제약을 시뮬레이션한 홀드아웃 테스트 세트를 대상으로 수행되었습니다.
• 지표: 검색 효과성은 MRR@10 및 R@10 을 통해 측정되었습니다. 효율성은 postings 리스트의 탐색 비용에 기반한 FLOPS 지표를 사용하여 근사화되었습니다. 연구는 또한 EMLM 로짓 벡터의 통계적 속성 (예: logit-score-std) 과 postings 리스트 길이 분포를 분석했습니다.

주요 결과
실험은 세 가지 주요 관찰 결과를 도출했습니다.

1. 사전 학습 데이터 및 학습률 영향: 가지치기되지 않은 설정과 엄격하게 가지치기된 설정 모두에서 가장 높은 검색 효과성을 달성한 미세 조정 모델은 주로 미세 조정 코퍼스 (overlap-) 가 아닌 일반적이고 독립적인 코퍼스 (indep-) 에서 사전 학습된 모델들이었습니다. 또한, 더 높은 실제 학습률 (-lr-h) 로 사전 학습된 모델은 일반적으로 낮은 학습률 모델보다 더 우수한 성능을 보였습니다. 주목할 점은, 이러한 고성능 모델은 사전 학습 중 더 낮은 MLM 정확도와 더 높은 logit-score-std(로짓 점수의 분산) 를 보였는데, 이는 높은 MLM 정확도가 반드시 검색 준비 상태와 상관관계가 있음을 시사합니다.
2. 엄격한 가지치기에서의 트레이드오프: 가장 엄격한 가지치기 설정 (예: 상위 5 개 쿼리 용어와 10 개 문서 용어만 유지) 에서 고성능 모델 (-lr-h를 가진 indep-) 은 더 나은 검색 효과성을 유지했지만 더 높은 검색 비용 (FLOPS) 을 초래하고 개별 postings 리스트 길이의 더 높은 분산을 보였습니다. 이는 엄격한 희소성 제약 하에서 효과성을 유지하는 것이 용어 빈도의 덜 균일한 분포를 필요로 하여 더 높은 계산적 탐색 비용을 초래한다는 트레이드오프를 나타냅니다.
3. 데이터셋 반복: 일반 사전 학습 데이터셋을 반복하는 것 (indep-repeat 대 indep-uniq 비교) 은 검색 효과성에 미미한 영향을 미쳤습니다. 이는 FLOPS 정규화가 적용될 때 랭킹 미세 조정을 위해 MLM 분류 작업에 대한 코퍼스의 다양성이 결정적인 요소가 아님을 시사합니다.

의의 및 주장
본 논문은 표준 MLM 사전 학습과 ESPLADE 미세 조정 간의 정렬에 대한 잠재적 한계를 경험적으로 규명합니다. 저자들은 다음과 같이 주장합니다.

• 목표의 불일치: 연구 결과는 MLM 사전 학습과 IR 랭킹 미세 조정이 항상 정렬되어 있지 않다는 가설을 뒷받침합니다. MLM 작업에서 잘 수행되는 모델 (높은 정확도, 낮은 분산) 은 검색에 최적화되지 않을 수 있는 반면, 더 높은 logit-score 분산과 더 낮은 MLM 정확도를 가진 모델 (종종 더 높은 학습률로 일반 코퍼스에서 사전 학습된 결과) 은 ESPLADE 미세 조정에 더 나은 적응력을 보입니다.
• 효율성 - 효과성 트레이드오프: 본 연구는 엄격한 가지치기 시나리오에서 검색 효과성을 유지하는 것이 종종 더 높은 검색 비용과 postings 리스트 길이의 더 높은 분산을 필요로 한다는 경험적 증거를 제공합니다. 이 트레이드오프는 사전 학습 구성과 결과적으로 생성된 희소 표현 특성에 내재되어 있습니다.
• 맥락 지식의 제한된 전이: 반복된 일반 데이터셋과 고유한 일반 데이터셋 간의 유의미한 성능 차이 부재는 다양한 MLM 사전 학습 코퍼스에서 ESPLADE 모델의 특정 랭킹 미세 조정으로 맥락 지식을 전이하는 데 한계 (또는 필요성) 가 있음을 시사합니다.

저자들은 MLM 사전 학습이 유용하지만, 특정 구성 (코퍼스 유형, 학습률) 이 모델의 희소 검색 미세 조정 준비 상태에 상당한 영향을 미치며, 표준 MLM 지표가 하류 검색 성능의 신뢰할 수 있는 지표가 아닐 수 있다고 결론지었습니다.