💬 NLP

PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

이 논문은 희소 및 밀집 검색(sparse and dense retrieval), 포인트와 쌍 기반 랭킹을 위한 지속적 사전 학습(continual pre-training), 그리고 전년도 대비 성능을 향상시키기 위한 생성형 T5 모델의 새로운 결합을 상세히 다루는 멀티 스테이지 랭킹 프레임워크를 통해 TREC 2021 딥러닝 트랙에 참여한 PASH의 내용을 제시한다.

원저자: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

게시일 2026-02-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백만 권의 책(문서)과 수십억 개의 페이지(구절)를 보유한 거대한 도서관을 운영하고 있다고 상상해 보세요. 매일 수천 명의 사람들이 매우 구체적인 질문을 들고 찾아옵니다. 당신의 임仕事은 그 질문에 답이 되는 정확한 페이지나 책을 찾아내어 목록의 맨 위에 올려놓는 것입니다.

이 논문은 PASH라는 팀이 이 직업을 위한 최고의 "사서"를 누가 더 잘 만들 수 있는지 겨루는 고도의 경쟁(TREC 2021)에 어떻게 참여했는지 설명합니다. 그들이 어떻게 했는지 알기 쉽게 설명하면 다음과 같습니다.

1. 2단계 검색 전략 (재현 단계)

사서가 어떤 답변이 최고인지 결정하기 전에, 먼저 가능한 답변들을 모아 큰 더미를 만들어야 합니다. PASH는 이 후보들을 모으기 위해 "두 갈래" 접근 방식을 사용했습니다:

키워드 사냥꾼 (희소 검색 - Sparse Retrieval): 이것은 페이지에 적힌 정확한 단어만을 보는 사서라고 생각하면 됩니다. 만약 당신이 "사과"를 찾는다면, 그들은 "사과"라는 단어가 있는 페이지를 찾습니다. 이를 더 똑똑하게 만들기 위해, 그들은 페이지를 읽고 그 페이지가 답할 수 있는 질문 목록을 작성하는 로봇(T5)을 사용했습니다. 이는 키워드 사냥꾼이 사용자가 정확한 단어를 사용하지 않았더라도 페이지를 찾을 수 있도록 도와줍니다.
개념 독해자 (밀집 검색 - Dense Retrieval): 이것은 단어 뒤에 숨겨진 의미를 이해하는 사서입니다. 설령 당신이 "과일"에 대해 묻고 페이지에는 "빨간 맛있는 것"이라고 적혀 있더라도, 이 사서는 둘이 일치한다는 것을 압니다. PASH는 속도 문제에 발목 잡히지 않으면서도 문맥을 잘 이해하는 ColBERT라는 시스템을 사용했습니다.

이 두 가지를 결합함으로써, 그들은 좋은 답변을 놓치지 않도록 넓은 그물을 던졌습니다.

2. 정렬 줄 세우기 (다단계 순위 매기기)

일단 잠재적인 답변들의 큰 더미를 확보하고 나면, 이제 이를 "최고"에서 "최악"까지 정렬해야 합니다. 그들은 두 차례에 걸쳐 이 작업을 수행했습니다:

1라운드 (지점별 점검): 그들은 각 답변을 개별적으로 살펴보며 "이 답변 자체로 얼마나 좋은가?"라고 물었습니다. 그들은 일반적인 지식으로 훈련된 후 특정 도서관 데이터에 맞춰 미세 조정된 강력한 AI 모델들(BERT 및 XLNet 등)을 사용했습니다.
2라운드 (일대일 맞대결): 이것은 그들에게 새로운 기술이었습니다. 단순히 각 답변을 따로 채점하는 대신, 답변들을 서로 직접 비교하기 시작했습니다. "답변 A가 답변 B보다 더 나은가?" 이 방식 덕분에 그들은 훨씬 더 많은 데이터를 사용하여 정렬기를 훈련할 수 있었고, 결과적으로 정렬기는 훨씬 더 날카로워졌습니다.

3. 새로운 슈퍼 도구 (생성 모델)

지난해 대회와 비교했을로 가장 큰 변화는 T5라는 새로운 거대 AI 모델의 도입이었습니다.

비유: 이전의 모델들이 도서관 카탈로그를 암기한 전문가 학생과 같았다면, 새로운 T5 모델은 처음부터 답변의 요약을 직접 작성할 수 있는 천재와 같습니다.
결과: 이 "생성형" 모델은 매우 강력하여, 더 이상 찾아볼 필요 없이 상위 5개 결과(Top 5) 안에 완벽한 답을 찾아내는 경우가 많았습니다. 하지만 논문은 이 생성형 모델이 매우 빠르게 최고의 답을 찾는 데는 뛰어났지만, 기존 모델들에 비해 나머지 리스트를 정렬하는 것(Top 10)은 아주 완벽하지는 않았다고 언급합니다.

4. 팀워크 (앙상블)

마지막으로, PASH는 단 한 명의 사서에게 의존하는 대신, 약간의 변형(예: 서로 다른 무작위 시작점 부여)을 준 여러 버전의 정렬 시스템을 훈련시켰습니다. 그런 다음 이 여러 사서의 의견을 결합하여 최종 결정을 내렸습니다. 이 "팀 투표"는 보통 단일 사서가 혼자 달성할 수 있는 것보다 더 정확한 결과를 만들어냅니다.

핵심 요약

그들은 "키워드 사냥꾼"과 "개념 독해자"를 섞는 것이 매우 효과적이라는 것을 발견했습니다. 또한 새로운 "생성형" T5 모델을 사용하는 것이 절대적인 최고의 답을 매우 빠르게 찾는 데 도움이 된다는 것을 발견했지만, 미래를 위해서는 이 생성형 모델들이 단순히 최고 승자를 뽑는 것뿐만 아니라 전체 리스트를 더 잘 정렬하도록 가르칠 필요가 있다는 점도 깨달았습니다.

요약하자면: 그들은 두 가지 서로 다른 검색 방법을 사용하여 후보를 찾고, 그 후 새로운 "글 쓰는" AI를 포함한 AI 모델 팀이 최고의 답변에 투표하게 함으로써 매우 높은 점수를 기록한 슈퍼 사서를 구축했습니다.

기술 요약: TREC 2021 Deep Learning Track에서의 PASH

문제 정의
본 논문은 대규모 학습 데이터셋을 포함하는 정보 검색(IR) 과제에 초점을 맞춘 TREC 2021 Deep Learning Track에 참여한 PASH 팀의 상세 내용을 다룹니다. 이 트랙은 **문서 랭킹(Document Ranking)**과 **구절 랭킹(Passage Ranking)**이라는 두 가지 구체적인 과제를 제시했습니다. 목표는 477개의 테스트 쿼리를 사용하여 방대한 컬렉션(1억 3,800만 개의 구절 및 약 1,200만 개의 문서)에서 관련 콘텐츠를 검색하고 순위를 매기는 것이었습니다. 주요 평가 지표는 NDCG(Normalized Discounted Cumulative Gain)였습니다. 팀은 생성형 모델을 통합하고 다단계 랭킹 전략을 정교화함으로써 TREC 2020의 성과를 개선하는 것을 목표로 했습니다.

방법론
PASH 팀은 검색, 다방향 매칭(multi-way matching), 그리고 계층적 랭킹 프로세스로 구성된 다단계 파이프라인을 채택했습니다.

다방향 매칭 (검색 단계):
- 희소 검색 (Sparse Retrieval): 팀은 문서와 구절을 위한 의사 쿼리(pseudo-queries)를 생성하기 위해 docTTTTTquery(docT5query 또는 doc2query-T5로도 알려짐)를 활용했습니다.
  - 구절의 경우, T5-base를 사용하여 구절당 40개의 쿼리를 샘플링했습니다.
  - 문서의 경우, 슬라이딩 윈도우 방식(10개 문장, 스트라이드 5)을 사용하여 문서를 구절로 분할했습니다. 각 세그먼트에는 문서의 URL과 제목이 접두사로 붙었습니다. 각 구절당 10개의 쿼리가 생성되었습니다.
  - 생성된 쿼리들은 BM25를 통해 인덱싱되었습니다.
- 밀집 검색 (Dense Retrieval): 희소 방식의 보완을 위해, 팀은 효율성과 효과성 사이의 균형을 고려하여 ColBERT를 밀집 검색기로 채택했습니다.
다단계 랭킹:
- 파운데이션 모델: 랭킹 파이프라인은 BERT-Large, ALBERT-XXLarge, ELECTRA-Large, XLNet-Large를 포함하여 TREC 2020에서 사용된 모델들을 계승했습니다. 이 모델들은 일반 지식 및 문서 수준 데이터에 대한 지속적 사전 학습(continual pre-training)을 거친 후, 해당 연도의 데이터셋으로 미세 조정(fine-tuning)되었습니다.
- 전략 변화: 이전 해와 달리, 2단계 랭킹에는 쌍별 손실(pair-wise loss) 목적 함수가 사용되었습니다. 이를 통해 팀은 제한된 4-클래스 TREC 레이블 데이터 이상의 광범위한 학습 데이터를 활용할 수 있었습니다.
- 생성적 강화 (T5): 2021년의 핵심 추가 사항은 성능 향상을 위해 생성 모델인 T5를 도입한 것입니다.
  - 구현: [10]의 선행 연구와 일치하는 학습 전략을 가진 Megatron-LM 저장소를 기반으로 했습니다.
  - 규모: 팀은 T5-3B(V100 GPU 32개로 약 12일, 약 1,280만 개 예시)와 T5-11B(약 30일)를 학습시켰습니다.
  - 성능 참고: T5-11B 모델은 0.3651의 제로샷(zero-shot) NDCG@5를 기록했습니다.
앙상블 학습:
- 다방향 매칭 접근 방식의 이점을 활용하여, 팀은 최종 예측을 위한 앙상블을 만들기 위해 다양한 랜덤 시드를 사용하여 서로 다른 리랭커(re-ranker)들을 순차적으로 학습시켰습니다.

결과
팀은 각 서브 태스크(구절 및 문서 랭킹)에 대해 리랭킹 런( $r^*$ )과 풀 랭킹 런( $f^*$ )으로 분류된 6개의 공식 실행 결과(run)를 제출했습니다.

구절 랭킹 (Passage Ranking):
- 리랭킹 과제에서, 최적의 런(pash r2/r3)은 NDCG@5 0.7390, NDCG@10 0.7076을 달성했습니다.
- 풀 랭킹 과제에서, 최적의 런(pash f3)은 NDCG@5 0.7596, NDCG@10 0.7494, Recall@100 (R@100) 0.5500을 달성했습니다.
문서 랭킹 (Document Ranking):
- 리랭킹 과제에서, 최적의 런(pash doc r3)은 NDCG@5 0.7383, NDCG@10 0.7164를 달성했습니다.
- 풀 랭킹 과제에서, 최적의 런(pash doc f5)은 NDCG@5 0.7508, NDCG@10 0.7368, R@100 0.4419를 달성했습니다.

주요 기여 및 의의
본 논문은 다음과 같은 구체적인 기여와 관찰 사항을 강조합니다:

생성형 모델의 통합: T5의 도입은 TREC 2020에 비해 중요한 진전을 나타냈습니다. 저자들은 T5 기반 모델이 더 높은 NDCG@5 점수를 달성했지만, 트랜스포머 기반 모델에 비해 낮은 NDCG@10 점수를 보였다는 점을 관찰했습니다.
결과 해석: 생성형 모델에서 높은 NDCG@5와 낮은 NDCG@10이 나타나는 현상을, 관련 구절이 상위 5위 내에는 성공적으로 랭크되었으나 생성형 프레임워크 내에서 **다단계 랭킹(multi-stage ranking)**에 대한 특정한 "갈증"이 있음을 나타내는 지표로 해석합니다. 저자들은 쌍별(pair-wise) 또는 리스트별(list-wise) 학습 전략이 이러한 모델의 잠재력을 더욱 끌어올릴 수 있다고 주장합니다.
하이브리드 검색의 성공: 실험은 ColBERT의 표현력이 전통적인 BM25 + docTTTTTquery 방식과 잘 결합됨을 보여주었으며, 이는 다방향 매칭 전략의 유효성을 입증합니다.
향-후 방향: 논문은 "서로 다른 방법들의 엮인 시퀀스"(희소, 밀집, 생성 접근법의 결합)를 활용하는 것이 향후 분야의 우선순위가 될 것이라고 결론짓습니다.

저자들은 자신의 작업을 모든 IR 과제에 대한 결정적인 해결책을 주장하기보다는, 참여 과정에 대한 기술이자 생성형 모델이 기존의 다단계 랭킹 인프라에 어떻게 부합하는지를 탐구하는 과정으로 규정하며 겸손한 어조를 유지합니다.