Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

기술 요약: "뉴럴 리트리버는 특정 문서를 선호하는가? 학습된 관련성 사전 확률(Relevance Priors)의 증거"

문제 정의
표준 정보 검색(IR) 모델은 쿼리 $q$와 문서 $d$가 주어졌을 때 관련성의 사후 확률인 $P(R | q, d)$를 추정하도록 훈련된다. 그러나 지도 학습 기반의 리트리버를 위한 훈련 데이터는 라벨링을 위해 일부 문서만을 선택하는 주석 프로토콜(annotation protocols)을 통해 구축되며, 이 과정에서 많은 다른 문서들은 판단되지 않은 상태로 남게 된다. 저자들은 이러한 선택 편향이 지도 학습 기반의 바이 엔코더(bi-encoder) 리트리버로 하여금 암묵적으로 문서 수준의 관련성 사전 확률(document-level relevance prior), 즉 $P(R | d)$를 학습하게 만든다고 가설을 세웠다. 이 사전 확률은 특정 쿼리와의 실제 적합성보다는 문서 자체의 속성(예: 주제, 스타일, 형식)에 근거하여 해당 문서가 관련 있는 것으로 간주될 가능성을 반영하는, 쿼리와 독립적인 신호로서 모델의 표현 공간(representation space)에 인코딩된다. 핵심적인 우려는 일반 도메인 검색에서 이러한 학습된 사전 확률이 '발견 가능성 격차(findability gap)'를 만들어낼 수 있다는 점이다. 즉, 실제로 관련이 있음에도 불구하고 낮은 관련성 사전 확률을 가진 문서들은 체계적으로 검색하기 어려워질 수 있다.

방법론
본 연구는 세 가지 주요 단계로 진행된다:

1. 토이 실험 (인과적 검증): 저자들은 LoTTE 데이터셋의 관련 문서 중 일부 $M$에 인위적이고 쿼리와 독립적인 신호인 텍ền 접두사 [X]를 주입했다. 그 후 이 편향된 데이터로 바이 엔코더(E5-small 및 Qwen2.5-0.5B)를 미세 조정했다. 그다음, 고정된 임베딩 위에서 단순 로지스틱 회귀 분류기("사전 모델")를 훈련하여 해당 신호를 복구할 수 있는지 테스트했다. 이 설정은 리트리버가 알려진 편향을 학습하고 인코딩할 수 있는지, 그리고 이러한 인코딩이 문서의 발견 가능성에 영향을 미치는지 테스트하기 위함이었다.

2. 일반 도메인 분석: 본 연구는 세 가지 최신 지도 학습 기반 바이 엔코더(BGE, NV-Embed, GTE)를 여러 IR 벤치마크(예: FEVER, Climate-FEVER, MIRACL, Natural Questions)에 대해 평가했다.

   • 사전 확률 추정: 리트리버의 고정된 임베딩(훈련 세트의 관련 문서와 하드 네거티브 문서를 사용)을 사용하여 $P(R | d)$를 예측하는 이진 분류기를 훈련했다.
   • 일반화: 홀드아웃(held-out) 데이터셋에서 사전 모델이 관련 문서와 판단되지 않은 문서를 구별하는 능력을 AUC를 통해 측정했다.
   • 일관성: 서로 다른 리트리버들로부터 도출된 사전 확률 점수 간의 피어슨 상관계수를 계산하여, 학습된 사전 확률이 모델 특유의 것인지 아니면 공유되는 것인지 결정했다.
   • 발견 가능성 상관관계: 문서의 발견 가능성($F_R(d)$, 해당 문서가 관련 있는 쿼리들에 대한 평균 역순위로 정의됨)과 추정된 사전 확률 점수 간의 상관관계를 계산했다.

3. 통제 및 설명적 분석:

   • 매칭 비교: 사전 확률의 효과를 혼란 변수(예: 문서 길이, 개체 밀도 등)로부터 분리하기 위해, 저자들은 MIRACL 데이터셋에서 10가지 특정 특징을 통제하며 고(high)-사전 확률 문서와 저(low)-사전 확률 문서의 매칭 쌍을 생성했다. 이후 LLM을 통해 생성된 합성 쿼리로 이 쌍들에 대한 검색 성능을 평가했다.
   • LLM 기반 설명: 두 단계의 LLM 프레임워크가 사용되었다. 첫째, LLM($M_1$)이 문서 쌍(예: 관련 문서 vs 판단되지 않은 문서, 또는 고-사전 확률 문서 vs 저-사전 확률 문서)을 분석하여 차이점에 대한 자연어 설명을 생성한다. 둘째, 두 번째 LLM($M_2$)이 이 설명을 사용하여 홀드아웃 문서를 분류함으로써, 식별된 특징들의 신뢰성과 일반화 가능성을 검증한다.

주요 결과

• 사전 확률의 존재 및 일반화: 지도 학습 기반 바이 엔코더는 보지 못한 문서로도 일반화되는 관련성 사전 확률을 일관되게 인코딩한다. FEVER 및 Climate-FEVER와 같은 데이터셋에서 사전 모델은 0.8 이상의 높은 AUC 점수를 기록했으며, 이는 관련 문서와 판단되지 않은 문서 사이의 체계적인 차이가 임베딩에 포착되었음을 나타낸다.
• 교차 모델 일관성: 사전 확률은 모델 특유의 것이 아니다. 유사한 데이터로 훈련된 서로 다른 리트리버들은 사전 확률 점수에서 0.5~0.7의 중간 내지 높은 피어슨 $r$ 상관관계를 보였으며, 이는 이들이 동일한 주석 편향을 내재화하고 있음을 시사한다.
• 발견 가능성에 미치는 영향: 문서의 관련성 사전 확률과 지도 학습 기반 뉴럴 리트리버의 발견 가능성 사이에는 강한 양의 상관관계가 존재한다. 사전 확률이 낮은 문서는 실제로 관련이 있음에도 불구하고 체계적으로 검색하기 어렵다. 이러한 효과는 BM25와 같은 비지도 학습 기반 렉시컬(lexical) 방식에서는 나타나지 않거나 훨씬 약하게 나타난다.
• 인과적 확인: 혼란 변수(길이, 개체 밀도 등)를 통제한 매칭 쌍 실험에서, 지도 학습 기반 리트버들은 유사한 저(low)-사전 확률 문서보다 고(high)-사전 확률 문서를 여전히 선호했다. 이는 사전 확률 자체가 발견 가능성 격차를 유발함을 확인시켜 준다.
• 편향의 동인: LLM 기반 설명에 따르면, 주석 프로토콜은 포괄적이고 자기 완결적인 주류 주제의 요약(예: 위키피디아의 도입부, 백과사전적 항목)을 선호한다. 반면, 니치(niche)하거나 단편적이고, 맥락 의존적이거나 매우 기술적인 콘텐츠(예: 실용적인 How-to 가이드, 기사 중간의 문단, 기술적 초록)는 빈번하게 판단되지 않은 상태로 남는다. 리트리버는 이러한 편향을 내재화하여, 실제 쿼리 관련성과 무관하게 "백과사전적" 특징을 가진 문서를 더 높게 순위 매긴다.

의의 및 주장
본 논문은 지도 학습 기반 검색의 구조적 한계를 폭로한다고 주장한다. 즉, 주석 데이터로 훈련된 모델은 단순히 관련성을 배우는 것이 아니라, 데이터의 주석 과정에 내재된 암묵적인 문서 선호도를 함께 학습한다는 것이다.

• 사전 확률의 재정의: 기존 연구들이 계산 비용 절감을 위한 인덱스 프루닝(index pruning)에 쿼리 독립적 신호를 활용했던 것과 달리, 본 연구는 이러한 신호를 진정으로 관련 있는 '저(low)-사전 확률' 문서를 저해할 수 있는 잠재적 편향의 원인으로 재정의한다.
• 발견 가능성 격차: 본 연구는 '발견 가능성 격차'가 단순히 쿼리의 복잡성 문제만이 아니라, 주석 아티팩트(annotation artifacts)로 인해 리트리버의 표현 공간에 구조적으로 내재되어 있음을 입증한다.
• 진단적 성격: 저자들은 이 연구를 진단적 연구로 규정한다. 문제의 존재와 메커니즘을 입증했으나, 구체적인 완화 전략을 제안하지는 않으며, 그러한 해결책은 트레이드오프와 추가 조사가 필요하다고 언급했다. 또한, 이러한 사전 확률에 대한 지식이 순위를 인위적으로 부풀리는 데 악용될 수 있는 적대적 오용의 위험성도 강조했다.

이러한 결과는 현재의 뉴럴 리트리버가 학습하는 '관련성'이 실제 쿼리와 문서 간의 적합성과 관련성 판단이 수집되는 방식의 통계적 편향이 혼재된 결과임을 시사한다.