Robustness of IR Models to Collection Growth

방대한 도서관을 상상해 보십시오. 이곳에서는 책들이 끊임없이 추가되고, 업데이트되며, 제거됩니다. 디지털 세계에서 이 도서관은 인터넷이며, 특정 책을 찾는 작업은 정보 검색(information retrieval)이라고 불립니다. 당신이 검색 엔진에 질문을 입력하면, 복잡한 시스템이 수백만 개의 문서를 스캔하여 질문에 가장 잘 답하는 문서를 찾아냅니다. 이상적으로, 이 시스템은 안정적이어야 합니다. 즉, 도서관에 관련 없는 새로운 책들이 추가된다고 해서 원래의 관련 있는 책들을 찾는 것이 더 어려워져서는 안 됩니다. 만약 검색 엔진이 오늘 잘 작동한다면, 문서의 양이 크게 늘어나더라도 내일도 똑같이 잘 작동해야 합니다. 설령 그 늘어난 내용이 당신의 검색과는 아무런 상관이 없는 내용이라 할지라도 말입니다. 이러한 안정성은 글래스고 대학교의 연구진들이 조사하고자 했던 핵심 질문이었습니다. 그들은 현대적인 검색 도구의 이 수학적 엔진들이, 방대한 도서관 속에서도 길을 잃지 않고 처리할 수 있는지, 아니면 새로운 무관한 정보의 추가가 필연적으로 시스템을 혼란스럽게 만드는지를 알고 싶었습니다.

이를 테스트하기 위해, 연구진은 매우 다른 두 가지 텍스트 컬렉션을 병합하여 통제된 실험을 설계했습니다. TREC-COVID라고 알려진 한 컬렉션은 2019년 이후에 만들어진 팬데믹에 관한 특정 문서들을 포함하고 있습니다. 다른 하나인 MS MARCO는 2019년 이전에 생성된 방대한 일반 웹 페이지 모음입니다. 이 둘을 결합함으로써, 그들은 팬데믹 문서가 전체의 아주 적은 부분(약 1.9%)만을 차지하는 하나의 이질적인 라이브러리를 형성했습니다. 그런 다음, 그들은 팬데믹 컬렉션을 위해 설계된 검색 쿼리들을 이 새로운 혼합 라이브러리에 실행하도록 했습니다. 목표는 팬데믹 관련 질문에 대한 검색 결과가, 시스템이 수백만 개의 무관한 팬데믹 이전 웹 페이지들 때문에 주의가 분산됨으로써 저하되는지 확인하는 것이었습니다. 이 설정은 그들이 '강건성(robustness)'이라고 부르는 특정 속성, 즉 비관련 문서가 섞였을 때 검색 모델이 그 효과성을 유지할 수 있는 능력을 측정할 수 있게 해주었습니다.

이 연구는 문서를 순위 매기는 방식에 따라 구분되는 두 가지 주요 검색 모델을 조사했습니다. 첫 번째 유형은 연구진이 '다중 문서 무관형(multi-document-agnostic)'이라고 부르는 것으로, 각 문서를 고립된 섬처럼 취급합니다. 이 모델은 문서의 점수를 매길 때, 오직 검색 쿼리와 해당 단일 문서 사이의 관계만을 살피며, 라이브러리의 다른 모든 것은 무시합니다. 두 번째 유형은 '다중 문서 의존형(multi-document-dependent)'으로, 이는 마치 그룹 토론과 같습니다. 즉, 특정 문서의 관련성을 결정하기 위해 다른 문서들의 맥락을 살핍니다. 예를 들어, 일부 모델은 첫 번째 단계의 결과물에서 상위 결과들을 살펴보고 이를 통해 점수를 정교화하거나, 전체 컬렉션에서 특정 단어가 얼마나 흔하게 나타나는지에 대한 통계를 사용하여 답변을 조정할 수 있습니다. 연구진은 이러한 광범위한 컬렉션에 대한 의존성이 두 번째 유형의 모델을 더 취약하게 만들 것이라고 가설을 세웠습니다.

실험 결과는 명확한 패턴을 보여주었습니다. 연구진이 수백만 개의 무관한 웹 페이지를 팬데믹 컬렉션에 추가했을 때, 컬렉션의 광범위한 맥락에 의존하는 검색 모델들은 성능이 크게 저하되었습니다. 올바른 팬데믹 문서를 찾아내는 능력이 눈에 띄게 약해졌습니다. 반면, 각 문서를 독립적으로 취급하는 모델들은 훨씬 더 탄력적이었습니다. 이들은 라이브러리가 무관한 노이즈로 넘쳐날 때도 관련 정보를 찾아내는 능력을 유지했습니다. 이는 초기 검색 단계, 즉 시스템이 방대한 후보군을 걸러내야 하는 단계에서는 주변 맥락을 무시하고 쿼리와 문서 사이의 일치 여부에만 집중하는 것이 더 안전한 전략임을 시사합니다. 전체 라이브러리의 "그룹 맥락"을 사용하려 했던 모델들은 엄청난 양의 새로운 무관한 자료에 쉽게 휘둘려, 효과적으로 노이즈 속에서 길을 잃었습니다.

연구진은 또한 시스템이 상위 결과들이 올바르다고 가정하고 이를 사용하여 쿼리를 정교화하는 '의사 관련성 피드백(pseudo-relevance feedback)'이라는 흔한 기법을 테스트했습니다. 이 혼합 라이브러리 환경에서, 이 기법은 역효과를 냈습니다. 피드백 메커니즘은 시스템이 집중하도록 돕는 대신, 검색 결과를 지배적인 일반 웹 페이지 컬렉션 쪽으로 끌어당겨 특정 팬데믹 쿼리에 대한 정확도를 더욱 감소시켰습니다. 이는 시스템이 자신의 사고를 유도하기 위해 잘못된 문서를 사용함으로써, 라이브러리의 더 큰 무관한 부분에 대한 편향을 강화했기 때문에 발생했습니다. 그러나 검색의 두 번째 단계인 '재순위화(re-ranking)' 단계에서는 이야기가 약간 달라졌습니다. 일단 초기 검색을 통해 후보 목록을 좁힌 후에는, 맥락을 살피는 모델과 그렇지 않은 모델 모두 동일하게 잘 작동했습니다. 이 단계에서는 무관한 문서의 추가가 최종 결과를 올바르게 정렬하는 능력에 큰 영향을 미치지 않았습니다.

궁극적으로, 이 연구는 현재의 검색 아키텍처가 컬렉션이 성장할 때 체계적인 약점을 가지고 있음을 보여줍니다. 모델이 다른 문서들에 기반하여 순위를 매기는 방식은 그 안정성에 결정적인 역할을 합니다. 광범위한 컬렉션을 무시하는 모델이 초기 검색에서는 더 강건하지만, 비관련 문서의 추가는 전반적으로 어느 정도의 성능 저하를 일으킵니다. 즉, 테스트된 어떤 시스템도 이 문제로부터 완벽하게 면역되어 있지는 않았습니다. 이 연구 결과는 디지털 라이브러리가 계속 확장됨에 따라, 성장을 명시적으로 다룰 수 있도록 설계된 모델에 의존하는 것이 필수적임을 시사합니다. 이 연구는 문제를 해결했다고 주장하는 것이 아니라, 문제에 대한 명확한 측정치를 제공하고 왜 일부 시스템이 라이브러리가 커질 때 실패하는지에 대한 분류 체계를 제공합니다. 이는 검색 엔진이 역동적인 세상에서 효과적으로 남기 위해서는, 그 근간이 되는 논리를 끊임없이 유입되는 새로운 무관한 정보에 대응할 수 있도록 재고해야 함을 강조합니다.