Mapping the Convergence of Information Retrieval and Large Language Models

과학의 세계를 모든 연구자가 새로운 책을 써 내려가는 거대하고 북적이는 도서관이라고 상상해 보십시오. 오랫동안 이 도서관의 서로 다른 두 구역은 별개의 날개에서 운영되었습니다. 한쪽 날개에서는 정보 검색(Information Retrieval, IR) 전문가들이 사서 역할을 했습니다. 그들의 임무는 건초더미에서 바늘을 찾는 것처럼 특정 문서를 찾아내는 최적의 시스템을 구축하거나 도서관의 카탈로그를 정리하는 것이었습니다. 다른 쪽 날개에서는 거대 언어 모델(Large Language Model, LLM) 전문가들이 이야기꾼 역할을 했습니다. 그들은 컴퓨터가 인간의 언어를 읽고, 이해하고, 쓰는 법을 가르치며, 대화하고, 요약하며, 텍스트를 생성할 수 있는 모델을 만들고 있었습니다.

수년 동안 이 두 집단은 서로 다른 도구를 사용했고 약간씩 다른 언어로 말했습니다. 사서들은 키워드를 일치시키기 위해 엄격한 규칙에 의존한 반면, 이야기꾼들은 문장에서 다음에 올 단어를 예측하기 위해 복잡한 수학을 사용했습니다. 하지만 최근 마법 같은 일이 일어났습니다. 두 날개 사이의 벽이 무너지기 시작한 것입니다. 이야기꾼들은 사서들이 바늘을 찾는 것을 돕기 시작했고, 사서들은 더 똑똑한 검색을 하기 위해 이야기꾼들의 마법을 사용하기 시작했습니다. 이 논문은 이 두 집단이 정확히 언제 그리고 어떻게 융합되었는지를 추적하기로 결심한 지도 제작자와 같습니다. 누가 누구를 인용하는지(누가 누구의 책을 각주에서 언급하는지)를 살펴봄으로써, 저자는 이 연구자들을 연결하는 보이지 않는 실을 볼 수 있습니다. 큰 질문은 이것입니다. 그들이 단순히 서로의 도구를 몇 개 빌려온 것일까요, 아니면 완전히 함께 도서관을 재건축한 것일까요?

융합의 지도

저자인 프린스 오포쿠 살루온(Prince Opoku Saaluon)은 2015년부터 2025년 사이에 발표된 15,000편 이상의 연구 논문을 바탕으로 거대한 네트워크 지도를 구축함으로써 이 질문에 답하기로 했습니다. 이 지도를 모든 논문이 하나의 점이고, 두 점이 동일한 오래된 논문을 참조할 때 두 점을 연결하는 선이 생기는 거미줄이라고 생각해 보십시오. 이것을 **서지 결합(bibliographic coupling)**이라고 합니다. 만약 두 논문이 많은 참조 문헌을 공유한다면, 그들은 유사한 아이디어를 다루고 있을 가능성이 높으므로 논문 사이의 선은 강하게 연결됩니다.

저자는 컴퓨터를 사용하여 이 웹을 정리하여, 인간의 뇌 속 기억 회상이나 위성 이미지에서 잃어버린 물체를 찾는 것과 같은 "노이즈"(단어 "retrieval"은 다양한 의미를 가질 수 있기 때문)를 제거했습니다. 정리를 마친 후, 그들에게는 4,064개의 문서가 연결된 촘촘한 웹이 남았습니다.

도서관의 여섯 부족

저자가 이 웹을 살펴보았을 때, 각각 고유한 전문 분야를 가진 여섯 개의 주요 부족(또는 커뮤니티)으로 자연스럽게 그룹화되는 것을 발견했습니다:

1. 멀티모달 및 시각-언어 검색 (Multimodal & Vision-Language Retrieval): 그림과 단어를 연결하는 예술가들.
2. 신경 및 대화형 문서 검색 (Neural & Conversational Document Retrieval): 긴 대화 속에서 답을 찾아내는 챗봇들.
3. 사전 학습된 트랜스포머 및 LLM 기반 IR (Pretrained Transformers & LLMs for IR): 정보를 찾기 위해 최신 "마법 주문"(트랜스포머와 같은)을 사용하는 마법사들.
4. 신경 랭킹 / 신경 IR (Neural Ranking / Neural IR): 어떤 검색 결과가 가장 좋은지 결정하는 판사들.
5. 그래프 및 코드 검색 (Graph & Code Retrieval): 복잡한 구조와 컴퓨터 코드를 검색하는 건축가들.
6. 해싱 기반 검색 (Hashing-based Retrieval): 무언가를 즉시 찾기 위해 지름길을 사용하는 스피드스터들.

이 여섯 그룹은 도시의 서로 다른 동네처럼 뚜렷했습니다. 하지만 이야기의 가장 흥lar운 부분은 단순히 이 동네들이 아니라, 이들 사이의 다리였습니다.

접착제와 타임라인

논문은 다음과 같이 물었습니다. 무엇이 이 여섯 개의 동네를 하나로 묶어주는가? 답은 놀라울 정도로 구체적이었습니다. "다리"는 특정 동네에서 가장 유명한 논문들이 아니었습니다. 대신, 접착제는 서베이 논문(다른 사람들이 무엇을 하고 있는지 요약하는 리뷰 논문)들이었습니다. 특히, **신경 랭킹(neural ranking)**에 관한 논문들이 중심적인 연결 조직 역할을 했습니다. 이러한 서베이 논문들은 "예술" 동네, "챗봇" 동네, "코드" 동네의 사람들이 모여 아이디어를 나누는 광장과 같았습니다. 저자는 이러한 서베이 논문들이 거의 모든 다른 그룹 사이의 최단 경로에 위치하고 있음을 발견했으며, 이는 그들이 진정한 대화의 리더임을 증명합니다.

하지만 가장 흥미로운 발견은 저자가 지도를 시간의 흐름에 따라 살펴보았을 때 일어났습니다. 저자는 도시가 어떻게 변했는지 보기 위해 10년의 역사를 네 개의 조각으로 나누었습니다:

• 2019년 이전: 도시는 어느 정도 연결되어 있었지만, 동네들은 여전히 상당히 분리되어 있었습니다.
• 2019년에서 2021년 사이: 도시는 오히려 더 분열되었습니다. "밀집 검색(dense retrieval)"과 "트랜스포머" 같은 새로운 도구들이 등장함에 따라, 동네들은 더욱 멀어졌고 더 뚜렷한 하위 영역들을 만들어냈습니다. "모듈성"(그룹이 얼마나 분리되어 있는지를 나타내는 점수)은 0.628까지 상승했습니다.
• 2022년에서 2023년 사이: 이것이 결정적인 순간입니다. 지도는 갑작스럽고 급격한 분리도 하락을 보여줍니다. 모듈성 점수가 0.342로 폭락했습니다. 이전에 분리되어 있던 동네들이 하나의 상호 연결된 핵심부로 붕괴되었습니다.

이 하락은 **거대 언어 모델(LLM)**과 검색 증강 생성(RAG)(AI가 답변을 작성하기 전에 사실을 찾는 기술)의 등장이 단순히 새로운 도구를 추가한 것이 아니라, 전체 분야를 재편성하도록 강제했음을 시사합니다. 분리되어 있던 부족들은 자신들만의 벽을 쌓는 것을 멈추고 동일한 토대를 공유하기 시작했습니다.

이것이 의미하는 바

이 논문은 정보 검색 분야가 단순히 거대 언어 모델로부터 몇 가지 기술을 "빌려온" 것이 아니라고 제안합니다. 대신, 그것들은 이를 중심으로 재편성되었습니다. 신경 랭킹 연구는 기존의 검색 방식과 새로운 AI 기반 검색 방식을 연결하는 경첩 역할을 합니다.

저자는 이러한 융합의 시기(2022~2023년)가 LLM의 부상과 완벽하게 일치하지만, 지도는 상관관계(correlation)를 보여주는 것이지 확정적인 인과관계(cause)를 보장하는 것은 아니라고 주의를 기울였습니다. 그러나 증거는 강력합니다: 과학의 구조 자체가 변했습니다. 이 분야는 더 이상 고립된 섬들의 집합이 아닙니다. 이곳은 이제 이야기꾼과 사서가 마침내 같은 언어로 말하는 하나의 북적이는 대륙이 되었습니다.