당신에게 거의 모든 책을 읽었지만, 한 가지 단점이 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 그 단점이란 로봇이 몇 년 전에 독서를 멈췄다는 것입니다. 이 로봇은 매우 유창하며 시를 쓰고, 수학 문제를 풀고, 농담을 할 수도 있지만, 지식이 과거의 어느 시점에 고정되어 있습니다. 만약 당신이 새로운 영화나 속보에 대해 묻는다면, 로봇은 자신이 배운 것과 실제 사실 사이의 차이를 구분하지 못해서 자신 있게 이야기를 지어낼 수도 있습니다. 이것은 일종의 "환각(hallucination)" 현상과 비슷합니다. 이를 해결하기 위해 과학자들은 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이라는 기술을 발명했습니다. 이것은 로봇에게 도서관 카드와 사서 선생님을 주는 것과 같습니다. 로봇이 질문에 답하기 전에, 도서관으로 달려가 가장 관련 있는 책들(또는 문서들)을 빠르게 집어 들고, 그것들을 읽어서 답변을 구성하는 방식입니다. 이렇게 하면 로봇은 단순히 기억에 의존해 추측하는 것이 아니라, 최신의 실제적인 근거에 기반하여 답변을 내놓게 됩니다.

하지만 도서관이 있다고 해서 충분한 것은 아닙니다. 또한 어떻게 올바른 책을 찾을지, 사서에게 어떻게 올바른 질문을 던질지, 그리고 어떻게 혼란 없이 페이지를 읽을지도 알아야 합니다. 만약 로봇이 잘못된 책을 집어 들거나 사서가 너무 느리다면, 답변은 여전히 형편없을 것입니다. 바로 이 지점에서 우리가 탐구할 논문이 등장합니다. 이 논문은 거대한 "체계적 문헌 고찰(systematic review)"로, 저자인 압둘라 카라산(Abdullah Karasan)이 과학자들이 이 "도서관 검색" 부분을 더 똑똑하게 만들기 위해 2024년에서 2026년 사이에 발명한 모든 새로운 기술을 찾아 나선 일종의 매우 조직적인 탐정 이야기와 같습니다. 그는 단지 한두 가지 아이디어만 살펴본 것이 아니라, 무엇이 효과적이고 무엇이 실패하고 있는지, 그리고 이 분야가 어디로 향하고 있는지를 파악하기 위해 173개의 서로 다른 연구를 추적했습니다.

위대한 도서관 탐색

AI 연구의 세계를 수백 명의 발명가들이 우리 로봇 친구를 위한 완벽한 "검색 엔진"을 만들기 위해 노력하는 거대하고 혼란스러운 시장이라고 상상해 보세요. 어떤 이들은 책을 더 작고 운반하기 쉽게 만들려고 하고(청킹, chunking), 다른 이들은 로봇에게 더 나은 질문을 던지는 법을 가르치려 하며(질의 재구성, query reformulation), 또 어떤 이들은 사실들이 서로 어떻게 연결되는지에 대한 복잡한 지도(지식 그래프, knowledge graphs)를 구축합니다. 문제는 모두가 각기 다른 언어를 사용하고 서로 다른 방식으로 성공을 측정하며 동시에 자신의 아이디어를 외치고 있다는 점입니다. 새로운 발명품이 정말 혁신적인 것인지, 아니면 그저 화려한 장난감에 불과한지 구별하기 어렵습니다.

이 혼란에 질서를 부여하기 위해, 압둘라 카라산은 숙련된 사서처럼 행동했습니다. 그는 가장 관련 있는 논문들을 찾기 위해 엄격한 규칙을 세웠으며, 6개의 주요 디지털 라이브러리(세계 최대 서점들의 디지털 선반과 같은 곳)를 스캔했습니다. 그는 로봇의 "검색" 부분을 명시적으로 개선하겠다고 약속하지 않은 모든 것을 걸러냈습니다. 결국 그는 2024년 1월부터 2026년 3월 사이에 발표된 173개의 연구 모음을 수집했습니다. 그런 다음 그는 이 연구들을 무엇을 해결하려고 했는지와 프로세스의 어느 단계에서 수행했는지에 따라 거대한 지도 형태로 분류했습니다.

검색 프로세스의 지도

이 논문은 로봇의 검색 과정을 공장의 조립 라인처럼 파이프라인으로 나누어 설명합니다. 카라산은 연구자들이 이 라인의 서로 다른 부분들을 개선하려고 노력하고 있지만, 모든 부분을 균등하게 다루지는 않는다는 것을 발견했습니다.

1. 사전 검색 단계 (검색 전)
이 단계는 로봇이 도착하기도 전에 도서관을 준비하는 과정과 같습니다.

• 청킹 및 인덱싱 (Chunking and Indexing): 거대한 백과사전을 상상해 보세요. 만약 페이지를 무작위로 아주 작은 조각으로 자른다면 문장의 의미를 잃을 수 있습니다. 반대로 너무 큰 덩어리로 둔다면 로봇이 과부하에 걸릴 수 있습니다. 논문은 연구자들이 이러한 조각들의 "골디락스(딱 적당한)" 크기를 찾으려 노력하고 있다고 언급합니다. 때로는 동적인 크기를 사용하거나, 문서의 구조(예: 표를 함께 유지하는 것)를 활용하여 로봇이 올바른 정보 조각을 얻을 수 있도록 합니다.
• 질의 재구성 (Query Reformulation): 이것은 로봇에게 더 나은 질문을 던지는 법을 가르치는 것에 관한 것입니다. 때때로 사용자는 "누가 경기에서 이겼나요?"라고 묻지만, 도서관은 "챔피언십 결과"라는 이름으로 정리되어 있을 수 있습니다. 연구자들은 사서가 답을 더 빨리 찾을 수 있도록 로봇이 질문을 다시 쓰도록 만드는 방법을 연구하고 있습니다. 논문은 이 부분에 집중한 연구가 단 5개뿐임을 발견했는데, 이는 이 부분이 다소 간과된 영역임을 시사합니다.

2. 검색 단계 (검색 자체)
이것은 로봇이 실제로 책을 집어 드는 핵심적인 동작 단계입니다.

• 하이브리드 및 밀집 검색 (Hybrid and Dense Retrieval): 이것은 두 가지 서로 다른 검색 도구를 동시에 사용하는 것과 같습니다. 한 도구는 정확한 단어(키워드 검색과 같은)를 찾고, 다른 도구는 단어의 의미(개념 검색과 같은)를 찾습니다. 논문은 이 두 가지를 결합하는 것(이를 "하이브리드 검색"이라 부름)이 매우 인기 있고 성공적인 전략임을 강조하며, 많은 연구가 이것이 하나만 사용하는 것보다 더 효과적임을 보여준다고 설명합니다.
• 지식 그래프 검색 (Knowledge-Graph Retrieval): 이것은 가장 큰 범주로, 25개의 연구가 포함되어 있습니다. 모든 사실이 하나의 점이고 모든 연결이 하나의 선인 거미줄을 상상해 보세요. 단순히 책 한 권을 집어 드는 대신, 로봇은 연결된 사실들의 경로를 따라갑니다. 이는 "전구를 발명한 사람의 사촌은 누구인가?"와 같은 복잡한 질문에 매우 유용합니다. 왜냐하면 하나의 사실에서 다른 사실로 건너뛸 수 있기 때문입니다. 그러나 논문은 이러한 웹을 구축하는 것이 비용이 많이 들고 유지 관리가 어렵다고 지적합니다.
• 멀티모달 검색 (Multimodal Retrieval): 이것은 로봇이 텍스트뿐만 아니라 이미지, 오디오, 비디오를 검색하는 것을 의미합니다. 여기에는 13개의 연구가 있으며, 이는 분야가 텍스트를 넘어 확장되기 시작했음을 보여줍니다.

3. 사후 검색 단계 (검색 후)
일단 로봇이 책 더미를 집어 들었다면, 이제 그것들을 분류해야 합니다.

• 재순위화 및 정제 (Re-ranking and Refinement): 로봇이 100페이지를 가져왔을 수는 있지만, 실제로 유용한 것은 상위 5페이지만일 수 있습니다. 연구자들은 쓸모없는 것을 버리고 가장 좋은 페이지를 상단에 배치하는 "필터"를 만들고 있습니다. 논문은 이 부분에 대한 연구가 단 6개뿐이라는 것을 발견했는데, 이는 결과를 정리하는 작업이 얼마나 중요한지를 고려할 때 놀라울 정도로 적은 수치입니다.

4. 생성 단계 (답변)
여기서 로봇은 최종 답변을 작성합니다.

• 추론 및 충실성 (Reasoning and Faithfulness): 일부 연구자들은 로봇이 검색하는 동안 "생각"하도록 가르치고 있습니다. 단순히 책을 집어 들어 읽는 대신, 로봇은 자신의 작업을 검토하거나, 후속 질문을 던지거나, 사실이 타당한지 확인합니다. 논문은 이 방식이 답변을 더 신뢰할 수 있게 만들지만, 로봇을 더 느리게 만들고 실행 비용을 높인다고 밝혔습니다.

네 가지 커다란 발견

173개의 연구를 분류한 후, 카라산은 오늘날 이 분야의 현주소를 알려주는 네 가지 주요 패턴을 발견했습니다.

1. 노력의 불균형
가장 명백한 발견은 모두가 프로세스의 중간 단계(검색 단계)에 집착하고 있다는 점입니다. 책을 더 잘 가져오는 방법에 대해서는 수많은 연구가 있지만, 더 나은 질문을 던지거나 검색 후 결과를 정리하는 방법에 대한 연구는 매우 적습니다. 이는 마치 50명의 팀원이 도서관 선반을 더 빠르게 만드는 데 매달리고 있지만, 정작 로봇에게 올바른 책을 요청하는 법을 가르치려는 사람은 5명뿐인 것과 같습니다. 논문은 "질문"이나 "정리" 부분을 수정하는 것이 더 저렴하면서도 효과적일 수 있기 때문에, 이것이 놓친 기회라고 제안합니다.

2. 혼란스러운 측정 문제
논문은 서로 다른 발명품들을 비교하는 것이 매우 어렵다는 점을 지적합니다. 어떤 연구는 자신의 로봇이 정답을 90% 확률로 찾았기 때문에 "더 낫다"고 말할 수 있습니다. 또 다른 연구는 자신의 로봇이 최종 답변을 더 정확하게 냈기 때문에 "더 낫다"고 말할 수 있습니다. 표준 척도가 없다면 어떤 발명품이 진정으로 최고인지 알 방법이 없습니다. 논문은 특히 의료와 같은 고위험 분야에서 이러한 시스템을 테스트하기 위한 표준화된 방법론에 합의가 필요하다고 제사합니다.

3. 정확도의 숨겨진 비용
가장 "똑똑한" 기술 중 상당수는 항상 언급되지 않는 막대한 비용을 수반합니다. 예를 들어, 지식 그래프(사실의 거미줄)를 구축하는 데는 많은 시간과 돈이 듭니다. 복잡한 추론 루프를 사용하는 것은 로봇이 답변하는 데 더 오랜 시간이 걸리게 만듭니다. 논문은 이러한 기술들이 시간이나 비용을 얼마나 소모하는지를 실제로 측정하는 연구가 매우 적다(3개)고 언급합니다. 이 로봇들이 실험실을 벗어나 실생활으로 이동함에 따라, 이 "숨겨진 비용"은 거대한 문제가 될 수 있습니다.

4. 의료 편향 (Healthcare Bias)
가장 눈에 띄는 발견은 거의 모든 진지한 테스트가 의료 분야에서 이루어지고 있다는 점입니다. 173개의 연구 중 35개가 의료 응용 분야에 특화되어 있었으며, 가장 엄격한 테스트 중 상당수는 임상 시험이나 수술을 대상으로 진행되었습니다. 이는 의료용 로봇을 안전하게 만드는 데는 훌륭하지만, 이 기술들이 농업, 금융, 법률과 같은 다른 분야에서도 작동하는지에 대한 의문을 제기합니다. 논문은 증거가 병원에 지나치게 집중되어 있기 때문에, 이러한 방법들이 다른 분야에서도 통할지 알 수 없다고 지적합니다.

앞으로의 방향

논문은 이 분야가 단순한 일회성 검색에서 더 복잡한 "모듈형" 시스템으로 이동하고 있다고 결론짓습니다. 단순히 책을 집어 들어 읽는 대신, 미래의 로봇은 검색 계획을 세우고, 자신의 작업을 검토하며, 질문에 따라 다양한 도구를 사용할 수 있게 될 것입니다. 이는 단순한 손전등에서 다기능 스위스 아미 나이프로 업그레이드되는 것과 같습니다.

그러나 저자는 우리가 너무 들뜨기 전에 먼저 이 혼란스러운 상황을 바로잡아야 한다고 경고합니다. 우리는 "질문"과 "정리" 단계를 무시하는 것을 멈춰야 하며, 이러한 기술들이 얼마나 많은 시간과 비용을 소모하는지 측정하기 시작해야 하고, 의료 이외의 분야에서도 이 로봇들을 테스트해야 합니다. 우리가 그렇게 하지 않는다면, 우리는 병원에서는 완벽하게 작동하지만 식료품점에서는 처참하게 실패하는 아주 화려한 검색 엔진을 만들고 있는 것일지도 모릅니다. 이 논문은 문제를 해결했다고 주장하는 것이 아니라, 현재 연구가 어디에 와 있는지에 대한 명확한 지도를 제공하고, 미래의 과학자들이 채워나가야 할 빈 공간이 어디인지를 짚어주고 있습니다.