When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

큰 문제: "바벨의 도서관" 효과

당신에게 질문에 답을 아주 잘하는 똑똑한 사서(AI)가 있다고 상상해 보세요. 당신은 그에게 도로 건설에 관한 깔끔하고 정돈된 책 54권이 있는 작은 도서관을 건네줍니다. 사서는 거의 즉시 적절한 페이지를 찾아 완벽한 답변을 내놓습니다.

이제 갑자기 그 도서관에 1,000권의 책을 더 쏟아부었다고 상상해 보세요. 이 새로운 책들은 교통사고, 교량 설계, 연간 예산, 안전 보고서 등 모든 것을 다룹니다. 이제 도서관은 거대해졌습니다 (88,000개 이상의 "청크(chunk)" 텍스트).

이 논문은 도서관을 더 크게 만드는 것이 오히려 사서를 더 못하게 만들었다고 주장합니다.

사서가 "콘크리트 배합"에 대한 답을 찾으려고 할 때, 사서는 건설 관련 서적만 보는 것이 아닙니다. 도서관이 너무 혼잡하기 때문에, 사서는 겉보기에는 비슷하지만 실제로는 다른 주제를 다루는 책들(예: 다른 맥락에서 "배합"이라는 단어를 언급하는 "교통 안전" 관련 책) 때문에 혼란을 겪습니다. 사서는 잘못된 페이지를 집어 들고, 압도당하며, 틀린 답을 내놓게 됩니다.

저자들은 이를 **"벡터 검색 희석(Vector Search Dilution)"**이라고 부릅니다. 이는 마치 건초더미에서 특정 바늘을 찾는 것과 같은데, 누군가 계속해서 바늘과 똑같이 생긴 건초를 추가하여 어떤 것이 진짜인지 구별할 수 없게 만드는 것과 같습니다.

해결책: "전담 데스크" 시스템

저자들은 사서가 모든 질문에 대해 거대한 도서관 전체를 검색하게 하는 대신, MASDR-RAG라고 불리는 새로운 시스템을 구축했습니다.

이것은 여러 부서가 있는 큰 사무실 건물처럼 생각하면 쉽습니다:

• 건설 데스크
• 안전 데스크
• 예산 데스크

기존 방식 (단일 구조 검색 - Monolithic Search):
당신이 "콘크리트를 어떻게 섞나요?"라고 묻습니다. 사서는 건물 전체를 뛰어다니며 모든 사람에게 당신의 질문을 외칩니다. 사서는 안전 데스크, 예산 데스크, 건설 데스크에서 종이 뭉치를 가져와 모두 섞어서 당신에게 건넵니다. 당신은 받은 종이 중 절반이 콘크리트가 아니라 안전 헬멧에 관한 내용이라 혼란스러워집니다.

새로운 방식 (도메인 범위 지정 검색 - Domain-Scoped Retrieval):
시스템은 먼저 "이 질문은 어떤 종류의 질문인가?"라고 묻습니다.

• 만약 당신이 콘크리트에 대해 묻는다면, 시스템은 즉시 안전 데스크와 예산 데스크의 문을 잠급니다.
• 시스템은 사서를 오직 건설 데스크로만 보냅니다.
• 사서는 오직 그 특정 파일들만 검색합니다.

결과:
메타데이터 태그(예: "문서 유형")를 사용하여 검색 범위를 좁힘으로써, 시스템은 정보의 정확한 위치를 77%에서 86%로 높여 찾아냈습니다. 이는 사서에게 "건물 전체를 뒤지지 말고, 그냥 건설실만 확인해"라고 말하는 것과 같습니다.

반전: "정밀도 vs 충실도"의 역설

여기서 까다로운 부분이 등장합니다. 저자들은 여러 명의 사서가 협력하는 "멀티 에이전트 오케스트레이션(Multi-Agent Orchestration)"을 추가하여 시스템을 더 똑똑하게 만들려고 시도했습니다. 그들은 "전문가 팀이 서로 대화하게 하면 최고의 답변을 얻을 수 있을 것"이라고 생각했습니다.

어떤 일이 벌어졌을까요?

• 오픈 소스 AI (Llama나 Qwen 같은 경우): 팀은 괜찮게 작동했습니다.
• 상용 AI (Claude나 GPT 같은 경우): 시스템이 무너졌습니다.

저자들은 **"정밀도-충실도 역설(Precision-Faithfulness Paradox)"**을 발견했습니다.

• 정밀도(Precision): 시스템은 올바른 문서들을 찾아냈습니다 (정밀도가 올라갔습니다).
• 충실도(Faithfulness): 시스템은 그 문서들을 신뢰하지 않고, 내용을 지어내거나 증거를 무시하기 시작했습니다 (충실도가 61%에서 35%로 떨어졌습니다).

비유:
탐정 그룹(AI 에이전트들)이 완벽한 단서(높은 정밀도)를 찾아냈다고 상상해 보세요. 하지만 그들이 서로 논쟁하고 너무 많은 보고서를 한꺼번에 종합하려고 하다 보니, 혼란에 빠져 결국 찾아낸 단서와 일치하지 않는 이야기를 써 내려가기 시작합니다 (낮은 충실도).

논문은 상용 AI 모델의 경우, 너무 많은 "에이전트"가 서로 대화하게 되면 노이즈가 발생한다는 것을 밝혀냈습니다. AI는 자신의 내부적인 토론에 정신이 팔려 사실에 충실하는 것을 잊어버립니다.

실무적 조언: "먼저 범위를 정하고, 그 다음 합성하라"

이 논문은 이러한 시스템을 구축하기 위한 간단한 규칙으로 결론을 맺습니다.

1. 범위 지정 우선 (Scope First): AI에게 무엇인가를 묻기 전에 문서를 필터링하십시오. 만약 질문이 "교량(Bridges)"에 관한 것이라면, AI에게 "교량" 관련 문서만 보여주십시오. "교통"이나 "예산" 문서는 보여주지 마십시오. 이것이 가장 중요한 단계입니다.
2. 단순함을 유지하라 (Keep it Simple): 올바른 문서를 확보했다면, AI에게 단 한 번의 단계로 답을 작성하도록 요청하십시오.
   • 매우 특정한 유형의 오픈 소스 모델을 사용하는 것이 아니라면, AI에게 복잡한 다단계 조사(예: "ReAct" 루프)를 수행하게 하지 마십시오.
   • 대부분의 상용 모델의 경우, 복잡한 멀티 에이전트 팀을 운영하는 것보다 단일하고 집중된 검색 후 단일 답변을 얻는 것이 더 낫습니다.

주요 발견 요약

• 더 많은 문서 = 더 많은 혼란. RAG 시스템에 데이터를 추가할 때 체계적으로 정리하지 않으면 AI는 진실을 찾는 능력이 떨어집니다.
• 메타데이터가 핵심이다. 기존 태그(예: "문서 유형")를 사용하여 검색 공간을 필터링하는 것이 문제를 해결하는 가장 좋은 방법입니다.
• 복잡성은 해롭다. 문제를 해결하기 위해 AI 에이전트 팀을 사용하는 것은, 특히 강력한 상용 모델을 사용할 때 AI가 출처 텍스트에 덜 충실하게(정직하지 않게) 만드는 경우가 많습니다.
• 최적의 지점 (The Sweet Spot): 검색 범위를 적절한 주제로 좁힌 다음, AI에게 한 번에 답을 쓰라고 요청하십시오. 단순한 것이 더 낫습니다.

저자들은 와이오밍 교통부의 실제 문서들을 통해 테스트를 진행했으며, 이 간단한 "선 필터링(filter first)" 접근 방식이 복잡하고 비싼 새로운 기술 없이도 문제를 해결한다는 것을 확인했습니다.