SPD-RAG: Sub-Agent Per Document Retrieval-Augmented Generation

이 논문은 방대한 문서 코퍼스를 대상으로 복잡한 질문에 답할 때 표준 RAG 의 증거 부족과 장문맥 LLM 의 추론 한계를 해결하기 위해, 각 문서를 전용 에이전트가 처리하고 조정자가 이를 통합하는 계층적 다중 에이전트 프레임워크인 SPD-RAG 를 제안하며, LOONG 벤치마크에서 기존 방법보다 높은 정확도와 비용 효율성을 입증했습니다.

Yagiz Can Akay, Muhammed Yusuf Kartal, Esra Alparslan, Faruk Ortakoyluoglu, Arda Akpinar

게시일 Tue, 10 Ma
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

🌟 핵심 비유: "거대한 도서관의 사서 팀"

상상해 보세요. 여러분이 수만 권의 책이 꽂혀 있는 거대한 도서관에 있다고 칩시다. 그리고 아주 복잡한 질문을 던졌습니다.

"지난 10 년간 이 회사의 재무제표와 관련 학술 논문들을 모두 뒤져서, 이 회사가 직면한 가장 큰 위험 요인은 무엇인지 찾아줘."

기존의 AI 시스템들은 이 질문을 어떻게 처리할까요?

1. 기존 방식 (Normal RAG) 의 실패: "눈이 먼 사서"

기존 시스템은 도서관 사서 한 명에게 "가장 관련 있어 보이는 책 5 권만 가져와"라고 시킵니다.

  • 문제점: 정답이 10 번째 책과 50 번째 책에 숨어 있다면? 사서는 처음 5 권만 보고 "정답이 없네요"라고 말합니다. **중요한 정보가 빠지는 것 (Coverage Failure)**이죠.

2. 기존 방식 (Long Context LLM) 의 실패: "머리가 터진 천재"

다른 방법은 도서관의 모든 책 (수십만 페이지) 을 한꺼번에 AI 에게 보여주고 "이거 다 읽고 답해"라고 하는 것입니다.

  • 문제점: AI 는 책이 너무 많으면 중간 내용을 잊어버리거나 (Lost in the middle), 너무 많은 정보에 압도되어 논리적으로 혼란을 겪습니다. 마치 한 번에 100 권의 책을 읽으려다 머리가 터진 사람과 같습니다.

🚀 SPD-RAG 의 해결책: "전문가 팀과 지휘관"

SPD-RAG 는 이 문제를 팀워크로 해결합니다. 도서관을 하나의 거대한 팀으로 바꾼 것입니다.

1. 지휘관 (Coordinator Agent)

  • 역할: 질문을 분석하고, 도서관의 모든 책에 **"무엇을 찾아야 하는지"**에 대한 공통 지시사항을 작성합니다.
  • 비유: 마치 현장 지휘관이 "모든 팀원들은 '위험 요소'와 '수치'를 찾아서 보고해라"라고 명령하는 것과 같습니다.

2. 책별 전담 요원 (Sub-Agents)

  • 역할: 도서관의 책 한 권당 한 명의 전담 요원을 배치합니다.
  • 특징:
    • 각 요원은 자신이 맡은 책 한 권만 집중해서 봅니다.
    • 다른 책의 소음에 방해받지 않고, 그 책 안에 숨겨진 모든 단서를 꼼꼼히 찾아냅니다.
    • 비유: 100 권의 책이 있다면 100 명의 전문가가 각각 한 권씩 맡아, 그 책의 모든 페이지를 샅샅이 뒤지는 것입니다. "이 책에는 위험 요소가 A 와 B 가 있네!"라고 각자 보고서를 작성합니다.

3. 종합 보고서 작성 (Synthesis Layer)

  • 역할: 100 명의 요원이 작성한 보고서를 한데 모아서, 지휘관이 최종 답변을 만듭니다.
  • 비유: 각 요원의 보고서를 모아서, "A 책과 B 책의 위험 요소를 합치면 결국 이 회사가 가장 큰 위험에 처했구나"라고 통찰력 있는 최종 결론을 내립니다.

🏆 왜 이 방식이 더 좋은가요? (결과)

이 논문은 실제 시험 (Loong 벤치마크) 에서 이 방식을 테스트했습니다.

  • 정확도: 기존 방식 (점수 33 점) 보다 SPD-RAG 는 58 점을 받았습니다. (약 76% 향상!)
    • 특히, 여러 책의 정보를 연결해야 하는 복잡한 문제 (클러스터링, 추론) 에서 압도적인 차이를 보였습니다.
  • 비용: 모든 책을 한 번에 읽는 '초고성능 AI'를 쓰는 것보다 비용은 38% 수준으로 줄였습니다.
    • 이유: 책 한 권씩 읽는 요원들은 저렴한 AI(Gemini 2.5 Flash) 로 충분하고, 최종 결론만 내리는 지휘관에게만 비싼 AI 를 쓰면 되기 때문입니다.

💡 한 줄 요약

**"한 명의 천재가 모든 책을 다 읽으려다 지치는 대신, 책 한 권씩을 맡은 전문가 팀이 각자 꼼꼼히 찾아낸 정보를 지휘관이 하나로 합쳐서, 더 정확하고 저렴한 답을 내는 시스템"**입니다.

이 방식은 방대한 문서가 필요한 금융 리포트 분석, 법률 조사, 학술 연구 등 복잡하고 긴 문서를 다뤄야 하는 모든 상황에 혁신을 가져올 것으로 기대됩니다.