기술 요약: 벡터 RAG 대 LLM-컴파일 위키

문제 제기

본 논문은 연구 코퍼스에 대한 질문 응답을 위한 두 가지 다른 아키텍처인 벡터 RAG(검색 증강 생성)와 LLM-컴파일 위키 간의 정량적 비교에 존재하는 간극을 다룹니다. 안드레이 카파시 같은 이의 "에이전틱 마크다운 위키"와 같은 비공식적 논평은 수집 시점에 연구를 교차 연결된 위키로 컴파일하는 것이 다중 논문 종합과 비용 분산 측면에서 우월할 수 있음을 시사하지만, 표준 청크-벡터 RAG에 대한 사전 등록된 직접 비교 정량 분석은 아직 발표된 바가 없습니다.

본 연구는 세 가지 특정 트레이드오프를 조사합니다:

1. 종합성: 위키 아키텍처가 여러 논문에 걸친 발견들을 더 잘 연결하는가?
2. 정확성: 논문을 위키 페이지로 재작성하는 과정이 소스 정확성이나 원천 근거를 저하시키는가?
3. 비용: 위키 구축의 초기 비용이 쿼리 시점 비용을 더 저렴하게 만들어, 일정 수의 질문 이후 손익분기점을 만드는가?

방법론

본 연구는 AI 윤리 및 법률, 기후 과학, 정밀 의학이라는 세 가지 도메인에 걸친 24 편의 동료 검토 논문으로 구성된 고정된 코퍼스를 대상으로 수행된 사전 등록된, 이중 맹검, 2 인 판정 비교입니다.

• 비교 시스템:
  • 벡터 RAG: 단일 라운드 검색 후 생성 파이프라인입니다. 문서 인식 마크다운 청킹, 다중 쿼리 확장, 하이브리드 검색 (밀도 + 희소), Cohere 재순위화, 그리고 CRAG 에서 영감을 받은 교정적 검증을 사용합니다. 생성 중 검색은 수행하지 않습니다.
  • LLM 위키: LLM 이 논문들을 영구적이고 교차 연결된 마크다운 위키 (개체, 개념, 소스) 로 변환하는 오프라인 컴파일 과정입니다. 쿼리 시점에는 도구를 사용하는 에이전트가 이 위키를 탐색 (페이지 나열, 내용 읽기) 하여 답변을 생성합니다.
• 평가:
  • 질문: 6 가지 난이도 단계 (연대기, 충돌, 다중 홉, 등장, 정책, 편향 확인) 에 걸친 13 개의 평가 질문.
  • 모델: 두 시스템 모두 답변 생성에 Claude Opus 4.7(xhigh)을 사용했습니다.
  • 판정: 답변은 GPT-5.4(주 판정자)와 Gemini 2.5 Pro(판정자 간 신뢰도)가 맹검 무작위 순서로 채점했습니다.
  • 채점 기준: 1~10 점의 네 가지 기준: 근거성(주장이 소스로 추적 가능), 구조적 무결성(통합된 내러티브), 충돌 인식, 그리고 논문 간 매핑(다중 홉 종합).
• 가설:
  • H1(종합성): 다중 홉/등장 질문에서 종합성 기준에 대해 위키가 RAG 보다 2.0 점 이상 높음.
  • H2(원천 근거): 편향 확인 질문에서 근거성 측면에서 RAG 가 위키 이상임.
  • H3(비용): 위키 수집 비용 > RAG 수집 비용 AND 위키 쿼리 비용 < RAG 쿼리 비용.

주요 기여

1. 사전 등록 비교: LLM-컴파일 위키와 벡터 RAG 간의 첫 정량적, 맹검 비교.
2. 평가 방법론 발견: 채점 기준의 구체성에 따라 LLM 판정자의 행동이 다르게 나타난다는 것을 입증했습니다. 판정자들은 논문 간 매핑(구체적 정의) 에 대해서는 밀접하게 일치했으나, 구조적 무결성과 같은 전체적 기준에서는 "천장 판정자" 편향이 현저히 나타났습니다. 특히 한 판정자 (Gemini) 는 위키에 대해 10/10 점에 근접한 점수를 빈번하게 부여했습니다.
3. 탐색적 분해 제거 분석: 위키의 우위가 검색 커버리지에서 비롯된 것인지, 아니면 표현 정렬에서 비롯된 것인지 분리하기 위해 분해-RAG 변형 (질문을 하위 질문으로 분할) 에 대한 사후 분석을 수행했습니다.

결과

1. 종합성 및 조직화 (H1)

• 위키 우위: 위키는 논문 간 매핑(논문 간 종합) 에서 단일 라운드 RAG 를 크게 능가하여 사전 등록된 임계값을 초과했습니다 (+6.625 대 +2.0).
• 조직화: 판정자 간 신뢰도 (IRR) 조정 후 구조적 무결성에서의 우위는 약해져 (+1.625), +2.0 임계값을 간신히 통과하지 못했습니다.
• 분해 효과: 분해 기반 RAG 변형은 위키의 종합성 우위 중 약 88% 를 회복하여 격차를 등록된 임계값 이하로 줄였습니다. 이는 위키의 종합성 우위가 문서 간 더 나은 검색 커버리지에서 비롯된 것으로, RAG 에서 쿼리를 분해함으로써 완화될 수 있음을 시사합니다.

2. 근거성 및 정확성 (H2)

• 채점 기준 점수: RAG 는 편향 확인 단계에서 단일 사실 근거성에 대한 사전 등록 테스트를 충족하여 (RAG > 위키) H2 를 만족했습니다.
• 주장 수준 분석 (사후): 원자적 주장에 대한 세밀한 분석은 메커니즘의 반전을 드러냈습니다. RAG 가 전체적 채점 기준에서 더 높은 점수를 받았지만, 위키가 인용한 주장들은 인용된 텍스트에 의해 엄격하게 지지될 가능성이 약 2 배 더 높았으며, RAG 에 비해 지지되지 않을 가능성은 약 4~5 배 낮았습니다.
• 해석: RAG 는 청크를 검색한 후 이를 넘어 종합/확장하는 경향이 있어 (전체적 일관성은 높지만 엄격한 정렬은 낮음) 발생합니다. 반면 위키는 "주장 형태"의 아티팩트에 증거를 미리 배치하여 인용 정밀도를 높이지만, 이는 원본 PDF 의 정확성을 보장하지는 않습니다 (위키 자체가 컴파일물이기 때문).

3. 비용 비대칭 (H3)

• 쿼리 비용: 위키의 예상 비용 우위는 완전히 실패했습니다. 위키는 RAG 보다 쿼리당 토큰을 21 배 더 많이 소비했습니다 (165 만 토큰 대 7 만 8 천 토큰).
• 분산: 쿼리당 비용이 더 높기 때문에 수집 비용을 분산하기 위한 "손익분기점"은 수학적으로 불가능합니다 (음수 N). "사전 컴파일은 쿼리를 더 저렴하게 만들기 위해 수수료를 지불한다"는 비용 직관은 테스트된 설정 하에서 반박되었습니다.
• 수집 비용: 수집 비용 비율은 텔레메트리의 프롬프트 캐싱 회계 문제 (캐싱된 토큰과 캐싱되지 않은 토큰을 집계) 로 인해 판단할 수 없었으나, 쿼리 측면의 결과만으로도 H3 가설의 연언을 반박합니다.

4. 분해-RAG 제거 분석

• 종합성: 분해-RAG 는 위키와의 종합성 격차를 좁혔지만, 단일 라운드 RAG 보다 3.4 배 더 높은 LLM 토큰 비용이 들었습니다 (그러나 여전히 위키보다 3.4 배 저렴함).
• 인용 정렬: 분해-RAG 는 주장별 인용 지지 측면에서 위키의 우위를 회복하지 못했습니다(19.2% 지지 대 위키의 40.2%). 이는 검색 커버리지와 표현 정렬이 분리 가능한 메커니즘임을 나타냅니다.

중요성 및 결론

본 논문은 근거 있는 연구 종합이 단일 능력이 아님을 결론지었습니다. 조직화, 인용 정렬, 비용이라는 세 가지 차원에서 모든 면에서 뛰어난 단일 아키텍처는 존재하지 않았습니다.

• 단일 라운드 RAG: 비용에 민감하고 원천 검색이 필요한 경우에 가장 적합합니다.
• 분해-RAG: 구조가 중요한 다중 논문 종합을 위한 실행 가능한 중간 지대입니다. 위키의 종합성 이점 중 약 88% 를 쿼리 비용의 일부로 제공하지만, 엄격한 인용 정렬 측면에서는 여전히 뒤처집니다.
• LLM 위키: 증거 아티팩트 주장 인용 정렬(인용된 페이지가 주장을 직접 지지함) 에 있어 우수하지만, 쿼리당 토큰 비용이 과도하게 높습니다 (~RAG 의 21 배) 그리고 소스 정확성에 대한 검증이 필요합니다.

본 연구는 평가가 단일 "근거성" 판정으로 축소하는 대신 종합 구조, 주장-인용 정렬, 그리고 비용을 별도로 보고해야 함을 강조합니다. 또한, 전체적 기준에 대한 LLM-판정자 평가의 취약성을 강조하며, 신뢰할 수 있는 판정자 간 일치를 위해서는 구체적인 운영적 정의가 필요함을 시사합니다. 향후 연구에서는 원본 PDF 에 대한 위키 소스 정확성을 검증하고, 반복적 검색과 주장 기반 인용 수정을 결합한 하이브리드 아키텍처를 탐구할 필요가 있습니다.