기술 요약: 수학 교과서의 페이지 단위 검색을 위한 RAG와 GraphRAG 비교

문제 정의

대규모 언어 모델(LLM)은 교육 보조 도구로서의 잠재력을 보여주지만, 특정 강의 자료와의 불일치 및 출처 환각 현상이라는 문제를 자주 겪는다. 자기 주도적 수학 학습에서 학생들은 정의, 증명 또는 정리의 적용을 검토하기 위해 특정 교과서 페이지에 정밀하게 접근할 수 있어야 한다. Retrieval-Augmented Generation(RAG)은 도메인 특화 문서에 근거한 응답을 제공하지만, 최근의 확장형인 GraphRAG(구조화된 검색을 위해 지식 그래프를 구축함)는 미세한 페이지 단위 검색에서의 효용성에 대한 불확실성을 야기한다. 핵심 연구 질문은 AI 기반 검색 시스템이 질문이 유래된 특정 교과서 페이지를 얼마나 정확하게 식별할 수 있는지, 그리고 검색 정확도와 생성된 답변의 품질 사이의 균형을 어떻게 맞추는지에 관한 것이다.

방법론

저자들은 학부 교재인 An Infinite Descent into Pure Mathematics에서 추출한 큐레이션 데이터셋을 사용하여 체계적인 평가를 수행했다.

• 데이터셋: 코퍼스는 PDF에서 LaTeX 기반 마크다운으로 변환된 628개의 페이지로 구성된다. 477개의 질문-답변 쌍이 생성되었으며, 이는 페이지당 하나의 쌍으로 구성된다. 질문은 학생의 문의(예: 정의, 증명 또는 적용 요청)를 모사하도록 설계되었으며, 교육적 관련성을 보장하기 위해 수동으로 검レビュー되었다. 각 쌍은 출처 페이지 번호가 레이블링되어 있다.
• 검색 접근 방식: 본 연구는 일곱 가지 검색 전략을 비교하였다:
  1. 임베딩 기반 RAG: 2024년 12월 MTEB 리더보드에서 선정된 다섯 가지 모델 (voyage-3-large, nv-embed-v2, gte-large, text-embedding-3-large, multilingual-e5).
  2. 희소 검색 (Sparse Retrieval): 기본 파라미터를 사용한 Okapi BM25 기반의 BM25.
  3. GraphRAG: 페이지 단위 추적성을 가능하게 하기 위해 엔티티와 텍스트 유닛에 대한 document_id를 노출하도록 조정된 프레임워크.
• 파이프라인: 시스템은 3단계 파이프라인을 따른다: 인덱싱(벡터 임베딩, 용어 빈도 또는 관계 인코딩), 검색(관련 있는 상위-$k$ 페이지 또는 엔티티 식별), 생성(쿼리와 컨텍스트를 LLM에 입력).
• 평가 지표:
  1. 검색 정확도: 올바른 출처 페이지가 상위-$k$ 검색 세트에 포함되는지 여부.
  2. 답변 품질: 생성된 답변과 정답 간의 단어 중첩 F1 점수.
• 재현: 비용 효율적인 배포 시나리오를 평가하기 위해, 주요 실험은 로컬 오픈 소스 LLM (Qwen3.5-35B-A3B)과 오픈 소스 임베딩 모델 (nomic-embed-text)을 사용하여 재현되었다.

주요 기여

1. 체계적 비교: 페이지 단위 교육용 QA를 위해 일곱 가지 검색 접근 방식(다섯 가지 임베딩 모델, BM25, GraphRAG)을 엄격하게 평가하였다.
2. 오류 분석: 대부분의 검색 실패가 무관한 콘텐츠가 아닌 "근접 오답(near-misses)"(동일 챕터 내 콘텐츠)임을 밝혀내어, 잘못된 검색 상황에서도 교육적 가치가 있음을 시사하였다.
3. 베이스라인 성능: 고전적인 희소 검색(BM25)이 이 특정 도메인에서 여러 최첨단 신경망 임베딩 모델보다 우수한 성능을 보이며 경쟁력 있는 베이스라인으로 남아 있음을 입증하였다.
4. 모델 민감도: RAG가 강력한 상용 API에 비해 약한 오픈 소스 모델에서 비례적으로 더 큰 성능 향상을 제공한다는 결과가 도출되었다.

결과

검색 정확도

• 임베딩 모델: voyage-3-large는 Top-10에서 99.4%, Top-1에서 **68.6%**의 정확도를 달着하며 가장 높은 정확도를 기록했다. 이는 다른 임베딩 모델들을 Top-1 및 Top-3 수준에서 크게 앞질렀다.
• BM25: 희소 검색 베이스라인은 Top-1 정확도 **57.9%**를 달성하여, 모든 $k$ 값에 대해 gte-large(46.1%)와 multilingual-e5(45.7%)를 능가했다.
• GraphRAG: gpt-4o-mini 사용 시 84.5%, o3-mini 사용 시 **91.4%**의 정확도를 기록했다. 그러나 다섯 가지 임베딩 모델 모두 Top-5 이상에서 GraphRAG의 정확도를 상회했다.
• 오픈 소스 재현: nomic-embed-text를 사용했을 때 Top-1 정확도는 45.1%였다. 주목할 점은 로컬 설정에서도 BM25가 신경망 임베딩(61.2% vs 45.1%)보다 우수했다는 것이다.

생성 답변 품질 (F1 점수)

• RAG vs 베이스라인: 모든 RAG 구성은 검색 없는 베이스라인(F1 0.475)보다 개선된 성능을 보였으며, 점수는 0.514에서 0.552 사이였다.
• 임베딩 vs GraphRAG: GraphRAG는 약 0.524의 F1을 기록하여, 최고 성능의 임베딩 기반 결과와 유사하거나 약간 낮은 수준을 보였다.
• 컨텍스트 과부하: GraphRAG는 쿼리당 과도한 컨텍스트(약 47K 토큰)를 검색한 반면, RAG는 (Top-5 기준 약 3.7K 토큰) 적은 양을 검색하여, GraphRAG가 생성기를 압도하고 정밀도를 떨어뜨렸다.
• 모델 민감도: 로컬 Qwen3.5 모델의 경우, RAG는 **39%**의 상대적 F1 개선(0.276에서 0.384로)을 보인 반면, 상용 gpt-4o-mini는 **16%**의 개선만을 보였다.

오류 분석 및 재순위화(Re-Ranking)

• 근접 오답(Near-Misses): voyage-3-large의 Top-1 실패 사례 중, **63.3%**가 동일한 챕터의 콘텐츠를 검색했다(중앙값 페이지 거리 3). 단 35.3%만이 "원거리 오답(far misses)"(다른 챕터)이었다.
• 재순위화: LLM 기반 재순위화를 시도한 결과 성능이 저하되었으며(예: voyage-3-large Top-1 정확도가 0.686에서 0.593으로 하락), 검색된 세트에 존재하지 않는 페이지 번호를 환각하는 문제가 발생했다.

의의 및 주장

본 논문은 교육적 맥락의 페이지 단위 검색을 위해 임베딩 기반 RAG가 GraphRAG보다 우수하다고 주장한다. 전역 요약 및 다단계 추론(multi-hop reasoning)을 위해 설계된 GraphRAG의 구조는 미세한 작업에 있어 생성 품질을 저하시키는 과도한 컨텍스트를 도입한다.

저자들은 BM25가 매우 경쟁력 있고 비용이 들지 않는 베이스라인으로 남아 있음을 강조하며, 특히 질문이 소스 텍스트와 상당한 어휘를 공유할 때 신경망 임베딩이 항상 비례적인 이득을 주는 것은 아니라는 점을 지적한다.

또한, 본 연구는 근접 오답의 교육적 가치를 강조한다. 시스템이 정확한 페이지를 검색하는 데 실패하더라도, 종종 인접하거나 동일 챕터의 자료를 반환하며, 이는 (예: 증명 질문에 대한 이전 페이지의 정리 문구와 같이) 교육적으로 유의미한 경우가 많다.

마지막으로, 연구 결과는 비용 효율적인 배포를 위해 RAG가 필수적임을 시사한다. 더 약한 오픈 소스 모델들이 검색 기반의 근거 제시를 통해 비례적으로 더 큰 혜이트를 얻으므로, 기관들은 값비싼 상용 API에 의존하지 않고도 로컬 하드웨어에서 효과적인 교과서 기반 AI 튜터를 배포할 수 있다.

실무적 권장 사항:

1. 기본값으로 Top-5 RAG 검색을 사용하라 (높은 정확도, 관리 가능한 토큰 수).
2. 학생들에게 Top-3 후보 페이지를 제시하라.
3. 환각 위험 때문에 LLM 기반 재순위화는 피하라.
4. 페이지 경계를 가로지르는 콘텐츠를 포착하기 위해 인접 페이지 윈도잉(adjacent-page windowing)을 고려하라.