SPIRE: Structure-Preserving Interpretable Retrieval of Evidence

1. 문제 정의 (Problem)

기존의 검색 증강 생성 (RAG) 시스템은 반구조화된 문서 (HTML, 기술 매뉴얼 등) 를 처리할 때 문서 구조와 모델 인터페이스 간의 불일치라는 근본적인 문제에 직면해 있습니다.

• 구조의 손실: 대부분의 RAG 파이프라인은 문서를 고정된 크기의 평탄한 텍스트 조각 (chunks) 으로 선형화 (flatten) 하여 인덱싱합니다. 이 과정에서 섹션 구조, 제목 계층, 목록 (lists), 표 (tables), 하이퍼링크 등 문서의 의미 조직화에 필수적인 구조적 정보가 소실됩니다.
• 해석 불가능한 인용: 구조가 파괴된 상태로 검색된 텍스트 조각은 문맥을 잃어 해석하기 어렵습니다. 예를 들어, 번호가 매겨진 목록의 중간 문장만 추출되거나 표의 헤더 없이 셀만 추출되면 사용자에게 의미 있는 증거 (evidence) 로 제공될 수 없습니다.
• 예산 효율성 저하: 문맥을 유지하기 위해 큰 단위로 검색하면 관련성이 낮은 불필요한 토큰이 예산을 차지하고, 정밀한 단위로 검색하면 문맥이 부족해져 정확도가 떨어지는 딜레마가 발생합니다.

2. 방법론 (Methodology)

SPIRE 는 문서를 평탄한 텍스트가 아닌 트리 구조 (Tree-structured) 로 유지하며, 서브도큐먼트 (Subdocument) 라는 개념을 도입하여 구조를 보존하는 검색 파이프라인을 제안합니다.

2.1. 핵심 개념: 경로 주소 지정 가능한 문서 모델 (Path-addressable Document Model)

• 경로 (Paths): 문서의 각 노드를 고유한 경로 (예: [0, 0, 1]) 로 식별합니다. 이는 문서 내 위치를 정확히 가리키는 인용 주소 역할을 합니다.
• 경로 집합 (Path Sets): 비연속적인 여러 영역을 하나의 단위로 표현할 수 있습니다.
• 서브도큐먼트 (Subdocuments): 특정 경로 집합을 기반으로 구조적 맥락 (조상 노드, 자식 노드 등) 을 자동으로 보충하여 유효한 문서 트리를 추출하는 연산자입니다. 이는 전체 문서의 물리적 복제 (materialization) 를 지연시키고, 필요할 때만 구조를 완성합니다.

2.2. 두 가지 맥락화 (Contextualization) 메커니즘

SPIRE 는 검색의 정확성과 해석 가능성을 높이기 위해 두 가지 단계의 맥락화를 적용합니다.

1. 글로벌 맥락화 (Global Contextualization):

   • 목적: 검색된 노드가 독립적으로 해석 가능하도록 비로컬 (non-local) 구조적 발판 (Title, Section Header, List/Table 구조) 을 추가합니다.
   • 작동 방식: HTML 구조에 기반한 규칙 (제목, 헤더, 목록, 표 라벨 등) 을 적용하여 경로 집합을 확장합니다.
   • 적용 시점: 인덱싱 (Embedding) 단계에서 적용됩니다. 즉, 임베딩 모델은 원본 문장뿐만 아니라 해당 문장이 속한 제목과 구조적 맥락을 포함한 텍스트를 학습합니다.

2. 로컬 맥락화 (Local Contextualization):

   • 목적: 검색 후, 특정 문장이나 블록을 인접한 구조적 이웃으로 확장하여 풍부한 문맥을 제공합니다.
   • 작동 방식: 구조를 고려하여 문장, 단락, 블록 레벨 요소를 포함하도록 확장합니다.
   • 적용 시점: 검색 후 (Query-time) 필터링 단계에서 적용됩니다.

2.3. 검색 파이프라인 (Retrieval Pipeline)

1. 임베딩 기반 후보 생성 (Vector Embedding-based Retrieval):

   • 단위: 문장 (Sentence) 단위를 검색의 기본 단위로 사용합니다 (정밀도 향상).
   • 인덱싱: 문장 기반 서브도큐먼트에 글로벌 맥락화를 적용한 후 임베딩합니다.
   • 문서 인지 집계 (Document-aware Aggregation): 동일한 문서에서 여러 결과가 검색될 경우, 공유되는 구조적 맥락 (제목, 헤더 등) 을 중복해서 예산에 포함하지 않도록 경로 집합을 병합 (Union) 한 후 한 번만 렌더링하여 예산을 효율적으로 사용합니다.

2. 맥락 필터링 (Contextual Filtering):

   • LLM 기반 재랭킹: 검색된 후보들을 로컬 맥락화된 확장 뷰로 변환한 후, 생성형 LLM 에게 질의 (Query) 와 함께 제공합니다.
   • 작동: LLM 은 확장된 뷰 내에서 질문에 직접적인 답변이 되는 부분만 선택하도록 지시받습니다.
   • 인용 추출: LLM 이 선택한 부분은 원래 문서의 경로 (Path) 를 기반으로 한 정확한 서브도큐먼트로 다시 매핑되어 최종 인용으로 출력됩니다. 이는 LLM 이 확장된 문맥을 이해하더라도, 인용의 출처는 원본 구조에 정확히 고정되도록 보장합니다.

3. 주요 기여 (Key Contributions)

1. 경로 주소 지정 가능한 문서 모델: 트리 구조 문서와 시퀀스 기반 모델 간의 인터페이스로 작동하는 경로, 경로 집합, 서브도큐먼트 추출, 그리고 두 가지 맥락화 연산자를 정의했습니다.
2. 구조 인식 검색 파이프라인: 글로벌 맥락화된 문장 기반 서브도큐먼트를 인덱싱하고, 질의 시 문서별 집계를 수행하며, 로컬 맥락화와 LLM 필터링을 통해 정밀한 인용을 생성하는 전체 파이프라인을 설계했습니다.
3. 실험적 검증: HTML 기반 질문 답변 벤치마크 (HotpotQA, ASQA) 에서 강력한 베이스라인 (bge, HtmlRAG) 대비 고정된 토큰 예산 내에서 더 높은 품질과 다양성을 가진 인용을 생성함을 입증했습니다.

4. 실험 결과 (Results)

HotpotQA 와 ASQA 데이터셋에서 1,000 토큰의 고정된 인용 예산 하에 실험을 수행했습니다.

• 임베딩 기반 검색만 사용 시 (Embedding-only):

  • 기존 HTML 특화 베이스라인 (bge) 과 비교했을 때, 동일한 예산 내에서 더 많은 유용한 인용 (Helpful Citations) 을 생성했습니다.
  • 이유: 블록 단위 (bge) 가 아닌 문장 단위 검색과 글로벌 맥락화 덕분에 예산을 더 효율적으로 활용하면서도 문맥을 유지할 수 있었기 때문입니다.
  • 글로벌 맥락화를 제거한 경우 (Ablation), 정밀도가 크게 하락하여 맥락의 중요성을 입증했습니다.

• 엔드 - 투 - 엔드 파이프라인 (SPIRE, Filtering 포함):

  • 정밀도 향상: LLM 기반의 맥락 필터링을 추가한 SPIRE 는 기존 검색만 사용한 시스템 대비 유용한 인용 비율 (Helpful Ratio) 을 획기적으로 향상시켰습니다.
    • HotpotQA: 0.215 (검색만) → 0.655 (SPIRE)
    • ASQA: 0.615 (검색만) → 0.813 (SPIRE)
  • 작동 원리: 필터링 단계가 관련성이 낮거나 약한 후보를 제거하고 예산을 직접적인 증거에 집중시킵니다.
  • 출처 보존: 필터링 과정에서 문맥이 확장되더라도 최종 인용은 원본 문서의 정확한 구조적 위치 (Path) 를 유지합니다.

5. 의의 및 결론 (Significance)

• 구조의 가치 재발견: 문서를 단순한 텍스트 시퀀스가 아닌 구조적 객체로 취급함으로써, RAG 시스템이 의미론적 내용뿐만 아니라 구조적 단서 (제목, 목록, 표 등) 를 함께 추론할 수 있게 합니다.
• 해석 가능성과 정밀도의 균형: 고정된 크기 조각 (Chunking) 의 한계를 넘어, 전역 맥락 (인덱싱 시) 과 국소 확장 (검색 후) 을 분리함으로써 정밀한 인용과 풍부한 문맥을 동시에 달성했습니다.
• 확장성: HTML 특화 규칙뿐만 아니라 용어 정의, 법률 문서 등 다양한 도메인의 구조적 패턴을 맥락화 정책으로 쉽게 확장할 수 있는 프레임워크를 제공합니다.
• 미래 방향: 정보 검색, 문서 이해, 그리고 구조화된 데이터를 위한 프로그래밍 언어 기법의 융합을 위한 새로운 기반을 마련했습니다.

결론적으로 SPIRE 는 RAG 시스템이 반구조화된 웹 문서에서 해석 가능하고, 정밀하며, 예산 효율적인 증거를 추출할 수 있도록 하는 구조 중심의 새로운 패러다임을 제시합니다.