기술 요약: 검색 증강 생성을 위한 쿼리 적응형 의미 분할

1. 문제 제기

검색 증강 생성 (RAG) 시스템은 하류 생성을 위한 관련 컨텍스트를 검색하는 데 문서 분할의 품질에 크게 의존합니다. 전통적인 접근 방식은 주로 고정 크기 분할을 활용하여 문서를 의미 구조나 사용자 의도와 무관하게 균일한 단위로 분할합니다. 이러한 경직성은 해결 불가능한 트레이드오프를 초래합니다. 작은 단편은 정밀도를 높이지만 광범위한 컨텍스트를 잃을 위험이 있고, 큰 단편은 컨텍스트를 보존하지만 불필요한 자료로 관련성을 희석시킵니다.

기존의 고급 방법들인 의미 분할(임베딩 유사성 기반) 과 에이전트 분할(의도 기반) 은 구조적 일관성을 다루지만, 쿼리 무관성이라는 근본적인 한계를 공유합니다. 이들은 특정 사용자 쿼리와 독립적인 전처리 단계로 분할을 수행합니다. 결과적으로 사용자가 방법론, 결과, 또는 특정 기술 개념을 찾든 관계없이 문서는 동일하게 분할되어, 소스에서 관련성을 최적화할 중요한 기회를 놓치게 됩니다.

2. 방법론: 쿼리 적응형 의미 분할 (QASC)

본 논문은 사용자 쿼리를 분할 과정에 직접 통합하는 동적 전략인 **쿼리 적응형 의미 분할 (QASC)**을 제안합니다. QASC 는 관심 지점을 식별하고, 주변 컨텍스트를 수집하며, 집단적 관련성을 평가하고, 일관된 단위를 종합하는 인간 독서 행동을 모방하는 파이프라인을 통해 작동합니다.

방법론은 네 가지 핵심 메커니즘으로 구성됩니다:

1. 유사성 점수를 통한 시드 문장 선택:

   • 문서 $D$는 문장 $S = \{s_1, ..., s_n\}$으로 분할됩니다.
   • 사전 훈련된 모델 (예: Sentence-BERT) 을 사용하여 문장 임베딩 $e(s_i)$과 쿼리 임베딩 $e(q)$을 계산합니다.
   • 모든 문장에 대해 쿼리와 코사인 유사성을 계산합니다.
   • 적응형 임계값: 고정된 임계값 대신, 백분위수 기반 임계값 $\tau$(예: 유사성 점수의 75 백분위수) 를 사용하여 "시드 문장"을 선택합니다. 이는 시드 수가 문서 길이와 쿼리 구체성에 따라 자연스럽게 확장되도록 보장합니다.

2. 문맥 창 확장:

   • 각 시드 문장에 대해 $m$개의 앞뒤 문장을 포함하여 문맥 창을 구성합니다.
   • 이는 고정된 반경일 수 있거나 적응형일 수 있으며, 경계 문장의 유사성이 2 차 임계값 아래로 떨어질 때까지 바깥쪽으로 확장됩니다. 이는 시드가 고립되어 검색되지 않고 해석 가능성을 위한 충분한 컨텍스트와 함께 제공되도록 보장합니다.

3. 단편 수준 점수 집계:

   • 관련 없는 노이즈로 둘러싸인 고립된 고점수 문장을 검색하는 것을 방지하기 위해, QASC 는 각 후보 창에 대한 집계 관련성 점수를 계산합니다.
   • 이 점수는 창 내 모든 문장의 유사성 점수의 가중 평균이며, 가중치는 시드와의 거리에 따라 지수적으로 감소합니다 ($\alpha_i = \exp(-\lambda \cdot |i - r|)$).
   • 단편은 집계 점수가 임계값 (예: $0.6 \times \tau$) 을 초과하는 경우에만 유지되어 전체적 관련성을 보장합니다.

4. 경계 해결 및 병합:

   • 중복되거나 인접한 후보 창은 중복을 최소화하기 위해 반복적으로 병합됩니다.
   • 최종 단편 경계는 논리적 흐름과 자체 완결성을 보장하기 위해 자연스러운 언어적 끊김 (단락, 섹션) 에 맞춰 조정됩니다.

이 알고리즘은 쿼리 시간에 작동하며, 즉 분할은 색인화 중 사전 계산되는 것이 아니라 각 특정 쿼리에 대해 동적으로 수행됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 알고리즘 설계: 코사인 유사성을 사용하여 시드 문장을 식별하고 문맥 창을 확장하여 관련성 최적화 단편을 형성하는 쿼리 적응형 알고리즘.
2. 점수 메커니즘: 개별 문장 점수에 의존하기보다 패시지의 전체적 관련성을 평가하는 단편 수준 집계 메커니즘으로, 컨텍스트 없는 검색의 위험을 줄임.
3. 일관성 프로토콜: 중복 창을 처리하고 원활한 전환을 보장하여 문서 수준의 일관성을 유지하는 병합 및 경계 해결 프로토콜.
4. 포괄적 평가: 100 개의 기술 문서와 200 개의 다양한 쿼리에 걸쳐 7 가지 베이스라인 (5 가지 고정 세분도, 재귀적 분할, 의미 분할, 에이전트 분할 포함) 에 대한 엄격한 경험적 평가.

4. 실험 결과

평가는 4 가지 유형 (사실적, 주제적, 비교적, 다단계) 의 200 개 쿼리를 사용하여 100 개의 기술 문서 (학술, 소프트웨어, 도메인 보고서) 코퍼스에서 수행되었습니다.

• 성능 지표: QASC 는 F1 점수 0.85를 달성하여 다음과 같은 결과를 보였습니다:
  • 고정 분할 베이스라인 대비 18~27% 상대적 개선(최고 고정: 0.72).
  • 의미 및 에이전트 분할 베이스라인 대비 8~12% 상대적 개선(의미: 0.76; 에이전트: 0.74).
• 신뢰성: QASC 는 0.87의 가장 높은 신뢰성 점수를 달성하여 베이스라인 대비 환각되거나 지지되지 않는 주장이 크게 감소했음을 나타냈습니다. 이는 검색된 단편의 더 높은 관련성 밀도 때문입니다.
• 지연 시간: 쿼리 시간 처리로 인해 QASC 는 고정 분할 (110~120ms) 에 비해 추가 지연 시간 (380ms) 을 도입했지만, 임베딩 기반 의미 분할 (340ms) 과 유사하며 1 초 미만 상호작용 임계값 내에서 유지되었습니다.
• 인간 평가: 세 명의 독립적 주석자 (Cohen's $\kappa = 0.82$) 는 관련성 (4.4/5), 일관성 (4.2/5), 완전성 (4.3/5), 답변 품질 (4.3/5) 에서 QASC 를 모든 베이스라인보다 훨씬 높게 평가했습니다.
• 강건성: QASC 는 다양한 복잡도 (낮음, 중간, 높음) 의 문서와 쿼리 유형 전반에 걸쳐 일관된 상대적 개선 (+9 F1 포인트) 을 보여주었습니다.

5. 중요성과 주장

본 논문은 QASC 가 "분할 후 검색"에서 **"쿼리 후 분할 후 검색"**으로의 패러다임 전환을 나타낸다고 주장합니다.

• 트레이드오프 해결: 관련성 필터링 기능을 검색 단계에서 분할 단계로 이동시킴으로써, QASC 는 고정 분할에서 정밀도와 재현율 사이의 내재적 긴장을 해결합니다. 이는 검색기가 관련 없는 자료의 건초더미에서 바늘을 찾는 대신 "미리 선택된 바늘"을 순위 매기도록 후보를 사전 필터링합니다.
• 문맥 정렬: 이 방법은 정보 검색의 근본적인 목적, 즉 올바른 질문에 올바른 컨텍스트에서 올바른 정보를 제공하는 것과 문서 처리를 정렬합니다.
• 실용성: 쿼리 시간 지연을 도입하지만, 고품질 생성을 위한 필수적인 트레이드오프라고 주장합니다. 초기 검색을 위한 사전 분할 후 상위 후보에 대한 QASC 재분할을 포함하는 하이브리드 아키텍처를 생산 확장성을 위한 실현 가능한 경로로 제안합니다.

저자들은 분할을 RAG 시스템의 사후 처리로 간주해서는 안 되며, RAG 시스템의 핵심적인 1 급 설계 결정으로 간주해야 한다고 결론지었습니다. 사용자 의도를 분할에 직접 통합함으로써 QASC 는 검색 품질, 생성 정확도 및 시스템 신뢰성을 크게 향상시킵니다.