Adaptive Chunking: Optimizing Chunking-Method Selection for RAG

1. 문제 정의 (Problem Statement)

검색 증강 생성 (RAG, Retrieval-Augmented Generation) 시스템의 성능은 문서를 인덱싱 및 검색을 위해 작은 단위 (Chunk) 로 분할하는 방식에 크게 의존합니다. 그러나 기존 연구와 실제 적용에서는 다음과 같은 한계가 존재했습니다:

• 일률적 접근법의 한계: 대부분의 RAG 시스템은 모든 문서에 동일한 '원사이즈-핏-올 (one-size-fits-all)' 분할 전략 (예: LangChain 의 Recursive Splitter) 을 적용합니다. 이는 문서의 구조적, 내용적 차이 (법률 문서, 기술 매뉴얼, 학술 논문 등) 를 고려하지 않아 문맥이 끊기거나 불필요한 정보가 섞이는 문제를 야기합니다.
• 평가 프레임워크의 부재: Chunking 의 품질을 평가하는 데 주로 하위 작업 (검색 정확도, 생성 답변의 정확도) 의 결과를 간접적으로 측정하는 '외재적 (Extrinsic)' 지표만 사용되었습니다. 이로 인해 Chunking 전략 자체의 영향을 독립적으로 분석하거나 최적화하기 어려웠습니다.
• 문맥 보존 딜레마: 임의의 경계로 문서를 자르면 논리적 단위 (단락, 표, 섹션) 가 파괴되어 필수 정보가 여러 조각으로 흩어지거나, 반대로 너무 큰 청크는 임베딩 품질을 저하시킵니다.

2. 방법론 (Methodology)

저자들은 문서별 특성에 맞춰 최적의 분할 전략을 동적으로 선택하는 Adaptive Chunking 프레임워크를 제안했습니다.

가. 새로운 분할 기법 (Chunking Methods)

기존 방법론의 단점을 보완하기 위해 두 가지 새로운 분할기를 개발했습니다:

1. LLM-Regex Splitter: LLM 에게 분할 가이드라인과 예시를 제공하고, 문서의 구조적 특징 (예: 법률 조항의 구분) 을 반영한 정규식 (Regex) 패턴을 생성하게 합니다. 생성된 정규식을 전체 문서에 적용하여 구조적 경계를 보존합니다.
2. Split-then-Merge Recursive Splitter: 기존 재귀적 분할의 단점 (너무 작은 청크 생성) 을 해결하기 위해 2 단계 전략을 사용합니다.
   • 1 단계: 우선순위 분리자 (제목 → 섹션 → 문장 → 문자) 를 사용하여 문서를 분할합니다.
   • 2 단계: 분할된 조각들을 인접한 것과 병합하여 최소/최대 토큰 수를 준수하도록 합니다.

나. 후처리 (Post-processing)

모든 분할 결과에 대해 다음 두 가지 후처리를 적용하여 크기 제약을 강화합니다:

• 과대 청크 재분할: 1,100 토큰을 초과하는 청크는 다시 분할합니다.
• 초소형 청크 병합: 100 토큰 미만인 청크는 인접 청크와 병합합니다 (최대 1,150 토큰까지).

다. 5 가지 내재적 평가 지표 (Intrinsic Metrics)

문서 수준에서 Chunking 품질을 직접 평가하기 위해 5 가지 새로운 지표를 도입했습니다. Adaptive Chunking 은 각 문서에 대해 이 지표들의 평균 점수가 가장 높은 분할 방법을 선택합니다.

1. References Completeness (RC): 대명사와 그 선행어 (Entity) 가 같은 청크 내에 유지되는 비율. (Maverick 코어퍼런스 모델 사용)
2. Intrachunk Cohesion (ICC): 청크 내 문장 간 의미적 일관성 (임베딩 코사인 유사도).
3. Document Contextual Coherence (DCC): 청크가 주변 문맥 (슬라이딩 윈도우) 과 얼마나 잘 조화되는지 측정.
4. Block Integrity (BI): 표, 그림, 제목 - 본문 쌍 등 구조적 단위가 깨지지 않고 유지되는 비율.
5. Size Compliance (SC): 청크 크기가 설정된 범위 (100~1,100 토큰) 내에 있는지 비율.

3. 주요 기여 (Key Contributions)

1. Adaptive Chunking 프레임워크: 단일 전략이 아닌, 5 가지 내재적 지표를 기반으로 각 문서에 가장 적합한 분할 방법을 동적으로 선택하는 시스템.
2. 새로운 분할 알고리즘: 구조 인식형 LLM-Regex 분할기와 Split-then-Merge 재귀 분할기 개발.
3. 내재적 평가 지표 체계: RAG 성능에 영향을 미치는 Chunking 의 핵심 속성 (완전성, 일관성, 구조 무결성 등) 을 직접 측정할 수 있는 5 가지 지표 제안.
4. 모델/프롬프트 변경 없는 성능 향상: 기존 RAG 파이프라인의 모델이나 프롬프트를 변경하지 않고, 오직 Chunking 전략 최적화만으로 성능을 극대화하는 방법론 제시.

4. 실험 결과 (Results)

법률, 기술, 사회과학 등 다양한 도메인의 33 개 PDF 문서로 실험을 수행했습니다.

• 내재적 지표 성능: Adaptive Chunking 은 단일 분할 방법들보다 평균 내재적 점수 (91.07%) 가 가장 높았습니다. 특히 'Split-then-Merge' 방식이 크기와 문맥 보존 측면에서 우수했으나, 문서 유형에 따라 페이지 기반 분할이 더 나은 경우도 있어 적응형 선택의 필요성을 입증했습니다.
• 검색 및 생성 성능 (RAG Performance):
  • 검색 완성도 (Retrieval Completeness): Adaptive Chunking 은 **67.68%**로, 기존 LangChain 기본 설정 (58.08%) 대비 약 9.6%p 향상되었습니다.
  • 답변 정확도 (Answer Correctness): **78.01%**를 기록하여 기존 방법 대비 4~8%p 향상되었습니다.
  • 답변 성공률: 시스템이 "알 수 없음"이라고 답하지 않고 실제로 답변을 생성한 비율이 65/99로, 기존 방법 (49/99) 대비 30% 이상 증가했습니다.
• 시너지 효과: 내재적 지표의 미세한 개선 (0.42.4%p) 이 검색 및 생성 단계에서 증폭되어 큰 성능 차이 (810%p) 로 이어지는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 RAG 시스템의 핵심 전처리 단계인 Chunking 에 대한 패러다임을 전환합니다.

• 문서 인식형 (Document-Aware) 접근의 중요성: 모든 문서에 동일한 분할 전략을 적용하는 것은 비효율적이며, 문서의 구조와 내용에 맞춰 전략을 선택해야 최적의 성능을 얻을 수 있음을 입증했습니다.
• 실용적 가이드라인:
  1. 전역 기본값 대신 문서별 선택을 선호할 것.
  2. 항상 청크 크기 정규화 (후처리) 를 적용할 것.
  3. 단일 지표 최적화 대신 다중 지표 (일관성, 문맥, 구조 등) 의 균형을 맞출 것.
• 확장성: 모델이나 프롬프트를 변경하지 않아도 되므로 기존 RAG 시스템에 쉽게 통합 가능하며, 코드와 데이터셋은 오픈소스로 공개되어 재현성을 보장합니다.

결론적으로, Adaptive Chunking은 내재적 평가 지표를 기반으로 문서별 최적의 분할 전략을 선택함으로써, RAG 시스템의 검색 품질과 답변 정확도를 획기적으로 개선할 수 있는 실용적이고 효과적인 솔루션을 제시합니다.