Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards

논문 요약: 그래프 기반 접근법을 활용한 규범적 문서 (Normative Documents) 의 RAG 구조적 복잡성 탐구

1. 문제 제기 (Problem Statement)

• 배경: 산업 표준 및 규범적 문서 (예: ETSI 표준) 는 복잡한 계층적 구조, 도메인 특화 어휘, 그리고 광범위한 교차 참조 (cross-referential) 의존성을 가지고 있습니다.
• 현황: 이러한 문서들은 사전 훈련된 생성형 AI 모델 (LLM) 이나 일반적인 "Vanilla RAG"(벡터 기반 검색) 에 직접 적용하기 어렵습니다.
  • Vanilla RAG 의 한계: 단순한 의미적 유사성 (semantic similarity) 에만 의존하는 벡터 검색은 표준 문서의 고유한 구조적 특징 (섹션 계층, 부모 - 자식 관계) 과 정밀한 전문 용어를 놓치기 쉽습니다. 또한, 명확한 키워드 매칭이 필요한 기술 문서 특성상 희소 벡터 (Sparse) 와 밀집 벡터 (Dense) 간의 균형이 필요합니다.
• 연구 필요성: 기술 표준에 최적화된 인덱싱 및 검색 전략에 대한 실증적 증거가 부족하며, 그래프 기반 기술이 이 분야에서 얼마나 효과적인지 검증할 필요가 있습니다.

2. 방법론 (Methodology)

이 연구는 ETSI EN 301 489 시리즈와 같은 공개 표준을 대상으로 그래프 기반 RAG(Graph RAG) 아키텍처를 제안하고 평가했습니다.

• 정보 모델 (Information Model):
  • 문서를 '정보 단위 (InfoUnit)'라는 노드로 모델링합니다.
  • 노드 속성: 제목 (Title) 과 본문 (Body).
  • 관계 (Edges):
    • 부분 관계 (Parthood, P): 문서 - 섹션, 섹션 - 하위 섹션 간의 계층적 관계 (부모 - 자식).
    • 인용 관계 (Citation, C): 정보 단위 간의 참조 및 인용 관계 (다대다).
• 그래프 구축 (Graph Construction):
  • PDF 문서의 목차 (ToC) 를 파싱하여 섹션 코드를 추출하고, 섹션 코드의 접두사 관계를 통해 계층 구조를 자동으로 재구성합니다.
  • 텍스트 내의 인용구 (Reference) 를 분석하여 내부/외부 참조를 식별하고 그래프의 엣지로 연결합니다.
• 검색 파이프라인 (Retrieval Pipeline):
  • 7 단계 모듈로 구성된 통합 파이프라인:
    1. Parse Sections: 그래프 구조 생성.
    2. Split Chunks: 구조를 무시한 균일한 청킹 (대안적 접근).
    3. Embed InfoUnits: IBM Granite 모델을 사용하여 텍스트 임베딩 생성.
    4. Smoothing: 그래프의 이웃 노드 임베딩을 가중 평균하여 연결된 노드의 표현을 유사하게 만듦 (GNN 없이 경량화).
    5. BM25 Prefilter: 키워드 기반 검색으로 대규모 컬렉션에서 초기 후보군 선별 (저지연, 고정밀).
    6. Dense Re-ranker: 의미적 유사성을 기반으로 재순위화.
    7. RRF (Reciprocal Rank Fusion): BM25 와 Dense 검색 결과를 결합.
    8. Expander & Graph Re-ranker: 검색된 시드 (Seed) 노드의 이웃을 확장하고, 연결성 및 유사도를 고려하여 재순위화.

3. 주요 기여 (Key Contributions)

• 표준 문서 특화 RAG 방법론 제안: 표준 문서의 고유한 계층 구조와 어휘적 특성을 반영한 전용 그래프 모델과 검색 파이프라인을 설계했습니다.
• 경량화 및 저지연 전략 검증: 무거운 그래프 신경망 (GNN) 대신 'Smoothing' 기법과 하이브리드 검색 (BM25 + Dense + Graph) 을 사용하여 실시간 적용 가능성을 높였습니다.
• 실증적 벤치마크 구축: ETSI EN 301 489 시리즈를 기반으로 약 800 개의 합성 Q&A 데이터셋을 생성하여 다양한 검색 전략을 정량적으로 비교 평가했습니다.
• 구조적 정보의 효과 입증: 단순한 벡터 검색 대비 구조적 정보 (계층, 인용 관계) 를 통합했을 때의 성능 변화를 체계적으로 분석했습니다.

4. 실험 결과 (Experimental Results)

약 800 개의 Q&A 쌍을 사용하여 8 가지 다른 구성 (Vanilla vs. Structured, Chunks vs. Graph 등) 으로 실험한 결과는 다음과 같습니다.

• 구조 보존의 효과: 공식적인 섹션 계층을 보존하는 방식은 **정밀도 (Precision)**와 **평균 역순위 (MRR)**를 유의미하게 향상시켰으나, **재현율 (Recall)**에는 통계적으로 유의한 영향을 미치지 않았습니다.
• 하이브리드 검색 (RRF): 밀집 벡터 (Dense) 와 희소 벡터 (BM25) 를 결합한 RRF 는 정밀도와 MRR 을 개선하는 데 효과적이었습니다. 이는 표준 문서의 전문 용어와 명확한 참조가 키워드 검색에 유리하기 때문입니다.
• 이웃 확장 (Neighbor Expansion): 현재 제안된 이웃 점수 함수는 효과적이지 않았으며, 도메인에 적합한 점수 함수 개발이 더 필요함을 시사했습니다.
• Smoothing 기법: 구조만 보존하는 것보다 임베딩 Smoothing 을 적용했을 때 **재현율 (Recall)**이 약간 향상되어, 관계 정보를 인덱스에 내재화하는 것이 응답의 완전성 (Completeness) 을 높이는 유망한 방법임을 보여주었습니다.
• 종합 평가: 구조 보존과 청킹을 결합한 방식이 전반적인 최적의 절충안 (Best Compromise) 으로 판단되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 이 연구는 규범적 및 표준 문서 처리를 위해 단순한 의미적 유사성을 넘어, 문서의 **구조적 자산 (Hierarchical Structure)**과 **관계적 의존성 (Relational Dependencies)**을 활용해야 함을 입증했습니다.
• 실용적 가치: 제안된 그래프 기반 RAG 프레임워크는 자동화된 표준 문서 분석 및 생성을 위한 확장 가능한 솔루션을 제공합니다.
• 향후 과제: 단일 문서 내의 먼 거리의 패시지 (passage) 간 정보 종합이나 서로 다른 문서 간의 복잡한 연결을 처리하는 능력을 더 넓은 범위의 데이터셋으로 검증하고, 하이브리드 솔루션의 고도화가 필요하다고 결론지었습니다.

이 논문은 복잡한 기술 표준 문서를 처리할 때, 그래프 기반의 구조적 접근이 기존 벡터 기반 RAG 의 한계를 극복하고 더 정확하고 관련성 높은 검색 결과를 제공할 수 있음을 실증적으로 보여줍니다.