기술 요약: SF-Re2G – 구조를 통한 검색, 재순위화 및 생성 촉진

문제 정의

문서 기반 대화 시스템(DGDS)은 외부 문서를 활용하여 정확한 응답을 생성하는 것을 목표로 합니다. 그러나 RAG 및 Re2G와 같은 기존 솔루션은 일반적으로 문서를 독립적인 구절(passage)로 나뉜 평면적인 텍스트 시퀀스로 취급합니다. 이러한 접근 방식은 두 가지 결정적인 한계를 가집니다:

1. 세밀도(Granularity) 문제: 고정된 구절 길이는 다양한 정보 요구를 수용하지 못합니다. 긴 구절은 특정 질의에 대해 노이즈를 유발하고, 짧은 구절은 복잡한 질문에 대한 충분한 문맥을 제공하지 못합니다.
2. 구조적 정보 무시: 문서는 흔히 고유한 계층 구조(예: 표, 섹션 헤더, 논리적 단계)를 가집니다. 문서를 평면적인 시퀀스로 취급하면 관련 요소 간의 의미적 연결(예: 표 헤더와 그에 대응하는 셀)을 끊어버려, 지식 선택 및 응답 생성에서 최적의 결과를 얻는 데 방해가 됩니다.

현재의 방법들은 이러한 구조적 단서들을 주로 무시하며, 이로 인해 정확한 지식을 검색하고 일관된 응답을 생성하는 데 있어 성능 병목 현상이 발생합니다.

방법론: SF-Re2G

저자들은 문서 구조 정보를 DGDS 파이프라인의 세 가지 핵심 단계인 검색(Retrieval), 재순위화(Reranking), 생성(Generation)에 체계적으로 통합하는 프레임워크인 SF-Re2G를 제안합니다. 이 시스템은 문서를 다양한 길이의 구절(예: 표의 셀, 단락)을 노드로 하는 그래프로 모델링합니다.

1. 검색: 구조적 대조 학습 (Structural Contrastive Learning)

검색 모듈은 Bi-encoder 아키텍처(DPR 기반)를 사용하지만, 구절 표현과 부정 샘플링(negative sampling)을 개선하기 위해 두 가지 핵심적인 향상 기법을 도입합니다:

• Top-Down 집계 (Top-Down Aggregation): TreeJC에서 영감을 받아, 개별 구절의 표현을 강화하기 위해 상위 수준의 정보(예: 단락 제목 및 문서 이름)를 집계합니다.
• 구조적 대조 학습 (Structural Contrastive Learning): 저자들은 문서 그래프 내의 동일한 섹션에 있는 구절들이 의미적으로 유사하여 구분이 어렵다는 점에 주목했습니다. 이를 해결하기 위해, 양성 구절(positive passage)의 이웃(neighborhood) 내에서 부정 샘 샘플을 추출하는 하드 네거티브 샘플링 전략을 도입합니다. 이를 통해 모델이 인접한 노드 간의 미세한 의미적 차이를 학습하도록 강제합니다.
• 손실 함수 (Loss Function): 모델은 인배치 네거티브(in-batch negatives)와 구조적으로 샘플링된 하드 네거티브를 포함하여 음의 로그 가능도(negative log-likelihood)를 최적화합니다.

2. 재순위화: 구조 강화 스코어링 (Structure-Enhanced Scoring)

재순위화 모듈은 검색 단계에서 추출된 상위 $k$개의 후보군을 다시 점수 매기기 위해 Cross-Encoder를 사용합니다.

• 서브그래프 구축 (Subgraph Construction): 검색된 후보들은 문서 구조에 따라 서브그래프 형태로 그룹화됩니다 (예: 동일한 문서 브랜치에서 나온 구절들을 그룹화).
• 문맥 입력 (Contextual Input): 재순위화 모델은 구절을 단독으로 점수 매기는 대신, 핵심 구절과 동일한 서브그래프 내의 이웃 구절들을 함께 입력으로 받습니다. 입력 형식에는 대상 구절을 구분하기 위한 특수 토큰([core] 및 [others])이 포함됩니다.
• 메커니즘: 이를 통해 모델은 공생 확률(co-occurrence probabilities)을 활용할 수 있습니다. 즉, 이웃 구절이 질의와 일치하면 핵심 구절의 점수를 높이고, 그 반대의 경우도 마찬가지입니다.

3. 생성: 구조 융합 가중치 적용 (Structure-Fused Weighting)

생성 모듈은 사전 학습된 BART 모델을 사용합니다.

• 가중치 융합 (Weighted Fusion): 시스템은 Re2G와 유사한 가중치 부여 방식을 채택합니다. 토큰 생성 확률은 구조적으로 강화된 재순위화 점수($p_\eta$)에 의해 가중치가 부여된 각 검색 구절에 조건화된 생성기의 확률 합계로 계산됩니다.
• 서브그래프 통합 (Subgraph Integration): 생성기는 대화 이력, 핵심 구절, 그리고 순차적 서브그래프($G_{sub}$)를 입력으로 받습니다. 이를 통해 모델은 단순히 검색된 텍스트뿐만 아니라 그 구조적 문맥에 기반하여 응답을 생성할 수 있습니다.
• 학습 (Training): 재순위화기와 생성기는 사전 학습된 BART 백본을 추가로 미세 조정(fine-tuning)하지 않고도 공동 학습될 수 있으며, 생성된 결과를 사용하여 재순위화기가 할당한 가중치를 교정합니다.

주요 기여

1. 체계적인 구조적 통합: 본 연구는 DGDS 파이프라인의 특정 모듈에 국한되지 않고, 검색, 재순위화, 생성의 모든 단계에 걸쳐 구조 정보를 체계적으로 연구하고 통합한 첫 번째 사례입니다.
2. 새로운 아키텍처 (SF-Re2G): 저자들은 가변적인 구절 길이를 처리하기 위해 문서 그래프를 활용하고, 더 나은 부정 샘플링을 위해 구조적 대조 학습을 사용하는 방법을 제시합니다.
3. 실증적 검증: 제안된 방법은 영어(MultiDoc2Dial) 및 중국어(Doc2Bot) 데이터셋 모두에서 최신 기법(SOTA) 대비 우수한 성능을 입증했습니다.

실험 결과

저자들은 MultiDoc2Dial(영어)과 Doc2Bot(중국어) 두 가지 데이터셋에서 SF-Re2G를 평가했습니다.

• 검색 (Retrieval): 구조적 대조 방식(DPRstruct)은 표준 DPR과 비교했을 때 MultiDoc2Dial에서 Recall@1을 약 2%, Doc2Bot에서 1% 향상시켰습니다.
• 재순위화 (Reranking): 구조 강화 재순위화기(CrossEncoderstruct)는 일관된 개선을 보였으며, 특히 구조가 뚜렷한 Doc2Bot에서 모든 지표(Recall@1, Recall@5, Recall@10, Rprec)에 걸쳐 평균 약 1%의 향상을 달aba했습니다. 구조적 정보가 덜 뚜렷한 MultiDoc2Dial에서는 이득이 미미했습니다.
• 생성 (Generation): SF-Re2G는 두 데이터셋 모두에서 F1, SacreBLEU, ROUGE 지표에 대해 최첨단(SOTA) 성능을 달성했습니다. 특히, 저자들은 생성 과정에서 서브그래프 문맥을 제거하면 구조가 풍부한 Doc2Bot에서는 성능이 저하되지만, MultiDoc2Dial에서는 성능이 약간 향상된다는 점을 관찰했습니다. 이는 구조적 문맥이 소스 문서가 명확하고 유의미한 구조를 가질 때 가장 유익하다는 것을 시사합니다.

의의 및 주장

본 논문은 문서의 구조적 정보가 DGDS를 위한 가치 있고 무시할 수 없는 자원이라고 주장합니다. 저자들은 이러한 요소를 무시하는 현재의 방식이 최적의 성능을 내지 못한다고 주장합니다. 문서를 그래프로 취급하고 구조적 관계를 대조 학습 및 문맥 융합에 활용함으로써, SF-Re2G는 지식 선택 및 응답 생성에 있어 더욱 견고한 프레임워크를 제공합니다. 결과는 향-연구가 문서를 평면적인 텍스트 시퀀스로 취급하기보다 문서 구조를 활용하는 방향으로 우선순위를 두어야 함을 시사합니다.