💬 NLP

W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases

이 논문은 온톨로지 기반 검색과 소스 수준 가중치를 활용하여 문서 커버리지와 생성 품질을 개선함으로써 이질적인 기업 지식 베이스 내 전역 랭킹의 한계를 해결하는 소스 인지형 검색 프레임워크인 W-RAG를 소개한다.

원저자: Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

원저자: Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 직장 생활에서 정책 매뉴얼, 합병 보고서, 제품 출시 계획과 같은 복잡한 문서를 작성하는 일은 종종 여러 다양한 곳에서 정보를 끌어모아야 하는 작업을 필요로 합니다. 팀은 내부 회사 규정, 과학 연구 논문, 정부 규제, 시장 뉴스 등을 동시에 참조해야 할 수도 있습니다. 이를 돕기 위해 컴퓨터 과학자들은 인공지능이 문장을 쓰기 전에 사실을 찾아볼 수 있게 하는 시스템을 개발했습니다. '검색 증강 생성(retrieval-augmented generation)'이라고 알려진 이 방식은 디지털 비서가 도서관의 문서들을 읽고 그 메모를 사용하여 답변 초안을 작성하는 것과 같습니다. 이 목표는 AI가 사실을 지어내는 것을 방지하고, 더 정확하며 현실에 기반하도록 만드는 것입니다. 그러나 이러한 시스템이 여러 종류의 서로 다른 라이브러리로부터 정보를 수집하려고 할 때 중대한 문제가 발생합니다.

문제는 모든 정보원이 동등하지 않으며, 단일 문서 내에서 모두 동일한 역할을 수행하지 않는다는 점입니다. 표준적인 시스템은 종-종 모든 정보원을 하나의 경주에서 경쟁하는 것처럼 취급하여, 사용자의 질문과 단어가 얼마나 밀접하게 일치하는지에만 기초하여 상위 결과들을 선정합니다. 기업 환경에서 이러한 방식은 자주 실패합니다. 이 방식은 적절한 키워드를 포함하고 있다는 이유로 수백 페이지의 일반 뉴스 기사를 가져오는 반면, 특정 정부 규정이나 기술 안전 가이드라인에 담긴 단 하나의 결정적인 문단은 완전히 무시할 수도 있습니다. 그 결과, 초안은 유창하게 들릴 수는 있으나 문서를 법적 또는 기술적으로 유효하게 만드는 데 필요한 필수적이고 전문적인 세부 사항을 놓치게 됩니다. 결국 AI는 하나의 유형의 소스에 의해 점유된 컨텍스트 윈도우를 갖게 되어, 완전한 그림을 구축하는 데 필요한 다양한 증거들을 누락하게 됩니다.

연구자 Hridya Dhulipala, Rajesh Ombase, Michael Wang, 그리고 Tien N. Nguyen는 이 구체적인 문제를 해결하기 위해 나섰습니다. 그들은 '소스 인식 검색(source-aware retrieval)'을 의미하는 W-RAG라는 새로운 프레임워크를 제안했습니다. 모든 라이브러리의 모든 문서를 하나의 큰 풀(pool)에서 서로 경쟁하게 두는 대신, 이 새로운 시스템은 검색 과정을 구조화합니다. 먼저 "데이터 프라이버시"나 "금융 준수"와 같이 문서에 요구되는 특정 주제를 식별하고, 개념의 구조화된 지도를 사용하여 관련 구절을 찾습니다. 그다음, 모든 것을 한꺼번에 순위를 매기는 것이 아니라, 각 특정 라이브러리 내에서 최적의 문서들의 순위를 개별적으로 매깁니다. 마지막으로, 각 라이브러리에 특정 예산을 할당하여, 최종 문서의 공간 중 얼마만큼이 기업 보고서로 채워질지, 얼마만큼이 과학 논문으로 채워질지, 그리고 얼마만큼이 법률 텍스트로 채워질지를 정확히 결정합니다. 이는 최종 초안이 단순히 한 소스에 존재하는 텍스트의 양에 따라 결정되는 것이 아니라, 과업의 실제 요구 사항을 반영하는 균형 잡힌 증거의 구성물이 되도록 보장합니다.

이 접근 방식이 실제로 효과가 있는지 테스트하기 위해, 연구팀은 이러한 종류의 기업용 글쓰기에 특화된 새로운 데이터셋을 만들었습니다. 그들은 의료 정책 초안 작성부터 인수 합병 보고서 준비에 이르기까지 100가지의 현실적인 시나리오를 구축했습니다. 각 시나리오를 위해 그들은 네 개의 뚜로 다른 정보 라이브러리를 구축했습니다. 하나는 기업 공시 및 운영 가이드, 다른 하나는 과학 연구, 세 번째는 법률 및 규제 텍스트, 그리고 네 번째는 시장 뉴스 및 산업 보고서로 구성되었습니다. 그런 다음 그들은 AI에게 이러한 혼합된 소스들을 바탕으로 문서를 작성하도록 요청했습니다. 연구진은 단순히 전역 목록에서 상위 결과만을 선택하는 표준 시스템들이 상당한 어려움을 겪는다는 것을 발견했습니다. 이러한 시스템들은 유창하지만 불완전한 문서를 생성했으며, 작은 규모의 전문화된 라이브러리들을 무시함으로써 과업의 필수 요구 사항을 충족하지 못했습니다.

결과는 새로운 소스 인식 방식이 사용되었을 때 명확한 차이를 보여주었습니다. 시스템이 각 지식 베이스의 뚜렷한 역할을 존중하도록 강제함으로써, 생성된 문서의 품질이 극적으로 향상되었습니다. 이 새로운 접근 방식은 이전의 최선 방법들보다 문서 요구 사항의 만족도를 50% 이상 높였으며, 표준 시스템에 비해서는 100% 이상 높였습니다. 또한, 정보가 가장 크거나 텍스트가 많은 라이브러리로 치우치지 않고, 적절한 혼합된 소스로부터 사용되도록 보장했습니다. 이 연구는 복잡한 현실 세계의 글쓰기 과업을 수행함에 있어, 정보를 찾는 능력만큼이나 정보를 선택하고 균형을 맞추는 방식이 중요하다는 점을 시사합니다. 증거의 구성을 세심하게 관리함으로써, 시스템은 사실에 근거할 뿐만 아니라 구조적으로도 완전하여 현대 기업 글쓰기의 다양한 요구를 충족하는 초안을 생산할 수 있습니다.

기술 요약: W-RAG – 기업용 문서 생성을 위한 소스 인지형 검색(Source-Aware Retrieval)

문제 정의
검색 증강 생성(RAG)은 외부 지식을 통합함으로써 대규모 언어 모델(LLM)의 사실적 근거를 개선해 왔습니다. 그러나 기존의 RAG 파이프라인은 서로 다른 이질적인 저장소로부터 얻은 증거를 단일 유사도 함수로 평가할 수 있다고 가정하는 전역적 순위 지정(global ranking) 메커니즘에 의존합니다. 이러한 가정은 오픈 도메인 검색에는 유효하지만, 기업용 문서 생성에서는 실패합니다. 기업 환경에서 정책, 규제, 기술 사양, 부서별 가이드라인과 같은 지식 베이스(KB)는 각기 다른 역할을 수행합니다. 전역적 순위 지정은 더 크거나 밀도가 높거나 어휘적으로 지배적인 소스를 선호하는 경향이 있어, 작지만 중요한 저장소를 억제합니다. 이는 생성된 문서가 특정 도메인의 필수적인 증거를 결여하게 만들어, 복잡한 기업 요구사항을 충족하지 못하는 불완전한 초안을 생성하는 불균형한 컨텍스트 창(context window)으로 이어집니다.

방법론: W-RAG 프레임워크
저자들은 이질적인 지식 베이스 간의 증거 구성을 조절하도록 설계된 소스 인지형 검색 프레임워크인 W-RAG를 제안합니다. 이 시스템은 세 가지 별도의 단계로 작동합니다:

온톨로지 가이드 후보 검색 (Ontology-Guided Candidate Retrieval):
단순히 의미적 유사성에만 의존하는 대신, W-RAG는 도메인 온톨로지를 사용하여 입력 쿼리로부터 구조화된 토픽을 추출합니다. 이는 하이브리드 점수 함수를 사용하여 각 KB에서 후보 텍스트 청크를 검색합니다:
$R(c_{jk}) = f_{sim}(q, c_{jk}) + \lambda f_{ont}(T, c_{jk})$
여기서 $f_{sim}$ 은 의미적 유사성(임베딩의 코사인 유사도)을 측정하고, $f_{ont}$ 는 추출된 온톨로지 토픽과의 정렬도를 측정합니다. 이를 통해 후보들이 어휘적으로 관련이 있을 뿐만 아니라 대상 문서의 요구사항과 주제적으로도 일치하도록 보장합니다.
소스 가중치 추정 (Source Weight Estimation):
모든 후보를 하나의 전역 순위로 병합하는 대신, W-RAG는 각 KB에 대한 특정 가중치( $w_j$ )를 추정합니다. 이는 입력 토픽 세트와 KB의 토픽 인덱스를 비교하여 실시간으로 계산됩니다. 점수는 다음을 결합합니다:
- 토픽 중첩도 (Topical Overlap): 입력 토픽과 KB가 얼마나 잘 일치하는지를 측정하는 주요 동인입니다.
- 문서 가용성 (Document Availability): 더 넓은 커버리지를 가진 KB에 우선권을 주는 약한 사전 확률(weak prior)입니다.
- 카테고리 보너스 (Category Bonus): 거친 수준의 도메인 정렬에 대한 보상입니다.
  이 점수들은 각 KB가 전체 컨텍스트 예산( $T_{total}$ ) 중 어느 정도의 비율을 기여해야 하는지 결정하기 위해 정규화됩니다.
가중치 적용 컨텍스트 구성 (Weighted Context Construction):
추정된 가중치는 각 KB에 대한 토큰 예산( $T_j$ )으로 변환됩니다. 시스템은 각 로컬 순위 후보 세트에서 상위 순위의 청크를 해당 KB의 특정 예산이 소진될 때까지 선택합니다. 이 청크들은 단일 컨텍스트 창(SCW)으로 병합되어, 최종 프롬프트가 단일 저장소의 지배를 받는 것이 아니라 여러 소스의 균형 잡힌 구성을 반영하도록 보장합니다.

주요 기여

문제 정식화: 본 논문은 기존 RAG 시스템의 결정적인 실패 모드를 식별합니다. 즉, 이질적인 KB 간의 전역적 순위 지정은 기업용 문서 생성에 필요한 소스 구성을 보존하는 데 실패합니다.
방법론적 혁신: W-RAG는 온톨로지 가이드 검색, 각 KB 내의 로컬 순위 지정, 그리고 소스 수준의 가중치 부여를 결합하여 증거 구성을 조절하는 프레임워크를 도입합니다.
새로운 데이터셋 및 벤치마크: 저자들은 검색 기반 기업용 문서 생성을 위한 새로운 데이터셋을 도입합니다. 이 데이터셋은 4가지 유형(정책, 제품 출시, M&A 실사, 학술 프로그램)과 4가지 도메인(AI/디지털 미디어, 헬스케어, 기후/지속가능성, 금융)에 걸친 100개의 요구사항 문서를 포함합니다. 이 데이터셋은 다중 소스 증거 합성을 테스트하기 위해 4개의 이질적인 KB(기업, 과학, 규제, 시장/뉴스)와 쌍을 이룹니다.

실험 결과
저자들은 GPT-4.1을 생성기로, Claude Sonnet 4.6을 LLM-as-a-judge로 사용하여 표준 Vanilla RAG 및 온톨로지 가이드 RAG(OG-RAG) 베이스라인과 W-RAG를 비교 평가했습니다. 주요 결과는 다음과 같습니다:

성능 향상: W-RAG는 베이스라인들을 크게 압도했습니다. OG-RAG와 비교했을 때, 요구사항 충족도(Requirement Satisfaction)는 58.1%, 컨텍스트 관련성(Context Relevancy)은 39.1% 향상되었습니다. Vanilla RAG와 비교했을 때는 각각 109.2%와 96.4%의 향상을 보였습니다.
소스 충실도 (Source Fidelity): 연구는 생성된 문서가 의도된 소스 분포를 반영하는지 확인하기 위해 "실현된 지식 베이스 충실도(Realized Knowledge Base Fidelity)"를 측정했습니다. W-RAG는 규정된 검색 가중치와 실제 생성된 텍스트에서의 소스 귀속 사이의 강한 정렬을 보여주었으며, 젠슨-샤논 발산(Jensen-Shannon Divergence) 점수는 중간에서 높은 수준의 일치도를 나타냈습니다.
검색 vs 생성: 결과는 높은 검색 품질만으로는 높은 문서 품질을 보장할 수 없음을 시사합니다. 즉, 여러 소스로부터의 증거 구성이 기업 요구사항을 충족하는 데 매우 중요합니다.

의의 및 주장
본 논문은 표준 RAG의 가정이 기업용 문서 생성 작업에 부적합하다고 주장합니다. 검색된 컨텍스트가 여러 지식 베이스에 어떻게 분배되는지를 명시적으로 관리함으로써, W-RAG는 더 충실하고 완전한 문서 생성을 가능하게 합니다. 저자들은 다중 소스 기업 환경에서는 "청크 수준의 순위 품질"만큼이나 "문서 수준의 증거 구성"이 중요하다고 상정합니다. 이 연구는 글로벌 유사도 순위 지정에서 소스 인지형 할당으로 넘어가는 것이 정책, 계약 및 기술 문서의 신뢰할 수 있는 합성을 위해 필요함을 시사합니다.

한계점
저자들은 자신들의 평가가 상대적으로 작은 합성 데이터셋에 의존하고 있어, 실제 기업 환경의 규모와 노이즈를 완전히 포착하지 못할 수 있음을 인정합니다. 또한, 평가 지표에 부분적인 주관성이 포함되어 있으며, 이 접근 방식이 아직 오픈 도메인이나 구조화되지 않은 검색 환경에서 검증되지 않았음을 언급했습니다.

유사한 논문