DocSage: An Information Structuring Agent for Multi-Doc Multi-Entity Question Answering

이 논문은 여러 문서와 개체에 걸친 질문 응답의 한계를 극복하기 위해 동적 스키마 발견, 구조화된 정보 추출, 스키마 인식 추론을 통합한 에이전트 프레임워크 'DocSage'를 제안하고, 이를 통해 기존 LLM 및 RAG 시스템 대비 27% 이상의 정확도 향상을 달성했음을 보여줍니다.

핵심

📚 도스게 (DocSage): 흩어진 퍼즐 조각을 맞춰주는 '지능형 도서관 사서'

이 논문은 **"수십, 수백 개의 문서에 흩어진 정보를 찾아서, 서로 다른 인물이나 사건들을 연결해 정답을 찾아내는 것"**이 얼마나 어려운지, 그리고 그 문제를 해결한 새로운 AI 시스템 **'도스게 (DocSage)'**에 대해 설명합니다.

기존의 AI 들이 왜 이 일을 잘 못했는지, 도스게는 어떻게 **'마법 같은 도서관 사서'**처럼 일하는지 쉬운 비유로 풀어보겠습니다.

---

1. 왜 기존 AI 는 힘들어했을까요? (기존의 문제점)

기존의 거대 언어 모델 (LLM) 이나 검색 기반 AI 들은 다음과 같은 세 가지 큰 약점이 있었습니다.

• 📖 "책장 전체를 훑어보는" 방식의 한계:
  문서가 너무 길면 AI 는 중요한 정보를 놓쳐버립니다. 마치 수백 권의 두꺼운 책 한 권을 한 번에 읽으려다 중간에 지쳐서 핵심 내용을 잊어버리는 것과 같습니다. (문맥 희석 현상)
• 🔍 "키워드만 찾는" 검색의 한계:
  기존 검색 (RAG) 은 "비슷한 단어"만 찾아냅니다. 하지만 질문이 "A 와 B 의 관계를 비교해줘"라면, 단어는 다르지만 논리적으로 연결된 정보를 찾아내지 못해 중요한 단서를 놓칩니다.
• 🧩 "조각난 퍼즐"의 문제:
  정보가 여러 문서에 흩어져 있을 때, AI 는 이 조각들을 **논리적으로 연결 (Join)**하는 방법을 모릅니다. 마치 다른 상자에 담긴 퍼즐 조각들을 섞어놓고, "이게 맞다"고 말하기만 하는 상황입니다.

---

2. 도스게 (DocSage) 는 어떻게 해결할까요?

도스게는 단순히 정보를 검색하는 게 아니라, 정보를 정리하고 구조화하는 '지능형 사서' 역할을 합니다. 이 시스템은 세 가지 단계로 작동합니다.

1 단계: "질문에 맞는 지도 그리기" (스키마 발견)

• 비유: 도서관에 들어오자마자 사서가 **"무엇을 찾으시나요?"**라고 묻고, 그 질문에 딱 맞는 최소한의 지도를 그립니다.
• 설명: 모든 문서를 다 읽는 게 아니라, 질문을 분석해서 "이 문제를 풀려면 A 라는 사람, B 라는 날짜, C 라는 관계가 필요하다"는 **필요한 정보의 뼈대 (스키마)**를 먼저 설계합니다. 불필요한 정보는 아예 무시하고 핵심만 잡습니다.

2 단계: "오류 없는 데이터 정리" (구조적 추출)

• 비유: 사서가 책에서 정보를 발췌할 때, 자동으로 오답을 수정하는 검사관이 함께 일합니다.
• 설명: 문서에서 정보를 뽑아낼 때, "이 나이가 180 세라니? 틀렸어!"처럼 논리적 모순을 찾아내거나, "이 회사의 주가가 존재하지 않아?"처럼 데이터 불일치를 바로잡습니다. 이렇게 정제된 표 (Table) 형태로 정보를 정리합니다.

3 단계: "논리 퍼즐 맞추기" (관계 추론)

• 비유: 이제 정리된 표를 가지고 **SQL(데이터베이스 언어)**로 질문을 던져, 정확한 답을 찾아냅니다.
• 설명: 흩어져 있던 정보를 정리된 표에 넣었기 때문에, "A 와 B 를 연결해"라고 하면 **데이터베이스가 자동으로 연결 (Join)**해줍니다. AI 가 막연히 추측하는 게 아니라, 논리적으로 검증된 사실을 바탕으로 답을 도출합니다.

---

3. 도스게의 놀라운 성과

이 시스템을 테스트한 결과, 기존 최고의 AI 들보다 정확도가 27% 이상이나 높았습니다.

• 📈 많은 정보가 있어도 흔들리지 않음:
  문서가 10 개일 때나 100 개일 때나, 정보가 100 개일 때나 10,000 개일 때나 일관되게 높은 점수를 받았습니다. (기존 AI 는 정보가 많아질수록 급격히 실수했습니다.)
• 🔗 복잡한 연결도 척척:
  "A 의 친구인 B 가 C 와 거래한 내역을 찾아줘"처럼 여러 단계를 거쳐야 하는 복잡한 질문에서도 탁월한 성능을 보였습니다.

---

🌟 한 줄 요약

"도스게 (DocSage) 는 흩어진 정보의 바다에서, 질문자에게 딱 맞는 '지도'를 먼저 그리고, 오류 없는 '정리된 책'을 만들어, 논리적으로 '정답'을 찾아주는 똑똑한 AI 비서입니다."

이 기술은 금융, 법률, 의료처럼 정확한 사실 연결이 생명을 좌우하는 분야에서 큰 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

다문서 다개체 질문 응답 (MDMEQA, Multi-document Multi-entity Question Answering) 은 여러 개의 비정형 문서에 흩어진 개체들 간의 암묵적인 논리를 연결하여 답변을 도출하는 작업입니다. 이는 임상 연구 (약물 - 질병 관계 분석), 금융 분석 (기업 간 성과 비교), 법률 (계약서 조항 교차 참조) 등 고위험 의사결정 분야에서 필수적입니다.

기존 접근법의 한계는 다음과 같습니다:

• 대규모 언어 모델 (LLM) 의 한계: 긴 문맥 창 (Context Window) 을 가진 모델조차도 긴 텍스트에서 중요한 세부 사항을 놓치는 '문맥 희석 (Contextual Dilution)' 현상이 발생하며, 분리된 텍스트 세그먼트 간의 개체 관계를 추적하는 데 실패합니다.
• 기존 RAG (검색 증강 생성) 의 한계:
  • 표준 RAG: 벡터 유사도 기반의 검색은 의미적 중복성을 우선시하여 개체 관련성을 놓치거나, 문서 간 논리에 필요한 핵심 사실을 누락시킵니다.
  • 그래프 기반 RAG: 개체 관계를 트리플 (Triple) 로 모델링하지만, 문서 수가 증가함에 따라 복잡한 관계 네트워크를 통합하는 데 계산 비용이 과도하게 소요되며 효율성이 떨어집니다.
• 공통된 결함: 모든 방법이 스키마 인식 (Schema Awareness) 이 부족합니다. 즉, 쿼리에 맞춰 명시적인 구조화된 표현을 동적으로 생성하지 못해, 흩어진 개체와 관계를 체계적으로 조직화하지 못하고 증거 체인이 단절되거나 개체 추론이 부정확해집니다.

2. 방법론 (Methodology)

논문은 이러한 한계를 극복하기 위해 DocSage라는 엔드 - 투 - 엔드 에이전트 프레임워크를 제안합니다. 이 프레임워크는 비정형 문서 집합을 동적이고 쿼리 특화적인 관계형 구조로 변환하여 추론을 수행합니다. DocSage 는 세 가지 핵심 모듈로 구성됩니다.

(1) 상호작용 스키마 발견 모듈 (Interactive Schema Discovery Module)

• 목적: 사전 정의된 스키마 없이 쿼리에 필요한 최소한의 결합 가능 (Joinable) 관계 스키마를 동적으로 추론합니다.
• ASK 알고리즘 (Active Schema Discovery via Knowledge-seeking Queries):
  • 초기 가설 생성: LLM 을 사용하여 쿼리와 문서 샘플을 분석하여 초기 스키마 가설을 생성합니다.
  • 일관성 분석 및 질문 생성: 초기 스키마를 적용하여 개체 정렬 충돌, 속성 값 분포 이상, 누락된 관계 등의 불확실성을 탐지합니다. 탐지된 불확실성을 해결하기 위해 자연어 질문을 생성합니다.
  • 반복적 업데이트: 생성된 질문을 통해 문서를 재검색하고, 얻은 증거로 스키마를 수정, 확장 또는 정리합니다.
  • 수렴: 새로운 불확실성이 더 이상 발견되지 않을 때까지 반복하여 최종 스키마를 도출합니다.

(2) 논리 인식 구조화 추출 모듈 (Logic-Aware Structured Extraction Module)

• 목적: 발견된 스키마에 맞춰 비정형 텍스트를 의미적으로 일관된 관계형 테이블로 변환하며, 추출 오류를 보정합니다.
• CLEAR 메커니즘 (Cross-record Logic Enforcement for Accuracy Reinforcement):
  • 단일 포인트 신뢰도 평가: LoRA 기반의 경량 어댑터를 사용하여 특정 스키마에 맞춰 추출 모델의 신뢰도를 보정합니다.
  • 교차 레코드 논리 일관성 검사: 스키마 의존 논리 제약 조건 (기능적 종속성, 시간적 제약, 수치 범위, 외래 키 무결성 등) 을 정의하고, 이를 위반하는 튜플을 탐지합니다.
  • 오류 수정: 신뢰도가 낮거나 논리 위반이 감지된 경우, 더 강력한 LLM 을 통한 재추출이나 검증/모호성 제거 하위 모듈을 통해 오류를 수정하고 최종 고품질 관계형 데이터베이스 ($DB_q$) 를 구축합니다.

(3) 스키마 유도 관계 추론 모듈 (Schema-Guided Relational Reasoning Module)

• 목적: 구조화된 테이블 위에서 다단계 (Multi-hop) 관계 추론을 수행합니다.
• SQL 기반 추론:
  • 자연어 쿼리를 LLM 이 최적화된 SQL 쿼리로 변환합니다. 명시적인 스키마와 조인 키 덕분에 복잡한 다단계 추론이 결정론적인 데이터베이스 연산으로 변환되어 효율성이 극대화됩니다.
  • 실행된 SQL 결과 ($R$) 를 기반으로 각 행의 출처를 원본 문서의 특정 위치까지 추적 (Provenance Traceback) 합니다.
  • 구조화된 증거와 추적 체인을 바탕으로 최종 답변을 생성하며, 이는 모든 주장이 검증 가능한 원천 데이터에 기반함을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 동적 스키마 발견: 쿼리 특화적이며 오류가 보정된 최소 관계 스키마를 능동적으로 생성하여 정보의 파편화와 스키마 부족 문제를 해결합니다.
2. 구조화된 에이전트 설계: 비정형 텍스트를 관계형 테이블로 변환하고 SQL 기반 추론을 통해 LLM 의 주의를 분산 (Attention Diffusion) 시키는 문제를 완화합니다.
3. 정밀한 사실 위치 파악 및 교차 문서 연결:
   • SQL 인덱싱을 통한 정밀한 사실 위치 파악.
   • 관계형 테이블을 통한 자연스러운 교차 문서 개체 조인 (Join) 지원.
   • 구조화된 표현을 통한 LLM 주의력 희석 방지.

4. 실험 결과 (Results)

두 가지 주요 MDMEQA 벤치마크 (MEBench, Loong) 에서 최신 SOTA 모델 (GPT-4o, RAG, GraphRAG, StructRAG 등) 과 비교 평가되었습니다.

• MEBench 결과:
  • DocSage 는 89.2% 의 전체 정확도를 달성하여, 차위 모델 (GPT-4o + RAG, 62.0%) 보다 27.2%p 높은 성능을 보였습니다.
  • 개체 수가 증가할수록 (Set1: 0-10 개체 $\rightarrow$ Set3: 100+ 개체) 다른 모델들의 성능이 급격히 저하되는 반면, DocSage 는 91.8% 에서 87.9% 로 미미한 감소만 보여 뛰어난 확장성과 견고성을 입증했습니다.
• Loong 결과:
  • 문서 길이가 길어질수록 (최대 250K 토큰) 성능이 떨어지는 경향에서 DocSage 는 가장 적은 성능 감소를 보였습니다.
  • 특히 Perfect Rate(완벽한 정답 비율) 에서 DocSage 는 0.53을 기록하여 차위 모델 (0.26) 보다 2 배 이상 높은 정확성을 보여주었습니다.
  • Spotlight Locating(정보 위치 파악) 과 Chain of Reasoning(추론 체인) 과 같은 복잡한 작업에서 압도적인 우위를 점했습니다.

5. 의의 및 결론 (Significance)

DocSage 는 비정형 다문서 데이터의 파편화와 스키마 부족 문제를 해결하기 위해 구조화된 데이터 표현과 에이전트 워크플로우를 통합한 새로운 패러다임을 제시합니다.

• 핵심 통찰: 단순한 검색이나 긴 문맥 처리를 넘어, 데이터를 동적으로 구조화하고 논리적 제약 하에 검증하는 과정이 복잡한 다개체 추론의 정확도와 신뢰성을 획기적으로 높인다는 것을 입증했습니다.
• 실용적 가치: 의료, 금융, 법률 등 고위험 분야에서 사실 기반의 정확한 의사결정을 지원할 수 있는 강력한 도구로, 기존 RAG 와 장문맥 LLM 의 한계를 극복하는 실용적인 솔루션입니다.

이 연구는 비정형 텍스트를 동적인 관계형 구조로 변환하는 에이전트 기반 접근법이 복잡한 추론 과제를 해결하는 데 있어 매우 유효함을 보여줍니다.