Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes

이 논문은 구조화된 테이블과 비구조화된 문서를 아우르는 하이브리드 데이터 레이크에서 자연어 질의응답을 위해 질의를 DAG 실행 계획으로 컴파일하고 다중 홉 추론을 지원하는 에이전트 기반 A.DOT 프레임워크를 제안하며, 이를 통해 기존 RAG 방식 대비 정확성과 완전성을 크게 향상시키고 데이터 계보 추적을 가능하게 함을 보여줍니다.

핵심

🏢 비유: 거대한 도서관과 데이터베이스가 섞인 '하이브리드 데이터 호수'

상상해 보세요. 거대한 기업이 운영하는 하나의 거대한 정보 창고가 있다고 합시다.

• 한쪽에는 정리된 엑셀 시트들이 쌓여 있습니다. (예: "텍사스에 있는 송장 번호 101, 금액 500 달러")
• 다른 쪽에는 수천 장의 계약서, 이메일, 보고서가 무질서하게 쌓여 있습니다. (예: "송장 101 번의 결제 조건은 30 일 이내입니다"라는 내용이 문서 속에 숨어 있음)

사용자는 자연어로 질문합니다. "텍사스에 있는 송장들의 평균 총액은 얼마고, 결제 조건은 무엇인가요?"

기존의 시스템들은 이 질문에 답할 때 다음과 같은 실수를 저지릅니다.

1. 무작위 검색 (Brute-force): 모든 엑셀 시트와 모든 문서를 다 뒤져서 정보를 찾아냅니다. (시간이 너무 걸리고, 불필요한 정보까지 노출됨)
2. 혼란스러운 연결: 엑셀에서 숫자를 찾고 문서에서 조건을 찾지만, 두 정보를 어떻게 연결할지 몰라 엉뚱한 답을 내놓거나 (할루시네이션), 아예 못 찾습니다.

🚀 A.DOT 의 등장: 똑똑한 '지휘자'와 '작업 계획서'

A.DOT 는 이 문제를 해결하기 위해 현명한 지휘자 (Orchestrator) 역할을 합니다. 이 지휘자는 사용자의 질문을 듣고 바로 답을 외우는 게 아니라, **작업 계획서 (DAG, 방향성 비순환 그래프)**를 먼저 그립니다.

1. 계획서 그리기 (DAG Planner)

질문을 들으면 A.DOT 는 이를 **작은 작업 조각 (노드)**으로 쪼갭니다.

• 작업 1: 엑셀에서 '텍사스 주소'를 가진 송장들을 찾아라.
• 작업 2: 찾은 송장들의 '평균 금액'을 계산해라.
• 작업 3: 계산된 송장 번호들을 바탕으로, 문서 창고에서 '결제 조건'이 적힌 문서를 찾아라.

이 계획서는 나무 가지처럼 연결되어 있습니다. 작업 1 이 끝나야 작업 2 가 시작되고, 작업 2 의 결과가 있어야 작업 3 이 시작됩니다. 하지만 서로 상관없는 작업들은 동시에 (병렬) 진행할 수 있어 매우 빠릅니다.

2. 안전장치와 수리공 (DataOps System)

계획을 실행하기 전에 **검수관 (Validator)**이 계획을 확인합니다. "이 엑셀에 '텍사스'라는 열이真的有 있을까?"라고 묻는 거죠.

• 만약 계획에 오류가 있거나, 실행 중 실수가 나면 **수리공 (DataOps)**이 즉각 개입합니다.
• "아, 열 이름이 틀렸네? 고쳐서 다시 실행하자" 혹은 "문서가 없어서 못 찾았으면 다른 문서를 찾아보자"라고 스스로 고쳐가며 작업을 완료합니다.

3. 증거 추적 (Lineage & Evidence)

A.DOT 는 단순히 답만 주는 게 아닙니다. **"이 답은 엑셀의 3 행 4 열에서 왔고, 이 부분은 5 페이지 문서에서 왔습니다"**라고 출처를 명확히 보여줍니다. 이는 기업이 "이 정보가 어디서 왔는지" 검증하고 감사 (Audit) 를 받을 때 아주 중요합니다.

4. 똑똑한 기억 (Caching)

비슷한 질문이 또 들어오면, A.DOT 는 "아, 이 질문은 전에 한 번 했었지?"라고 기억해 냅니다. 완전히 처음부터 계획할 필요 없이, 이전에 만든 계획서를 재활용해서 순식간에 답을 내놓습니다.

---

🏆 왜 이 시스템이 특별한가요? (결과)

이 시스템을 시험해 본 결과, 기존 방식들보다 정확도가 14.8%, 정보의 완전함이 10.7%나 더 좋아졌습니다.

• 기존 RAG (검색 기반): 모든 문서를 뒤져서 답을 찾다가, 중요한 엑셀 데이터를 놓치거나 엉뚱한 정보를 섞어버림.
• 기존 ReAct (반복적 추론): 하나씩 하나씩 물어보느라 시간이 너무 오래 걸림.
• A.DOT: 계획서를 먼저 짜고, 동시에 일을 처리하며, 실수하면 스스로 고치고, 출처를 명확히 밝힘.

💡 요약: A.DOT 란 무엇인가?

A.DOT 는 복잡한 기업 데이터 속에서 질문을 할 때, '무작정 뒤지는' 방식에서 '전략적으로 계획하고 실행하는' 방식으로 전환한 시스템입니다.

마치 현명한 요리사가 같습니다.

• 기존 방식: 냉장고와 찬장을 다 뒤져서 재료를 찾다가, 필요한 양념을 놓치거나 상한 재료를 쓸 수도 있음.
• A.DOT 방식: 먼저 **레시피 (계획서)**를 보고, 필요한 재료만 동시에 준비하며, 실수하면 즉시 고치고, 사용한 재료의 유통기한과 출처를 기록해 두는 방식입니다.

이 기술은 현재 IBM 의 'Watsonx.data'라는 제품에 적용되어, 기업들이 더 정확하고 안전한 방법으로 데이터를 분석할 수 있도록 준비 중입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기업 환경에서는 구조화된 테이블 (SQL) 과 비구조화된 문서 (PDF, 텍스트 등) 가 혼합된 하이브리드 데이터 레이크를 활용하는 경우가 많습니다. 사용자는 자연어 (NL) 로 이러한 이질적인 소스를 아우르는 복잡한 질의를 수행하기를 원합니다.

기존 솔루션 (RAG 기반 시스템 등) 의 주요 한계점은 다음과 같습니다:

• 비효율적인 검색: 각 데이터 소스 (구조화/비구조화) 에서 무차별 대폭 검색 (Brute-force retrieval) 을 수행한 후 결과를 사후에 병합합니다.
• 데이터 누출 및 오버리트리벌: 필요한 데이터만 선별하지 않고 방대한 양의 데이터를 검색하여 불필요한 연산 부하와 데이터 보안 위험을 초래합니다.
• 다중 홉 (Multi-hop) 추론 부재: 하나의 질의가 구조화 데이터와 비구조화 데이터를 오가며 여러 단계의 추론 (Hop) 을 필요로 할 때, 이를 체계적으로 분해하고 실행하는 능력이 부족합니다.
• 검증 가능성 부족: 답변의 출처 (Data Lineage) 를 추적하거나 검증하기 어렵습니다.

2. 제안 방법론: A.DOT Planner

저자들은 A.DOT (Agentic DAG-Orchestrated Transformer) Planner 라는 새로운 프레임워크를 제안합니다. 이 시스템은 자연어 질의를 방향성 비순환 그래프 (DAG) 실행 계획으로 컴파일하여, 구조화 및 비구조화 소스를 가로지르는 다중 모달, 다중 홉 질의 응답을 수행합니다.

핵심 아키텍처 및 구성 요소

1. 플랜 캐싱 (Plan Caching):
   • 유사한 자연어 질의 (패러프레이징 포함) 에 대해 검증된 DAG 계획을 재사용하여 지연 시간을 단축합니다.
   • 정밀 매칭, 템플릿 매칭, 시맨틱 매칭 등 3 가지 전략을 지원합니다.
2. 플랜 생성기 (Plan Generator):
   • 단일 LLM 패스를 통해 입력 질의를 **원자적 서브쿼리 (Atomic Sub-queries)**로 분해하여 DAG 를 생성합니다.
   • 각 노드는 특정 데이터 소스 (SQL 또는 Vector Store) 에 매핑되며, 노드 간 의존성 (Edges) 을 정의합니다.
3. 플랜 검증기 (Plan Validator):
   • 실행 전 구조적 검증 (스키마 준수, 변수 무결성, 순환 의존성 부재) 과 시맨틱 검증 (질의 의도 보존, 조인 키 타입 일치) 을 수행합니다.
4. DataOps 시스템 (Diagnosis & Remediation):
   • 검증 실패 또는 실행 오류 발생 시 작동합니다.
   • Diagnoser: 오류 원인 분석.
   • Recommender: 복구 조치 제안.
   • Fixer: 로컬 수정 (필드 이름 변경 등).
   • Replanner: 전체 또는 부분 계획 재작성.
5. 플랜 실행기 (Plan Executor):
   • 위상 정렬 (Topological Sort) 에 따라 DAG 노드를 실행합니다.
   • 병렬 실행: 의존성이 없는 노드는 동시에 실행하여 지연 시간을 최소화합니다.
   • 변수 바인딩: 중간 결과를 전체가 아닌 필요한 키 (ID 등) 만 전달하여 메모리 오버헤드와 데이터 누출을 방지합니다.
   • 증거 추적: 각 단계에서 데이터 출처 (Lineage) 를 기록하여 검증 가능성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 통합 에이전트 프레임워크: DAG 기반 계획 생성, 구조/시맨틱 검증, 2 단계 DataOps 시스템, 병렬 실행, 그리고 세분화된 계보 추적을 결합한 최초의 통합 프레임워크입니다.
2. 변수 바인딩 메커니즘: 구조화 및 비구조화 소스 간 서브쿼리 통신 시, 필요한 데이터 요소만 선택적으로 전달하여 확장성을 높이고 데이터 누출을 방지합니다.
3. 병렬 실행 전략: DAG 의 독립성을 활용하여 종단 간 (End-to-End) 지연 시간을 줄이고, 중간 결과를 노출하여 응답성을 개선합니다.
4. 계획 주도 실행 모델: 모든 중간 단계에서 증거와 데이터 계보를 기록하여 검증 및 감사 (Audit) 가 가능합니다.
5. 실증적 성과: HybridQA 데이터셋에서 기존 에이전트 베이스라인 대비 정확도와 완성도에서 유의미한 개선을 입증했습니다.

4. 실험 결과 (Evaluation Results)

데이터셋: HybridQA (Wikipedia 테이블과 연결된 텍스트 패시지 간의 다중 홉 추론이 필요한 3,466 개의 개발 세트).
비교 대상: Standard RAG, ReAct, LLM Compiler.
성능 지표: 답변 정확도 (Correctness), 답변 완성도 (Completeness).

프레임워크	답변 정확도 (Correctness)	답변 완성도 (Completeness)
Standard RAG	56.2	62.3
ReAct	40.2	44.3
LLM Compiler	27.8	30.8
A.DOT (제안)	71.0	73.0

• 성과: A.DOT 은 가장 강력한 베이스라인인 Standard RAG 대비 정확도 14.8%p, 완전성 10.7%p 향상되었습니다.
• Ablation Study: DataOps 시스템과 Plan Validator 를 모두 제거할 경우 성능이 급격히 하락 (정확도 60.0%) 하여, 오류 복구 및 검증 메커니즘의 중요성을 입증했습니다.

5. 의의 및 향후 전망 (Significance & Future Work)

• 기업용 배포 준비: 이 프레임워크는 IBM Watsonx.data Premium 의 핵심 검색 모듈로 배포를 앞두고 있으며, 실제 기업 데이터 레이크 환경에서의 검증 (사용자 연구, 대규모 성능 테스트) 을 진행 중입니다.
• 신뢰성과 투명성: 단순한 답변 생성을 넘어, 데이터의 출처를 명확히 추적하고 검증할 수 있어 기업 환경의 규정 준수 (Compliance) 와 감사 요구사항을 충족합니다.
• 확장성: 모듈식 설계로 그래프 데이터베이스나 이미지 기반 지식과 같은 추가 모달리티를 쉽게 통합할 수 있으며, 향후 다중 턴 대화 (Multi-turn conversation) 환경으로 확장할 계획입니다.

결론적으로, A.DOT 은 하이브리드 데이터 레이크 환경에서 발생하는 복잡한 다중 홉 질의 문제를 해결하기 위해, DAG 기반의 체계적인 계획 수립과 강력한 오류 복구 메커니즘을 결합하여 기존 RAG 및 에이전트 시스템의 한계를 극복한 획기적인 솔루션입니다.