DataFactory: Collaborative Multi-Agent Framework for Advanced Table Question Answering

이 논문은 기존 대규모 언어 모델의 한계를 극복하고 복잡한 테이블 질의응답의 정확성을 획기적으로 향상시키기 위해, 데이터 리더와 전문 에이전트 팀 간의 협업 및 자동화된 지식 그래프 변환을 가능하게 하는 'DataFactory'라는 다중 에이전트 프레임워크를 제안합니다.

핵심

이 논문은 'DataFactory(데이터 공장)' 라는 이름의 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 복잡한 표 (Table) 형태의 데이터를 가지고 질문을 할 때, 기존 AI 들이 겪는 실수나 한계를 해결하기 위해 고안된 '협력하는 팀' 방식입니다.

기존의 AI 는 혼자서 모든 일을 하려고 하다가 큰 표를 보면 기억력이 부족해지거나 (맥락 길이 제한), 없는 사실을 지어내거나 (할루시네이션), 복잡한 논리를 따라가지 못하는 문제가 있었습니다. DataFactory 는 이 문제를 "전문가 팀을 꾸려서 함께 일하게 함" 으로 해결합니다.

이 시스템을 쉽게 이해할 수 있도록 한국의 전통적인 '장인 (공방) 팀' 에 비유해 설명해 드리겠습니다.

---

🏭 DataFactory: 지혜로운 데이터 공장

이 시스템은 혼자 일하는 '혼자 하는 장인'이 아니라, 세 명의 전문가가 모여 일하는 공방과 같습니다.

1. 팀의 구성원 (세 명의 전문가)

• 👑 데이터 리더 (Data Leader): "현명한 공장장"

  • 역할: 사용자의 질문을 듣고, 어떤 전문가를 불러야 할지 지시합니다.
  • 비유: 마치 식당의 마ître(메이트) 나 공장장과 같습니다. 손님이 "오늘의 메뉴를 추천해 줘"라고 하면, 그는 "오늘은 생선이 좋으니 수석 요리사 (DB 팀) 에게 물어보고, 가격 비교는 계산 담당 (KG 팀) 에게 확인하자"라고 지시합니다.
  • 특징: 단순히 명령만 내리는 게 아니라, "생각 (Thought) → 행동 (Action) → 관찰 (Observation)" 과정을 반복하며 상황에 맞춰 전략을 바꿉니다. (이를 ReAct 패러다임이라고 합니다.)

• 📊 데이터베이스 팀 (Database Team): "정밀한 계산사"

  • 역할: 숫자, 합계, 정렬, 필터링 등 숫자 계산과 구조화된 데이터를 다룹니다.
  • 비유: 회계사나 정밀한 저울을 다루는 장인입니다. "지난달 매출이 얼마였나요?" 같은 질문에는 이 팀이 SQL(데이터 검색 언어) 을 써서 정확한 숫자를 찾아냅니다.
  • 강점: 숫자 계산과 대량 데이터 처리에 매우 정확합니다.

• 🕸️ 지식 그래프 팀 (Knowledge Graph Team): "연결의 마법사"

  • 역할: 데이터 사이의 숨겨진 관계와 복잡한 연결고리를 찾아냅니다.
  • 비유: 친구 관계망을 분석하는 탐정이나 지도를 그리는 지도 제작자입니다. "A 가 B 를 소개했고, B 는 C 와 같은 학교를 다녔다"처럼, 표에 직접 적혀 있지 않은 간접적인 관계를 찾아냅니다.
  • 강점: "누가 누구를 통해 알았는지" 같은 복잡한 2 단계, 3 단계 추론 (Multi-hop reasoning) 에 탁월합니다.

2. 어떻게 일하나요? (자연스러운 대화)

기존 시스템은 "A 를 하고, 그다음 B 를 하고, 그다음 C 를 한다"라는 고정된 명령서대로만 움직였습니다. 하지만 DataFactory 는 자연스러운 대화로 일합니다.

• 상황: 사용자가 "세계 청소년 선수권 대회에서 어떤 이벤트들이 있었는지, 그리고 각 이벤트의 세부 종목 코드는 무엇인지 알려줘"라고 물었습니다.
• 공장장의 지시:
  1. 공장장: "수석 계산사 (DB 팀) 에게 먼저 대회 이벤트 목록을 찾아오라고 해."
  2. 계산사: "네, 목록을 찾았습니다. (이벤트 A, B, C...)"
  3. 공장장: "좋아. 이제 연결의 마법사 (KG 팀) 에게 이 이벤트들의 세부 종목 코드가 무엇인지 찾아오라고 해."
  4. 마법사: "네, 이벤트 A 는 '수영', B 는 '육상'입니다."
  5. 공장장: "두 팀의 정보를 합쳐서 사용자에게 정리된 답을 줘."

이처럼 자연어 (말) 로 서로 의견을 나누고, 중간에 결과가 안 좋으면 다시 계획을 수정하는 유연한 협업이 가능합니다.

3. 왜 이 방식이 더 좋을까요? (기존 방식과의 차이)

• 할루시네이션 (거짓말) 감소:
  • 비유: 혼자 일하는 AI 는 기억력이 나빠서 "아마도 그랬을 거야"라고 지어내는 경우가 많았습니다. 하지만 DataFactory 는 실제 데이터 (DB) 와 관계도 (KG) 를 직접 검색해서 답을 만들기 때문에, 거짓말을 할 확률이 훨씬 낮습니다.
• 복잡한 문제 해결:
  • 비유: 혼자서 모든 일을 하려다 지쳐서 실패하는 대신, 계산은 계산사에게, 관계 분석은 탐정에게 맡기니 복잡한 문제도 척척 해결합니다.
• 정확도 향상:
  • 실험 결과, 기존 방법보다 약 20%~24% 더 정확한 답을 내놓았습니다. 특히 "A 를 통해 B 를 알면 C 는?" 같은 복잡한 추론 문제에서 효과가 큽니다.

4. 실제 활용 (플랫폼)

이 시스템은 단순히 이론이 아니라, 실제로 웹사이트에서 사용할 수 있는 플랫폼으로 만들어졌습니다.

• 사용자가 복잡한 질문을 하면, 시스템이 자동으로 데이터를 분석하고, 그래프 (연결도) 나 차트로 시각화해 줍니다.
• 데이터 분석 전문가가 아니어도, 일상적인 말로 질문하면 전문가 팀이 대신 분석해 주는 것입니다.

💡 한 줄 요약

"DataFactory 는 혼자서 모든 걸 하다가 지치는 AI 대신, '계산 전문가'와 '관계 분석 전문가'를 부르는 '현명한 공장장'을 두어, 복잡한 데이터 질문을 정확하고 신뢰할 수 있게 해결해주는 협력 시스템입니다."

이 방식은 기업이 방대한 데이터를 분석할 때나, 우리가 복잡한 정보를 찾아야 할 때 AI 의 실수를 줄이고 더 똑똑한 도움을 받을 수 있게 해줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

표 질문 응답 (TableQA) 은 구조화된 표 데이터를 자연어로 질의하여 정보를 추출하는 작업입니다. 최근 대규모 언어 모델 (LLM) 을 활용한 접근법이 등장했으나, 다음과 같은 중대한 한계점이 존재합니다:

• 컨텍스트 길이 제한: LLM 이 처리할 수 있는 데이터 양이 제한되어 대용량 표를 직접 처리하기 어렵습니다.
• 할루시네이션 (Hallucination): 모델이 표 데이터에 없는 정보를 생성하거나 사실과 다른 답변을 내놓는 신뢰성 문제가 발생합니다.
• 복잡한 추론의 어려움: 단일 에이전트 아키텍처는 시맨틱 관계 (의미적 연결) 와 다단계 추론 (Multi-hop reasoning) 이 필요한 복잡한 쿼리를 처리하는 데 어려움을 겪습니다.
• 경직된 워크플로우: 기존 멀티 에이전트 시스템은 대부분 사전 정의된 워크플로우에 의존하여, 동적인 상황 변화나 에이전트 간 유연한 협의가 부족합니다.

2. 제안 방법론: DataFactory (Methodology)

이 논문은 이러한 한계를 극복하기 위해 DataFactory라는 LLM 기반의 협력적 멀티 에이전트 프레임워크를 제안합니다. 이 프레임워크는 데이터 리더 (Data Leader), 데이터베이스 팀 (Database Team), 지식 그래프 팀 (Knowledge Graph Team) 으로 구성된 3 단계 협력 아키텍처를 핵심으로 합니다.

2.1. 아키텍처 구성 요소

1. 데이터 리더 (Data Leader):

   • ReAct (Reasoning and Acting) 패러다임을 적용하여 사용자 질의를 분석하고 작업을 분해합니다.
   • 고정된 워크플로우가 아닌, 자연어 기반의 협의 (Consultation) 를 통해 팀 간 유연한 전략 조정을 수행합니다.
   • "탐색 (Explore) - 검증 (Verify) - 분석 (Analyze)"의 3 단계 원칙을 따릅니다. 즉, 직접 쿼리를 실행하기 전에 먼저 데이터의 구조와 가용성을 탐색한 후, 증거에 기반한 쿼리 계획을 수립합니다.

2. 데이터베이스 팀 (Database Team):

   • 구조화된 데이터 처리에 특화되어 있습니다.
   • Information Processing Agent: LLM 과 규칙 기반을 결합하여 자동 DDL 생성 및 데이터 정제를 수행합니다.
   • Retrieval Agent: 컨텍스트 강화 (Context-enhanced) 기법을 통해 SQL 쿼리를 생성합니다. 여기에는 과거 질의 - SQL 쌍 (Few-shot), 스키마 정보 (DDL), 도메인 지식이 통합되어 할루시네이션을 줄입니다.
   • Analysis & Visualization Agent: 쿼리 결과를 해석하고 차트를 생성합니다.

3. 지식 그래프 팀 (Knowledge Graph Team):

   • 관계형 추론 (Relational Reasoning) 에 특화되어 있습니다.
   • Information Processing Agent: 표 데이터를 자동으로 지식 그래프 (Knowledge Graph) 로 변환하는 매핑 함수 $\Gamma: \mathcal{D} \times \mathcal{S} \times \mathcal{R} \rightarrow \mathcal{G}$ 를 구현합니다. 이를 통해 엔티티 식별, 관계 발견, 다단계 추론이 가능한 시맨틱 네트워크를 구축합니다.
   • Retrieval Agent: Cypher 쿼리를 생성하여 그래프 탐색을 수행합니다.
   • Analysis & Visualization Agent: 그래프 결과를 자연어로 설명하고 서브그래프를 시각화합니다.

2.2. 핵심 기술적 혁신

• 자동화된 데이터 - 지식 그래프 변환: 표 데이터 ($\mathcal{D}$), 스키마 ($\mathcal{S}$), 관계 패턴 ($\mathcal{R}$) 을 기반으로 지식 그래프 ($\mathcal{G}$) 를 자동으로 생성하여 시맨틱 관계를 포착합니다.
• 자연어 기반 협의 메커니즘: 에이전트 간 고정된 API 호출이 아닌 자연어 대화를 통해 전략을 수정하고 지식을 공유하며, 이는 MAST (Multi-Agent System Failure Taxonomy) 에서 지적된 조정 실패를 방지합니다.
• 컨텍스트 엔지니어링: 역사적 패턴, DDL, 도메인 지식을 통합하여 SQL/Cypher 생성의 정확도를 높이고 할루시네이션을 억제합니다.

3. 주요 기여 (Key Contributions)

1. 전문 팀 조정 메커니즘: 데이터베이스 팀과 지식 그래프 팀을 분리하여 구조화된 데이터 처리와 관계형 추론의 장점을 결합했습니다. 단일 에이전트의 한계를 넘어 자연어 협의와 적응적 전략 조정을 가능하게 합니다.
2. 자동화된 지식 통합: 표 데이터를 지식 그래프로 변환하는 공식화된 알고리즘을 제안하여, 엔티티 일관성 해결과 심층적인 의미적 연결을 가능하게 합니다.
3. 동적 추론 오케스트레이션: ReAct 패러다임을 활용한 데이터 리더가 구조화된 검색 (SQL) 과 관계형 추론 (Cypher) 을 동적으로 조율하여 복잡한 다단계 추론을 수행합니다.
4. 실용적 플랫폼: 데이터 탐색, 지식 그래프 시각화, 멀티 에이전트 협업을 위한 인터랙티브 웹 플랫폼을 구축하여 기업 환경에서의 적용 가능성을 입증했습니다.

4. 실험 결과 (Results)

저자는 TabFact, WikiTableQuestions (WikiTQ), FeTaQA 세 가지 벤치마크 데이터셋과 5 개 제공업체의 8 가지 LLM 을 사용하여 실험을 수행했습니다.

• 성능 향상:
  • TabFact: 기존 베이스라인 대비 20.2% 정확도 향상.
  • WikiTQ: 기존 베이스라인 대비 23.9% 정확도 향상.
  • 통계적 유의성: Cohen's d 값이 1 을 초과하여 통계적으로 유의미한 개선 효과를 보였습니다.
• 팀 협력의 효과:
  • 단일 팀 (DB 만 또는 KG 만) 과 비교했을 때, 협력 시 TabFact 에서 5.5%, WikiTQ 에서 14.4%, FeTaQA 에서 17.1% (ROUGE-2) 더 높은 성능을 기록했습니다.
  • 특히 지식 그래프 팀을 제거했을 때 복잡한 다단계 추론 작업 (FeTaQA 등) 에서 성능이 크게 저하됨을 확인하여 KG 팀의 필수성을 입증했습니다.
• 모델 크기 및 제공업체 영향:
  • Claude 4.0 Sonnet, Gemini 2.5 Flash 등 고성능 모델에서 최상의 성능을 보였으나, 작은 모델 (Qwen3-14B 등) 도 전문 팀 협업을 통해 경쟁력 있는 성능을 달성했습니다.
  • MoE(Mixture of Experts) 아키텍처 모델이 밀집형 (Dense) 모델보다 더 다양한 도구 조합 전략을 사용하는 경향이 있었습니다.
• 협업 빈도와 성능:
  • 팀 간 상호작용 빈도와 성능 간에는 역 U 자형 (Inverted U-shaped) 관계가 존재함을 발견했습니다.
  • 최적의 성능은 1~3 회 호출 시 나타나며, 과도한 상호작용 (6 회 이상) 은 오차 누적과 추론 혼란으로 인해 성능을 급격히 저하시켰습니다.

5. 의의 및 결론 (Significance)

• 이론적 의의: 단일 에이전트에서 전문 팀 협력 패러다임으로의 전환을 제시하며, 구조화된 데이터 처리와 관계형 지식 표현의 시너지를 체계적으로 통합하는 방법을 규명했습니다. 특히 자연어 기반 협의가 경직된 워크플로우의 한계를 어떻게 극복하는지 입증했습니다.
• 실무적 의의: 비전문가도 자연어로 복잡한 표 데이터 분석, 다단계 추론, 시각화를 수행할 수 있게 하여 기업 내 데이터 분석 장벽을 낮춥니다. 자동화된 데이터 - 지식 그래프 변환은 실시간 데이터 분석 및 의사결정 지원 시스템 구축에 기여합니다.
• 미래 전망: 이 프레임워크는 대화형 에이전트, 태스크 지향형 시스템, 멀티모달 시스템의 백엔드 추론 서비스로 확장될 수 있으며, 대규모 배포를 위한 계산 효율성 최적화와 적응형 중단 메커니즘이 향후 연구 과제로 제시되었습니다.

요약하자면, DataFactory는 LLM 의 할루시네이션과 추론 한계를 해결하기 위해 전문 에이전트 팀의 협력, 자동화된 지식 그래프 변환, 동적 ReAct 오케스트레이션을 결합하여 TableQA 분야에서 획기적인 성능 향상을 달성한 혁신적인 프레임워크입니다.