Deep Tabular Research via Continual Experience-Driven Execution

이 논문은 계층적이고 비정형적인 테이블 데이터에 대한 복잡한 장기 추론 과제를 해결하기 위해, 쿼리 이해와 실행을 결합한 폐루프 의사결정 프레임워크와 시아네스 구조의 기억 메커니즘을 통해 전략적 계획과 실행을 분리한 새로운 에이전트 접근법인 'Deep Tabular Research (DTR)'를 제안합니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 복잡한 엑셀 표를 분석할 때 겪는 어려움을 해결하는 새로운 방법"**을 소개합니다.

기존의 AI 는 깔끔하게 정리된 표는 잘 다루지만, 실제 현실에서 쓰이는 messy(지저분하고 복잡한) 표를 보면 길을 잃거나 엉뚱한 답을 내놓곤 합니다. 이 논문은 이를 **'Deep Tabular Research (DTR, 심층 표 분석 연구)'**라고 이름 붙이고, AI 가 단순히 글을 읽는 게 아니라 현실의 탐험가처럼 행동하며 문제를 해결하는 시스템을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 비유: "혼란스러운 도서관의 책 정리 사서"

상상해 보세요. AI 는 거대한 도서관 (데이터) 에 있는 책 (표) 을 찾아서 답을 찾아야 하는 사서입니다.

1. 기존의 문제 (고전적인 방법):

   • 사서가 책장을 훑어보며 "여기 답이 있겠지?"라고 한 번에 짐작해서 답을 내놓습니다.
   • 하지만 실제 도서관은 책이 뒤죽박죽 섞여 있고, 책장 제목도 여러 층으로 겹쳐져 있습니다. (머리글이 위아래로 복잡하게 얽힌 표)
   • 사서가 한 번에 답을 내려고 하면, 책장을 잘못 넘기거나 숫자를 잘못 세서 엉뚱한 결론을 내립니다.

2. 이 논문이 제안하는 새로운 방법 (DTR):

   • 이 시스템은 **"실수해도 괜찮으니, 일단 시도해보고 경험을 쌓아라"**는 철학을 가집니다. 마치 탐험가처럼 행동합니다.

---

🚀 DTR 의 3 가지 핵심 전략 (비유로 설명)

이 탐험가 (AI) 는 세 가지 특별한 장비를 가지고 있습니다.

1. 🗺️ "지도 그리기" (구조 이해)

• 상황: 도서관 책장이 복잡하게 얽혀 있어서 어디에 무슨 책이 있는지 모릅니다.
• 해결: AI 는 먼저 표를 그냥 글자로 읽는 게 아니라, **책장 구조를 파악하는 '지도'**를 그립니다.
  • "아, 이 제목은 '2023 년'이라는 큰 카테고리 안에 '1 분기'라는 작은 카테고리가 있구나."
  • "이 셀은 행과 열이 교차하는 의미로 쓰였네."
  • 이렇게 복잡한 표의 숨겨진 구조를 파악해서, 어떤 작업을 해야 할지 (예: 필터링, 합계, 정렬) 계획을 세웁니다.

2. 🎯 "가장 유망한 길 고르기" (기대치 기반 선택)

• 상황: 답을 찾기 위해 갈 수 있는 길이 여러 갈래 있습니다. (예: 먼저 필터를 걸까? 먼저 합계를 낼까?)
• 해결: AI 는 모든 길을 다 가보지 않습니다. 대신 **"이 길은 성공할 확률이 높겠다"**라고 예상합니다.
  • 기대치 (Expectation): "이전에도 비슷한 상황에서 '필터 먼저'를 했을 때 잘됐었어. 이번에도 저 길이 유망할 거야."
  • 탐험 (Exploration): 하지만 가끔은 "이번엔 새로운 길을 가볼까?"라고 시도해 보기도 합니다.
  • 이 과정을 통해 가장 효율적인 작업 순서를 찾아냅니다.

3. 📓 "실수 노트와 성공 비기" (지속적인 학습)

• 상황: 길을 가다가 벽에 부딪히거나 (코드 오류), 엉뚱한 곳에 도착하면 (잘못된 결과) 어떻게 할까요?
• 해결: AI 는 실패를 그냥 넘어가지 않고 두 가지 메모를 남깁니다.
  • 구체적인 메모 (파라미터 업데이트): "아, 이번엔 'A'라는 작업을 'B'보다 먼저 했더니 오류가 났어. 다음엔 'B'를 먼저 해야지." (특정 상황의 기술적 수정)
  • 추상적인 메모 (경험 요약): "아, 복잡한 표에서는 항상 '데이터 정리'를 먼저 하는 게 좋더라." (원칙 수준의 학습)
  • 이 메모들을 쌍둥이 (Siamese) 메모리처럼 연결해 두어, 앞으로의 탐험에 바로 반영합니다.

---

💡 왜 이것이 중요한가요?

• 기존 방식: "한 번에 완벽하게 하려고 애쓰다가 실패하면 끝장." (일회성)
• 이 방식 (DTR): "작은 실수를 통해 배우고, 계획을 수정하며, 결국 정답에 도달한다." (지속적 성장)

이 논문은 AI 가 단순히 "지식"을 외우는 게 아니라, 작업을 실행해보고 그 결과 (경험) 를 통해 스스로 계획을 고쳐나가는 능력을 갖게 했을 때, 비로소 복잡한 현실의 데이터 (엑셀 파일, 보고서 등) 를 제대로 분석할 수 있다고 말합니다.

🏆 결론: "AI 의 성숙한 사고방식"

이 연구는 AI 에게 **"무작정 답을 말하지 말고, 먼저 계획을 세우고, 실행해보고, 실패하면 메모를 남기고 다시 시도해라"**라고 가르쳤습니다.

그 결과, 기존 AI 들이 헤매던 복잡한 표 분석 작업에서 정확도, 효율성, 그리고 안정성이 크게 향상되었습니다. 마치 초보 사서가 경험 많은 탐험가로 변신한 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 대규모 언어 모델 (LLM) 기반 테이블 질문 응답 (TableQA) 시스템은 구조화된 데이터 (정형화된 헤더, 단일 행/열 구조) 에서는 우수한 성능을 보이지만, **비정형 테이블 (Unstructured Tables)**을 다루는 데에는 한계가 있습니다.

• 비정형 테이블의 특징: 계층적 헤더 (Hierarchical headers), 양방향 헤더 (Bidirectional headers), 병합된 셀 (Merged cells), 누락된 값, 암시적 의미 관계 등을 포함합니다.
• 심층 분석 과제 (Deep Tabular Research, DTR): 단순한 사실 검색을 넘어, 여러 단계의 추론이 필요한 장기적 (Long-horizon) 분석 작업입니다. 예를 들어, 서로 다른 테이블 영역 간의 상호 의존성을 파악하고, 사실 확인, 수치 계산, 집계 등을 반복적으로 수행해야 합니다.
• 기존 접근법의 한계:
  • 텍스트 직렬화: 테이블을 텍스트로 변환하여 LLM 에게 직접 추론을 시키는 방식은 토큰 제한과 정밀한 수치 연산의 어려움으로 인해 비효율적입니다.
  • 코드 기반 에이전트: 기존 에이전트 프레임워크는 탐색 공간이 너무 방대하여 최적의 실행 경로를 찾기 어렵고, 실행 중 발생한 오류가 누적되어 전체 작업이 실패하는 경우가 많습니다. 또한, 과거 실패 경험을 체계적으로 학습하여 향후 의사결정에 반영하는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

저자들은 DTR 문제를 해결하기 위해 **연속적 경험 기반 실행 (Continual Experience-Driven Execution)**을 핵심으로 하는 새로운 에이전트 프레임워크를 제안합니다. 이 프레임워크는 고수준 전략적 계획 (Macro Planning) 과 저수준 실행 (Micro Execution) 을 명시적으로 분리하며, 폐쇄 루프 (Closed-loop) 의사결정 과정을 따릅니다.

핵심 구성 요소

1. 테이블 이해 및 구조 모델링 (Tabular Comprehension & Structural Modeling):

   • 메타 그래프 구축: 비정형 테이블에서 계층적 헤더, 병합 셀, 암시적 의미 관계를 추출하여 그래프 구조 ($G_T$) 로 변환합니다. 이를 통해 행과 열의 양방향 계층 관계를 명시적으로 표현합니다.
   • 메타 정보 추출: 열/행 헤더, 단위, 시간/범주 마커, 집계 지표 등을 추출하여 테이블의 전역 구조를 파악합니다.

2. 쿼리 기반 연산 매핑 (Query-Guided Operation Mapping):

   • 시드 연산 은행 (Seed Operation Bank): 필터링 (FILTER), 그룹화 (GROUP), 집계 (AGG), 조인 (JOIN) 등 테이블 추론에 필요한 기본 연산들의 집합을 정의합니다.
   • 연산 맵 (Operation Map): 자연어 쿼리를 분해된 하위 질문과 테이블 그래프에 매핑하여, 논리적 제약 조건을 준수하는 실행 가능한 연산 경로 (Path) 의 후보들을 생성합니다.

3. 기대치 인식 선택을 통한 경로 계획 (Path Planning with Expectation-Aware Selection):

   • 기대치 점수 (Expectation-Aware Scoring): 각 후보 경로 $\pi$에 대해 기대 수익 ($\hat{R}(\pi)$) 과 구조적 타당성 ($P(\pi)$), 그리고 탐색 정도를 고려한 점수를 계산합니다.
     • 수식: $E(\pi) = \hat{R}(\pi) + \alpha \cdot P(\pi) \sqrt{\frac{\log \sum N(\pi')}{1 + N(\pi)}}$
   • 이 메커니즘은 과거 성공적인 경로를 활용 (Exploitation) 하되, 충분히 시도되지 않은 유망한 경로를 탐색 (Exploration) 하도록 균형을 맞춥니다.

4. 쌍둥이 구조 경험 유도 반성 (Siamese Experience-Guided Reflection):

   • 매개변수화된 피드백 (Parameterized Feedback): 구체적인 실행 신호 (성공/실패, 실행 시간, 출력 형식 일치 여부) 를 기록하여 현재 쿼리의 경로를 즉시 수정합니다.
   • 추상화된 경험 (Abstracted Experience): 구체적인 값이 아닌, "어떤 유형의 테이블 구조에서 어떤 연산 순서가 효과적인가"와 같은 고수준 패턴을 요약하여 저장합니다. 이는 다른 테이블 인스턴스에도 적용 가능한 일반화된 지식으로 작용합니다.
   • 이 두 가지 피드백 흐름은 쌍둥이 (Siamese) 구조로 작동하여 즉각적인 수정과 장기적인 전략 개선을 동시에 수행합니다.

5. 반성 기반 경로 적응 (Reflection-Driven Path Adaptation):

   • 실행 피드백을 바탕으로 경로별 기대 수익을 지속적으로 업데이트하고, 실패한 경로는 재계획 (Replan) 하거나 제거합니다.
   • 최종 답안은 여러 실행 경로에서 도출된 결과에 대한 다수결 (Majority Agreement) 로 선정하여 견고성을 확보합니다.

3. 주요 기여 (Key Contributions)

• 작업 형식화 (Task Formalization): 단순한 TableQA 를 넘어, 비정형 테이블에서의 장기적, 다단계 분석적 추론을 요구하는 **Deep Tabular Research (DTR)**라는 새로운 작업 영역을 정의했습니다.
• 폐쇄 루프 에이전트 프레임워크: 고수준 계획과 저수준 실행을 분리하고, 실행 경험을 기반으로 지속적으로 학습하는 새로운 에이전트 아키텍처를 제시했습니다.
• 경험 기반 최적화: 기대치 인식 선택 메커니즘과 구조화된 메모리 (쌍둥이 구조) 를 통해 에이전트가 실패 경험으로부터 학습하고 오류 전파를 완화하도록 했습니다.
• 실증적 검증: 비정형 테이블 벤치마크 (DTR-Bench, RealHitBench) 에서 기존 SOTA 모델 및 에이전트 프레임워크보다 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: DTR-Bench(500 개의 복잡한 분석 쿼리) 와 RealHitBench(실제 비정형 테이블 데이터) 를 사용했습니다.
• 성능: DTR 은 정확도 (Accuracy), 분석 깊이 (Analysis Depth), 실행 가능성 (Feasibility), 미적 완성도 (Aesthetics) 등 모든 지표에서 기존 모델 (TableGPT, StructGPT, DeepSeek-V3 등) 과 다른 에이전트 프레임워크 (ST-Raptor, TreeThinker, Code Loop) 를 능가했습니다.
  • 특히 DeepSeek-V3 기반의 DTR 은 RealHitBench 에서 Fact Checking, Numerical Reasoning, Data Analysis 등 모든 태스크에서 최고 점수를 기록했습니다.
• 효율성:
  • LLM 호출 수: DTR 은 평균 4.78 회의 LLM 호출로 최적의 성능을 달성한 반면, 기존 코드 루프 기반 에이전트 (Code Loop) 는 8.8 회 호출에도 불구하고 낮은 성능을 보였습니다.
  • 수익성: DTR 은 초기 탐색 단계 이후 성능이 정체되는 구간 (Plateau) 을 피하고, 전략적 선택을 통해 효율성을 극대화했습니다.
• Ablation Study: 메타 정보 추출, 쿼리 분해, 기대치 기반 선택, 추상화된 경험 등 각 모듈이 점진적으로 성능 향상에 기여함을 확인했습니다. 특히 구조적 이해 (Meta Info) 와 연산 분해 (QDO) 가 가장 큰 기여를 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 비정형 테이블 데이터에 대한 심층 분석을 위한 새로운 패러다임을 제시합니다.

• 전략과 실행의 분리: 복잡한 테이블 추론에서 고수준의 전략적 계획과 저수준의 코드 실행을 분리함으로써, LLM 의 언어적 추론 능력과 프로그램 실행의 정확성을 결합했습니다.
• 경험 기반 학습의 중요성: 단순한 컨텍스트 학습 (In-context learning) 을 넘어, 과거 실행의 성공과 실패를 체계적으로 메모리에 저장하고 재사용함으로써 에이전트의 장기적 안정성과 적응력을 높였습니다.
• 실무 적용 가능성: 금융, 비즈니스 인텔리전스, 과학적 데이터 분석 등 실제 세계의 복잡하고 불완전한 스프레드시트 데이터를 처리하는 자동화 시스템의 기반 기술로 활용될 수 있습니다.

요약하자면, 이 연구는 LLM 이 비정형 테이블에서 장기적인 분석 작업을 수행할 때 겪는 구조적 복잡성과 오류 누적 문제를 해결하기 위해, 실행 경험을 지속적으로 학습하고 전략을 수정하는 폐쇄 루프 에이전트 프레임워크를 통해 혁신적인 성능 향상을 이루었습니다.