기술 요약: ODTQA-FoRe 및 TimeFore

문제 정의

대규모 언어 모델(LLM)의 표 형식 질의응답(Tabular Question Answering, TQA) 분야가 급격히 발전하고 있음에도 불구하고, 기존 시스템은 주로 정적인 과거 데이터의 검색 및 추론에 집중되어 있습니다. 이러한 시스템은 미래 지향적 수치 예측 및 예측 기반 추론을 수행하는 능력이 부족합니다. 현재의 오픈 도메인 TQA 방식은 두 가지 주요 한계점에 직면해 있습니다: (1) LLM은 정적인 텍스트를 기반으로 학습되었기 때문에 동적인 시계열 데이터를 효과적으로 모델링할 수 있는 메커니가 부족하며, (2) 오픈 도메인 시나리오에서 시스템은 사전에 제공된 연속적인 과거 데이터에 의존할 수 없으며, 예측을 지원하기 위해 방대한 데이터베이스로부터 관련 데이터를 자율적으로 검색해야 합니다.

이러한 격차를 해소하기 위해 저자들은 새로운 과업인 **미래 데이터 예측 및 추론을 위한 오픈 도메인 표 형식 질의응답(Open-Domain Tabular Question Answering for Future Data Forecasting and Reasoning, ODTQA-FoRe)**을 도입합니다. 이 과업은 시스템이 다음을 수행할 것을 요구합니다:

1. 대규모 후보 테이블 코퍼스에서 관련 테이블을 자율적으로 식별하고 검색한다.
2. 검색된 과거 데이터를 바탕으로 시계열 예측을 수행한다.
3. 예측된 내용을 합성하여 직접적인 미래 예측 및 예측에 기반한 비교 추론을 포함한 복잡한 질의에 답한다.

방법론

1. 데이터셋 구축: ODTQA-FoRe

저자들은 2022~2024년 사이 중국 10개 도시의 부동산 거래 데이터를 사용하여 이 과업을 위한 최초의 벤치마크 데이터셋을 구축했습니다.

• 규모: 이 데이터셋은 11,149개의 부동산 프로젝트에서 파생된 28,507개의 QA 쌍을 포함합니다.
• 구조: 이 데이터셋은 과거 데이터(2022~2023년)를 나타내는 288개의 테이블(평균 845개 행)과 정답 평가를 위해 사용되는 별도의 "미래" 데이터베이스(2024년)로 구성됩니다.
• 과업 분포: 데이터셋에는 8,042개의 시계열 예측 질문(예: "다음 달 가격은 얼마가 될 것인가?")과 20,465개의 예측 기반 추론 질문(예: "어떤 프로젝트의 가격 상승 폭이 더 클 것인가?")이 포함되어 있습니다.
• 생성: 질문은 단일 및 다중 프로젝트 시나리오를 다루는 26개의 시드 템플릿을 사용하여 생성되었습니다. 언어적 다양성과 현실성을 높이기 위해 LLM(Qwen2.5-72B)을 사용하여 템플릿 생성 쿼리를 재작성하였으며, 이후 수동 검증 과정을 거쳤습니다.
• 분할: 데이터 누수를 방정하기 위해 프로젝트 단위로 학습, 검증, 테스트 세트(6:2:2 비율)로 분할되었습니다.

2. 제안된 프레임워크: TimeFore

ODTQA-FoRe의 과제를 해결하기 위해 저자들은 문제를 세 가지 협력적 역할로 분해하는 LLM 에이전트 기반 프레임워크인 TimeFore를 제안합니다.

• Retriever (검색기):

  • 기능: 관련 테이블을 식별하고 과거 데이터를 가져오기 위한 SQL 쿼리를 생성합니다.
  • 메커니즘: 2단계 검색 프로세스를 채택합니다. 먼저, LLM이 퓨샷 프롬프팅(few-shot prompting)을 사용하여 사용자 질의를 정형화된 테이블 캡션으로 요약합니다. 직접적인 매칭에 실패할 경우, BM25 알고리즘이 가장 의미론적으로 관련 있는 테이블을 검색합니다.
  • SQL 생성: 이 에이전트는 인컨텍스트 러닝(5-shot)을 사용하여 SQL 쿼리를 생성하며, **실행 피드백 루프(execution-feedback loop)**를 활용합니다. sqlQueryTool을 통해 SQL을 실행하고, 오류가 발생하면 오류 메시지를 바탕으로 쿼리를 수정하며 최대 25회까지 반복합니다.

• Forecaster (예측기):

  • 기능: 특화된 외부 모델을 호출함으로써 LLM의 고유한 시계열 예측 약점을 보완합니다.
  • 메커니즘: 에이전트는 직렬화된 과거 데이터(프로젝트 명, 월, 가격)를 전달받아 24개월 분량의 수치 리스트로 포맷팅합니다. 그 후, 다음의 파이프라인을 조율하는 사전 정의된 함수인 imputationThenPredictionTool을 호출합니다:
    1. 결측치 처리(Imputation): TimesNet을 사용하여 과거 시퀀스의 결측치를 처리합니다.
    2. 예측(Prediction): TimeXer를 사용하여 향후 12개월간의 가격을 예측합니다.
  • 출력: 2024년의 예측된 가격을 구조화된 리스트 형태로 반환합니다.

• Analyzer (분석기):

  • 기능: 과거 데이터와 예측치를 합성하여 최종 표준화된 답변을 생성합니다.
  • 메커니즘: 먼저 BERT 기반 분류기를 사용하여 질의 유형(직접 예측 vs 예측 기반 추론)을 분류합니다.
  • 추론: 분류 결과에 따라 특정 프롬프트(5개의 예시를 포함한 인컨텍스트 러닝)를 선택하여 LLM을 가이드합니다.
  • 정규화: 전용 수치 추출 모듈을 통해 출력이 간결하고 엄격한 형식(예: 필요한 숫자나 프로젝트 리스트만 추출)을 유지하도록 하여, LLM에서 흔히 발생하는 장황한 설명을 방지합니다.

주요 기여

1. 새로운 과업 정의: 본 논문은 LLM 기반 QA의 범위를 미래 데이터 예측 및 추론까지 확장하는 ODTQA-FoRe를 정의합니다.
2. 벤치마크 데이터셋: 오픈 도메인 표 형식 환경에서 시계열 예측 및 예측 기반 추론을 다루는 최초의 데이터셋인 ODTQA-FoRe를 도입하여 중요한 리소스 공백을 메웁니다.
3. 프레임워크 제안: 검색, 예측, 추론의 과제를 해결하면서 LLM과 특화된 시계리 모델 간의 간극을 효과적으로 메우는 협업 에이전트 프레임워크인 TimeFore를 개발했습니다.
4. 실증적 검증: 5가지 주요 LLM(Qwen3, GPT-OSS, GLM)에 대해 강력한 성능 벤치마크를 설정하고 하이브리드 접근 방식의 필요성을 입증하는 포괄적인 실험을 수행했습니다.

실험 결과

저자들은 "Vanilla" 베이스라인(BM25 검색 및 인컨텍스트 러닝을 사용하는 LLM 전용 모델) 및 다양한 단독 모델들과 Timefore를 비교 평가했습니다.

• 예측 성능: 특화된 시계열 모델들이 범용 LLM보다 유의미하게 우수한 성능을 보였습니다. TimeXer는 일반적인 LLM인 Qwen3 30B(MRE: 0.1706) 및 GLM 4.5 Air(MRE: 0.1869)와 비교하여 가장 우수한 성능(MRE: 0.1209)을 달성했습니다.
• 엔드 투 엔드(End-to-End) 성능: TimeFore는 모든 지표에서 Vanilla 베이스라인을 크게 앞질렀습니다. 예를 들어, Qwen3 30B 모델의 경우, TimeFore는 예측 기반 추론 F1 점수를 24.87%에서 60.25%로 향상시켰으며, 예측 MSE를 약 22% 감소시켰습니다.
• 절제 연구(Ablation Studies):
  • 예측의 병목 현상: 연구 결과, 시계열 예측 구성 요소의 정확도가 주요 병목 지점임이 밝혀졌습니다. 예측된 미래 데이터를 실제 정답(Golden Future)으로 교체했을 때 가장 큰 성능 향상(예: Qwen3 30B의 정확도 +46.80%)이 나타난 반면, 완벽한 테이블 검색이나 SQL 생성으로 인한 개선은 미미했습니다.
  • 검색기의 견고성: 2단계 검색 방식(요약 + BM25)은 높은 F1 점수(>97%)를 달 기록하며, 데이터 획득 과정이 견고하며 주요 오류 원인이 아님을 확인했습니다.
  • 분석기의 필요성: Analyzer의 수치 추출 모듈이 매우 중요하다는 것이 밝혀졌습니다. 이를 제거할 경우 유효 완료율(Valid Completion Rate)이 크게 하락했습니다(예: Qwen3 30B의 경우 33.08% 하락).

의의 및 주장

본 논문은 ODTQA-FoRe와 TimeFore가 LLM이 동적이고 미래 지향적인 의사 결정 과업을 처리할 수 있도록 하는 기초적인 단계라고 주장합니다. 저자들은 다음을 강조합니다:

• 하이브리드 아키텍처의 필수성: 시계열 예측을 위해 LLM에만 의존하는 것은 불충분합니다. 예측 업무를 전문 모델에 위임하고, 오케스트레이션, 검색 및 추론을 위해 LLM을 활용하는 것이 더 견고한 프레임워크를 만듭니다.
• 벤치마킹 격차: 본 연구는 오픈 도메인 표 형식 예측을 위한 최초의 표준화된 벤치마크를 제공하여, 향후 연구가 이러한 능력을 평가하고 개선할 수 있도록 합니다.
• 실제 적용 가능성: 부동산 분야에 초점을 맞춤으로써, 본 연구는 투자 및 금융 의사 결정에 있어 이러한 시스템의 실질적인 유용성을 입증하지만, 프레임워크 자체는 도메인에 구애받지 않도록 설계되었습니다.

저자들은 현재 부동산 도메인에 국한되어 있다는 점과 외생 변수(예: 거시 경제 정책)와의 통합이 부족하다는 점을 한계점으로 언급하며, 이를 향후 연구 방향으로 제시했습니다.