HCT-QA: A Benchmark for Question Answering on Human-Centric Tables

이 논문은 복잡한 구조와 의미를 가진 인간 중심 테이블 (HCT) 에 대한 자연어 질문 답변을 평가하기 위한 대규모 벤치마크인 HCT-QA 를 제안하고, 다양한 LLM 과 VLM 의 성능을 분석하며 파인튜닝을 통한 성능 향상 가능성을 입증합니다.

핵심

1. 문제: "요리사"가 읽기 힘든 "레시피"

우리가 매일 보는 뉴스, 보고서, 통계 자료에는 수많은 **표 (Table)**가 들어있습니다. 이 표들은 컴퓨터가 처리하기 쉽게 정돈된 '데이터베이스'가 아니라, 사람이 눈으로 보기 편하게 디자인된 '인간 중심 표 (HCT)'입니다.

• 비유: 일반적인 데이터베이스는 정리된 창고처럼 모든 물건이 똑같은 박스에 정리되어 있어 로봇이 찾기 쉽습니다. 하지만 '인간 중심 표'는 예술적인 갤러리처럼 물건들이 겹쳐 있거나, 색상이 다르고, 문장이 섞여 있어 사람이 보기엔 아름답지만 로봇이 보면 "어? 이게 뭐지?"라고 혼란스러워합니다.
• 기존의 한계: 예전에는 이 복잡한 표를 기계가 읽을 수 있도록 다시 정리 (변환) 하려고 했지만, 너무 복잡해서 자꾸 실수가 나거나 아예 못 하는 경우가 많았습니다.

2. 해결책: "HCT-QA"라는 새로운 시험지

저자들은 "이제 AI(특히 거대 언어 모델, LLM) 가 직접 이 복잡한 표를 보고 질문에 답할 수 있을까?"를 확인하기 위해 HCT-QA라는 새로운 시험지를 만들었습니다.

• 시험지 구성:
  • 실제 문제: 실제 세상 (카타르 정부 보고서, 미국 인구 조사, 과학 논문 등) 에서 가져온 1,880 개의 복잡한 표와 그에 대한 9,835 개의 질문.
  • 가짜 문제 (합성 데이터): 컴퓨터 프로그램으로 만들어낸 4,679 개의 표와 6 만 7 천 개의 질문. (실제 표를 구하기 힘들 때를 대비해 만든 연습용 문제지)
  • 정답: 모든 질문에 대한 정확한 정답과, 표의 어떤 특징 (색깔, 겹침, 합계 등) 이 문제인지에 대한 상세한 설명서.

3. 실험 결과: AI 들의 실력은 어떨까?

저자들은 25 개의 다양한 AI 모델 (LLM) 과 9 개의 시각 AI 모델 (VLM, 표를 이미지로 보는 모델) 을 시험에 응시시켰습니다.

• 결과 1: 거대 AI 가 유리하지만, 완벽하지는 않음.

  • 가장 큰 AI 모델 (ChatGPT 4o 등) 이 가장 잘했지만, 그래도 정답률은 60% 대에 그쳤습니다. 즉, 최고급 요리사도 이 복잡한 레시피를 100% 완벽하게 읽지는 못한다는 뜻입니다.
  • 특히 표가 너무 크거나 (미국 인구 조사 자료), 질문이 "합계"나 "평균"을 요구할 때 AI 는 많이 헤맸습니다.

• 결과 2: "눈"이 있는 AI 가 더 나을 수도 있음.

  • 표를 텍스트로 변환해서 읽는 AI 보다, **표의 이미지 (그림) 를 직접 보는 AI(VLM)**가 더 잘하는 경우가 많았습니다.
  • 비유: 텍스트로 변환하면 표의 '색상'이나 '위치' 같은 중요한 힌트가 사라지는데, 이미지를 보는 AI 는 그 힌트를 그대로 활용해서 정답을 찾아냅니다.

• 결과 3: 훈련 (파인튜닝) 이 중요함.

  • 이 시험지를 가지고 AI 를 추가로 훈련시키니, 성능이 최대 25% 포인트나 급상승했습니다.
  • 재미있는 점은, 실제 표가 아닌 '가짜 표'로만 훈련시킨 AI도 실제 표를 볼 때 잘 해냈습니다. 즉, 이 시험지를 통해 만든 훈련 데이터는 AI 를 가르치는 데 매우 효과적입니다.

4. 이 연구의 핵심 메시지

1. 복잡한 표는 여전히 AI 의 숙제입니다. 현재 AI 는 간단한 표는 잘 보지만, 사람이 보기 좋게 디자인된 복잡한 표를 이해하는 데는 아직 한계가 있습니다.
2. 이미지 보는 능력이 핵심입니다. 표를 텍스트로 바꾸는 것보다, 표의 그림 (이미지) 을 그대로 보고 이해하는 AI 가 더 강력할 수 있습니다.
3. 이 시험지는 AI 개발자들의 '연습장'입니다. 연구자들은 이 HCT-QA 데이터와 '합성 데이터 생성기'를 공개했습니다. 이제 다른 연구자들도 이 도구를 이용해 AI 가 복잡한 표를 더 잘 읽도록 훈련시킬 수 있게 되었습니다.

요약

이 논문은 **"사람들이 보기 편하게 만든 복잡한 표를 AI 가 얼마나 잘 읽을 수 있는지"**를 시험한 결과입니다. 결론은 **"AI 는 꽤 잘하지만, 아직 완벽하지는 않다. 특히 표의 '이미지'를 보고 훈련시키면 더 잘할 수 있다"**는 것입니다. 이 연구는 앞으로 AI 가 문서나 보고서에서 정보를 찾아내는 능력을 키우는 데 중요한 발판이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 인간 중심 테이블 (HCTs) 의 존재: PDF, 웹 페이지, 문서 등에 포함된 표 데이터는 전략적 의사결정을 지원하기 위해 고도로 구조화되고 시각적으로 복잡한 레이아웃을 가집니다. 이를 **인간 중심 테이블 (Human-Centric Tables, HCTs)**이라고 정의합니다.
• 기존 접근법의 한계:
  • 관계형 변환 (Relational Transformation): 기존 연구는 HCT 를 관계형 (SQL) 형식으로 변환하여 질의를 수행하려 했습니다. 그러나 복잡한 중첩 (nesting), 집계 (aggregation), 그룹 레이블 등을 가진 HCT 는 변환 과정에서 정보 손실이 발생하거나 오류가 빈번하여 신뢰할 수 없습니다.
  • 기존 벤치마크의 부족: 기존 테이블 QA 벤치마크 (HiTab, TAT-QA 등) 는 주로 단순한 위키백과 스타일의 평평한 테이블에 집중하거나, 메타데이터 분석이 부족하며, 데이터의 다양성과 규모가 제한적입니다. 또한, HCT 의 복잡한 시각적/구조적 특성을 반영한 평가 기준이 부재합니다.
• 핵심 문제: 대규모 언어 모델 (LLM) 과 비전 언어 모델 (VLM) 이 HCT 를 직접 이해하고 자연어 질의에 답변할 수 있는지에 대한 체계적인 평가와 비교 분석을 위한 표준 벤치마크가 부재합니다.

2. 제안된 방법론 및 시스템 (Methodology)

저자들은 HCT-QA라는 새로운 벤치마크를 제안하며, 이는 다음과 같은 구성 요소로 이루어집니다.

A. 데이터셋 구성

1. 실제 세계 데이터 (Real-world HCTs):
   • 카타르 국가계획위원회, 학술 논문 (ArXiv), 미국 인구조사국, 파키스탄 통계청 등 4 개 출처에서 1,880 개의 HCT를 추출했습니다.
   • 9,835 개의 QA 쌍 (질문 - 정답) 을 포함하며, 전문가가 직접 생성하고 검증했습니다.
   • 데이터는 이미지, CSV, HTML, Markdown 등 다양한 포맷으로 제공됩니다.
2. 합성 데이터 (Synthetic Data):
   • 확장성을 위해 4,679 개의 합성 HCT와 67,747 개의 QA 쌍을 생성했습니다.
   • HCT-QA Synthetic Generator를 개발하여 7 개의 도메인 (식품, 교통, 건설 등) 에서 복잡한 구조 (중첩, 집계, 비대칭성 등) 를 가진 테이블을 자동 생성합니다.
   • 이 생성기는 템플릿 기반 (SQL 템플릿 → 자연어 템플릿) 으로 작동하여 100% 정확한 정답 (Ground Truth) 을 보장합니다.

B. 메타데이터 및 특성 분석

• 각 HCT 와 QA 쌍에 대해 상세한 메타데이터를 제공합니다.
  • 테이블 특성: 열/행 중첩 (Column/Row Nesting), 균형/비균형 (Balanced/Unbalanced), 대칭/비대칭 (Symmetric/Asymmetric), 전역/로컬 집계 (Global/Local Aggregation) 등 19 가지 구조적 속성.
  • 질문 특성: 필터링, 집계, 순위 매김 (Ranking), 표현식 계산 등 SQL 연산에 대응하는 복잡도 분류.
• 이를 통해 모델이 어떤 구조나 질문 유형에서 실패하는지 정밀 분석이 가능합니다.

C. 실험 설정

• 평가 대상: 25 개의 LLM (텍스트 전용) 과 9 개의 VLM (이미지 + 텍스트) 을 평가했습니다. (모델 크기: 3B ~ 100B+ 파라미터)
• 평가 지표:
  • F1 Score: 부분적 정답을 반영하는 지표.
  • Complete Containment (CC Score): 정답을 완전히 포함하는지 여부를 0/1 로 평가하는 엄격한 지표.
• 실험 조건: Zero-shot, One-shot 프롬프팅, 다양한 입력 포맷 (HTML, CSV, Markdown, 이미지) 비교, 미세 조정 (Fine-tuning) 효과 분석.

3. 주요 기여 (Key Contributions)

1. 대규모 및 다양한 HCT-QA 벤치마크: 6,559 개의 HCT 와 77,582 개의 QA 쌍을 포함하는 현재까지 가장 방대한 규모의 벤치마크를 구축했습니다.
2. 심층 메타데이터 분석: 단순한 성능 점수뿐만 아니라, 테이블 구조적 속성과 질문 복잡도가 모델 성능에 미치는 영향을 분석할 수 있는 풍부한 메타데이터를 제공합니다.
3. 확장 가능한 합성 데이터 생성기: 연구 커뮤니티가 새로운 도메인과 복잡한 구조의 HCT 를 쉽게 생성하고 확장할 수 있는 도구를 공개했습니다.
4. 포괄적인 모델 평가 및 통찰: 다양한 크기의 LLM 과 VLM 에 대한 체계적인 벤치마킹을 통해 모델별 강점과 약점을 규명했습니다.

4. 실험 결과 및 발견 (Results & Findings)

• 모델 성능 전반:
  • 최신 대형 폐쇄형 LLM (ChatGPT-4o 등) 이 가장 높은 성능을 보였으나 (F1 약 66%), 여전히 복잡한 질의에서 실수가 발생했습니다.
  • 중간 크기 모델의 가능성: Qwen2.5-72B 와 같은 오픈 소스 모델이 ChatGPT-4o 와 유사한 성능을 보이며, 중간 크기 모델도 큰 가능성을 가지고 있음을 입증했습니다.
  • VLM 의 잠재력: VLM 은 텍스트 변환 없이 이미지로 직접 HCT 를 처리할 수 있어, 시각적 단서를 활용한 성능 향상을 보였습니다. 특히 Pixtral-12B 와 같은 소형 VLM 이 동급 LLM 을 능가하는 경우도 있었습니다.
• 입력 포맷의 영향:
  • HTML 형식이 CSV 나 Markdown 보다 복잡한 구조를 더 잘 보존하여 모델 성능이 더 높았습니다.
  • 텍스트를 모호하게 변조 (Obfuscation) 하면 모델 성능이 크게 저하되어, 의미론적 정보의 중요성이 확인되었습니다.
• 미세 조정 (Fine-tuning) 의 효과:
  • HCT-QA 데이터로 Llama-3.1-8B 를 미세 조정했을 때, 오프더셸 (Off-the-shelf) 모델 대비 F1 점수가 최대 25%p 향상되었습니다.
  • 합성 데이터의 일반화: 합성 데이터만으로 미세 조정된 모델도 실제 세계 HCT 에서 우수한 성능을 보여, 합성 데이터의 실용성을 입증했습니다.
• 구조적 복잡성과의 상관관계:
  • 비대칭 (Asymmetric) 및 불균형 (Unbalanced) 중첩 구조가 모델의 성능을 가장 크게 저하시켰습니다.
  • 집계 (Aggregation), 특히 평균 (Average) 계산이 포함된 질문에서 모든 모델이 가장 큰 어려움을 겪었습니다.
• 모델 크기와의 관계: 일반적으로 모델 크기가 커질수록 성능이 향상되었으나, 최신 세대 모델이 항상 이전 세대보다 뛰어난 것은 아니었습니다 (예: Phi 시리즈의 성능 저하).

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:
  • HCT-QA 는 문서 내 복잡한 표 데이터를 이해하는 AI 의 능력을 평가하는 새로운 표준을 제시했습니다.
  • 단순한 텍스트 추출을 넘어, 시각적/구조적 맥락을 이해하는 비전 - 언어 모델의 중요성을 부각시켰습니다.
  • 합성 데이터 생성기를 통해 데이터 부족 문제를 해결하고, 연구자들이 다양한 시나리오를 테스트할 수 있는 기반을 마련했습니다.
• 향후 과제:
  • 크로스-HCT 질의: 여러 개의 HCT 를 결합 (Join, Union) 하는 복잡한 질의 지원 확대.
  • 고급 OLAP 연산: CUBE, PIVOT 등 더 복잡한 분석 연산 처리 능력 향상.
  • 미세 조정 전략 심화: HCT 구조 이해를 위한 VLM 및 LLM 의 구조적 미세 조정 연구.
  • 언어적 다양성: 생성된 자연어 질문의 문장 구조 다양성 (Paraphrasing) 및 암시적 비교 표현 (most, least 등) 추가.

이 논문은 복잡한 문서 내 표 데이터를 처리하는 AI 시스템의 현재 한계를 명확히 하고, 이를 극복하기 위한 데이터, 도구, 평가 기준을 제공함으로써 관련 연구의 발전을 촉진할 것으로 기대됩니다.