1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 이 생성한 표 (Table) 의 품질을 평가하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 기존 평가 지표들은 다음과 같은 한계를 가지고 있습니다:

• 구조 무시: 표를 단순한 텍스트로 평탄화 (flatten) 하여 행 - 열 구조나 단위 (unit) 의 의미를 무시합니다 (예: BLEU, ROUGE).
• 참조 의존성: 고정된 참조 데이터 (Reference) 에 의존하여 일반화 능력이 제한적입니다.
• 해석 불가능성: 기존 지표들은 왜 점수가 낮아졌는지에 대한 구체적인 오류 원인 (Cell-level error trace) 을 제공하지 못합니다.
• 구조적/사실적 오류 구분 실패: 단순한 포맷 변경과 실제 사실 오류를 구분하지 못하거나, 구조적 정합성과 사실적 정확도를 동시에 평가하기 어렵습니다.

따라서, 참조 데이터 없이도 작동하며, 구조적 일관성과 사실적 정확도를 모두 평가할 수 있고, 그 결과를 해석 가능하게 제공하는 새로운 평가 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 TABREX를 제안했습니다. 이는 그래프 기반 추론을 통해 표 생성을 평가하는 참조 불필요 (Reference-less) 이자 속성 주도 (Property-driven) 프레임워크입니다.

2.1 파이프라인 개요

TABREX 는 세 가지 주요 단계로 구성됩니다 (그림 2 참조):

1. Text2Graph 및 Table2Graph 변환:

   • Source Text: LLM 을 사용하여 엄격한 엔티티 중심 문법을 적용하여 텍스트를 지식 그래프 (Knowledge Graph) 의 삼중항 (Triplet: [주어, 술어, 목적어]) 집합으로 변환합니다.
   • Generated Table: 규칙 기반 (Rule-based) 알고리즘을 사용하여 표를 동일한 삼중항 공간으로 변환합니다. 헤더는 술어, 행은 주어, 셀은 목적어가 됩니다.
   • 이 과정을 통해 텍스트와 표를 모두 해석 가능한 공통의 구조적 표현으로 통일합니다.

2. 그래프 정렬 (Graph Alignment):

   • 생성된 표의 그래프 ($G_T$) 와 원본 텍스트의 그래프 ($G_S$) 를 LLM 이 안내하는 정렬 과정을 통해 매칭합니다.
   • 2 단계 절차:
     1. 결정론적 매칭: 동일한 또는 정규화된 주어 - 술어 쌍을 먼저 매칭.
     2. LLM 보조 정제: 나머지 항목을 매칭하여 동의어, 약어, 복합 속성 등을 해결합니다.
   • 매칭된 쌍은 누락 (Missing), 추가 (Extra), 부분 일치 (Partial Match) 및 수치적 편차 등을 기록하는 벡터로 주석 처리됩니다.

3. 속성 기반 점수 산출 (Property-Driven Scoring):

   • 정렬 결과 ($A$) 를 기반으로 해석 가능한 점수를 계산합니다.
   • Table Penalty: 행/열 수준의 누락 (MI) 과 추가 (EI) 를 기반으로 구조적 오류를 패널티화합니다.
   • Cell Penalty: 셀 수준의 사실적 정확도, 수치적 편차, 부분 일치 등을 기반으로 합니다.
   • 최종 점수: $S_{TABREX} = TablePenalty + CellPenalty$
   • 가중치 제어: $\alpha$ (구조적 중요도) 와 $\beta$ (오류 유형별 가중치) 파라미터를 조정하여 민감도 (Sensitivity, 포괄성) 와 특이도 (Specificity, 환각 제어) 간의 균형을 사용자가 조절할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. TABREX 프레임워크:

   • 참조 데이터 없이도 표와 텍스트 간의 사실적 일관성과 구조적 정합성을 평가하는 최초의 그래프 기반 해석 가능 평가 지표입니다.
   • 표 수준과 셀 수준의 세부적인 오류 진단 (Diagnostic) 을 제공합니다.

2. TABREX-BENCH 벤치마크:

   • 기존 벤치마크의 한계를 극복하기 위해 구축된 대규모 평가 데이터셋입니다.
   • 범위: 금융, 의료, 계층적 표, 내러티브 등 6 개 도메인.
   • 교란 (Perturbation): 12 가지 계획자 주도 (Planner-driven) 교란 유형을 3 단계 난이도 (Easy, Medium, Hard) 로 적용하여 총 9,120 개의 인스턴스를 생성했습니다.
   • 특징: 데이터 보존 (Data-preserving, 예: 순서 변경) 과 데이터 변경 (Data-altering, 예: 값 조작) 교란을 모두 포함하여 지표의 강건성을 체계적으로 테스트합니다.

3. 실험적 검증:

   • TABREX 가 인간 전문가의 평가 순위와 가장 높은 상관관계를 보임을 입증했습니다.
   • 기존 지표들보다 더 어려운 교란 상황에서도 민감도와 특이도의 균형을 유지하며 안정적으로 작동함을 보였습니다.

4. 실험 결과 (Results)

• 인간 평가와의 상관관계:

  • TABREX 는 스피어만 순위 상관관계 ($\rho_S$) 에서 0.75, 켄달의 타우 ($\tau_K$) 에서 0.64를 기록하여, 기존 LLM 기반 지표 (TABXEVAL 등) 나 참조 기반 지표보다 인간 평가와 더 높은 일치를 보였습니다.
  • 특히, 참조 데이터가 없는 상황 (Reference-less) 에서 QUESTEVAL 보다 월등히 우수한 성능을 발휘했습니다.

• 강건성 분석 (Sensitivity vs. Specificity):

  • 난이도가 높아질수록 (Hard Perturbation) 많은 지표들이 민감도나 특이도 중 하나를 급격히 잃는 반면, TABREX 는 이상적인 균형 영역 (Ideal Zone) 에 머무르며 안정성을 유지했습니다.
  • 이는 TABREX 가 단순한 표면적 일치에 의존하지 않고, 구조와 사실에 기반한 깊은 추론을 수행함을 의미합니다.

• 모델 및 프롬프트 분석:

  • TABREX 를 사용하여 다양한 모델 (Gemma, InternVL) 과 프롬프트 전략 (Zero-shot, CoT, Map&Make) 을 분석한 결과, 모델 크기가 커질수록 셀 수준의 정확도는 향상되지만 전체적인 구조적 일관성은 크게 개선되지 않음을 발견했습니다. 또한 'Thinking' 모드가 수치 정확도는 높이지만 의미적 범위를 좁힐 수 있음을 규명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 평가 패러다임: TABREX 는 참조 데이터 없이도 구조화된 생성 시스템 (Structured Generation Systems) 을 신뢰할 수 있게 평가할 수 있는 새로운 패러다임을 제시합니다.
• 해석 가능성: 단순한 점수 제공을 넘어, 어떤 행/열/셀에서 어떤 유형의 오류가 발생했는지 구체적인 이유를 제공하여 모델 디버깅과 개선에 직접적인 도움을 줍니다.
• 적용 가능성: 금융 감사, 과학적 보고서 작성 등 오류가 치명적인 고위험 도메인에서 LLM 기반 표 생성 모델의 품질을 검증하는 데 필수적인 도구가 될 것입니다.
• 미래 작업: 계층적 표나 멀티모달 표로 확장하고, 경량화된 평가자로蒸馏 (Distillation) 하여 대규모 배포를 목표로 합니다.

요약하자면, TABREX 는 표 생성 평가의 핵심 문제인 '구조 무시'와 '참조 의존성'을 해결하고, 그래프 기반 추론을 통해 인간과 일치하는 해석 가능한 평가 기준을 제시한 획기적인 연구입니다.