기술 요약: 대규모 언어 모델을 위한 구조 인식형 테이블 이해를 위한 직교 계층적 분해 (Orthogonal Hierarchical Decomposition)

1. 문제 정의

과학 보고서, 재무제표, 비즈니스 인텔리전스에서 발견되는 복잡한 테이블은 종-표준적인 $N \times M$ 그리드에서 벗어나는 경우가 많습니다. 이러한 구조는 대규모 언어 모델(LLM)에 두 가지 주요 과제를 제기합니다:

1. 구조적 계층성 (Structural Hierarchy): 다층 중첩 헤더는 데이터 셀이 조상 레이블의 체인을 통해 의미론적으로 추적될 것을 요구합니다. 이러한 맥락이 없으면 고립된 항목(예: "기타 도시")은 모호해집니다.
2. 공간-논리적 불연속성 (Spatial-Logical Discontinuity): 불규칙하게 병합된 셀과 오프셋 헤더는 표준 그리드 인덱싱을 깨뜨립니다. 공간적 근접성이 논리적 연관성을 보장하지 않으므로, 전통적인 좌표 기반 스캐닝은 실패합니다 (예: "세부 사항" 행을 수직 정렬 때문에 "연도" 열의 자식으로 잘못 해석하는 경우).

기존 방식은 일반적으로 평면적 선형화(계층적 의존성 상실), 프로그래밍 방식의 모델링(비표준 레이아웃에서 어려움 발생), 또는 논리적 토폴로지 재구성(의미론적 뉘앙스를 무시하는 기하학적 휴리스틱에 의존)에 의존합니다. 이러한 방법들은 빈번하게 구조적 붕괴나 구조적 의미와 텍스트 표현 간의 불일치를 초래합니다.

2. 방법론: 직교 계층적 분해 (Orthogonal Hierarchical Decomposition, OHD)

저자들은 테이블을 글로벌 그리드 모델링에서 독립적이고 의미론적으로 동기화된 계층 구조로 분해하는 직교 계층적 분해 (OHD) 프레임워크를 제안하며, 이는 패러다임을 전환합니다. 이 파이프라인은 세 가지 핵심 단계로 구성됩니다:

A. 직교 트리 유도 (Orthogonal Tree Induction, OTI)

핵심 알고리즘은 테이블을 두 개의 독립적인 트리인 **열 트리 ($T_{col}$)**와 **행 트리 ($T_{row}$)**로 분해합니다. 이 디커플링은 구조적 노이즈를 격리하고, 각 차원의 논리적 계층을 별도로 재구성함으로써 불규칙한 레이아웃을 처리합니다. 유도는 **의미-공간 시너지 (Semantic-Spatial Synergy)**에 의해 가이드됩니다:

• 의미적 대리인 (Semantic Agency): $T_{col}$에서 열 헤더만이 내부 분기 노드로 작용하며, 행 헤더와 데이터 셀은 원자적 리프 노드로 취급됩니다. $T_{row}$에서는 역할이 반전됩니다.
• 의미-공간적 포섭 (Semantic-Spatial Subsumption): 부모와 자식 사이의 에지는 자식이 부모의 경계 상자 내에 공간적으로 포함되어 있고, LLM이 논리적 포섭(예: 카테고리 상속)을 확인하는 경우에만 연결됩니다. 이는 기하학적 모호성을 교정하기 위한 신경-기호적 브릿지 역할을 합니다.
• 구조적 단방향성 (Structural Unidirectionality): 데이터 셀은 하향 분기가 없는 터미널 노드이며, 이를 통해 각주나 비고가 수치 값 아래에 부적절하게 중첩되는 것을 방지합니다.
• 적응형 데이터 앵커링 (Adaptive Data Anchoring): 충돌하는 헤더의 겹치는 경계에 데이터 셀이 위치하는 갈등을 해결하기 위해, 프레임워크는 행 경계 제약을 사용하여 올바른 부모 헤더를 적응적으로 할당합니다.

B. 이중 경로 연관 (Dual-Pathway Association)

$T_{col}$과 $T_{row}$가 유도되면, 프레임워크는 이중 경로 프로토콜을 사용하여 각 셀의 의미론적 계보를 재구성합니다. 임의의 데이터 셀 $d$에 대하여:

1. 전제 맥락 (Premise Context): 기본 트리(예: $T_{col}$)에 대한 깊이 우선 탐색(DFS)을 통해 $d$로 이어지는 헤더 경로를 생성합니다.
2. 속성 맥락 (Attribute Context): 직교 트리의 역방향 탐색(예: $T_{row}$)을 통해 구조적 속성을 캡처합니다. 프레임워크는 반대 차원의 해당 헤더를 찾기 위해 기본 트리를 쿼리하여, 이 경로들을 인터리빙(interleaving)함으로써 다차원 좌표를 복구합니다.
3. 합성 (Synthesis): 최종 표현은 "전제 맥락 $\to$ 속성 맥락 $\to$ 값" 구조를 따르며, 양쪽 관점 모두에서 계보를 대칭적으로 재구성합니다.

C. 의미론적 중재 (Semantic Arbitration)

$T_{col}$과 $T_{row}$가 상호 보완적인 뷰를 제공한다는 점을 인식하여, LLM이 의미론적 중재자 역할을 수행합니다. LLM은 논리적 응집성, 정보 완결성 및 구문론적 가독성을 기준으로 합성된 후보 시퀀스를 평가합니다. 제로샷 프롬프트를 사용하여, LLM은 가장 명확한 관점을 선택하거나 이들을 혼합하여 다운스트림 추론이 가능한 고충실도, 구조 인식형 텍스트 대리물을 생성합니다.

3. 주요 기여

• OHD 프레임워크: 복잡한 테이블을 직교 계층 트리로 분해하여 비표준 레이아웃에서의 구조적 붕괴를 효과적으로 완화하는 새로운 패러다임입니다.
• 직교 트리 유도 (OTI): 논리적 관계를 결정하기 위해 공간-의미 결합 제약을 포함하는 알고리즘으로, 유연한 헤더와 병합된 셀에 대한 견고성을 크게 향상시킵니다.
• 이중 경로 연관: 다층적 의미 계보를 재구성하여, LLM이 수직 및 수평 의존성을 모두 보존하면서 이질적인 구조에 대해 충실한 추론을 수행할 수 있도록 합니다.

4. 실험 결과

본 프레임워크는 두 가지 복잡한 테이블 QA 벤치마크인 AITQA(재무/통계 테이블)와 HiTab(계층적 추론이 필요한 계층형 테이블)에서 평가되었습니다.

• 성능: OHD는 다양한 LLM 백본(Qwen2-72B, TableLLaMA-7B, DeepSeek-V3)에 대해 AITQA 및 HiTab을 포함한 최첨단 베이스라인(Chain-of-Table, E5, ST-RAPTOR 포함)을 일관되게 능가했습니다.
  • Qwen2-72B를 사용한 AITQA에서 OHD는 69.34의 Exact Match(EM)를 달성하여, 가장 강력한 베이스라인인 ST-RAPTOR보다 8.76 포인트 앞섰습니다.
  • HiTab 서브셋에서 OHD는 64.74의 EM을 달성하여, 베이스라인 대비 9.01 포인트 개선되었습니다.
  • LLM Eval Avg. (의미론적 정확도)는 더욱 유의미한 상승을 보였으며, OHD는 AITQA에서 89.12를 기록하여 ST-RAPOR 대비 18.09 포인트 상승했습니다.
• 절제 연구 (Ablation Studies):
  • 의미론적 제약을 제거했을 때($w/o\ C_{semantic}$) 성능이 약 6% 하락하여, LLM 기반의 의미 검증의 필요성을 확인했습니다.
  • 직교 경로 중 하나를 제거했을 때($w/o\ TP$) 급격한 하락(AITQA에서 최대 20%)이 발생하여, 이중 축 재구성의 필요성을 입증했습니다.
  • 이중 경로 표현을 표준 Markdown/HTML 선형화로 대체했을 때 EM에서 10% 이상의 손실이 발생하여, 계층적 경로 표현의 우수성을 증명했습니다.
• 견고성: OHD는 테이블 규모가 커짐에 따라 우수한 회복력을 보여주었습니다. Chain-of-Table과 같은 베이스라인이 소규모에서 대규모 테이블로 이동할 때 성능이 약 19포인트 하락한 반면, OHD의 하락은 미미했습니다(약 7포인트).

5. 의의 및 주장

본 논문은 OHD가 복잡한 2차원 테이블 토폴로지와 LLM의 선형 추론 능력 사이의 간극을 성공적으로 메운다고 주장합니다. 취약한 물리적 레이아웃을 견고하고 구조를 인식하는 의미 계보로 변환함으로써, 이 프레임워크는 다층 헤더와 병합된 셀을 가진 테이블 이해의 지속적인 과제를 해결합니다.

저자들은 이중 경로 계보 표현이 성능의 핵심 동력이며, 전통적인 표현에서 흔히 발생하는 구조적 붕괴를 효과적으로 방지한다고 강조합니다. 그들은 OHD를 LLM을 대체하는 것이 아니라, 현대 모델의 추론 능력을 보완하고 증폭하는 "플러그 앤 플레이(plug-and-play)" 아키텍처로 포지셔닝합니다. 본 연구는 직교 분해가 다양한 실제 응용 분야에서 세밀하고 신뢰할 수 있는 테이블 이해를 달성하기 위한 유망한 방향임을 시사하며, 향후 초거대 규모의 재무 보고서로 프레임워크를 확장하고 멀티모달 신호를 통합할 계획입니다.