기술 요약: LEGR - 표 구조 인식을 위한 학습 가능한 엣지 그래프 정제 (Learnable-Edge Graph Refinement)

1. 문제 정의

표 구조 인식(Table Structure Recognition, TSR)은 시각적 표 이미지를 기계가 읽을 수 있는 논리적 구조(행/열 인덱스 및 범위)로 변로 변환하는 것을 목표로 한다. 물리적 구조(경계 상자)는 기존의 OCR을 통해 얻을 수 있지만, 논리적 구조를 추론하는 것은 복잡한 관계적 문제이다.

기존의 그래프 기반 TSR 방식들은 셀을 노드로, 공간적 관계를 엣지로 취급한다. 그러나 이러한 방법들은 두 가지 주요 한계점을 가진다:

1. 정적 그래프 구축: 이들은 그래프 연결성과 엣지 특징을 정의하기 위해 수작업으로 설계된 기하학적 휴리스틱(예: 경계 상자 중심점을 기반으로 한 $k$-최근접 이웃)에 의존한다. 이는 학습이 시작되기 전에 관계적 기질(relational substrate)을 고정시켜 버리며, 이로 인해 모델이 비로로컬 의존성(예: 긴 행에 걸친 헤더와 셀 간의 정렬)을 포착하거나 테두리가 없는 레이아웃 및 병합된 셀 레이아웃을 효과적으로 처리하는 것을 방해한다.
2. 단일 패스 예측: 대부분의 파이프라인은 단 한 번의 순방향 패스(forward pass)로 최종 구조를 예측하며, 테이블의 전체적인 뷰가 구성된 후 초기 추정치를 수정할 수 있는 메커니즘이 부족하다.

2. 방법론: LEGR 프레임워크

LEGR(Learnable-Edge Graph Refinement)은 관계형 그래프 구조를 학습하고 반복적으로 예측을 정제하는 엔드 투 엔드(end-to-end) 프레임워크이다. 이 아키텍처는 네 가지 기능 블록으로 구성된다:

2.1 시각 및 노드 인코딩

• 시각적 백본(Visual Backbone): Swin Transformer가 4단계 피라미드 특징을 생성한다. 이들은 LKPAN(Large-Kernel Pyramid Attention Network)을 통해 융합되어, 미세한 경계 보존을 위한 스트라이드-4 특징 맵($FFPN$)과 스트라이드-32 글로벌 컨텍스트 맵($C_4$)을 생성한다.
• 노드 임베딩: 각 OCR 탐지 경계 상자에 대해, 다음 요소들을 융합하여 초기 임베딩($h_i^{in}$)을 구축한다:
  • 시각적 특징 (RoIAlign을 통한 $FFPN$에서의 추출).
  • 경계 상자 좌표의 학습 가능한 기하학적 임베딩.
  • 절대적 2D 사인형(sinusoidal) 위치 인코딩.
• 컨텍스트 인코더: 트랜스포머 기반 인코더는 셀 간 의존성을 위한 자기 주의 집중(self-attention)과 글로벌 컨텍스트를 주입하기 위한 교차 주의 집중(cross-attention, $C_4$로부터)을 사용하여 이 임베딩들을 처리한다. 이를 통해 문맥화된 노드 특징($H_0$)을 생성한다.

2.2 관계적 엣지 학습

정적 휴리스틱 대신, LEGR은 **관계적 엣지 러너(Relational Edge Learner)**를 채택한다:

• 그래프 구축: 학습 과정에서 각 노드의 이웃은 기하학적으로 가까운 이웃과 무작위로 샘플링된 장거리 이웃을 모두 포함하도록 구성되어, 로컬 기하학에 과적합되는 것을 방지한다.
• 엣지 특징: 엣지 특징은 공유된 컨텍스트 인코더와 엣지 헤드(MLP)에 의해 생성된다. 엣지 $(v_i, v_j)$에 대한 특징 벡터는 노드 임베딩, 두 노드의 차이, 그리고 이들의 요소별 곱(element-wise product)을 결합한다.
• 보조 감독(Auxiliary Supervision): 엣지 헤드는 보조 작업인 논리적 좌표 차이(연결된 노드 간의 행 및 열 시작/끝에 대한 부호가 있는 오프셋)를 예측하도록 감독된다. 이는 네트워크가 원시 좌표 오프셋을 단순히 복사하는 것이 아니라, 문맥 인식적인 관계적 특징을 학습하도록 강제한다.

2.3 계층적 반복 정제

LEGR은 단일 패스 예측을 대신하여 그래프 어텐션 네트워크(GAT)를 사용하는 2단계 계층적 정제 모듈을 도입한다:

1. 1단계: 노드 헤드가 초기 거친 로짓($L_0$)을 생성한다. 이는 노드 특징과 융합되어 $GAT_1$을 통과하며, 교정 델타($\delta L_1$)를 예측한다. 정제된 로짓은 $L_1 = L_0 + \delta L_1$이 된다.
2. 2단계: 이 과정은 1단계 특징과 실행 중인 추정치 $L_1$을 대상으로 작동하는 두 번째 GAT($GAT_2$)를 통해 반복되며, 최종 보정치 $\delta L_2$를 생성하여 $L_2 = L_1 + \delta L_2$를 도출한다.
   이러한 조대-정밀(coarse-to-fine) 접근 방식은 모델이 먼저 대규모 구조적 모호성을 해결한 다음 미세한 로컬 조정을 수행할 수 있게 한다.

2.4 학습 목적 함수

모델은 다음과 같은 합성 손실 함수로 학습된다:
$$\mathcal{L}_{total} = ( \text{1} - \lambda ) \mathcal{L}_{coord} + \lambda ( \alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge} )$$
여기서 $\mathcal{L}_{coord}$는 초기 단계 및 두 번의 정제 단계에 대한 크로스 엔트로피 손실을 집계하며, $\mathcal{L}_{aux}$는 동일한 셀에 속하는 세그먼트를 클러스터링하기 위한 다중 양성 대비 손실(multi-positive contrastive loss)이고, $\mathcal{L}_{edge}$는 좌표 차이 예측을 위한 크로스 엔트로피 손실이다.

3. 주요 기여

1. 학습 가능한 엣지 특징: 정적 기하학적 휴리스틱을 보조적인 논리적 좌표 차이 작업에 의해 감독되는 관계적 엣지 러너로 대체하였다. 이를 통해 비로컬 의존성과 문맥 인식적 관계를 포착할 수 있게 하였다.
2. 계층적 정제: 반복적으로 초기 예측을 수정하는 2단계 GAT 기반 정제 모듈을 도입하여, 모델이 전역적으로 추론하고 로컬 오류를 스스로 수정할 수 있도록 하였다.
3. 도메인 불변 추론: 학습된 관계적 기질이 미세 조정 없이도 잘 일반화되는 표현을 생성함을 입증하여 도메인 불변성을 보여주었다.

4. 실험 결과

LEGR은 세 가지 벤치마크인 PubTabNet(과학 논문), FinTabNet(금융 보고서), SciTSR(과학 논문)에서 평가되었다.

• 도메인 내 성능 (PubTabNet & FinTabNet):

  • PubTabNet에서 LEGR은 97.91 TEDS-S를 달성하였으며, 비자기회적(non-autoregressive) 아키텍처임에도 불구하고 TFLOP(98.38)에 이어 두 번째로 높은 성능을 기록했다.
  • FinTabNet에서 LEGR은 99.10 TEDS-S를 달성하였으며, 역시 TFLOP(99.56)에 이어 두 번째를 차지했다.
  • 특히, LEGR은 자기회귀(autoregressive) HTML 디코더 없이도 이러한 결과를 달성하여, 테이블 크기에 관계없이 일정한 추론 비용을 제공한다.

• 교차 도메인 일반화 (SciTSR):

  • 제로샷 설정(PubTabNet으로 학습하고 미세 조정 없이 SciTSR에서 테스트)에서 LEGR은 F1 점수 98.46을 달성했다. 이는 완전 지도 학습 기반의 최첨단 방법(예: LORE의 99.30)과 0.84점 차이밖에 나지 않는 수치로, 강력한 도메인 불변성을 입증한다.
  • 미세 조정을 거친 경우, LEGR은 99.39 F1에 도달하여 기존의 그래프 기반 방법들을 능가했다.

• 그래프 기반 방법과의 비교:

  • LEGR은 NCGM 및 GraphTSR와 같은 기존 그래프 기반 방법들을 크게 앞선다. PubTabNet에서 NCGM보다 TEDS-S를 2.51 포인트 개선하였고, SciTSR에서 GraphTSR보다 F1을 5.99 포인트 개선하였다.

5. 절제 연구 및 분석

• 학습된 엣지 vs. 수작업 엣지: 학습된 엣지 특징을 포괄적인 수작업 베이스라인(PCEF)으로 교체했을 때, FinTabNet에서 TEDS가 약 4.0 포인트 하락(99.10에서 95.13으로)하였다. 이는 복잡한 레이아웃을 위한 관계적 특징이 경계 상스의 고정된 함수으로는 표현될 수 없음을 확인시켜 준다.
• 그래프 인접성 견고성: 입력 그래프의 인접성을 무작위화(k-NN을 무작위 연결로 교체)했을 때 성능 저하는 미미했다(<0.15 포인트). 이는 핵심적인 역할이 특정 이웃의 선택이 아닌, 학습된 엣지 헤드와 GAT 내부에서 수행됨을 나타낸다.
• 정제 단계: 두 번째 정제 단계가 첫 번째 단계보다 일관되 ${게 성능을 향상시켰으며, 이는 반복적 교정의 가치를 확인해 준다.
• 차이 예측 vs. 친화도(Affinity): 엣지를 좌표 차이로 감독하는 것이 동일 행/열 확률을 예측하는 대안적인 친화도 기반 공식보다 우수했는데, 이는 경쟁하는 제약 조건 간의 최적화 충돌을 피할 수 있기 때문인 것으로 분석된다.

6. 의의 및 주장

본 논문은 관계적 기질을 설계하는 것보다 학습하는 것이 더 중요하다고 주장한다. 핵심 논지는 정적 기하학적 휴리스틱이 표 구조에 내재된 복잡하고 비로컬적인 의존성을 포착하기에는 불충분하다는 것이다.

• 견고성: LEGR이 본 적 없는 SciTSR 데이터셋에 제로샷 설정으로 전이될 수 있다는 능력은, 학습된 관계적 추론이 데이터셋 특유의 레이아웃 통계를 암기하는 것이 아니라 도메인 불변적인 단서(무엇이 두 세그먼트를 동일한 행/열로 만드는가)를 포착함을 증명한다.
• 효율성: 자기회귀 디코더를 피함으로써, LEGR은 대규모 테이블에 대해 경쟁력 있는 정확도를 유지하면서도 더 효율적인 추론 경로를 제공한다.
• 패러다임 전환: 이 연구는 반복적으로 정제되는 그래프와 학습된 엣지가 계층적 및 표 형식 데이터에 대한 자기회귀적 구조 예측의 유효한 대안이 될 수 있음을 시사하며, 이는 레이아웃 분석 및 양식(form) 이해 영역으로 확장될 수 있다.

저자들은 노이즈가 있거나 스캔되었거나 카메라로 촬영된 테이블에 대한 한계를 인정하며, 신뢰할 수 있는 입력 OCR 세그먼트를 가정한다는 점을 명시하며 이를 향후 연구 과제로 남겨두었다.