1. 문제 정의 (Problem)

• 배경: 문서 파싱의 핵심 요소인 테이블 인식 (Table Recognition, TR) 은 이미지에서 테이블을 HTML 이나 Markdown 과 같은 반구조화된 형식으로 변환하는 작업입니다. 최근 비전 - 언어 모델 (VLM) 의 발전으로 TR 성능이 크게 향상되었으나, 여전히 대규모의 고품질 레이블 데이터에 의존하고 있습니다.
• 한계점:
  • 레이블 데이터의 부족: 고품질의 레이블 데이터는 수집 및 주석이 매우 비용이 많이 들고 시간이 소요됩니다.
  • 오픈소스 모델의 열세: Gemi ni 2.5 Pro 와 같은 독점 (Proprietary) 모델은 막대한 컴퓨팅 자원과 데이터를 기반으로 뛰어난 성능을 보이지만, 비용과 프라이버시 문제로 인해 오픈소스 모델은 제한된 데이터로 인해 성능이 뒤처지는 경우가 많습니다.
  • 기존 데이터 확보 방식의 문제: 합성 데이터 (Synthetic data) 는 다양성이 부족하고, 실제 데이터 (Real-world data) 는 주석 비용이 높으며, 독점 모델에서 증류 (Distillation) 하는 방식은 성능 상한선 (Teacher model 의 성능) 에 갇히게 됩니다.
• 핵심 질문: 레이블이 없는 자연계의 (Unlabeled) 테이블 이미지를 활용하여 TR 성능을 극대화할 수 있는가?

2. 방법론 (Methodology)

논문은 TRivia라는 자기지도 학습 (Self-supervised) 파인튜닝 프레임워크를 제안합니다. 이는 레이블 없이도 사전 훈련된 VLM 이 테이블 인식 능력을 학습하도록 돕습니다.

A. 전체 아키텍처

TRivia 는 두 단계로 구성됩니다:

1. 준비 단계 (Adaptive Data Engine): 레이블이 없는 이미지에서 학습에 가장 유용한 샘플을 선별하고 검증 가능한 감독 신호 (QA 쌍) 를 생성합니다.
2. 학습 단계 (In-training Stage): 생성된 QA 를 기반으로 강화 학습 (RL) 을 수행하여 모델을 파인튜닝합니다.

B. 핵심 기술 요소

1. 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO):

   • 명시적인 레이블 대신 **테이블 질문 - 답변 (Table QA)**을 프록시 (Proxy) 보상 신호로 사용합니다.
   • 모델이 테이블 이미지를 인식하여 생성한 결과 (HTML/OTSL) 를 바탕으로 LLM 이 질문을 정확히 답할 수 있는지 확인합니다.
   • 보상 함수: 각 QA 쌍에 대한 F1 점수를 계산하여 평균 보상을 부여합니다.
   • 불법 샘플 필터링: 유효하지 않은 테이블 구조를 생성한 경우 보상을 0 으로 처리하거나 샘플을 제거하여 학습의 불안정성을 해소합니다.

2. 적응형 데이터 엔진 (Adaptive Data Engine):

   • 응답 일관성 샘플링 (Response-Consistency Sampling):
     • 각 테이블 이미지에 대해 모델이 여러 번 응답을 생성하게 한 후, TEDS(Tree Edit Distance-based Similarity) 를 사용하여 응답 간 구조적 유사성을 측정합니다.
     • 일관성 점수가 낮을수록 (응답 다양성이 높을수록) 모델의 불확실성이 크고 학습 가치가 높은 샘플로 간주하여 선택합니다.
   • 주의 기반 다양한 QA 생성 (Attention-guided Diverse QA Generation):
     • 단일 생성 방식은 테이블의 일부만 다루거나 중복되는 질문을 생성할 수 있습니다.
     • VLM 의 어텐션 (Attention) 메커니즘을 활용하여 각 질문이 테이블의 어떤 시각적 영역 (Visual tokens) 에 기반하는지 추적합니다.
     • 시각적 소스 (Visual Source) 의 겹침 (IoU) 을 최소화하도록 질문을 선별하여, 테이블 전체에 걸쳐 다양하고 검증 가능한 QA 쌍을 생성합니다.

C. 학습 파이프라인 (Trivia-3B 구축)

1. Stage 1 (OTSL Tag Warm-up): PubTabNet 등 대규모 오픈소스 데이터를 사용하여 OTSL(최적화된 테이블 토큰화) 문법에 익숙해지도록 언어 모델 부분만 파인튜닝합니다.
2. Stage 2 (Supervised Fine-tuning): 실제 세계의 테이블 데이터 (SynthTabNet, MMTab 등) 로 전체 모델을 파인튜닝하여 감독 학습의 성능 한계에 도달합니다.
3. Stage 3 (TRivia Self-supervised Fine-tuning): 레이블이 없는 10 만 개 이상의 이미지 풀에서 위 방법론 (일관성 샘플링 + 주의 기반 QA) 을 적용하여 5 만 개의 고품질 학습 데이터를 구성하고, GRPO 를 통해 최종 모델을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제안: 레이블 데이터에 의존하지 않고, 레이블이 없는 자연계의 테이블 이미지에서 직접 VLM 을 파인튜닝하는 자기지도 학습 프레임워크 TRivia를 최초로 제안했습니다.
2. 지능형 데이터 선별 및 신호 생성:
   • 응답 일관성 샘플링: GRPO 의 원리를 활용해 학습에 가장 유익한 (불확실성이 높은) 샘플을 자동으로 식별합니다.
   • 주의 기반 QA 생성: 어텐션 분포를 활용하여 시각적 근거가 명확하고 중복되지 않는 다양한 QA 쌍을 생성함으로써 안정적인 보상 신호를 제공합니다.
3. SOTA 모델 출시 (Trivia-3B): Qwen2.5-VL-3B 를 기반으로 한 오픈소스 모델 Trivia-3B를 개발하여, 기존 전문 TR 모델 및 독점 대형 모델 (Gemini 2.5 Pro 등) 을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: OmniDocBench, CC-OCR, OCRBench v2 등 3 가지 주요 벤치마크에서 Trivia-3B가 기존 모든 모델 (전문 TR 모델, 범용 VLM, 독점 모델 포함) 을 능가했습니다.
  • Gemini 2.5 Pro (독점 모델) 대비 대부분의 벤치마크에서 더 높은 TEDS 점수를 기록했습니다.
  • MinerU2.5 (수백만 개의 데이터와 독점 모델 증류를 사용한 오픈소스 모델) 보다도 우수한 성능을 보였습니다.
• 복잡한 테이블 처리: 회전된 테이블, 수식이 포함된 테이블, 결합된 셀이 있는 복잡한 레이아웃 등 기존 합성 데이터나 벤치마크에서 다루기 어려웠던 사례에서 특히 큰 성능 향상을 보였습니다.
• 데이터 주석 도구로서의 유효성: TRivia-3B 로 생성된 가짜 레이블 (Pseudo-labels) 을 사용하여 다른 모델을 파인튜닝했을 때, TRivia-3B 자체와 유사한 성능을 달성하여 고품질 자동 주석 도구로서의 가능성을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 프라이버시 및 접근성: 독점 API 에 의존하지 않고, 오픈소스 모델이 프라이버시 규정이 엄격한 환경에서도 고품질의 테이블 인식 능력을 확보할 수 있는 길을 열었습니다.
• 확장성: 레이블 데이터의 부족이라는 병목 현상을 해결하여, 대규모의 레이블이 없는 문서 데이터를 활용할 수 있게 함으로써 문서 파싱 분야의 발전 한계를 확장했습니다.
• 자기지도 학습의 진전: 단순한 텍스트 생성이 아닌, 복잡한 구조 인식 (Table Recognition) 과 추론을 자기지도 방식으로 학습시킨 성공적인 사례로, 향후 다른 멀티모달 태스크로 확장 가능한 기초를 마련했습니다.

요약하자면, TRivia는 레이블 데이터의 부족과 비용 문제를 해결하기 위해, 레이블이 없는 데이터에서 스스로 학습하고 검증하는 고도화된 자기지도 학습 프레임워크를 제시함으로써 오픈소스 테이블 인식 모델의 성능을 독점 모델 수준으로 끌어올린 획기적인 연구입니다.