Agentar-Fin-OCR

이 논문은 복잡한 레이아웃과 페이지 간 단절 문제를 해결하기 위해 크로스페이지 콘텐츠 통합 알고리즘과Difficulty-adaptive 커리큘럼 학습 등을 도입한 금융 도메인 특화 문서 파싱 시스템 'Agentar-Fin-OCR'과 이를 평가하기 위한 벤치마크 'FinDocBench'를 제안합니다.

핵심

📄 "금융 문서 해부사"가 등장했습니다: Agentar-Fin-OCR 설명

이 논문은 금융 문서 (연차보고서, 감사보고서 등) 를 컴퓨터가 완벽하게 이해하고 정리할 수 있게 해주는 새로운 기술을 소개합니다. 기존 기술로는 해결하기 어려웠던 "긴 문서의 끊어짐"과 "복잡한 표의 오해"를 해결했죠.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 🧩 "퍼즐 조각을 하나로 잇기" (페이지 간 연결)

문제: 기존 OCR(문자 인식) 기술은 문서를 한 장 한 장 (페이지) 씩 따로따로 읽었습니다. 마치 책의 100 페이지가 100 개의 다른 퍼즐 조각처럼 다뤄진 거죠.

• 현실: 금융 문서는 표 (Table) 가 10 페이지에 걸쳐 이어지거나, 제목이 1 페이지에 있고 내용이 2 페이지에 있는 경우가 많습니다.
• 기존 방식: "10 페이지의 표"와 "11 페이지의 표"를 따로 읽어서, **"아, 이건 같은 표였구나!"**라는 연결고리를 놓쳐버립니다.
• 이 기술의 해결책 (Cross-page Consolidation):
  • 이 시스템은 문서 전체를 한 권의 책처럼 봅니다.
  • 페이지가 바뀌더라도 "아, 이 표는 끊어지지 않고 계속 이어지는구나"라고 알아서 퍼즐 조각들을 다시 붙여줍니다.
  • 비유: 책장을 넘길 때마다 책 내용이 끊기는 게 아니라, 한 줄의 긴 리본처럼 자연스럽게 이어지게 만드는 기술입니다.

2. 🗺️ "거대한 도서관의 지도 그리기" (목차 재구성)

문제: 금융 문서는 수십, 수백 페이지에 걸쳐 '제 1 장', '제 1-1 절', '제 1-1-1 항'처럼 **계층 구조 (Hierarchy)**가 매우 복잡합니다.

• 기존 방식: 각 페이지의 제목만 보고 "이게 1 장 제목인가, 2 장 제목인가?"를 추측하다가, 긴 문서일수록 위치 감각을 잃어버립니다.
• 이 기술의 해결책 (Document-level Heading Hierarchy Reconstruction):
  • 이 시스템은 문서의 모든 제목을 모아서 가상의 목차 (TOC) 지도를 먼저 그립니다.
  • 비유: 도서관에 들어갔을 때, 책장 하나하나를 뒤지는 게 아니라 전체 도서관의 지도를 먼저 보고 "제 3 구역 2 층 3 번 책장"을 정확히 찾아내는 것과 같습니다.
  • 이렇게 하면 나중에 정보를 찾을 때 (RAG 기술 등) 정확한 위치를 빠르게 찾아낼 수 있습니다.

3. 🔍 "수술실의 정밀한 확대경" (표의 세포 단위 추적)

문제: 금융 감사 (Audit) 에서는 "이 숫자가 어디서 왔는지"를 정확히 증명해야 합니다. "100 억 원"이라는 숫자가 표의 어느 칸에 있었는지, 그 칸이 원본 PDF 의 어떤 좌표에 있는지 알려줘야 합니다.

• 기존 방식: 표의 내용 (숫자) 만 읽어줄 뿐, "이 숫자가 원본 이미지의 어디에 있었는지"는 모릅니다.
• 이 기술의 해결책 (CellBBoxRegressor):
  • 표를 읽을 때, 각 칸 (Cell) 마다 **투명한 박스 (Bounding Box)**를 그어 원본 위치를 정확히 표시합니다.
  • 비유: 마치 수술실에서 의사가 "이 혈관은 정확히 이 위치에서 시작됩니다"라고 정확한 좌표를 가리키며 설명하는 것처럼, 데이터의 출처를 100% 추적 가능하게 만듭니다.

---

📊 "금융 문서 전용 시험지" (FinDocBench)

이 기술이 얼마나 좋은지 증명하기 위해, 연구팀은 **새로운 시험지 (벤치마크)**를 만들었습니다.

• 이유: 기존 시험지는 일반 문서 (논문, 뉴스) 위주라 금융 문서의 긴 길이나 복잡한 표를 제대로 평가하지 못했습니다.
• FinDocBench: 연차보고서, 감사보고서, 증권신고서 등 6 가지 금융 문서 유형으로만 구성된 시험지입니다.
• 결과: 이 시험지에서 Agentar-Fin-OCR 은 가장 높은 점수를 받으며, 기존 기술들보다 훨씬 정확하고 신뢰할 수 있음을 증명했습니다.

💡 요약

이 기술은 **"긴 금융 문서를 한 장 한 장이 아닌, 하나의 완전한 책으로 이해하고, 표의 숫자 하나하나까지 원본 위치와 함께 정확하게 찾아내는 시스템"**입니다.

이제 은행이나 증권사에서는 수백 페이지의 보고서를 사람이 일일이 확인하지 않아도, 이 시스템이 감사 (Audit) 가 인정할 만큼 정확한 데이터를 뽑아내어 업무 효율을 극대화할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 문서 파싱 (Document Parsing) 기술은 주로 페이지 단위로 문서를 처리하며, 개별 페이지를 고립된 엔티티로 간주하는 경향이 있습니다. 이는 금융 및 보험 분야와 같은 특수 도메인에서 다음과 같은 심각한 한계를 드러냅니다.

• 구조적 단절 (Semantic Fragmentation): 금융 문서 (연간 보고서, 감사 보고서, 공모주 Prospectus 등) 는 수백 페이지에 달하는 초장문 (Ultra-long) 이며, 물리적인 페이지 나누기로 인해 헤더와 본문이 분리되거나 표가 여러 페이지에 걸쳐 끊기는 문제가 발생합니다. 이로 인해 RAG(검색 증강 생성) 및 문서 QA 와 같은 하위 작업에서 중요한 문맥이 손실됩니다.
• 복잡한 레이아웃: 다단 (Multi-column) 설계가 빈번하며, 표준 파서는 이를 잘못 인식하여 관련 없는 텍스트를 병합하거나 의미론적 흐름을 파괴합니다.
• 감사 추적성 부재 (Lack of Audit Traceability): 금융 분야는 데이터의 출처를 페이지 좌표나 특정 표 셀 (Cell) 단위로 정확히 매핑하여 시각적 감사가 가능해야 합니다. 기존 모델은 표 구조를 복원하더라도 셀 수준의 정확한 위치 참조 (Visual Grounding) 를 제공하지 못합니다.
• 금융 도메인 벤치마크 부재: 기존 벤치마크는 일반 문서나 학술 자료에 치중되어 있어, 금융 문서의 고유한 구조적 난이도와 정밀도를 평가할 수 없습니다.

2. 제안 방법론 (Methodology)

저자들은 금융 도메인 특화 문서 파싱 시스템인 Agentar-Fin-OCR을 제안하며, 페이지 단위를 넘어 **문서 전체 (Document-level)**의 논리적 흐름을 복원하는 아키텍처를 설계했습니다.

가. 크로스-페이지 콘텐츠 통합 (Cross-page Contents Consolidation)

• 텍스트 병합: 페이지 경계에서 헤더/푸터를 제거하고 본문 텍스트를 다음 페이지의 선두 내용과 통합하여 문법적, 문맥적 무결성을 유지합니다.
• 적응형 표 병합 알고리즘: 페이지를 넘어 분할된 표를 통합하기 위해 3 단계 휴리스틱 기준을 적용합니다.
  1. 구조 정렬: 인접한 표 조각의 열 (Column) 수가 일치하는지 확인.
  2. 문맥 근접성: 두 조각 사이에 불필요한 텍스트나 구조적 간섭 요소가 없는지 확인.
  3. 적응형 헤더 스플라이싱: 다음 페이지의 헤더가 동일하면 중복 제거 후 본체만 병합 (Seamless), 다른 헤더가 있으면 하위 헤더 정보를 보존하며 전체 구조를 병합 (Heterogeneous).

나. 문서 수준 헤더 계층 구조 재구성 (Document-level Heading Hierarchy Reconstruction, DHR)

• 문제: 페이지 단위 헤더만으로는 전체 문서의 계층 구조 (TOC) 를 파악하기 어렵습니다.
• 해결:
  1. 가짜 목차 (Pseudo-TOC) 생성: 레이아웃 분석을 통해 추출된 헤더 이미지를 원본의 들여쓰기 (Indentation) 와 시각적 스타일 (폰트 크기, 굵기 등) 을 보존하여 하나의 가상 목차 페이지로 재배치합니다.
  2. VLM 기반 계층 복원: 생성된 Pseudo-TOC 이미지와 텍스트 정보를 Multimodal LLM (Fin-OCR) 에 입력하여, 전체 문서에 걸친 일관된 헤더 계층 트리 (TOC Tree) 를 재구성합니다. 이는 RAG 및 문서 QA 의 구조적 뼈대 역할을 합니다.

다. 표 파싱 및 셀 수준 시각적 참조 (Table Parsing & Cell-Level Visual Reference)

• 커리큘럼 학습 (Curriculum Learning): 표의 구조적 복잡성 (rowspan/colspan) 과 추론 일관성 난이도 (ICD) 를 기반으로 데이터를 난이도별로 분류하여 단계적으로 학습시킵니다.
• 강화 학습 (GRPO): 그룹 상대 정책 최적화 (Group Relative Policy Optimization) 를 통해 표의 행/열 정렬 오류 (특히 마지막 행/열) 를 보정하고, 그리드 일관성 (Grid-consistency) 을 보상 함수에 포함시켜 정확도를 높입니다.
• CellBBoxRegressor: 별도의 검출기 (Detector) 나 특수 토큰 () 을 추가하지 않고, HTML 스트림 내의 **구조적 앵커 토큰 (Structural Anchor Tokens, 예: <td> 시작 부분)**의 디코더 은닉 상태 (Hidden States) 를 활용하여 각 셀의 바운딩 박스 좌표를 회귀 (Regression) 합니다. 이를 통해 표 셀의 정확한 위치를 시각적으로 참조 (Visual Grounding) 할 수 있습니다.

라. FinDocBench (새로운 벤치마크)

• 구성: 연간 보고서, 연구 보고서, 감사 보고서, 채권 발행 공시, Prospectus, 보험 문서 등 6 가지 금융 문서 카테고리를 포함합니다.
• 특징: 초장문 처리, 계층적 헤더 재구성, 크로스-페이지 표 병합, 셀 수준 시각적 참조를 평가합니다.
• 평가 지표:
  • TocEDS: 목차 편집 거리 기반 유사도 (헤더 계층 구조 정확도).
  • Cross-page TEDS: 페이지를 넘어 연결된 표의 구조적 유사도.
  • C-IoU (Cell Intersection over Union): 표 셀의 위치 정확도.

3. 주요 기여 (Key Contributions)

1. 문서 단위 파싱 (Document-level Parsing): 크로스-페이지 콘텐츠 통합과 DHR 모듈을 통해 장문 금융 문서의 구조적 연속성과 논리적 흐름을 복원하는 시스템을 최초로 제안했습니다.
2. 정밀 표 파싱 및 시각적 참조: 커리큘럼 학습과 GRPO 를 통한 표 정확도 향상, 그리고 CellBBoxRegressor를 통해 외부 검출기 없이도 감사 등급 (Audit-grade) 의 셀 수준 위치 참조를 가능하게 했습니다.
3. 금융 도메인 벤치마크 (FinDocBench): 금융 문서의 고유한 난이도 (초장문, 복잡한 레이아웃, 정밀한 표) 를 평가할 수 있는 최초의 전문 벤치마크와 평가 파이프라인을 구축했습니다.

4. 실험 결과 (Results)

• OmniDocBench v1.5 (일반 문서): 표 파싱 (TableTEDS) 에서 92.82, TableTEDS-S 에서 95.88을 기록하여 MinerU2.5, DeepSeek-OCR2 등 기존 최상위 모델들을 능가하는 성능을 보였습니다.
• FinDocBench (금융 문서):
  • 레이아웃 및 읽기 순서: PP-DocLayoutV3 대비 mAP@0.5:0.95 가 0.761 에서 0.873으로 향상되었고, 읽기 순서 오차 (ARD) 가 0.443 에서 0.075로 크게 감소했습니다.
  • 헤더 계층 재구성: 긴 문서 (감사 보고서, IPO Prospectus) 에서 텍스트만 사용한 베이스라인 대비 TocEDS 점수가 18.5% 이상 향상되었습니다.
  • 표 파싱: FinDocBench 내 표 데이터셋에서 TEDS 95.7을 기록하여 SOTA 모델들을 압도했습니다.
  • 셀 위치 추정 (C-IoU): CellBBoxRegressor 는 평균 IoU 0.7199, IoU@0.5 기준 0.9095의 높은 정확도를 달성하여 감사 및 추적에 적합한 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 금융 문서 처리의 "마지막 마일 (Last-mile)" 문제, 즉 정밀도, 구조적 연속성, 감사 추적성을 동시에 해결하는 실용적인 솔루션을 제시했습니다.

• 실무 적용: RAG, 금융 데이터 분석, 자동화된 감사 프로세스 등 금융 기업 워크플로우의 신뢰성을 높이는 기반을 마련했습니다.
• 기술적 혁신: 페이지 단위의 국소적 처리를 넘어 문서 전체의 맥락을 이해하는 패러다임 전환과, 외부 검출기 없이도 정밀한 위치 정보를 추출하는 새로운 아키텍처 (CellBBoxRegressor) 를 제안했습니다.
• 미래 전망: 다국어 확장 및 에이전트 (Agentic) 통합을 통해 더욱 자동화된 금융 지능 시스템으로 발전할 수 있는 토대를 제공했습니다.

요약하자면, Agentar-Fin-OCR은 금융 도메인의 복잡한 요구사항을 충족시키기 위해 설계된, 구조적 연속성과 감사 등급의 정밀도를 갖춘 차세대 문서 파싱 시스템입니다.