기술 요약: RaV-IDP

문제 정의

지능형 문서 처리 (IDP) 파이프라인은 현재 추출된 구조화된 엔티티 (표, 이미지, 텍스트) 가 원본 문서를 충실히 반영하는지 검증할 수 있는 내재적 메커니즘이 부족합니다. 기존 시스템은 추론의 불확실성을 측정하는 모델 내부 신뢰도 점수에 의존하며, 이는 실제 정답 (ground truth) 에 대한 대응을 측정하지 않습니다. 그 결과, 정렬이 어긋난 표 셀, 잘린 이미지, 또는 OCR 로 손상된 텍스트와 같은 추출 오류는 감지되지 않은 채 검색 증강 생성 (RAG), 분석, 지식 베이스와 같은 하위 시스템으로 전달되어 시스템 성능을 저하시킵니다.

핵심 과제는 정답 주석이나 모델 내부 접근 없이 추출의 충실도를 판단할 수 있는 측정 가능한 레이블 없는 품질 신호를 정의하는 것입니다.

방법론: 재구성을 통한 검증 (RaV)

본 논문은 **재구성을 통한 검증 (Reconstruction-as-Validation, RaV)**을 중심으로 한 파이프라인 아키텍처인 RaV-IDP를 제안합니다. 핵심 가설은 추출이 충실하다면, 이를 원본 문서 영역과 비교 가능한 형태로 다시 렌더링했을 때 원본과 고충실도 매칭이 이루어져야 한다는 것입니다.

부트스트랩 제약 조건

순환적 검증을 방지하는 중요한 설계 제약 조건으로 **부트스트랩 제약 조건 (bootstrap constraint)**이 있습니다. 검증 루프는 추출된 엔티티 자체와 비교하는 것이 아니라, 레이아웃 감지 시점에 저장된 **원본, 수정되지 않은 문서 컷 (crop)**과 재구성된 엔티티를 비교합니다. 이를 통해 문서가 정답 앵커 역할을 하도록 보장합니다.

파이프라인 아키텍처

파이프라인은 다음 여덟 개의 순차적 구성 요소를 통해 문서를 처리합니다:

1. 문서 품질 분류기: 페이지를 품질 (예: 깨끗함, 스캔 열화, 촬영) 에 따라 라우팅합니다.
2. 레이아웃 감지기: 영역 (표, 이미지, 텍스트) 을 식별하고 원본 페이지에서 변경 불가능한 픽셀 컷을 추출합니다.
3. 전처리기: 검증용 원본 컷을 보존하면서 입력 페이지에 클래스별 변환 (예: 디스케우, CLAHE) 을 적용합니다.
4. 엔티티 추출기: 표 (Docling/TableTransformer), 이미지 (PyMuPDF), 텍스트를 위한 전용 모듈입니다.
5. 재구성기: 추출된 엔티티를 비교 가능한 형태로 변환합니다:
   • 표: HTML 그리드를 렌더링하고 구조적 시그니처를 추출합니다.
   • 이미지: 지각 해시 (pHash) 와 선명도 지표를 계산합니다.
   • 텍스트: 원본 컷을 재-OCR 하거나 임베드된 텍스트 스트림을 사용합니다.
6. 비교기 및 충실도 점수화: 재구성과 원본 컷을 비교하여 충실도 점수 ($f \in [0, 1]$) 를 계산합니다.
   • 표 충실도: 시각적 SSIM 과 구조적 CER (콘텐츠) 의 가중 합.
   • 이미지 충실도: pHash 유사도, 선명도 비율, 캡션 인접도의 가중 합.
   • 텍스트 충실도: 추출 결과와 재-OCR 결과 간의 문자 오류율 (CER).
7. GPT-4.1 비전 폴백: 충실도가 엔티티별 임계값 ($\tau$) 미만으로 떨어지면, 수정되지 않은 원본 컷을 구조화된 GPT-4.1 비전 모델에 재추출을 위해 전송합니다. 검증 루프는 이 새로운 출력에 대해 반복됩니다.
8. 컨텍스트 풍부화기: 최종 엔티티 레코드에 공간적 컨텍스트, 의미적 풍부화 (이미지의 경우), 그리고 출처를 첨부합니다.

의미적 풍부화

표준 파이프라인과 달리 RaV-IDP 는 전용 이미지 의미적 풍부화 단계를 포함합니다. 모든 이미지 엔티티는 비전 모델에 의해 처리되어 자연어 설명, 그대로 추출된 텍스트, 그리고 구조화된 데이터 (차트의 경우) 를 생성하며, 이를 통해 이미지 콘텐츠를 RAG 시스템에서 검색 가능하게 만듭니다.

주요 기여

1. 아키텍처 패턴 (C1): 순환적 검증을 방지하기 위한 엄격한 부트스트랩 제약 조건을 갖춘 파이프라인 수준의 설계 패턴으로서 재구성을 통한 검증을 공식화합니다.
2. 엔티티 유형별 충실도 점수화 (C2): 표, 이미지, 텍스트에 대한 고유한 재구성과 비교 전략을 도입하여 근거 기반의 레이블 없는 품질 신호를 제공합니다.
3. 다중 패스 폴백 (C3): 검증 실패 시 원본 소스 컷에서 추출을 재시도하는 구조화된 GPT-4.1 비전 폴백을 구현하며, 새로운 출력에 대해 루프가 반복됩니다.
4. 의미적 풍부화 (C4): 모든 이미지 엔티티에 대해 필수적인 풍부화 단계를 추가하여 설명, 구조화된 데이터 등 검색 가능한 메타데이터를 생성합니다.
5. 단계별 평가 프레임워크 (C5): 각 파이프라인 구성 요소를 특정 데이터셋 및 지표와 짝지어 구성 요소 성능을 엔드 - 투 - 엔드 노이즈와 분리하는 프레임워크를 제안합니다.

실험 결과

파이프라인은 다양한 데이터셋 (DocLayNet, PubTabNet, ScanBank, FUNSD, arXiv PDF, DocVQA) 을 사용하여 여섯 단계에 걸쳐 평가되었습니다.

• 충실도 신뢰성: 충실도 점수는 정답 추출 품질과 강한 상관관계를 보입니다.
  • 표: PubTabNet 에서 스피어만 $\rho = 0.800$ ($p = 2.0 \times 10^{-112}$).
  • 네이티브 PDF 텍스트: 10,028 개 arXiv 영역에서 스피어만 $\rho = 0.877$.
• 폴백 복구: GPT-4.1 폴백은 실패한 표 추출의 **38.1%**와 실패한 텍스트 영역의 **24.5%**를 성공적으로 복구합니다.
• 엔드 - 투 - 엔드 성능 (DocVQA):
  • RaV-IDP(전체) 는 0.4224 ANLS를 달성하여 모든 오픈소스 베이스라인 (예: Unstructured: 0.3910, Docling: 0.3844) 을 능가합니다.
  • 어블레이션 통찰: 폴백 없이 필터링만 수행하는 '게이트 - 만' 모드는 0.1408 ANLS로 급락하여, 설계의 가치가 단순히 낮은 신뢰도 엔티티를 배제하는 것이 아니라 폴백으로 라우팅하는 데 있음을 보여줍니다.
• 비용 효율성: 선택적 폴백은 엔티티의 약 6.6% 에 대해서만 GPT 호출을 트리거하여, 구조화된 출력을 유지하면서 '상시 작동' 비전 모델 접근 방식 대비 15 배의 비용 절감을 제공합니다.

중요성 및 주장

본 논문은 RaV-IDP 가 IDP 의 근본적인 격차, 즉 추출 충실도에 대한 내재적이고 레이블 없는 검증의 부재를 해결한다고 주장합니다. 모델의 예측이 아닌 원본 문서를 기준으로 검증을 앵커링함으로써, 시스템은 다음과 같은 근거 기반 품질 신호를 제공합니다:

1. 신뢰할 수 있는 라우팅: 필요한 경우에만 고능력 비전 모델로 어려운 추출을 자동으로 지시합니다.
2. 하위 시스템 신뢰: 모든 엔티티에 대한 명시적 충실도 점수와 출처를 제공하여 하위 소비자가 선택적으로 필터링하거나 에스컬레이션할 수 있게 합니다.
3. 구조화된 RAG 준비: 불투명한 이미지 컷을 의미적으로 풍부하게 처리된 검색 가능 엔티티로 변환합니다.

저자들은 직접적인 비전 읽기 (예: 전체 페이지에 대한 GPT-4.1) 가 더 높은 QA 점수 (0.9372 ANLS) 를 달성하지만, 확장 가능한 지식 색인을 위해 필요한 구조화되고 출처가 태그된 엔티티 레코드를 생성하지는 못한다고 강조합니다. RaV-IDP 는 수동 레이블링 없이 데이터 품질을 보장하는 핵심 메커니즘으로 충실도 루프를 갖춘, 구조화된 문서 데이터 생성을 위한 최적의 비용 효율적이고 프라이버시를 보호하는 솔루션으로 자리매김합니다.