A Multistage Extraction Pipeline for Long Scanned Financial Documents: An Empirical Study in Industrial KYC Workflows

"장기 스캔된 금융 문서에 대한 다단계 추출 파이프라인: 산업용 KYC 워크플로우에서의 경험적 연구"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 산업용 고객확인제도 (KYC) 및 규정 준수 워크플로우 내에서 길고, 다국어이며, 스캔된 금융 문서로부터 구조화된 정보 추출이라는 과제를 다룹니다.

• 입력 특성: 문서는 기계 판독이 불가능하며, 노이즈가 많고 (저해상도, 기울기, 압축 아티팩트), 시각적으로 이질적 (텍스트, 표, 차트, 도장 혼재) 이며, 수십 페이지 (최대 80 페이지 이상) 에 걸쳐 있습니다.
• 핵심 과제: 비전 - 언어 모델 (VLM) 이 벤치마크에서는 잘 수행되지만, 이를 종단간 (end-to-end) 방식으로 전체 금융 보고서에 적용하는 것은 비현실적입니다. 그 이유는 다음과 같습니다.
  1. 계산 비용: 전체 긴 문서를 처리하는 것은 비용이 많이 들고 느립니다.
  2. 신뢰성: 직접적인 PDF-to-VLM 방식은 관련 필드가 수많은 관련 없는 페이지에 희소하게 분포되어 있는 '수풀 속의 바늘' 문제를 겪으며, 이로 인해 환각 현상이나 데이터 누락이 발생합니다.
  3. 노이즈: 원본 스캔본은 OCR 및 추론 능력을 저하시킵니다.

2. 방법론: 다단계 파이프라인

저자들은 페이지 국소화와 다중 모달 추론을 분리하는 모듈식 다단계 프레임워크를 제안합니다. 이 파이프라인은 네 가지 주요 단계로 구성됩니다.

A. 이미지 전처리

노이즈를 완화하고 OCR 신뢰도를 높이기 위해 시스템은 다음을 적용합니다.

• 분할: OpenCV 를 사용하여 빈 영역과 불필요한 테두리를 제거하고 콘텐츠가 포함된 영역에 초점을 맞춥니다.
• 기울기 보정: PaddleOCR 의 방향 분류기를 사용한 대략적인 회전과 Hough 변환을 사용한 세밀한 정렬을 적용하는 2 단계 접근법을 사용합니다.
• 재정규화: 국소 대비를 향상시키고 배경 아티팩트를 억제하기 위해 Bicubic 보간법과 대비 제한 적응형 히스토그램 평활화 (CLAHE) 를 통한 크기 조정을 수행합니다.

B. 다국어 OCR 및 하이브리드 페이지 검색

• OCR: PaddleOCRv3 또는 EasyOCR 과 같은 다국어 엔진을 사용하여 전처리된 페이지의 텍스트를 전사합니다. 이 엔진들은 영어, 중국어, 바하사어 등 여러 언어의 인쇄체와 필기체를 처리할 수 있습니다.
• 하이브리드 검색: 모든 페이지를 VLM 에 입력하는 대신, 시스템은 목표 필드 (예: "매출", "순이익") 와의 관련성에 기반하여 페이지를 순위 매깁니다.
  • 어휘적 매칭: OCR 노이즈에 강건한 BM25를 사용하여 정확한 키워드 매칭을 수행합니다.
  • 의미적 매칭: 문장 임베딩을 사용하여 문맥상 다른 표현과 비표준 용어 처리를 수행합니다.
  • 결과: 추출 단계로 전달되는 것은 고관련도 페이지뿐이며, 이로 인해 토큰 부하가 약 70% 감소합니다.

C. 컴팩트 VLM 기반 추출

• 모델 선택: 거대한 모델 대신 컴팩트하고 효율적인 VLM(예: MiniCPM-o-2.6, Gemma-3-27B, Qwen3-VL) 을 사용합니다.
• 프롬프트 엔지니어링: 입력은 도메인별 키워드, 문서 유형 단서, 엄격한 출력 형식 지침 (JSON) 을 포함한 구조화된 프롬프트로 안내됩니다.
• 인간 - 루프 (HITL): 추출된 필드에는 모호성을 위한 '비고'가 포함됩니다. KYC 워크플로우에서는 이를 수동으로 검토합니다. 시스템은 분석가의 수정 사항을 활용하여 프롬프트와 검색 쿼리를 반복적으로 정제하며, 수동 검토를 추가 비용이 아닌 표준 운영 절차로 간주합니다.

D. 구조화된 출력

최종 출력은 특정 금융 속성 (예: 매출, 배당금, 통화) 을 포함하는 정규화된 JSON 스키마입니다.

3. 주요 기여

1. 아키텍처 혁신: 검색과 추론을 분리하는 분리된 파이프라인으로, 긴 문서 작업에서 페이지 수준 검색이 모델 크기보다 더 중요함을 입증했습니다.
2. 실제 데이터에 대한 경험적 연구: 영어, 간체/번체 중국어, 바하사어 등 다양한 언어와 감사 보고서, 급여 명세서 등 다양한 문서 유형을 포괄하는 **120 개의 실제 KYC 문서 (~3,000 페이지)**로 구성된 독점 데이터셋에 대한 평가.
3. 비용 효율성: 견고한 파이프라인의 지원을 받는 컴팩트한 VLM 이 더 큰 모델을 직접 적용하는 것보다 우수한 성능을 발휘하면서도 동등한 서비스 지연 시간을 유지함을 입증했습니다.
4. 절제 실험 통찰: 각 구성 요소 (전처리, 검색, 프롬프팅) 가 정확도에 미치는 영향을 체계적으로 정량화했습니다.

4. 실험 결과

이 연구는 다양한 OCR 및 VLM 조합에 대해 제안된 파이프라인을 직접 PDF-to-VLM 베이스라인과 비교했습니다.

• 전체 정확도: 전체 파이프라인은 PaddleOCR + MiniCPM-o-2.6을 사용하여 **87.27%**의 최고 정확도를 달성했습니다.
• 성능 향상: 파이프라인은 일관되게 직접 베이스라인을 능가하여 필드 수준 정확도를 최대 31.9 퍼센트 포인트까지 향상시켰습니다.
  • 예시: PaddleOCR 을 사용한 MiniCPM-o-2.6 의 경우, 정확도가 55.38%(직접) 에서 87.27%(파이프라인) 로 급증했습니다.
• 절제 실험 결과:
  • 페이지 검색: 가장 중요한 구성 요소입니다. 이를 제거하면 정확도가 16.8–24.0% 하락합니다.
  • 이미지 전처리: 두 번째로 영향력이 큰 요소입니다. 이를 제거하면 6.2–16.3% 하락합니다.
  • 구조화된 프롬프팅: 전반적으로는 modest 한 향상을 제공했지만, 모서리 케이스 처리에 있어서는 결정적이었습니다.
• 문서 유형별 차이:
  • 재무제표: 길이와 복잡성으로 인해 가장 큰 향상 (>40% 개선) 을 보였습니다.
  • 급여 명세서: 짧고 표준화되어 있어 베이스라인이 이미 강력하므로 향상 폭이 작았습니다 (~8%).
• 지연 시간: VLM 에 전송되는 페이지 수가 줄어들어 전처리 및 검색에 소요된 시간을 상쇄했기 때문에, 파이프라인은 베이스라인과 비교 가능한 서비스 지연 시간을 유지했습니다.

5. 의의 및 결론

이 논문은 규제된 금융 환경에서 AI 를 배포하기 위한 실용적인 청사진을 제공합니다.

• 확장성: 추론 전에 노이즈를 필터링함으로써 '긴 문서' 문제를 해결하여, prohibitive 한 컴퓨팅 비용 없이 대규모 KYC 처리를 가능하게 합니다.
• 견고성: 하이브리드 검색 전략은 OCR 오류와 다국어 변형에 대한 복원력을 보장합니다.
• 실용적 지침: 산업용 문서 처리의 경우, 단순히 모델 파라미터를 늘리는 것보다 **시스템 설계 (검색 + 전처리)**가 종종 더 큰 영향을 미친다는 결과가 도출되었습니다.
• 향후 작업: 저자들은 필기체와 인쇄체가 혼합된 텍스트 처리 및 통화 단위 모호성 처리의 한계를 지적하며, 용어 정규화 및 학습 기반 모호성 해소를 위한 향후 방향을 제시했습니다.

요약하자면, 이 논문은 컴팩트한 VLM 을 사용하는 모듈식 검색 증강 파이프라인이 복잡하고 실제 세계의 금융 문서로부터 구조화된 데이터를 추출하는 데 있어 종단간 베이스라인보다 우월한 접근법임을 보여주며, 효율성을 희생하지 않으면서도 상당한 정확도 향상을 제공합니다.