기술 요약: DocAnnot – GenAI를 통한 KIE 데이터셋 생성 가속화

1. 문제 정의

비정형 문서로부터의 핵심 정보 추출(Key Information Extraction, KIE)은 지능형 문서 처리(Intelligent Document Processing)의 핵심 구성 요소로, 자동 데이터 입력, 로봇 프로세스 자동화(RPA), 지식 베이스 구축 등의 애플리케이션을 가능하게 합니다. 그러나 효과적인 KIE 모델 개발은 대규모 고품질 주석 데이터셋의 부족으로 인해 병목 현상을 겪고 있습니다. 전통적인 데이터셋 생성은 인간 전문가의 수동 주석 작업에 의존하며, 이는 본질적으로 시간이 많이 소요되고 노동 집약적이며 비용이 많이 드는 과정입니다. 다양한 레이아웃에 대한 유연성이 부족한 기존의 템플릿 기반 방식이나, 여전히 상당한 인간의 개입을 필요로 하는 능동 학습(Active Learning)과 달리, 현재의 대규모 시각 언어 모델(LVLM)은 환각 현상(hallucination)과 특정 문서 작업에 대한 미세 조정 부족으로 인해 구조화된 추출에서 어려움을 겪는 경우가 많습니다. 따라서 인간의 개입에 전적으로 의존하지 않고도 엔티티에 정확하게 라벨을 할당할 수 있는, 완전히 자동화되고 정밀하며 유연한 KIE 데이터셋 생성 접근 방식에 대한 중요한 격차가 존재합니다.

2. 방법론: DocAnnot 프레임워크

본 논문은 KIE 데이터셋 생성 프로세스를 자동화하기 위해 설계된 새로운 다중 모드 GenAI 기반 자동 주석 프레임워크인 DocAnnot를 소개합니다. 이 프레임워크는 의미론적 이해와 공간적 문서 구조 사이의 간극을 메우기 위해 세 가지 핵심 구성 요소를 통합합니다.

2.1 핵심 구성 요소

1. 대규모 시각 언어 모델 (LVLM): 문서 이미지에서 라벨-값(label-value) 쌍을 추출하는 데 사용됩니다. 표준적인 추출과 달리, LVLM은 값(예: "10,000")뿐만 아니라 문서에 나타난 실제 키 텍스트(예: "SUBTOTAL")까지 출력하도록 프롬프트가 구성됩니다.
2. 광학 문자 인식 (OCR): 동일한 문서 이미지를 처리하여 각 정밀한 경계 상자(bounding box) 좌표가 포함된 텍스트 세그먼트 시퀀스를 생성합니다.
3. 공간 정보 기반 문맥 매칭 (Spatially Informed Contextual Matching, SICM): 프레임워크의 핵심 혁신인 새로운 알고리즘으로, LVLM과 OCR 모듈의 출력을 조율하여 OCR로 추출된 텍스트 세그먼트에 올바른 라벨을 할당합니다.

2.2 SICM 알고리즘

SICM 알고리즘은 문서 내에 동일한 값이 여러 번 나타나는 모호성을 해결하기 위해 2단계 계층적 프로세스로 작동합니다.

• 1단계: 텍text 유사도 필터링: 알고리즘은 LVLM이 추출한 값과 OCR의 모든 후보 텍스트 세그먼트 간의 텍스트 유사도 점수(예: 레벤슈타인 거리)를 계산합니다. 임계값 미만의 후보는 필터링됩니다.
• 2단계: 최근접 이웃을 통한 공간적 모호성 해소: 남은 후보들에 대해, 알고리즘은 키 텍스트(LVLM에 의해 추출된 경계 상자가 포함된 키 텍스트)와 후보 값 텍스트(OCR에서 추출된 값) 사이의 공간적 관계를 활용합니다. 알고리즘은 경계 상자 중심 간의 유클리드 거리를 계산합니다. 키 텍스트의 경계 상스에 가장 가까운 후보 텍스트 세그먼트가 올바른 매치로 선택됩니다.

이 다단계 프로세스는 텍스트 유사성과 공간적 추론을 모두 활용하여 키와 값을 견고하게 연결함으로써, 최첨단 KIE 모델에 필요한 형식(이미지, 경계 상자가 포함된 OCR 텍스트, 엔티티 라벨)으로 주석이 달린 문서를 생성합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

1. 완전 자동화된 프레임워크: DocAnnot는 초기 인간 주석 없이도 KIE 데이터셋 생성을 위한 완전한 파이프라인을 제공합니다.
2. SICM 알고리즘: LVLM의 의미론적 통찰력과 OCR의 공간 데이터를 효과적으로 통합하여 정확한 라벨 할당을 보장하는 새로운 방법을 제시합니다.
3. 벤치마크 검증: 프레임워크의 효과는 널리 사용되는 두 가지 KIE 데이터셋인 CORD와 SROIE를 통해 입증되었습니다.
4. 학습 데이터 검증: 자동 주석 데이터로만 미세 조정된 KIE 모델(특히 LayoutLMv3 및 UDOP)이 준수한 성능 수준을 달는다는 것을 연구를 통해 검증했습니다.

4. 실험 결과

프레임워크는 두 가지 LVLM인 Claude Sonnet 3.5와 Gemini 1.5 Pro를 사용하여 CORD(Consolidated Receipt Dataset) 및 SROIE(Scanned Receipts OCR) 데이터셋에 대해 평가되었습니다.

4.1 자동 주석 성능

• CORD 데이터셋: Claude Sonette 3.5를 사용했을 때, DocAnnot는 0.679의 F1-score(정밀도: 0.707, 재현율: 0.704)를 달성했습니다.
• SROIE 데이터셋: Claude Sonnet 3.5를 사용했을 때, DocAnnot는 0.846의 F1-score(정밀도: 0.886, 재현율: 0.853)를 달성했습니다.
• 비교: Claude Sonnet 3.5가 두 데이터셋 모두에서 Gemini 1.5 Pro보다 일관되게 우수한 성능을 보였습니다.

4.2 다운스트림 모델 미세 조정

저자들은 자동 주석 데이터로 학습된 모델이 효과적으로 작동할 수 있는지 조사했습니다:

• LayoutLMv3: DocAnnot 데이터로 학습된 LayoutLMv3는 CORD에서 0.6765의 F1-score를 기록했습니다.
• UDOP: DocAnnot 데이터로 학습된 UDOP는 0.6861의 F1-score를 기록했습니다.
• 비교: 인간이 주석을 단 데이터로 학습된 모델이 더 우수한 성능(예: LayoutLMv3 F1: 0.9141)을 보였지만, 자동 학습된 모델은 DocKD 자동 주석 데이터 기반의 베이스라인(DocFormerV2large F1: 0.615)보다 유의미하게 높은 성능을 보였습니다.

4.3 절제 연구 (SICM의 영향)

SICM 알고리즘을 제거하고 퍼지 문자열 매칭(fuzzy string matching)에만 의존했을 때 성능이 크게 하락했습니다:

• CORD: SICM을 사용할 때의 F1-score 0.679에서 SICM이 없을 때 0.571로 떨어졌습니다.
• SROIE: F1-score가 0.846에서 0.814로 감소했습니다.
  이는 공간적 추론이 문서 레이아웃의 모호성을 해결하는 데 매우 중요하다는 것을 확인시켜 줍니다.

4.4 하이브리드 주석

"Human-in-the-loop" 시나리오에서 DocAnnot의 출력과 소량의 인간 라벨링 데이터(10~30%)를 결합하면 성능이 더욱 향상되었습니다. 예를 들어, UDOP 학습에 30%의 인간 라벨을 추가했을 때 F1-score는 0.7241로 상승하여, 완전히 인간이 주석을 단 학습 성능에 근접했습니다.

5. 의의 및 주장

본 논문은 DocAnnot가 KIE 데이터셋 생성과 관련된 시간과 비용을 대폭 절감할 수 있다고 주장합니다. 저자들은 이 프레임워크가 아직 인간의 개입을 완전히 제거하지는 못했다는 점(인간 데이터로 학습된 모델이 자동 주석 데이터로 학습된 모델보다 여전히 우수함)을 겸허히 인정하면서도, DocAnnot가 매우 효율적인 워크플로우를 가능하게 한다고 주장합니다.

인간 검토자가 출력을 효율적으로 검증하고 정제할 수 있을 정도로 자동 주석 프로세스를 자동화함으로써, 이 시스템은 처음부터 수동으로 주석을 다는 것보다 훨씬 더 큰 효율성으로 "완벽에 가까운 주석"을 생성할 수 있게 합니다. 이러한 접근 방식은 특히 자원이 제한된 환경과 빠른 모델 프로토타이핑에 가치가 있으며, 자동화와 정확성 사이의 실용적인 균고를 제공합니다. 이 프레임워크는 직접적인 인간의 개입을 최소화하면서도 기능적인 KIE 모델을 개발할 수 있음을 보여주며, 확장 가능한 문서 이해를 향한 중요한 진전을 나타냅니다.