Information Extraction from Electricity Invoices with General-Purpose Large Language Models

"일반 목적 대규모 언어 모델을 활용한 전기 요금표의 정보 추출"에 대한 상세 기술 요약입니다.

1. 문제 제기

반구조화된 비즈니스 문서 (예: 전기 요금표) 에서 구조화된 정보를 자동으로 추출하는 작업은 여전히 기업 관리의 주요 병목 현상입니다. 기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 규칙 기반/템플릿 시스템: 레이아웃 변화나 다른 공급업체를 마주치면 실패합니다.
• 전통적 기계 학습 (ML): SVM 이나 랜덤 포레스트와 같은 방법은 새로운 문서 유형마다 광범위한 수동 주석 데이터셋을 필요로 하여 확장성 문제를 초래하고 특정 훈련 레이아웃에 심각한 과적합을 일으킵니다.
• 현재의 격차: 대규모 언어 모델 (LLM) 은 미세 조정 없이 유연한 추출을 제공할 잠재력을 지니고 있지만, 특정 비즈니스 문서에 대한 전통적 기준선과 비교하여 그 성능을 정량화한 엄격한 실증 연구는 부족합니다. 구체적으로, 프롬프트 엔지니어링이 추출 품질의 주된 동인인지, 아니면 추론 매개변수 튜닝 (예: temperature, Top-p) 이 주된 동인인지 명확하지 않습니다.

2. 방법론

데이터셋: IDSEM

본 연구는 **스페인 전력 시장 송장 데이터베이스 (IDSEM)**의 하위 집합을 활용합니다.

• 규모: 6 개의 훈련 템플릿과 9 개의 테스트 템플릿에 걸쳐 생성된 75,000 개의 합성 PDF 송장.
• 주석: 고객 이름, 총 금액, 에너지 요금 등 12 개 카테고리로 조직된 107 개의 시맨틱 레이블.
• 과제: 일반화 능력을 평가하기 위해 테스트 세트에는 보지 못한 템플릿이 포함됩니다.
• 전처리: LLM 입력을 위해 PDF 를 Markdown으로 변환하여 시맨틱 구조 (표, 헤더) 를 보존했습니다. 107 개의 가능한 레이블을 각 템플릿에 존재하는 특정 하위 집합에 매핑하는 정답 (ground-truth) 정제 과정을 통해 누락된 필드 때문에 모델을 처벌하지 않도록 했습니다.

평가된 모델

작업별 미세 조정 없이 두 가지 아키텍처가 다른 일반 목적 LLM 을 테스트했습니다:

1. Gemini 1.5 Pro: 방대한 컨텍스트 윈도우를 갖춘 대규모 전문가 혼합 (MoE) 모델.
2. Mistral-small: 효율성을 위해 슬라이딩 윈도우와 그룹화 쿼리 어텐션으로 최적화된 밀집형 24B 파라미터 모델.

실험 프레임워크

본 연구는 두 가지 주요 변수를 분리했습니다:

1. 추론 매개변수: Gemini 1.5 Pro 에서 19 가지 구성 (Temperature, Top-K, Top-P) 에 대한 그리드 검색을 수행하여 민감도를 테스트했습니다.
2. 프롬프트 엔지니어링 전략: 결정론적 설정 (Temperature = 0) 을 사용하여 두 모델 모두에서 6 가지 다른 전략을 비교했습니다:
   • Zero-shot: 작업 지시사항과 스키마만 포함.
   • Few-shot_v1: 명시적 레이블 마커가 있는 하나의 주석 예시.
   • Few-shot_v2: 주석이 없는 하나의 예시 (일반 텍스트).
   • Cross-valid_v1: 순차적 템플릿 (T1-T3) 의 세 가지 예시를 T4-T6 에서 테스트.
   • Cross-valid_v2: 구조적으로 유사한 템플릿 (T1, T2, T4) 의 세 가지 예시를 구조적으로 다른 것들 (T3, T5, T6) 에서 테스트.
   • Iterative: 필드별 순차적 추출.

평가 지표

성능은 정규화 후 정답과 모델 JSON 출력을 비교하여 필드 수준에서 정밀도 (Precision), 재현율 (Recall), F1 점수로 측정했습니다.

3. 주요 결과

A. 추론 매개변수 vs 프롬프트 엔지니어링

• 매개변수 민감도: 19 가지 매개변수 구성 전반에 걸친 F1 점수 변화는 미미했습니다 (0.58 퍼센트 포인트). 결정론적 디코딩 (Temp=0) 과 확률적 샘플링 간의 차이는 무시할 수준이었습니다.
• 결론: 하이퍼파라미터 튜닝은 추출 충실도에 미미한 영향을 미칩니다. 실무자는 성능을 희생하지 않고 재현성을 위해 결정론적 설정을 사용할 수 있습니다.

B. 프롬프트 엔지니어링의 영향

• Zero-shot 기준선: Gemini 는 약 78%, Mistral 은 약 83% 의 F1 점수를 달성했습니다.
• Few-shot 개선: 컨텍스트 내 예시를 도입하면 막대한 향상 (>11 퍼센트 포인트) 을 보였습니다.
• 최고 성능: Cross-valid_v2 전략 (시각적 유사성으로 그룹화) 이 최고 점수를 기록했습니다:
  • Gemini 1.5 Pro: 97.61% F1 점수.
  • Mistral-small: 96.11% F1 점수.
• 주요 발견: 프롬프트 품질이 모델 아키텍처 차이나 매개변수 튜닝을 훨씬 능가하는 성능의 주된 레버입니다.

C. 모델 비교 (Gemini vs Mistral)

• Gemini 1.5 Pro: 더 높은 정밀도 (교차 검증 시 95.24%) 를 보였으며, 이는 필드가 부재일 때 식별하는 데 더 뛰어났음을 의미합니다 (할루시네이션 방지).
• Mistral-small: 더 높은 재현율 (종종 100%) 을 보였으나 정밀도는 낮아, 문서에 존재하지 않는 필드에 대해 값을 "할루시네이션"하는 경향이 있음을 나타냅니다.
• 일반화: Mistral 이 더 작음에도 불구하고 Gemini 와 1-2% 이내의 결과를 달성하여, 적절한 프롬팅을 통해 작고 효율적인 모델이 매우 효과적일 수 있음을 입증했습니다.

D. 전통적 ML 과의 비교

• 전통적 기준선 (SVM): 본 템플릿에서는 91.86% 를 달성했으나 보지 못한 템플릿 (T7) 에서는 **67.20%**로 급락하여 심각한 과적합을 보여주었습니다.
• LLM 성능: 구조적으로 다른 보지 못한 템플릿에서 95.24% (Gemini) 와 91.50% (Mistral) 의 정밀도를 유지했습니다.
• 결론: LLM 은 시맨틱 이해를 통해 추출 작업을 일반화하는 반면, 전통적 ML 은 레이아웃 패턴을 암기합니다.

E. 구조적 영향

문서 템플릿 구조가 난이도의 주요 결정 요인으로 확인되었습니다. 명확한 표 레이아웃을 가진 템플릿 (T1) 은 PDF-to-Markdown 변환 중 저하된 밀집형 다중 열 디자인 (T5) 보다 훨씬 더 잘 수행되었습니다.

4. 주요 기여

1. 프롬프트 엔지니어링의 실증적 검증: 프롬프트 설계가 LLM 기반 문서 처리의 결정적 요소임을 입증하여, 고충실도 추출을 위해 광범위한 하이퍼파라미터 튜닝이 불필요함을 보였습니다.
2. 일반화 능력: 일반 목적 LLM 이 미세 조정 없이 보지 못한 문서 레이아웃에서 최첨단 결과를 달성할 수 있으며, 일반화 시나리오에서 전통적 ML 보다 약 24 퍼센트 포인트 더 우수함을 입증했습니다.
3. 아키텍처 효율성: 최적의 프롬프트 전략과 결합될 때 효율적인 밀집형 모델 (Mistral-small) 이 거대한 MoE 모델 (Gemini) 과 경쟁할 수 있음을 보여주었습니다.
4. 실용적 프레임워크: 비즈니스 자동화를 위해 거의 완벽한 추출 (97.61% F1) 을 달성하는 재현 가능한 파이프라인 (PDF $\to$ Markdown $\to$ LLM) 을 확립했습니다.

5. 중요성과 함의

• 운영 혁신: 본 연구는 기업들이 맞춤형 모델 훈련의 높은 비용과 데이터 요구 사항 없이 송장 처리를 자동화할 수 있는 실현 가능한 경로를 제공합니다.
• 전략적 전환: 문서 자동화의 초점이 "모델 구축" (훈련/미세 조정) 에서 "모델 오케스트레이션" (프롬프트 엔지니어링 및 파이프라인 설계) 으로 이동합니다.
• 한계 및 향후 작업: 본 연구는 합성 데이터와 텍스트 전용 처리 (Markdown) 에 의존했습니다. 향후 작업은 실제 세계의 노이즈, 변환 중 시각 정보 손실, 그리고 레이아웃 특징을 이미지에서 직접 포착하기 위한 비전 - 언어 모델 (VLM) 의 통합을 다뤄야 합니다.

요약하자면, 이 논문은 프롬프트 엔지니어링이 LLM 기반 문서 추출에서 성공의 주된 동인임을 확립하여, 기존 기계 학습 접근법을 크게 능가하는 견고하고 템플릿에 구애받지 않는 자동화를 가능하게 합니다.