Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

기술 요약: 텍스트-로직 융합을 이용한 인보이스의 다중 모달 구조적 이상 탐지

문제 정의
재무 문서, 특히 인보이스는 자동화된 감사 및 회계 시스템에서 매우 중요합니다. 그러나 이러한 반구조적 기록은 누락된 필드, 비정상적인 형식, 템플릿 편차와 같은 불규칙성에 취약합니다. 전통적인 검증 방식은 규칙 기반의 산술 체크에 크게 의존하며, 이는 누락된 필드나 레이아웃 불일치와 같은 구조적 이상을 탐지하는 데 실패합니다. 반대로, 텍스트 기반 머신러닝 모델은 재무 문서에 내재된 결정적인 수치적 관계를 간과하는 경우가 많습니다. 본 연구가 다루는 핵심 과제는 레이블이 지정된 이상 데이터 없이 인보이스의 구조적 이상을 탐지하는 것이며, 이를 위해 의미론적 텍스트 패턴과 재무적 논리 일관성을 동시에 이해할 수 있는 시스템이 필요합니다.

방법론
저자들은 텍스트 의미론과 재무 로직을 융합하여 구조적 이상을 탐지하는 비지도 학습 기반의 다중 모달 프레임워크를 제안합니다. 방법론은 다음 단계로 진행됩니다:

1. 데이터 전처리 및 특징 추출:

   • 광학 문자 인식 (OCR): OCR을 사용하여 인보이스 이미지에서 텍스트를 추출합니다. 추출된 원시 텍스트는 의미론적 분석을 준비하기 위해 정제(소문자 변환, 공백 및 비정보적 기호 제거) 과정을 거칩니다.
   • 텍스트 의미론 인코더: 정제된 텍스트는 Sentence-BERT를 사용하여 조밀한 문장 수준 임베딩으로 변환됩니다. 이 임베딩은 문맥적 관계와 레이아웃 정보를 포착합니다. 오토인코더 아키텍처(ReLU 활성화 함수와 배치 정규화를 사용하는 인코더-디코더)를 사용하여 이러한 의미론적 패턴의 잠재 표현($z_t$)을 학습하고 재구성 손실($L_{text}$)을 최소화합니다.
   • 재무 로직 인코더: 수치 값(소계, 세금, 총액)을 OCR 출력에서 추출합니다. 기대값과 관측값 사이의 편차(예: $\Delta_{line}, \Delta_{subtotal}, \Delta_{tax}, \Delta_{total}$)를 나타내는 로직 기반 특징 벡터를 구성합니다. 별도의 인코더는 이러한 로직 특징을 잠재 공간($z_l$)으로 매핑하여 재무적 일관성의 패턴을 학습합니다.

2. 다중 모달 융합 아키텍처:

   • 텍스트 인코더로부터의 잠재 표현($z_t$)과 로직 인코더로부터의 잠재 표현($z_l$)을 결합하여 통일된 다중 모달 특징 벡터($z_f$)를 형성합니다.
   • **융합 오토인코더(Fusion Autoencoder)**가 이 결합된 벡터를 처리합니다. 네트워크는 입력된 융합 특징을 재구성하도록 훈련되어, 구조적으로 정상적인 인보이스의 분포를 학습합니다.
   • 이상 점수(Anomaly Scoring): 추론 과정에서 원래의 융합 특징 벡터와 재구성된 버전 사이의 평균 제곱 오차(MSE)를 통해 이상 점수($S$)를 계산합니다. 재구성 오차가 높을수록 학습된 정상 패턴으로부터의 구조적 편차가 큼을 의미합니다.

주요 기여

• 다중 모달 융합 접근 방식: 본 연구는 텍스트의 의미론적 특징과 재무 로직 특징을 공동으로 모델링하는 새로운 비지도 학습 프레임워크를 도입하여, 인보이스를 순수하게 텍스트로만 혹은 수치로만 취급하던 기존 방식의 한계를 해결합니다.
• 비지도 학습: 시스템은 레이블이 지정된 이상 데이터 없이 작동하며, 재구성 오차를 활용하여 불완전한 인보이스, 템플릿 페이지, 구조적으로 일관되지 않은 문서 등의 불규칙성을 식별합니다.
• 하이브리드 아키텍처: 단일 융합 오토인코더 내에 텍스트 의미론 블록과 재무 로직 블록을 통합함으로써, 모델이 의미론적 레이아웃 오류와 산술적 불일치를 동시에 탐지할 수 있게 합니다.

실험 결과
제안된 모델은 다양한 구조를 가진 8,181개의 인보이스 이미지로 구성된 "OCR을 위한 고품질 인보이스 이미지" 데이터셋을 통해 평가되었습니다. 데이터셋은 학습용(정상 샘플)과 테스트용으로 분할되었습니다.

• 성능 비교: 제안된 융합 모델은 단일 모달 베이스라인(텍스트 전용 오토인코더, 로직 전용 오토인코더) 및 고전적인 이상 탐지 알고리즘(Isolation Forest, One-Class SVM, Local Outlier Factor)과 비교되었습니다.
• 정량적 결과: 융합 모델은 평균 이상 점수 0.3750과 표준 편차 0.2962를 달 기록했습니다. 로직 전용 모델이 더 높은 평균 점수(0.5107)를 보였으나, 융합 모델은 우수한 분리 능력을 입증했습니다. 텍스트 전용 및 로직 전용 베이스라인은 각자의 영역에서 효과적이었으나, 융합 모델이 제공하는 총체적인 관점은 부족했습니다.
• 정성적 분석: 이상 점수 분포는 정상 샘플과 이상 샘플 사이의 명확한 구분을 보여주었습니다. 융합 모델은 더 높은 점수 분산도를 나타냈으며, 이는 단일 모달 모델이 놓칠 수 있는 미세한 불일치를 구별하는 데 더 뛰어난 능력이 있음을 시사합니다. (의사 레이블 기반의) 혼동 행렬은 고위험 샘-로와 저위험 샘플 사이의 안정적인 경계를 보여주었습니다.

의의 및 주장
본 논문은 제안된 다중 모달 융합 접근 방식이 단일 모달 방식에 비해 인보이스 이상 탐지에 있어 더 강력하고 판별력 있는 솔루션을 제공한다고 주장합니다. 의미론적 정보와 재무 구조 간의 상관관계를 학습함으로써, 시스템은 구조적 부정확성, 정보 누락, 재무적 불일치를 효과적으로 식별합니다. 저자들은 이 접근 방식이 대규모 자동 재무 감사 및 문서 지능 시스템에 적합하다고 단언합니다. 연구는 현재의 결과가 유망하지만, 향가적으로 복잡한 인보이스 구조에 대한 이해를 높이기 위해 레이아웃 인식 임베딩과 트랜스포머 기반 인코더를 탐구할 수 있다고 결론짓습니다. 본 연구는 오탐지를 줄이고 자동화된 재무 처리의 신뢰성을 향상시키기 위한 실현 가능한 단계로 제시됩니다.