기술 요약: MADP – 인간 개입형 지속 가능한 문서 처리를 위한 다중 에이전트 파이프라인

1. 문제 제기

기업 환경에서의 문서 처리 자동화는 여전히 중요한 병목 현상입니다. 수동 검증을 기반으로 한 전통적인 접근 방식은 노동 집약적이며 오류가 발생하기 쉽고, 표준 광학 문자 인식 (OCR) 시스템은 복잡한 레이아웃, 다중 페이지 구조, 도메인 특화 용어 처리에 어려움을 겪습니다. 대규모 언어 모델 (LLM) 은 비정형 문서에서 구조화된 정보를 추출하는 데 뛰어난 능력을 입증했으나, 생산 환경에 직접 배포하는 것은 세 가지 주요 장애물에 직면해 있습니다:

1. 신뢰성: 임무 수행이 중요한 애플리케이션에서 발생하는 환각 (hallucinations) 과 비결정적 정확도에 대한 우려.
2. 비용 및 지속 가능성: 대규모 추론과 관련된 높은 계산 비용 및 환경 비용.
3. 감사 가능성: 규제 산업에서 요구되는 해석 가능성과 감사 가능성의 부재.

또한, 기존 인간 개입형 (HITL) 시스템은 종종 인간의 피드백으로부터 지속적인 학습을 위한 메커니즘이 부족하며, 이전 연구들은 AI 지원 처리와 수동 기준선 간의 전체적인 지속 가능성 영향을 종합적으로 분석하지 못했습니다.

2. 방법론: MADP 아키텍처

저자들은 인간 감독 하에 전문화된 AI 에이전트들을 조정하여 엔드투엔드 문서 처리를 달성하는 MADP(다중 에이전트 아키텍처) 를 제안합니다. 이 시스템은 딥러닝 기반 분류 및 파싱과 LLM 기반 추출을 통합하며, 새로운 피드백 상속을 통한 프롬프트 미세 조정 (PFTFI) 메커니즘에 의해 통제됩니다.

2.1 시스템 구성 요소

파이프라인은 다섯 가지 순차적 전문 에이전트로 구성됩니다:

• 분류 에이전트 (Classificator Agent): ResNet-18 합성곱 신경망 (CNN) 을 사용하여 문서 유형과 공급업체 카테고리를 식별합니다. 처음 세 개의 합성곱 블록을 고정하고 네 번째 블록을 문서 헤더에 대해 미세 조정하여 낮은 지연 시간으로 최적화됩니다. 입력 이미지는 공급업체 식별 표시에 초점을 맞추기 위해 상단 40% 로 잘립니다.
• 분할 에이전트 (Splitter Agent): 시각적 특징 (페이지 구분, 헤더) 과 의미 분석을 사용하여 다중 페이지 문서를 논리적 단위 (예: 개별 송장) 로 분할하여 컨텍스트 혼합을 방지합니다.
• 파서 에이전트 (Parser Agent): Docling 라이브러리를 사용하여 원시 문서 형식을 LLM 처리에 최적화된 구조화된 마크다운 표현으로 변환합니다. 레이아웃을 분석하고, 표를 식별하며, 읽기 순서를 결정합니다. 이 단계는 원시 OCR 대비 토큰 수를 35% 감소시키면서도 의미 정보를 유지합니다.
• 추출 에이전트 (Extraction Agent): 환각을 최소화하기 위해 제약 조건, 데이터 유형, 그리고 예시적 사례가 포함된 신중하게 설계된 프롬프트를 기반으로 구조화된 정보 (JSON) 를 추론하기 위해 LLM 을 활용합니다. 이 시스템은 다중 LLM 백엔드 (예: Granite, Mistral, DeepSeek) 를 사용한 병렬 추출 전략과 신뢰도를 높이기 위한 합의 투표 방식을 지원합니다.
• 검증 에이전트 (Validator Agent): 데이터 품질을 보장하기 위해 원자적 일관성 검사 (예: 소계 + 세금 = 합계 검증, 날짜 논리 확인, 부가가치세율 유효성 검사) 를 수행하는 감시자 역할을 합니다. 낮은 신뢰도 점수나 검증 실패가 있는 문서는 인간 검토자에게 라우팅됩니다.

2.2 PFTFI 메커니즘

핵심 혁신은 피드백 상속을 통한 프롬프트 미세 조정 (PFTFI) 루프입니다. 인간 검토자가 추출 오류를 수정할 때, 시스템은 다음을 수행합니다:

1. 원본 데이터와 수정 사항을 캡처합니다.
2. 오류 패턴을 설명하는 구조화된 피드백을 생성합니다.
3. 새로운 예시를 포함하고 지시를 정교화하여 추출 및 파싱 프롬프트를 업데이트합니다.
4. 이러한 업데이트를 유사한 특성을 보이는 대기 중인 문서로 양방향 전파합니다.
   이를 통해 기본 신경 모델을 재학습시키지 않고도 시스템의 행동을 지속적으로 개선할 수 있습니다.

2.3 인간 개입형 (HITL) 인터페이스

검증 인터페이스는 추출된 메타데이터와 문서를 나란히 표시합니다. 낮은 신뢰도 필드를 강조하고 신속한 수정 메커니즘을 제공합니다. 중요한 점은, 인간 운영자가 소스 문서를 직접 주석하는 것이 아니라 추출된 메타데이터를 수정하여 PFTFI 메커니즘을 위한 풍부한 구조화된 피드백을 생성한다는 것입니다.

3. 주요 기여

• 다중 에이전트 조정: 분류를 위한 CNN, 레이아웃 이해를 위한 전문 파싱, 의미 추출을 위한 LLM 을 결합하고 검증 프레임워크 하에 조정하는 모듈식 파이프라인.
• PFTFI 메커니즘: 모델 재학습 없이 인간 피드백에 기반하여 프롬프트와 규칙을 정교화하는 지속적 학습을 위한 새로운 접근법으로, 새로운 공급업체 및 문서 변형에 대한 신속한 적응을 가능하게 함.
• 지속 가능성 분석: 이 논문은 AI 지원 문서 처리에 대한 첫 번째 상세한 지속 가능성 분석을 제시하며, 완전 수동 및 완전 자동화 기준선에 비해 CO2 배출량, 에너지 소비, 물 사용량의 감소를 정량화합니다.
• 종합 벤치마킹: 생산과 유사한 조건에서 정확도, 지연 시간, 리소스 풋프린트에 관한 여러 LLM 백엔드 (Granite-Docling, Mistral-Small, DeepSeek-OCR) 의 비교 평가.

4. 실험 결과

이 시스템은 2026 년 1 월까지 처리된 955 개의 실제 세계 문서로 구성된 생산 데이터셋에서 평가되었으며, 50 개 이상의 공급업체와 여러 언어 (이탈리아어, 영어, 독일어, 프랑스어, 아랍어) 를 포괄합니다.

• 자동화율: 시스템은 97.0% 의 전체 파이프라인 자동화율을 달성했으며, 문서의 3% 만 비 AI 대체 수단 (레거시 OCR 또는 수동 포털) 이 필요했습니다.
• 정확도:
  • 20 개 카테고리 각각 5 개씩 총 100 개의 문서로 구성된 계층적 제거 분석 하위 집합에서, HITL 감독을 갖춘 전체 MADP 구성은 98.5% 문서 수준 정확도를 달성했습니다.
  • 파서 에이전트는 기준선 직접 LLM 접근 방식 대비 가장 큰 단일 개선 (+17.5 백분율 포인트) 을 기여하여 레이아웃 인식 전처리의 중요성을 입증했습니다.
  • Mistral-Small-3.2는 생산 배포를 위한 최적의 LLM 백엔드로 식별되었으며, 가장 높은 F1 점수 (92.9%) 와 재현율 (98.2%) 을 달성했습니다.
• 운영 효율성: 연간 100,000 건의 송장에 대한 예상 시나리오에서, 하이브리드 AI+HITL 접근 방식은 수동 처리에 비해 풀타임 동등 (FTE) 요구량을 약 70% 감소시켰습니다 (23 명 대비 7 명), 동시에 98.5% 의 정확도를 유지했습니다 ("순수 AI" 접근 방식의 85% 대비).
• 지속 가능성 영향: 수동 기준선과 비교하여 AI+HITL 접근 방식은 다음과 같은 결과를 낳았습니다:
  • CO2 배출량 69% 감소 (연간 12.3 톤).
  • 에너지 소비 69% 감소.
  • 물 사용량 63% 감소.
    저자들은 이러한 이득이 주로 AI 추론 자체의 효율성보다는 사무 관련 간접비 (FTE) 감소에서 비롯된 것으로 분석합니다.

5. 중요성 및 주장

이 논문은 전략적 인간 개입과 함께 AI 에이전트의 지능적 조정이 완전 수동 또는 완전 자동화 접근 방식에 비해 정확도, 비용, 환경 영향의 더 나은 균형을 달성한다고 주장합니다.

주요 중요성 지점은 다음과 같습니다:

• 실용적 타당성: 다양하고 실제적인 데이터셋에서 97% 의 자동화율은 운영 환경에서 아키텍처의 견고성을 검증합니다.
• 재학습 없이 적응: PFTFI 메커니즘은 프롬프트와 규칙을 업데이트함으로써 모델 재학습의 높은 비용과 지연 시간을 피하면서 시스템이 새로운 문서 유형과 공급업체에 신속하게 적응할 수 있음을 증명합니다.
• 지속 가능성 리더십: 이 연구는 AI 가 본질적으로 수동 작업보다 덜 지속 가능하다는 개념에 도전하며, 하이브리드 모델이 인간 노동 시간 필요성을 극적으로 줄임으로써 문서 처리의 탄소 및 자원 풋프린트를 크게 감소시킬 수 있음을 보여줍니다.
• 모듈식 설계: 아키텍처는 우아한 저하를 허용합니다. 분류 또는 파싱 단계에서 문서가 실패하면 신뢰할 수 없는 추출을 생성하는 대신 수동 검열로 라우팅되어 데이터 무결성을 보장합니다.

저자들은 현재 시스템이 송장에 최적화되어 있지만, 특정 분류 및 추출 로직이 조정된다면 모듈식 다중 에이전트 패턴은 다른 비즈니스 문서로 이전 가능하다고 결론지었습니다.