🤖 AI

Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production

본 논문은 대규모 문서 AI 파이프라인 배포를 위한 마이크로서비스 아키텍처와 운영 경험을 제시하며, GPU 작업과 CPU 작업을 분리하는 것과 같은 설계 결정을 강조하고, 모델의 복잡성이나 워커 수보다는 OCR 지연 시간과 공유 GPU 용량이 실제 운영 환경에서의 주요 병목 현상임을 밝힙니다.

원저자: Yao Fehlis, Benjamin Bengfort, Zhangzhang Si, Vahid Eyorokon, Prema Roman, Patrick Deziel, Devon Slonaker, Steve Veldman, Ben Johnson, Joyce Rigelo, Michael Wharton, Steve Kramer

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yao Fehlis, Benjamin Bengfort, Zhangzhang Si, Vahid Eyorokon, Prema Roman, Patrick Deziel, Devon Slonaker, Steve Veldman, Ben Johnson, Joyce Rigelo, Michael Wharton, Steve Kramer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 고속인 우편 분류 시설을 운영한다고 상상해 보세요. 매일 수천 개의 복잡한 문서가 도착합니다. 일부는 구겨져 있고, 일부는 흐릿하며, 일부는 다 페이지 계약서이고, 일부는 영수증 사진일 뿐입니다. 당신의 목표는 하나하나 모두 읽어보고, 그것이 무엇인지 이해한 뒤, 날짜, 이름, 금액과 같은 특정 세부 정보를 추출하여 깔끔한 디지털 스프레드시트에 입력하는 것입니다.

이 논문은 Kungfu.ai 팀이 정확히 그 일을 수행하는 "공장"을 구축한 방법을 설명합니다. 다만 한 가지 비틀기가 있습니다. 그들은 모든 것을 하나의 거대한 기계 (모놀리식) 로 처리하려던 시도가 느리고, 비싸며, 고장 나기 쉽다는 점을 깨달았습니다. 대신 그들은 마이크로서비스 아키텍처를 구축했는데, 이는 그 공장을 각자 고유한 업무를 수행하는 전문 노동자 팀으로 전환하여 문서를 컨베이어 벨트를 따라 전달하는 것과 같습니다.

다음은 그들의 시스템이 어떻게 작동하는지 간단히 설명한 것입니다:

1. 세 가지 전문 팀 (마이크로서비스)

하나의 로봇이 스캔, 읽기, 사고를 동시에 시도하는 대신, 작업을 세 개의 명확한 팀으로 나누었습니다:

게이트웨이 (리셉셔니스트):
이는 정문입니다. 이의 유일한 임무는 외부 세계로부터 문서를 받아 디지털 창고 (Object Storage) 에 이미지를 안전하게 저장하고, "새로운 처리할 문서가 도착했습니다!"라고 알려주는 "티켓"을 대기열에 넣는 것입니다. 무거운 작업을 수행하지는 않으며, 흐름만 관리합니다. 리셉셔니스트가 병들면 새로운 우편물이 들어오지 않지만, 내부 노동자들은 이미 받은 작업을 계속 처리합니다.
워커 (매니저):
이들은 CPU 기반의 매니저들입니다. 대기열에서 티켓을 받아 문서를 보고 다음에 무엇을 해야 할지 결정합니다. 조직화하고, 답변을 기다리며, 데이터를 이동시키는 데는 뛰어나지만, 무거운 "사고"나 "시각" 작업에는 적합하지 않습니다. 그들은 오케스트라의 지휘자처럼 행동하여 전문가들이 언제 연주할지 지시합니다.
추론 서비스 (무거운 짐을 나르는 사람들):
이는 값비싸고 초고속인 GPU(그래픽 카드) 를 갖춘 팀입니다. 그들은 OCR(흐릿한 이미지를 텍스트로 변환) 과 LLM 파싱(거대한 AI 두뇌를 사용하여 텍스트를 이해하고 특정 필드를 추출) 같은 어려운 시각 작업을 수행할 수 있는 유일한 팀입니다. 이러한 기계는 비싸기 때문에, 워커들이 그냥 기다리고 있을 때 비용을 지불하지 않도록 이들을 분리해 둡니다.

2. 조립 라인 (파이프라인)

문서가 도착하면 자동차가 조립 라인을 통과하듯 특정 단계 순서를 거칩니다:

분류 (분류기):
먼저 시스템은 문서가 어떤 종류인지 알아야 합니다 (예: 송장인지 의료 양식인지).
- 트릭: 그들은 "하이브리드 전략"을 사용합니다. 먼저 저렴하고 빠른 로컬 AI(CLIP-KNN) 를 사용하여 유형을 추측합니다. 이는 정확도가 92% 이며 무료입니다. AI 가 불확실한 경우 (신뢰도 70% 미만), 그때 비싸고 초지능적인 AI(Claude Sonnet) 에게 보내 이중 확인을 요청합니다. 저렴한 AI 가 스스로 96% 의 경우를 정확히 맞추기 때문에 이로 인해 막대한 비용이 절약됩니다.
OCR (번역기):
문서는 이미지입니다. 시스템은 GPU 팀을 사용하여 해당 이미지를 단어 단위로 실제 텍스트로 변환합니다.
- 놀라운 사실: 저자들은 이 단계가 가장 큰 병목 현상임을 발견했습니다. 시간이 가장 많이 소요됩니다. "사고"를 하는 AI(LLM) 가 복잡하지만, 전체 문서에 대해 텍스트를 한 번만 읽습니다. 반면 OCR 은 각 페이지 하나하나를 살펴봐야 합니다. 이는 책 전체를 읽는 것 (빠름) 과 책의 모든 단어를 하나씩 번역하는 것 (느림) 의 차이와 같습니다.
텍스트 조립 (접착제):
문서가 10 페이지라면, 시스템은 1 페이지의 텍스트를 가져와서 2 페이지, 그리고 그 다음 페이지를 이어 붙여 하나의 긴 이야기로 만듭니다.
구조화된 파싱 (추출기):
마지막으로 "사고 AI"(LLM) 가 이어 붙여진 텍스트를 읽어 "송장 날짜: 2023-10-01"과 같은 특정 데이터가 포함된 디지털 양식 (예: JSON 파일) 을 작성합니다.

3. 비밀 소스: 확장 방법

이 논지는 이 시스템을 운영하면서 그들이 겪은 두 가지 주요 "아하!" 순간을 강조합니다:

병목 현상은 뇌가 아니라 눈입니다:
모두 "사고 AI"(LLM) 가 느린 부분일 것이라고 가정했습니다. 그들은 틀렸습니다. "눈"(OCR) 이 느린 부분입니다. OCR 이 병목 현상이기 때문에 그들은 단순히 매니저 (워커) 를 더 추가하는 것이 아니라, OCR 을 위해 GPU 팀을 특별히 확장해야 한다는 점을 깨달았습니다. 매니저를 더 추가하되 "눈"을 늘리지 않으면 매니저들은 그냥 기다리며 앉아 있게 됩니다.
대기열은 안전망입니다:
그들은 메시지 대기열 (디지털 대기실과 유사) 을 사용합니다. "무거운 짐을 나르는 사람들"이 바쁘다면 문서들은 그냥 줄을 섭니다. 이는 시스템이 충돌하는 것을 방지합니다. 또한 한 명의 워커가 충돌하더라도 문서가 다시 줄로 돌아가 다른 사람이 가져가도록 하여 아무것도 분실되지 않도록 보장합니다.

4. 결과

이 아키텍처를 사용하여 그들은 두 가지 놀라운 성과를 달성했습니다:

비용: 페이지 처리 비용을 $0.01 에서$ 0.001 로 낮췄습니다 (10 배 감소). 대부분의 작업에는 저렴한 AI 를 사용하고, 절대적으로 필요할 때만 비싼 AI 에게 비용을 지불함으로써 이를 달성했습니다.
신뢰성: 시간당 수천 페이지를 처리하면서도 96% 의 정확도를 유지했습니다.

요약

이 논문은 생산용 AI 시스템을 구축하는 것이 가장 똑똑한 모델을 보유하는 것만이 아니라 엔지니어링에 달려 있다고 주장합니다. "사고"와 "조직화"를 분리하고, 트래픽을 관리하기 위해 대기열을 사용하며, 프로세스에서 가장 느린 부분 (이 경우 텍스트 읽기) 이 가장 복잡하다고 생각하는 부분이 아니라 최적화해야 할 부분임을 깨달아야 합니다.

그들은 혼란스럽고 비싼 프로세스를 모든 노동자가 무엇을 해야 할지 정확히 알고, 값비싼 기계가 진정으로 필요할 때만 사용되는 간소화되고 비용 효율적인 공장으로 전환했습니다.

기술 요약: 마이크로서비스 아키텍처를 통한 문서 AI 의 운영화

문제 정의

문서 이해 모델 (예: LayoutLM, Donut, VLM 등) 에서 지속적인 혁신이 이루어지고 있음에도 불구하고, 학술적 모델 정의와 생산 규모에서의 신뢰성 있는 배포 사이에는 상당한 격차가 존재합니다. 실무자들은 모델 체크포인트에서 하루에 수천 개의 이질적인 문서를 처리하는 온디맨드 시스템으로 전환할 때 상당한 엔지니어링 도전에 직면합니다. 이러한 도전 과제에는 다음이 포함됩니다:

리소스 불일치: 고정된 메모리 제약 내에서 CPU 바운드 오케스트레이션 (I/O, 데이터 마샬링) 과 GPU 바운드 추론 (OCR, VLM) 을 균형 있게 조정하는 것.
운영 복잡성: 가시성을 보장하면서 실패, 재시도, 타임아웃, 모델 메타정보 (예: 신뢰도 점수) 를 관리하는 것.
확장성 및 비용: 특히 I/O 작업이 실행 시간을 지배할 때 비싼 GPU 리소스를 과도하게 프로비저닝하지 않고 수평 확장을 달성하는 것.
보안 및 규정 준수: 감사 가능성을 유지하면서 안전한 엔클레이브 또는 온프레미스 플랫폼 내에서 민감한 데이터를 처리하는 것.

기존 문헌은 여러 모델 패러다임 (분류, OCR, 구조화된 추출) 을 내결함성 있고 비용 효율적인 파이프라인으로 감싸기 위해 필요한 시스템 수준의 아키텍처에 대한 지침을 거의 제공하지 않습니다.

방법론: 마이크로서비스 아키텍처

저자들은 문서 이해를 세 개의 독립적으로 확장 가능한 서비스로 분해하여 GPU 바운드 추론과 CPU 바운드 오케스트레이션을 분리하는 마이크로서비스 아키텍처를 제안합니다.

1. 시스템 구성 요소

게이트웨이 (수취 서비스): 객체 저장소에 페이지 이미지를 저장하고, 관계형 데이터베이스에 추적 레코드를 생성하며, 문서 ID 를 큐에 넣는 경량의 I/O 바운드 진입점입니다. 이는 동기식 REST 제출과 비동기식 큐 이양을 처리하지만 추론은 수행하지 않습니다.
워커 (파이프라인 오케스트레이션): 메시지 큐에서 문서 ID 를 가져오고, 워크플로우를 오케스트레이션하며, I/O(이미지 다운로드, JSON 결과 업로드) 를 관리하는 CPU 바운드 실행 엔진입니다. 워커는 비동기 코루틴을 활용하여 I/O 대기 시간을 작업 실행과 겹쳐서 포드 내에서 수직 동시성을 가능하게 합니다.
추론 서비스: OCR 모델 (예: DocTR) 을 위한 REST API 를 노출하고 VLM 기능 (예: Claude Sonnet) 을 프록시하는 전용 GPU 바운드 서비스입니다. 이러한 격리는 GPU 리소스를 워커 수와 독립적으로 확장할 수 있게 합니다.

2. 통신 및 조정

이 시스템은 문서 소유권을 조정하고, 백프레셔를 제공하며, 재시도를 관리하기 위해 메시지 큐(수취, 워커, 상태) 에 의존합니다. 이는 다음을 보장합니다:

멱등성: 한 번에 하나의 워커만 문서를 처리합니다.
고립된 장애: 한 계층 (예: 게이트웨이) 의 실패가 전체 제어 평면을 충돌시키지 않으며, 진행 중인 처리는 계속됩니다.
체크포인팅: 각 단계에서 처리 상태가 데이터베이스에 업데이트되어 전체 문서를 다시 처리하지 않고도 실패 지점부터 재개할 수 있습니다.

3. 파이프라인 설계

문서는 구성 가능한 일련의 단계를 거쳐 흐릅니다:

하이브리드 분류: 92% 정확도, $0 비용의 로컬 CLIP-KNN 분류기를 주 필터로 사용하여 비용 - 정확도 트레이드오프 전략을 적용합니다. 신뢰도가 낮을 경우 (<0.7), 시스템은 98% 정확도, 더 높은 비용의 VLM 분류기로 대체합니다. 이는 전체 정확도를 96% 유지하면서 API 비용을 약 10 배 줄입니다.
보조 메타데이터 추출: 객체 감지 (RF-DETR) 또는 VLM 을 사용하여 날짜, 바코드 또는 서명을 추출합니다.
OCR: DocTR(GPU 가속화) 을 사용하여 단어 수준의 바운딩 박스와 함께 이미지를 텍스트로 변환합니다.
텍스트 스티칭: 페이지별 OCR 출력을 연결하여 일관된 문서 수준의 표현으로 만듭니다.
구조화된 파싱: 스티칭된 텍스트를 JSON 스키마와 함께 VLM(Claude Sonnet) 에 전송하여 구조화된 필드 - 값 쌍을 추출합니다.

주요 기여

아키텍처 분해: 추론과 오케스트레이션을 분리하여 워커 수가 아닌 수요에 따라 GPU 리소스를 독립적으로 확장할 수 있도록 하는 결정에 대한 상세한 설명.
파이프라인 엔지니어링: 비용과 정확도의 균형을 맞추기 위해 원시 이미지에서 구조화된 JSON 으로의 흐름과 하이브리드 분류 전략에 대한 상세한 안내.
운영 통찰력: 문서 AI 병목 현상에 대한 일반적인 가정에 도전하는 배치 프로파일링에서 도출된 정성적 발견.

결과 및 발견

합성 다페이지 문서의 배치 프로파일링을 통해 저자들은 두 가지 중요하고 반직관적인 발견을 확인했습니다:

OCR 이 지연 시간을 지배함: LLM 파싱이 병목 현상이라는 직관과 달리, OCR이 엔드투엔드 월클록 시간의 대부분을 차지합니다. 8 페이지 문서의 경우 OCR 은 처리 시간의 약 3 분의 2 를 차지하는 반면, 파싱 (문서당 한 번 실행됨) 은 페이지 수에 대해 아선형입니다.
포화 역학: 시스템 처리량은 워커 포드 수가 아닌 공유 GPU 추론 용량에 따라 포화됩니다. 추론 서비스가 포화되는 지점을 넘어 워커를 추가하면 체감 수익이 감소합니다. 요청은 GPU 계층 뒤에 큐에 대기하며 병렬로 처리되지 않습니다.

비용 절감: 이 아키텍처를 구현함으로써 저자들은 96% 정확도를 유지하면서 문서 처리 비용을 페이지당 $0.01 에서$ 0.001 로 줄였습니다.

중요성 및 교훈

이 논문은 모델 연구와 생산 사이의 격차를 해소하려면 벤치마크가 무시하는 시스템 수준의 제약을 해결해야 한다고 주장합니다. 주요 교훈은 다음과 같습니다:

모델 정확도 $\neq$ 시스템 신뢰성: 높은 정확도의 모델도 여전히 인간의 검토가 필요한 오류를 발생시킵니다. 시스템은 모델 성능에만 의존하기보다는 방어 심층 전략 (예: 하이브리드 분류) 이 필요합니다.
단계적 배치 vs 일괄 배치: 분류, OCR, 파싱과 같은 파이프라인 단계마다 다른 모델을 사용하면 컴퓨팅 리소스를 "단계적으로" 활용할 수 있어 단순 배치보다 효율성을 더 잘 개선할 수 있습니다.
가시성은 중요합니다: 오케스트레이션 병목 (큐 깊이) 과 추론 병목 (GPU 포화) 을 구분하는 것이 디버깅에 필수적입니다. 큐가 증가하는 것은 과소 프로비저닝된 워커를 나타낼 수도 있지만, 추론 병목이나 다운스트림 API 스로틀링을 나타낼 수도 있습니다.

저자들은 엔드투엔드 VLM 이나 검색 증강 접근 방식이 해당 분야를 발전시킬 수 있지만, 현재 구조화된 양식 처리를 위한 실용적인 해결책은 OCR 을 주요 비용 및 지연 시간 동인으로 간주하는 모듈식 마이크로서비스 기반 접근 방식이 필요하다고 결론지었습니다. 이 아키텍처는 벤치마크를 넘어 문서 AI 를 운영화하기 위한 구체적인 패턴을 제공합니다.