🤖 AI

Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production

Este artículo presenta una arquitectura de microservicios y experiencia operativa para implementar pipelines de IA de documentos a gran escala, destacando decisiones de diseño como la separación de tareas de GPU y CPU, y revelando que la latencia de OCR y la capacidad compartida de GPU, en lugar de la complejidad del modelo o la cantidad de trabajadores, son los principales cuellos de botella en producción.

Autores originales: Yao Fehlis, Benjamin Bengfort, Zhangzhang Si, Vahid Eyorokon, Prema Roman, Patrick Deziel, Devon Slonaker, Steve Veldman, Ben Johnson, Joyce Rigelo, Michael Wharton, Steve Kramer

Publicado 2026-05-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yao Fehlis, Benjamin Bengfort, Zhangzhang Si, Vahid Eyorokon, Prema Roman, Patrick Deziel, Devon Slonaker, Steve Veldman, Ben Johnson, Joyce Rigelo, Michael Wharton, Steve Kramer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que gestionas una instalación masiva de clasificación de correo de alta velocidad. Cada día, llegan miles de documentos complejos: algunos están arrugados, otros borrosos, algunos son contratos de varias páginas y otros son simplemente fotos de recibos. Tu objetivo es leer cada uno, entender qué es y extraer detalles específicos (como fechas, nombres o cantidades) para introducirlos en una hoja de cálculo digital ordenada.

Este documento describe cómo el equipo de Kungfu.ai construyó una "fábrica" para hacer exactamente eso, pero con un giro: se dieron cuenta de que intentar hacerlo todo con una sola máquina gigante (un monolito) era lento, costoso y propenso a fallar. En su lugar, construyeron una arquitectura de microservicios, que es como convertir esa fábrica en un equipo de trabajadores especializados, cada uno con su trabajo específico, pasando los documentos por una cinta transportadora.

Así es como funciona su sistema, explicado de forma sencilla:

1. Los Tres Equipos Especializados (Los Microservicios)

En lugar de un solo robot que intente escanear, leer y pensar todo a la vez, dividieron el trabajo en tres equipos distintos:

La Pasarela (El Recepcionista):
Esta es la puerta de entrada. Su único trabajo es tomar los documentos del mundo exterior, guardar las imágenes de forma segura en un almacén digital (Almacenamiento de Objetos) y colocar un "boleto" en una cola diciendo: "¡Oye, tenemos un nuevo documento para procesar!". No realiza ningún trabajo pesado; solo gestiona el flujo. Si el Recepcionista se enferma, no entra nuevo correo, pero los trabajadores dentro siguen trabajando en lo que ya tienen.
Los Trabajadores (Los Gerentes):
Estos son los gerentes impulsados por CPU. Recogen los boletos de la cola, miran el documento y deciden qué debe suceder a continuación. Son excelentes organizando, esperando respuestas y moviendo datos, pero no son muy buenos en las tareas pesadas de "pensar" o "ver". Actúan como el director de la orquesta, indicando a los especialistas cuándo tocar.
El Servicio de Inferencia (Los Cargadores Pesados):
Este es el equipo con GPUs (tarjetas gráficas) costosas y súper rápidas. Son los únicos autorizados para realizar el trabajo visual difícil: OCR (convertir imágenes borrosas en texto) y Análisis LLM (usar un cerebro gigante de IA para entender el texto y extraer campos específicos). Como estas máquinas son costosas, el equipo las mantiene separadas para no tener que pagar por ellas cuando los Trabajadores solo están esperando.

2. La Línea de Ensamblaje (La Pipeline)

Cuando llega un documento, pasa por una secuencia específica de pasos, como un coche en una línea de ensamblaje:

Clasificación (El Clasificador):
Primero, el sistema necesita saber qué tipo de documento es (por ejemplo, ¿es una factura o un formulario médico?).
- El Truco: Utilizan una "Estrategia Híbrida". Primero, usan una IA local, rápida y barata (CLIP-KNN) para adivinar el tipo. Es 92% precisa y gratuita. Si la IA no está segura (menos del 70% de confianza), entonces la envían a la IA súper inteligente y costosa (Claude Sonnet) para que la verifique. Esto ahorra una gran cantidad de dinero porque la IA barata acierta el 96% de las veces por sí sola.
OCR (El Traductor):
El documento es una imagen. El sistema utiliza al equipo de GPU para convertir esa imagen en texto real, palabra por palabra.
- La Sorpresa: Los autores descubrieron que este paso es el cuello de botella más grande. Toma más tiempo. Aunque la IA de "pensamiento" (LLM) es compleja, solo lee el texto una vez para todo el documento. El OCR tiene que mirar cada página individualmente. Es como la diferencia entre leer un libro entero (rápido) versus traducir cada palabra de un libro una por una (lento).
Unión de Texto (El Pegador):
Si un documento tiene 10 páginas, el sistema toma el texto de la página 1, luego la página 2, y así sucesivamente, y los une en una sola historia larga.
Análisis Estructurado (El Extractor):
Finalmente, la IA de "Pensamiento" (LLM) lee el texto unido y rellena un formulario digital (como un archivo JSON) con los datos específicos necesarios (por ejemplo, "Fecha de Factura: 2023-10-01").

3. El Secreto: Cómo Escalan

El documento destaca dos grandes momentos de "¡ajá!" que tuvieron al operar este sistema:

El Cuello de Botella son los Ojos, No el Cerebro:
Todos asumían que la IA de "Pensamiento" (LLM) sería la parte lenta. Se equivocaron. Los "Ojos" (OCR) eran la parte lenta. Como el OCR es el cuello de botella, se dieron cuenta de que necesitan escalar al equipo de GPU específicamente para el OCR, no solo añadir más gerentes (Trabajadores). Si añades más gerentes pero no más "ojos", los gerentes simplemente se quedan sentados esperando.
La Cola es la Red de Seguridad:
Utilizan una cola de mensajes (como una sala de espera digital). Si los "Cargadores Pesados" están ocupados, los documentos simplemente esperan en línea. Esto evita que el sistema se colapse. También significa que si un trabajador falla, el documento simplemente vuelve a la línea para ser recogido por alguien más, asegurando que nada se pierda.

4. Los Resultados

Al utilizar esta arquitectura, lograron dos cosas increíbles:

Costo: Redujeron el costo de procesar una página de $0.01 a$ 0.001 (una reducción de 10 veces). Lo hicieron utilizando la IA barata para la mayoría de las tareas y solo pagando por la IA costosa cuando era absolutamente necesario.
Fiabilidad: Mantuvieron una precisión del 96% mientras procesaban miles de páginas por hora.

Resumen

El documento argumenta que construir un sistema de IA de producción no se trata solo de tener el modelo más inteligente; se trata de ingeniería. Tienes que separar el "pensar" del "organizar", usar colas para gestionar el tráfico y darte cuenta de que la parte más lenta de tu proceso (en este caso, leer el texto) es la que necesitas optimizar, no la parte que crees que es la más compleja.

Convirtieron un proceso caótico y costoso en una fábrica optimizada y rentable donde cada trabajador sabe exactamente qué hacer, y las máquinas costosas solo se utilizan cuando realmente se necesitan.

Resumen Técnico: Operacionalización de Document AI mediante Arquitectura de Microservicios

Enunciado del Problema

A pesar de un flujo constante de innovación en modelos de comprensión de documentos (p. ej., LayoutLM, Donut, VLMs), existe una brecha significativa entre las definiciones académicas de los modelos y su implementación fiable a escala de producción. Los profesionales enfrentan desafíos de ingeniería sustanciales al pasar de puntos de control de modelos a sistemas bajo demanda que procesan miles de documentos heterogéneos diariamente. Estos desafíos incluyen:

Desajuste de Recursos: Equilibrar la orquestación limitada por CPU (E/S, marshaling de datos) con la inferencia limitada por GPU (OCR, VLMs) dentro de restricciones de memoria fijas.
Complejidad Operativa: Gestionar fallos, reintentos, tiempos de espera y metadatos del modelo (p. ej., puntuaciones de confianza) mientras se garantiza la observabilidad.
Escalabilidad y Costo: Lograr una escalabilidad horizontal sin sobreaprovisionar recursos costosos de GPU, particularmente cuando las operaciones de E/S dominan el tiempo de ejecución.
Seguridad y Cumplimiento: Procesar datos sensibles dentro de entornos seguros o plataformas locales manteniendo la auditabilidad.

La literatura existente ofrece pocas directrices sobre la arquitectura a nivel de sistema requerida para envolver múltiples paradigmas de modelos (clasificación, OCR, extracción estructurada) en una pipeline tolerante a fallos y rentable.

Metodología: Arquitectura de Microservicios

Los autores proponen una arquitectura de microservicios que descompone la comprensión de documentos en tres servicios escalables de forma independiente, desacoplando la inferencia limitada por GPU de la orquestación limitada por CPU.

1. Componentes del Sistema

Gateway (Servicio de Ingesta): Un punto de entrada ligero y limitado por E/S responsable de almacenar imágenes de páginas en almacenamiento de objetos, crear registros de seguimiento en una base de datos relacional y encolar IDs de documentos. Maneja envíos REST síncronos y traspasos de cola asíncronos, pero no realiza inferencia.
Worker (Orquestación de Pipeline): Motores de ejecución limitados por CPU que extraen IDs de documentos de una cola de mensajes, orquestan el flujo de trabajo y gestionan la E/S (descargar imágenes, subir resultados JSON). Los workers utilizan corutinas asíncronas para superponer las esperas de E/S con la ejecución de tareas, habilitando concurrencia vertical dentro de un pod.
Servicio de Inferencia: Un servicio dedicado limitado por GPU que expone APIs REST para modelos de OCR (p. ej., DocTR) y actúa como proxy para capacidades de VLM (p. ej., Claude Sonnet). Este aislamiento permite escalar los recursos de GPU de forma independiente al número de workers.

2. Comunicación y Coordinación

El sistema depende de colas de mensajes (Ingesta, Worker, Estado) para coordinar la propiedad de documentos, proporcionar contrapresión y gestionar reintentos. Esto asegura:

Idempotencia: Solo un worker procesa un documento a la vez.
Aislamiento de Fallos: Los fallos en un nivel (p. ej., Gateway) no colapsan todo el plano de control; el procesamiento en curso continúa.
Checkpointing: El estado del procesamiento se actualiza en la base de datos en cada paso, permitiendo la reanudación desde puntos de fallo sin reprocesar todo el documento.

3. Diseño de Pipeline

Los documentos fluyen a través de una secuencia configurable de pasos:

Clasificación Híbrida: Una estrategia de compensación costo-precisión que utiliza un clasificador local CLIP-KNN (92% de precisión, $0 de costo) como filtro principal. Si la confianza es baja (<0.7), el sistema recurre a un clasificador VLM (98% de precisión, costo más alto). Esto reduce los costos de API en aproximadamente 10 veces mientras mantiene una precisión general del 96%.
Extracción de Metadatos Auxiliares: Utiliza detección de objetos (RF-DETR) o VLMs para extraer fechas, códigos de barras o firmas.
OCR: Convierte imágenes a texto con cajas delimitadoras a nivel de palabra utilizando DocTR (acelerado por GPU).
Unión de Texto: Concatena la salida de OCR por página en una representación coherente a nivel de documento.
Análisis Estructurado: Envía el texto unido a un VLM (Claude Sonnet) con un esquema JSON para extraer pares de campo-valor estructurados.

Contribuciones Clave

Descomposición Arquitectónica: El artículo detalla la decisión de separar la inferencia de la orquestación, permitiendo la escalabilidad independiente de los recursos de GPU según la demanda en lugar del número de workers.
Ingeniería de Pipeline: Un recorrido detallado de una estrategia de clasificación híbrida y el flujo desde imágenes crudas hasta JSON estructurado, equilibrando costo y precisión.
Perspectivas Operativas: Hallazgos cualitativos derivados del perfilado por lotes que desafían suposiciones comunes sobre los cuellos de botella de Document AI.

Resultados y Hallazgos

Mediante el perfilado por lotes de documentos sintéticos de varias páginas, los autores identificaron dos hallazgos críticos y contraintuitivos:

El OCR Domina la Latencia: Contrario a la intuición de que el análisis de LLM es el cuello de botella, el OCR consume la mayoría del tiempo de reloj de extremo a extremo. Para un documento de 8 páginas, el OCR representa aproximadamente dos tercios del tiempo de procesamiento, mientras que el análisis (que se ejecuta una vez por documento) es sublineal en relación con la cantidad de páginas.
Dinámicas de Saturación: El rendimiento del sistema se satura basándose en la capacidad compartida de inferencia en GPU, no en el número de pods de workers. Añadir workers más allá del punto en que el Servicio de Inferencia está saturado produce rendimientos decrecientes; las solicitudes hacen cola detrás de la capa de GPU en lugar de procesarse en paralelo.

Reducción de Costos: Al implementar esta arquitectura, los autores redujeron el costo de procesamiento de documentos de $0.01 por página a $0.001 por página mientras mantenían una precisión del 96%.

Significancia y Lecciones Aprendidas

El artículo argumenta que cerrar la brecha entre la investigación de modelos y la producción requiere abordar limitaciones a nivel de sistema que los puntos de referencia ignoran. Las lecciones clave incluyen:

Precisión del Modelo $\neq$ Fiabilidad del Sistema: Los modelos de alta precisión aún producen errores que requieren revisión humana; los sistemas necesitan estrategias de defensa en profundidad (p. ej., clasificación híbrida) en lugar de depender únicamente del rendimiento del modelo.
Escalonamiento vs. Agrupación: Utilizar diferentes modelos para diferentes etapas de la pipeline (clasificación, OCR, análisis) permite el "escalonamiento" de recursos de computación, mejorando la utilización de manera más efectiva que la agrupación simple.
La Observabilidad es Crítica: Distinguir entre cuellos de botella de orquestación (profundidad de cola) y cuellos de botella de inferencia (saturación de GPU) es esencial para la depuración. Una cola en crecimiento puede indicar workers subaprovisionados, pero también puede señalar un cuello de botella de inferencia o limitación de API aguas abajo.

Los autores concluyen que, aunque los VLMs de extremo a extremo o los enfoques de aumento por recuperación pueden evolucionar el campo, la solución práctica actual para el procesamiento de formularios estructurados requiere un enfoque modular basado en microservicios que trate al OCR como el principal impulsor de costos y latencia. Esta arquitectura proporciona un patrón concreto para operacionalizar Document AI más allá del punto de referencia.