Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production
Dit artikel presenteert een microservice-architectuur en operationele ervaring voor het schaalbaar implementeren van document-AI-pijplijnen, waarbij ontwerpbeslissingen zoals het scheiden van GPU- en CPU-taken worden belicht en wordt aangetoond dat OCR-latentie en gedeelde GPU-capaciteit, en niet modelcomplexiteit of het aantal workers, de primaire knelpunten in productie zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorm, hoogwaardig postsorteergebouw runt. Elke dag komen duizenden complexe documenten binnen—sommige zijn gekreukt, sommige zijn wazig, sommige zijn meerpaginacontracten en sommige zijn gewoon foto's van bonnetjes. Je doel is om elk document te lezen, te begrijpen wat het is, en specifieke details (zoals data, namen of bedragen) eruit te halen om in een nette digitale spreadsheet te plaatsen.
Dit artikel beschrijft hoe het team bij Kungfu.ai een "fabriek" bouwde om precies dat te doen, maar dan met een draai: ze realiseerden zich dat proberen alles met één grote machine (een monoliet) te doen, traag, duur en vatbaar voor storingen was. In plaats daarvan bouwden ze een microservice-architectuur, wat vergelijkbaar is met het omzetten van die fabriek in een team van gespecialiseerde werknemers, elk met hun eigen specifieke taak, die documenten langs een lopende band doorgeven.
Hier is hoe hun systeem werkt, eenvoudig uitgelegd:
1. De Drie Gespecialiseerde Teams (De Microservices)
In plaats van dat één robot probeert tegelijk te scannen, te lezen en te denken, hebben ze het werk opgesplitst in drie verschillende teams:
- De Gateway (De Receptionist):
Dit is de voordeur. De enige taak is om documenten uit de buitenwereld te ontvangen, de afbeeldingen veilig op te slaan in een digitale magazijn (Object Storage), en een "ticket" in een wachtrij te plaatsen met de boodschap: "Hé, we hebben een nieuw document om te verwerken!" Het doet geen zware arbeid; het beheert alleen de stroom. Als de Receptionist ziek wordt, komt er geen nieuwe post binnen, maar blijven de werknemers binnen werken aan wat ze al hebben. - De Workers (De Managers):
Dit zijn de CPU-aangedreven managers. Ze pakken tickets uit de wachtrij, kijken naar het document en beslissen wat er als volgende moet gebeuren. Ze zijn uitstekend in organiseren, wachten op antwoorden en data verplaatsen, maar ze zijn niet erg goed in de zware "denk"- of "zicht"-taken. Ze fungeren als de dirigent van het orkest, die de specialisten vertelt wanneer ze moeten spelen. - De Inference Service (De Zware Tillers):
Dit is het team met de dure, supersnelle GPU's (grafische kaarten). Zij zijn de enigen die het zware visuele werk mogen doen: OCR (wazige afbeeldingen omzetten in tekst) en LLM Parsing (een gigantisch AI-brein gebruiken om de tekst te begrijpen en specifieke velden eruit te halen). Omdat deze machines duur zijn, houdt het team ze gescheiden zodat ze niet hoeven te betalen wanneer de Workers alleen maar wachten.
2. De Assemblagelijn (De Pipeline)
Wanneer een document binnenkomt, doorloopt het een specifieke reeks stappen, zoals een auto op een assemblagelijn:
- Classificatie (De Sorteerder):
Eerst moet het systeem weten wat voor soort document het is (bijvoorbeeld: is het een factuur of een medisch formulier?).- De Truc: Ze gebruiken een "Hybride Strategie." Eerst gebruiken ze een goedkope, snelle, lokale AI (CLIP-KNN) om het type te raden. Dit is 92% accuraat en gratis. Als de AI niet zeker is (minder dan 70% zekerheid), sturen ze het dan pas naar de dure, super slimme AI (Claude Sonnet) om te controleren. Dit bespaart een hoop geld omdat de goedkope AI het in 96% van de gevallen zelf goed heeft.
- OCR (De Vertaler):
Het document is een afbeelding. Het systeem gebruikt het GPU-team om die afbeelding woord voor woord om te zetten in daadwerkelijke tekst.- De Verrassing: De auteurs ontdekten dat deze stap de grootste knelpunt is. Het kost de meeste tijd. Hoewel de "denkende" AI (LLM) complex is, leest hij de tekst slechts één keer voor het hele document. De OCR moet naar elke enkele pagina individueel kijken. Het is als het verschil tussen het lezen van een heel boek (snel) versus het vertalen van elk enkel woord van een boek één voor één (traag).
- Tekst Samenvoegen (De Lijmer):
Als een document 10 pagina's heeft, neemt het systeem de tekst van pagina 1, dan pagina 2, en zo verder, en lijmt ze samen tot één lang verhaal. - Gestructureerd Parseren (De Extractor):
Tot slot leest de "Denkende AI" (LLM) de samengevoegde tekst en vult een digitaal formulier (zoals een JSON-bestand) in met de benodigde specifieke gegevens (bijvoorbeeld: "Factuurdatum: 2023-10-01").
3. De Geheime Saus: Hoe Ze Schalen
Het artikel benadrukt twee grote "aha!"-momenten die ze hadden tijdens het runnen van dit systeem:
- Het Knelpunt zijn de Ogen, Niet het Brein:
Iedereen ging ervan uit dat de "Denkende AI" (LLM) het trage deel zou zijn. Ze hadden het mis. De "Ogen" (OCR) waren het trage deel. Omdat OCR het knelpunt is, realiseerden ze zich dat ze het GPU-team specifiek moesten schalen voor OCR, en niet gewoon meer managers (Workers) moesten toevoegen. Als je meer managers toevoegt maar geen extra "ogen", zitten de managers alleen maar te wachten. - De Wachtrij is het Veiligheidsnet:
Ze gebruiken een berichtenwachtrij (zoals een digitale wachtkamer). Als de "Zware Tillers" bezet zijn, wachten de documenten gewoon in de rij. Dit voorkomt dat het systeem crasht. Het betekent ook dat als één werknemer crasht, het document gewoon terug naar de lijn gaat om door iemand anders opgepakt te worden, zodat er niets verloren gaat.
4. De Resultaten
Door deze architectuur te gebruiken, bereikten ze twee geweldige dingen:
- Kosten: Ze verlaagden de kosten voor het verwerken van een pagina van $0,01 naar $0,001 (een 10-voudige reductie). Dit deden ze door de goedkope AI te gebruiken voor de meeste taken en alleen te betalen voor de dure AI wanneer het absoluut noodzakelijk was.
- Betrouwbaarheid: Ze behielden 96% nauwkeurigheid terwijl ze duizenden pagina's per uur verwerkten.
Samenvatting
Het artikel betoogt dat het bouwen van een productie-AI-systeem niet alleen gaat om het hebben van het slimste model; het gaat om engineering. Je moet het "denken" scheiden van het "organiseren", wachtrijen gebruiken om het verkeer te beheren, en beseffen dat het langzaamste deel van je proces (in dit geval het lezen van de tekst) het deel is dat je moet optimaliseren, niet het deel dat je denkt dat het meest complex is.
Ze hebben een chaotisch, duur proces omgezet in een gestroomlijnde, kosteneffectieve fabriek waar elke werknemer precies weet wat hij moet doen, en de dure machines alleen worden gebruikt wanneer ze echt nodig zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.