Operationalizing Document AI: A Microservice Architecture for OCR and LLM Pipelines in Production
Dieser Beitrag stellt eine Microservice-Architektur und operative Erfahrungen für den skalierbaren Einsatz von Dokument-AI-Pipelines vor, hebt Designentscheidungen wie die Trennung von GPU- und CPU-Aufgaben hervor und zeigt auf, dass OCR-Latenz und geteilte GPU-Kapazität – und nicht die Modellkomplexität oder die Anzahl der Worker – die Hauptengpässe im Produktionsbetrieb darstellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine riesige, hochgeschwindigkeitsfähige Briefsortieranlage. Jeden Tag treffen Tausende komplexer Dokumente ein – einige sind zerknittert, einige unscharf, einige sind mehrseitige Verträge und einige sind nur Fotos von Quittungen. Ihr Ziel ist es, jedes einzelne zu lesen, zu verstehen, was es ist, und spezifische Details (wie Daten, Namen oder Beträge) herauszuziehen, um sie in eine ordentliche digitale Tabellenkalkulation einzutragen.
Dieser Artikel beschreibt, wie das Team bei Kungfu.ai eine „Fabrik" gebaut hat, um genau das zu tun, jedoch mit einem Twist: Sie erkannten, dass der Versuch, alles mit einer einzigen riesigen Maschine (einem Monolithen) zu erledigen, langsam, teuer und fehleranfällig war. Stattdessen bauten sie eine Microservice-Architektur, was so ist, als würde man diese Fabrik in ein Team spezialisierter Arbeiter verwandeln, die jeweils ihre eigene spezifische Aufgabe haben und Dokumente auf einem Förderband weitergeben.
So funktioniert ihr System, einfach erklärt:
1. Die drei spezialisierten Teams (Die Microservices)
Anstatt dass ein Roboter versucht, gleichzeitig zu scannen, zu lesen und zu denken, teilen sie die Arbeit in drei verschiedene Teams auf:
- Das Gateway (Der Empfang):
Dies ist die Eingangstür. Seine einzige Aufgabe ist es, die Dokumente aus der Außenwelt entgegenzunehmen, die Bilder sicher in einem digitalen Lager (Object Storage) zu speichern und einen „Schein" in eine Warteschlange zu legen, der besagt: „Hey, wir haben ein neues Dokument zur Verarbeitung!" Es leistet keine schwere Arbeit; es verwaltet lediglich den Fluss. Wenn der Empfang krank wird, kommt keine neue Post herein, aber die Arbeiter im Inneren arbeiten weiter an dem, was sie bereits haben. - Die Arbeiter (Die Manager):
Dies sind die CPU-gestützten Manager. Sie nehmen Scheine aus der Warteschlange auf, betrachten das Dokument und entscheiden, was als Nächstes zu tun ist. Sie sind hervorragend im Organisieren, Warten auf Antworten und Bewegen von Daten, aber sie sind nicht sehr gut bei den schweren „Denk-" oder „Sehaufgaben". Sie fungieren als Dirigent des Orchesters und sagen den Spezialisten, wann sie spielen sollen. - Der Inferenz-Service (Die Schwerarbeiter):
Dies ist das Team mit den teuren, superschnellen GPUs (Grafikkarten). Sie sind die einzigen, die die harte visuelle Arbeit erledigen dürfen: OCR (Umwandlung unscharfer Bilder in Text) und LLM-Parsing (Verwendung eines riesigen KI-Gehirns, um den Text zu verstehen und spezifische Felder herauszuziehen). Da diese Maschinen teuer sind, hält das Team sie getrennt, damit sie nicht dafür bezahlen müssen, wenn die Arbeiter nur herumwarten.
2. Das Fließband (Die Pipeline)
Wenn ein Dokument eintrifft, durchläuft es eine spezifische Abfolge von Schritten, wie ein Auto auf einem Fließband:
- Klassifizierung (Der Sortierer):
Zuerst muss das System wissen, um welche Art von Dokument es sich handelt (z. B. ist es eine Rechnung oder ein medizinisches Formular?).- Der Trick: Sie verwenden eine „Hybrid-Strategie". Zuerst verwenden sie eine günstige, schnelle, lokale KI (CLIP-KNN), um den Typ zu erraten. Sie ist zu 92 % genau und kostenlos. Wenn die KI unsicher ist (weniger als 70 % Sicherheit), dann senden sie es zur teuren, superschlauen KI (Claude Sonnet), um sie zu überprüfen. Dies spart eine Menge Geld, da die günstige KI in 96 % der Fälle allein richtig liegt.
- OCR (Der Übersetzer):
Das Dokument ist ein Bild. Das System verwendet das GPU-Team, um dieses Bild Wort für Wort in tatsächlichen Text umzuwandeln.- Die Überraschung: Die Autoren stellten fest, dass dieser Schritt die größte Engstelle ist. Er dauert am längsten. Obwohl die „denkende" KI (LLM) komplex ist, liest sie den Text nur einmal für das gesamte Dokument. Die OCR muss jede einzelne Seite einzeln betrachten. Es ist wie der Unterschied zwischen dem Lesen eines ganzen Buches (schnell) und dem Übersetzen jedes einzelnen Wortes eines Buches nacheinander (langsam).
- Textzusammenfügung (Der Kleber):
Wenn ein Dokument 10 Seiten hat, nimmt das System den Text von Seite 1, dann Seite 2 und so weiter und klebt sie zu einer langen Geschichte zusammen. - Strukturiertes Parsing (Der Extraktor):
Schließlich liest die „denkende KI" (LLM) den zusammengeklebten Text und füllt ein digitales Formular (wie eine JSON-Datei) mit den benötigten spezifischen Daten aus (z. B. „Rechnungsdatum: 2023-10-01").
3. Das Geheimnis: Wie sie skalieren
Der Artikel hebt zwei große „Aha!"-Momente hervor, die sie beim Betrieb dieses Systems hatten:
- Die Engstelle sind die Augen, nicht das Gehirn:
Alle gingen davon aus, dass die „denkende KI" (LLM) der langsame Teil sein würde. Sie lagen falsch. Die „Augen" (OCR) waren der langsame Teil. Da OCR die Engstelle ist, erkannten sie, dass sie das GPU-Team speziell für OCR skalieren müssen, nicht nur mehr Manager (Arbeiter) hinzufügen. Wenn Sie mehr Manager hinzufügen, aber nicht mehr „Augen", sitzen die Manager nur herum und warten. - Die Warteschlange ist das Sicherheitsnetz:
Sie verwenden eine Nachrichtenwarteschlange (wie ein digitales Wartezimmer). Wenn die „Schwerarbeiter" beschäftigt sind, warten die Dokumente einfach in der Schlange. Dies verhindert, dass das System abstürzt. Es bedeutet auch, dass, wenn ein Arbeiter abstürzt, das Dokument einfach zurück in die Schlange geht, um von jemand anderem aufgenommen zu werden, wodurch sichergestellt wird, dass nichts verloren geht.
4. Die Ergebnisse
Durch die Verwendung dieser Architektur erreichten sie zwei erstaunliche Dinge:
- Kosten: Sie senkten die Kosten für die Verarbeitung einer Seite von 0,01 $ auf 0,001 $ (eine 10-fache Reduzierung). Sie taten dies, indem sie die günstige KI für die meisten Aufgaben verwendeten und nur für die teure KI zahlten, wenn dies absolut notwendig war.
- Zuverlässigkeit: Sie behielten eine Genauigkeit von 96 % bei, während sie Tausende von Seiten pro Stunde verarbeiteten.
Zusammenfassung
Der Artikel argumentiert, dass der Aufbau eines produktiven KI-Systems nicht nur darum geht, das intelligenteste Modell zu haben; es geht um Ingenieurskunst. Sie müssen das „Denken" vom „Organisieren" trennen, Warteschlangen zur Verkehrssteuerung verwenden und erkennen, dass der langsamste Teil Ihres Prozesses (in diesem Fall das Lesen des Textes) derjenige ist, den Sie optimieren müssen, nicht der Teil, von dem Sie glauben, er sei am komplexesten.
Sie verwandelten einen chaotischen, teuren Prozess in eine straff organisierte, kosteneffiziente Fabrik, in der jeder Arbeiter genau weiß, was zu tun ist, und die teuren Maschinen nur dann eingesetzt werden, wenn sie wirklich benötigt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.